Нейронки в 3D уже сегодня
Буквально вчера увидел комментарий на тему того что "нейронки только арты делают", так что давайте посмотрим что уже сейчас можно использовать дома для 3D.
Ниже я буду приводить только то что можно скачать и использовать УЖЕ СЕЙЧАС. Теоретические разработки, и не публичные программы гораздо более продвинуты.
К примеру можем мгновенно генерировать стилизованные текстуры
Генераторов текстур уже довольно много даже в браузере. Более чем подходит для генерации дополнительных элементов не на передний план. Пару дней назад даже использовал создающий полный набор PBR. К сожалению не сохранил ссылку.
realitycapture использует нейронки для улучшения качества 3d сканов. И сегодня это действительно лучший софт доступный для обычного пользователя.
Прямо в браузере можно развернуть нейронку которая быстро генерирует людей из фото. Неплохой способ быстро "набить толпу" на задний план сцены
Чуть сложней и дороже можно генерировать +- полноценные лица
А если мне нужен риг? тут тоже много подвижек. Даже без использования нейронок
нейронке не нужен риг, она может просто анимировать меш
Но при желании вполне себе и создает
Привычный рендер кадра становиться все более скользкой темой. Полигоны, текстуры, анимации. Зачем? Можно просто заставлять нейронки рисовать готовые картинки. Тот же DLSS3 дорисовывает уже почти половину кадров выводимых на экран.
Мой любимый CGMatter полностью угорел по нейронкам, и показывает много всего интересного. Опять же, используйте уже сегодня.
Imagine 3D пока еще не публична. Но вы уже можете накачать созданных ею моделей и использовать как хотите.
С озвучкой тоже большие подвижки.
Так же я просто обязан вспомнить статью которой 2 ГОДА. О нейросетях которые можно было использовать уже тогда.
Особенно хочется обратить внимание на качество её результатов и комментарии. Раньше было "хаха нейронки не могут базовые вещи ничего они не заменят" сейчас уже "хаха нейронки не могут в сложные взаимосвязи и контекст" . Планка все растет и растет.
Кстати уже даже на дтф есть люди которые используют сетки в работе, и помогают другим
Ладно, ребята, не расстраивайтесь, нам ещё не совсем пизда. У нас пока остаётся фантазия.
А еще умение видеть картину целиком, подмечать и исправлять шероховатости и понимать ебанутые ТЗ.
Вообще ИИ станет клевым революционным инструментом, как фотошоп в свое время.
Ну вот по поводу 3D я бы как раз переживал потому что всякие технические моменты именно что нейросеть проще научить реализовывать. Ретопология и так уже полуавтоматизирована причём на софтверном уровне без нейросетей (TopoGun например, как самый популярный), физически достоверные анимации — пожалуйста, вот вам Cascadeur. Коммент на скрине мне кажется в этом контексте довольно забавным, видимо Viktor довольно далёк от всего происходящего в мире автоматизации процессов в 3D.
Тридешники будут только рады сгрузить ретопологию на нейросети.
Привычный рендер кадра становиться все более скользкой темой. Полигоны, текстуры, анимации. Зачем? Можно просто заставлять нейронки рисовать готовые картинки.Это обосрешься нейронку для этого обучать, не говоря чтобы заставить ее работать в реальном времени. Анимировать без хорошей сетки и рига бред, ибо будет 0 фпс, только как ты уже говоришь делая 2D изображения, заместо 3D рендера, но пока до этого дойдет еще лет 20 пройдет, если не больше, ибо нужны мощности для отрисовки 30+ кадров в сек, не говоря о таком уровне нейронки что как бы она твой пк не захватила. Возможно конечно разрабы разработают нейронку которая будет на простой не прожорливый 3D рендер натягивать все остальное, но опять же до этого дожить надо. Но намного проще просто сделать нейронки для ретопологии + анимаций, тогда да, все будет легко, нежели заставлять отрисовывать всю игру в 2D силами нейронки заместо 3D рендера.
Тот же DLSS3 дорисовывает уже почти половину кадров выводимых на экран.Основываясь на отрендеренных кадрах.
Анимировать без хорошей сетки и рига бред, ибо будет 0 фпсДля этого хайполи и анимируют на лоуполи прокси. С плохой сеткой и ригом не получить качественную анимацию из-за кривых деформов
Есть технологии которые совмещают мокап с фотограмметрией
Что позволяет правильно отобразить - движение ткани на геометрии
при этом ткань при анимации - соотвественно деформируется
Но это используют лишь в кино и достаточно высоко бюджетных играх - от ноти дог.
Так что технология сущетсвует в реальности - но она требует ОЧЕНЬ плотной модели >100к полигонов на игровую лоуполи, и годится лишь для главных героев