BLACK and WHITE and RED

Ролик, который я запилил в результате экспериментов с Blender, SDXL и After Effects

Ролик в FHD-качестве можно посмотреть на моем канале

Продолжаю эксперименты с нейронными сетями и возможностями их комбинирования с традиционными CGI и моуш-дизайном. В этот раз я задался вопросом: "А что если заменить традиционный рендер 3D на неройнку?". Воркфлоу был примерно следующий:

1. Создаю в Blender простую сцену из примитивов и выгружаю карту глубины (Z pass)

2. Использую карту глубины для генерации картинок в SDXL (Forge). На этом этапе и происходит основная магия. Используя controlnet в режиме depth, я могу генерить изображения на основе той сцены, которую набросал в Блендере. В зависимости от настроек и промтов, я мог либо создавать картинки максимально приближенные к сцене, либо наоборот позволять нейросети проявить "воображение".

3. И вот тут есть два пути - либо можно загрузить нужную картинку обратно в Блендер и сделать "проекцию" на вашу сцену. ЛИБО! Закинуть картинку в ZoeDepth и сгенерировать простой 3D-меш. Второй вариант менее качественный и имеет ряд ограничений, но в разы быстрее. Выбор пал на второй вариант, как вы могли догадаться.

4. Дальше я закидываю меш в After Effects, создаю камеру, при необходимости добавляю на сцену ещё объекты (крутящиеся геометрические фигуры в моем случае), анимирую и рендерю.

5. Ну и финальный этап - монтаж под музычку, спецэффекты, моушн для начального титра.

Выводы:

Может ли заменить нейронка традиционный рендер? В статичных картинках очень даже может. Кроме того, вы можете сделать сцену в 3д пакете, выгрузить карту глубины и побаловаться в SD, чтобы получить разные варианты и идеи, которые потом можете реализовать вручную в 3д пакете.

В производстве видеоконтента, конечно, пока что есть много ограничений и нюансов. Полустатичные сцены вполне уже можно делать, не тратя 100500 часов на рендер в Cycles или Redshift. Сцены с движением, экшоном, конечно нужно рендерить уже в профессиональном ПО. Однако, то, что я один за несколько вечеров могу сделать то, что раньше пришлось бы делать месяц - это уже весомый повод для специалистов задуматься действительно ли нейросети это говно или всё таки годный инструмент?

Бонусом статичные картинки: