Фильм по сценарию ChatGPT сделан при помощи 9 нейросетей

«SCP-012. Проклятый рефрен»

Этот хоррор-фильм – эксперимент. Изначально я нацеливался вложить как можно меньше человеческого труда, и как можно больше нейросетевого. Это не мультипликация и не кинематограф в привычном понимании, сам ChatGPT определил название для жанра – нейросинематограф. При создании фильма использовано 9 нейросетей.

#ChatGPT для написания сценария. За основу взят сюжет «SCP-012. Скверная мелодия» из вселенной вымышленной организации SCP Foundation, которая собирает и хранит артефакты и существа со сверхъестественными способностями. С помощью ChatGPT текст расширен в несколько раз, добавлены детали.

#StableDiffusion и #Midjourney для генерации изображений. Преимущественно использован SD, с чекпоинтом ClassicNegative (SD2.1), он даёт атмосферные картинки, но очень плохо справляется с лицами. Использование разных нейросеток, SD и MJ, усложняет работу – проблемно синхронизировать визуальный стиль.

#PikaLabs и #GEN-2 для создания анимации из текстовой затравки. Кроме генерации видео из текста эти нейросети умеют анимировать фотографии: добавлять развивающиеся волосы, подмигивания, движения руками т. п.

Большая часть анимаций создана на основе изображений при помощи плагина для стейбла Depthmap script. У меня есть обучающее видео с инструкцией по использованию этого скрипта.

#Refacer – дипфейк программа для изменения лиц на видео.

#TopazVideoAI – мощная нейросеть для увеличения разрешения видеороликов.

#MusicGen – для создания саундтреков. Об этой нейросети у меня тоже есть обучающее видео с установкой и использованием.

#Steosvoice – платный сайт для синтеза голоса, с ним возникло много проблем, а служба поддержки просто не отвечает на письма. Не рекомендую использовать этот сайт. Лучше используйте бесплатные синтезаторы голоса Bark или Tortoise.

__________________

В создании фильма участвовали:

Монтаж/Музыка

Нейрохудожники

Референс дизайн

__________________

Интересуетесь возможностями нейросетей – подписывайтесь на мой телеграм.

Хотите узнать, как использовать нейросеть Stable Diffusion – записывайтесь на мой курс. Научу вас работать в SD Automatic. С программой курса можно ознакомиться в боте курса.

55
2 комментария

Для text2voice можно Seliro использовать. У них есть несколько готовых моделей голосов.

Ловлю вайбы рентвшных rytp начала 10-х годов, типа этого
https://youtu.be/tUIOdhn_Nhc