Экспериментирую с нейросетями

Блин, нейросети, это, конечно, новая хайповая тема с одной стороны, но просто великолепие с другой.

Для меня как для режиссёра - это инструмент, который открывает дверь в мир новых возможностей.

Как сделать видеоклип с нейросетью?
Специально не писал такой заголовок, потому что нахожу его слишком громким. Это ещё не клип, но всё же мне нравится.
Как я это сделал.
Написал текст простой песни.
После прогнал её через нейросеть для генерации музыки Suno.

Хоть она и выдаёт голос с автотюном в большинстве случаев, но нравится мне больше других предлагаемых на рынке решений.

У неё довольно простой интерфейс.

1. Регистриуетесь.
2. После переходите в раздел "Create".
3. Ставите переключатель на Custom.
4. В поле Lyrics вставляете текст вашей песни.
Маленький лайфхак: Используете в текст теги с квадратными скобками, чтобы обозначать части песни, такие как припев, куплет, интри и т.п.
[intro], [Verse], [prechorus], [Chorus], [Bridge].
Это не обязательно, но с такой подсказкой результат выходит более предсказуемым. Если хотите могу сделать большой обзор "Как написать песню в Suno", где разберу не только технические, но и творческие аспекты работы.

После того как песня была готова. Я сгенерировал персонажа.

Я использовал Flux-1, потому что он даёт более реалистичное изображение.

Как пользоваться Flux -1?
1. Переходим по ссылке во Flux - 1 генератор промтов.
Откроется вот такой интерфейс (иногда нужно немного подождать).

Главное в Basic Settings выберите пол персонажа и если нужно, то укажите его описание в поле Custom Input Prompt (optional).

А в разделе Artform and PhotoType в выпадающем меню Artform, выберите Photography. С этими параметрами вы укажите, что хотите получить фотореалистичное изображение.

3. После нажимаем на кнопку Generate Promt и копируем наш промт из поля Generated Prompt / Input Text

4. Переходим в сам Flux-1

Вбиваем наш промт и кликаем на кнопку Run.
Можете ещё указать размер изображения, которое хотите получить.
Я, например, изначально знал, что буду делать вертикальное видео и поэтому сделал фото вертикальным.

Получился у меня вот такой азиат модельной внешности:

Дальше вы можете можете загрузить песню в ИИ Hedra с вашим изображением и получить анимированную голову.
Я сам лично пользовался Нейросетью Heygen.
Как мне кажется она выдаёт качество лучше. Не помню платно или бесплатно делать аватаров с изображением, потому что пользовался оплаченным акканутом.

Монтаж

Описывать сам процесс сборки/монтажа ролика, думаю не буду.
Единственное скажу, что делал в CapCut. Можно было бы воспользоваться Premiere или DaVinci, но этот проект не подразумевал каких-то сложных эффектов и работы с монтажом, поэтому CapCut очень хорошо.
В видео я обрезал моего персонажа, чтобы скрыть некоторые недочёты и плюс добавил "эффект ручной камеры", чтобы скрыть статичность персонажа.
По моему скромному мнению вышло на 4 с плюсом.
Эксперимент однозначно удачный.
Думаю в будущем сделать проект побольше и посложнее.
Всем спасибо.