Создаю в одиночку анимационный фильм "СОЛАНА" Эпизод 2: Тизер-трейлер (лонгрид).

И снова привет, DTF!

Меня зовут Денис, и я сценарист. Этот черновой тизер-трейлер для анимационного фильма "Солана" я создал с помощью искусственного интеллекта.
Уточню, что это не отрывки из готового фильма. Тизер-трейлер создан, чтобы дать представление о будущем фильме, лишь намекая на сюжет и атмосферу.

Подробнее о создании тизера я расскажу ниже. А чтобы узнать больше о проекте, вы можете ознакомиться с предыдущим лонгридом: Эпизод один: «Где всё начинается» Как появилась идея книги и фильма? Зачем нужен этот фильм?

Уточню, что это не гайд и не руководство, а скорее мой личный путь создания данного проекта: от сценария до экрана. Надеюсь, он будет полезен кому-то.

Как я использовал искусственный интеллект для создания уникальных изображений.

Цели:
1. Получить уникальные изображения персонажей.
2. Фоны для локаций/мизансцен.

Сейчас полно артботов — ИИ, которые генерируют изображения по вашему запросу. Например: DALL-E, Stable Diffusion, Midjourney, Piclumen и еще множество подобных, в общем вы и сами знаете - они киборги, они заполонили весь DTF )))

Я использовал Piclumen, но не потому, что он «самый лучший» и так далее. Просто, когда я исследовал и тестировал разные артботы, меня раздражали ограничения с лимитами на генерацию изображений и постоянные намеки на подписки и оплату всяких «кредитов и токенов».

Дело не в том, что они платные, а в том, что бесплатных генераций не хватало, чтобы понять весь функционал, а платить за то, что мне не подходило, не хотелось.

Кроме того, даже необходимость регистрации на этих сайтах отталкивала. (может, это, какой-то феномен?!).

Все это меня утомило настолько, что когда я нашел Piclumen (кстати, на нем тоже пришлось зарегистрироваться), я решил не продолжать поиски. И вот почему:

1. Мне понравилась простота и удобство пользования без всяких долгих заморочек с настройками стилей/моделей – выбрал готовое и вперед!

2. Буквально сразу же я начал получать именно то, что я хотел видеть с визуальной точки зрения. (речь не про детали). Но тут, скорее всего, сработали подробно расписанные параметры промтов/запросов для создания изображений.

3. Приватность: Твои изображения остаются приватными.

4. Права на изображения.

Я не восхваляю данный ресурс. Просто тогда так сошлись звезды, и я остановил свой выбор на нем. Есть гораздо лучшие генераторы изображений. Сам сейчас приглядываюсь, на что «пересесть».

В общем, я клепал себе кучу изображений персонажей, отбирал понравившиеся и редактировал их, если требовалось.

Тут самый важный момент это – подробно прописанный промт для создания изображения. Любой чат-бот с этим справляется. А дальше уже методом тыка я доводил промт для оптимального. Главное – подробно описать персонажа.

Проблема 1: Точность в деталях.

Одной из главных проблем было добиться точности в деталях. ИИ иногда создавал изображения, которые не совсем соответствовали моим ожиданиям. Например, выдавал шестипалых персонажей через раз. А добиться от него идентичного персонажа, хотя бы в двух изображениях, мне так и не удалось - mission impossible.

С одним и тем же промтом ИИ выдавал каждый раз новую личность. Да, они были похожи в целом, но детали портили все. Прическа, глаза, элементы одежды и т.д. – все это хоть чуть-чуть да отличалось. И это никуда не годилось.

Решение проблемы:

1. Негативный промт:

Создание артботом всяких франкейнштейнов с лишними конечностями и т.д., я исключил методом негативного промта – перечисляешь то, что не желаешь видеть на изображении и это отлично работает.

2. Фотошоп:

Идентичность персонажа. А вот тут была засада. Причем конкретная. Да, сейчас у Midjourney есть функция Character Reference, который как бы создан для генерации одного и того же персонажа. Но это тоже далеко от идеала.

Поэтому я выбрал изображение с понравившимся мне персонажем... и банально задействовал старый добрый Adobe Photoshop, благо опыт работы с ним у меня немаленький. Так что, я удалял фон у изображения и банально копипастил персонажей в нужные мне в фоны, предназначенные для различных мизансцен.

С помощью артбота удаление фона занимает несколько секунд. Также на изи можно удалять персонажей, различные детали, объекты.

Уточнение: Позже было найдено другое решение этой проблемы. Опишу его ниже.

Проблема 2:
Очень и очень скоро я понял, что мне не хватает вида модели/персонажа с разных ракурсов – вид сбоку, вполоборота и т.д.

Решение проблемы:
В случае с коротким тизер-трейлером мне удалось вывернуться, хоть и пришлось поизголяться. 3D модель, вид сзади, вид спереди артбот выдавал без проблем и при создании видео с помощью ИИ получился более-менее приемлемый результат – в общем этого хватило. Кстати, позже я нашел варианты ИИ с решением данного вопроса.

Создание видео из изображений с помощью ИИ: Магия в движении.
Когда я в первый раз «скормил» картинку ИИ и получил на выходе очень даже качественное видео, то малость прифигел. От того, как все просто стало теперь, и как все было сложно раньше.

На радостях я наклепал аж практически все нужные мне видео и как грится, опосля только понял, что все придется переделать. А всё из-за киношных деталей, о которых я как дилетант мало того, что забыл, так еще и не знал ничего толком: про цвет, свет и т.д.

А ведь это все является визуальным языком кино. И надо как минимум, все это сделать грамотно. Цветокоррекцию, переходы – все это надо продумывать еще на этапе сценария. Раскадровка - наше всё!

Я, конечно же, представлял себе все сцены, когда писал сценарий и книгу. Но когда картинка начала оживать, стало ясно, что ничего не ясно и надо срочно изучать режиссуру. Хотя бы азы. И в будущем, при составлении раскадровки фильма – все просчитать до мелочей, до каждой детали. Но это потом.

А пока, я пробовал следующие AI генераторы создания видео по изображению: Runway, Pika Labs,Kling AI Hailuo ai. И свой выбор я остановил на Kling AI. Понравилось качество, скорость создания, возможности.

А самое интересное открытие для меня было, что в Клинге я обнаружил решение проблемы с идентичностью персонажа - функцию Custom Models.

Kling AI: функция Custom Models - загружаешь от 10 до 30 различных видеоклипов с персонажем для обучения модели, причем видео должны быть длительностью не менее 10 секунд. И позже, при создании видео, надо только выбирать обученную модель – и персонаж будет идентичен во всех видео. При этом можно делать «съемки» с крупным планом, с разных ракурсов и углов и т.д.

Рукалицо, знал бы я прикуп – не мучался бы ранее с изображениями персонажа и фотошопом.
Что ж, время такое – ИИ с каждым днем становятся более продвинутыми. Так что не удивлюсь, если к завершению моей «эпопеи с фильмом» нейросети будут клепать их за пару минут.

Трудности и их решения:
Проблема 1: Артефакты

Как и артботы, ИИ создающие видео также норовят создать артефакты: лишние пальцы, странная походка, а то и вовсе персонажа чуть ли не в узел скручивает.

Решение: прописывать в негативном промте то, чего не хотели бы увидеть в видео. Например: размытость, лишние пальцы, искажения, низкое качество, зернистость и т.д.

Проблема 2: Недостаток контроля над деталями и поведением персонажей.

Самая актуальная проблема для ИИ. Даже с подробным запросом, полностью детализированным и даже с обучением модели на основе видеоданных – результат получается далеким до идеала.

Получаются типичные видео с лишними ногами и руками, а голова и вовсе может оказаться супротив резьбы ввернута в туловище. И нужной СЛОЖНОЙ последовательности движений добиться практически невозможно.

Потому что это требует очень больших мощностей для ИИ. А это затраты энергии, а следовательно и денежек.

В моем случае, на сегодняшний день, пока что не реально сделать всё только с помощью ИИ, так как я задумал.
Мне нужны сцены боев в стиле магического кунг-фу, бой на мечах и финальная масштабная батальная сцена. А ИИ еще ох, как далек от всего этого.

Решение проблемы: в моем случае – это Motion capture (захват движения). Благо сейчас есть ИИ которые позволяют сделать захват движения по видеозаписи – не нужны съемки с датчиками, с костюмами и дорогим оборудованием.

Runway AI Gen3 : Video to Video позволяет управлять анимацией персонажа. Потрясающее качество мимики и движений. Остается только загрузить видео с игрой актеров и наложить на цифровую модель.

Создание анимационного фильма в одиночку на первый взгляд кажется чистым безумием. Но возможности, которые открываются с использованием ИИ, делают данный процесс вполне реальным. Вызов сложный, но тем и интересен для меня.

Трудности и решения:
По моим подсчетам мне потребуется 9-10 времени для полноценного ежедневного кропотливого труда. На уровень Disney/Pixar я, конечно, не замахиваюсь, но хочется сделать крепкую историю с хорошей анимацией.

1. Озвучивание. В анимации это одна из самых важных частей. Изучив возможности ИИ, я пришел к выводу, что профессиональному озвучиванию еще нет альтернативы. Все же озвучка - это не просто голоса персонажей. Озвучивание – это актерская игра. Это живые эмоции. Затраты: 150 тысяч рублей.

2. Motion capture (захват движения). Чтобы персонажи были более живыми и естественными, потребуется видеозапись с актерской игрой реальных актёров и затем с помощью ИИ перенести эти движения на цифровые модели: Затраты: 300 тысяч рублей.

3. Книга. Черновик написан. Иллюстрации созданы. Небольшой ознакомительный фрагмент я выкладывал в прошлом лонгриде. По книге требуется редактура и корректура. Затраты: 50 тысяч рублей.

4. Музыка и звуковые эффекты (лицензии). Затраты: 50 тысяч рублей.

Общая сумма: 550 000 рублей.
Это конечно минимальная сумма, но с учетом своих средств, должно хватить.

Решение: Тут я решил обратиться к сообществу и создать краудфандинговый проект. Хейта конечно не избежать, хотя я все делаю официально.
Но что есть, по сути, сбор средств?
Это просто предзаказ или точнее - покупка билета в кино.
Тебе понравилась идея фильма, тизер, хочешь увидеть свое имя в титрах?
Ты покупаешь билет и поддерживаешь проект.
Если нет – то никто никого не принуждает.

В общем, кто желает быть причастным к созданию данного проекта и увидеть его на экране – добро пожаловать на борт!
Буду очень благодарен за помощь и поддержку.
Поддержать можно тут.
а просто донаты тут:

Тбанк 5536914075810048

Спасибо за ваше внимание!