Новая убийца Sora от Luma AI Dream Machine - мой обзор. Как получить более реалистичные генерации хорошего качества

Годная реклама какого-нибудь ресторана, не правда ли? А ведь я полностью сгенерировала ролик в новой нейросети Dream Machine от Luma AI, которую уже окрестили убийцей Sora. Я протестировала новую нейросеть и ниже поделюсь своими выводами.

Кстати, кто не знает, что такое Sora, в своей статье я по полочкам разложила, что это и почему наделало столько шума.

Luma AI представила свою модель text2video Dream Machine - нейросеть для генерации видео, которая составит конкуренцию популярной нейросети Sora в реалистичности своих видеотворений.

Можно прописать текстом, что вы хотите видеть в конечном видео, а можно к этому еще и приложить изображение, для наглядности, что должно быть на видео

Предупрежу, что сервер иногда бывает перегружен, но, по крайней мере у меня, запросы обрабатывались, но видео не грузилось, просто черный экран, а сегодня все мои видео сохранились, и я смогла посмотреть результат, и он того стоил, скажу я вам, сами потестите. В месяц дается 30 бесплатных генераций.

В моем канале НейроProfit больше полезных нейросетей, о которых я рассказываю.

По моим наблюдениям, лучше всего получаются генерации с предоставлением изображения, а если это еще и крупный план-так вообще. Сами посудите, я взяла изображение крупного плана еды, который я сгенерировала в Midjourney:

Приложила это изображение в качестве референса и прописала вот такой промпт:

Best shot, salty lobster with steam coming over it, good serving, plate edges shining, Michelin star level restaurant, best food photography (Лучший снимок, соленый лобстер, над которым поднимается пар, хорошая подача, края тарелки блестят, ресторан уровня звезды Мишлен, лучшая фуд-фотография)

То есть, использовала структуру, как в Midjourney. Кстати, кто хочет научиться использовать Midjourney, читайте описание профиля. Первый вариант того, что получилось, вы видели на превью, вот вам второй вариант того, что получилось:

Смотрите какое реалистичное качество, чтобы доказать, что лучше всего и реалистичнее получаются кадры именно из готовых изображений, ниже я сравню разные варианты.

Вот например самый простой и беспроигрышный вариант - близкий кадр девушки, все генераторы видео справляются с этой задачей лучше, и результаты получаются реалистичными. Тут изображение я не прикладывала, а использовала вот такой промпт:

Extreme closeup footage of a young sailor woman with a concerned expression during a rainstorm. (Экстремальные кадры крупным планом молодой женщины-моряка с озабоченным выражением лица во время дождя.) - ну как вариант для какого-нибудь отрывка из фильма

Вот первый вариант:

В принципе неплохо, но мне какой-то резкости и четкости линий не хватает

Вот второй вариант:

Не идеал, но честно, на мой взгляд гораздо лучше Pika и Runway GEN-2.

С дальними планами и несколькими людьми в кадре посложнее - появляются артефакты.

Я опять решила просто написать запрос:

three people conferring in an office, a girl on the left is touching her hair with her hand, a man in the center is tapping a pen on a desk (Три человека беседуют в офисе, девушка слева трогает рукой свои волосы, мужчина в центре постукивает ручкой по столу)

Тут я обозначила, что девушка должна быть изображена слева, и она должна трогать волосы, соответственно мужчина должен быть по центру, постукивать ручкой по столу, а выбор третьего персонажа я оставила за Dream Machine, вот что получилось.

Первый вариант:

Надо отдать должное, нейросеть наполовину выполнила мое задание, качество правда не очень, но будем реалистами- это уже что-то, ну и артефакты видно. Женщина действительно теребит волосы, а вот руки мужчины - это отдельный вид искусства )

Второй вариант:

Ну здесь тоже все верно расположены, руки мужчины-более менее, но никто не выполняет заданных в промпте действий.

А теперь давайте сделаем тоже самое, но приложим в качестве референса изображение:

И используем тот же промпт, вот, что получилось на выходе:

Благодаря тому, что я прикрепила реалистичное изображение, которое сгенерировала в Midjourney по своему запросу - с ручкой и поправлянием волос, получилась реалистичная генерация.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.