Как создать 2D-персонажа с помощью ИИ и анимировать его используя 3D анимацию из Mixamo

Меня зовут Раян, я инди разработчик. У инди всегда есть проблема ограниченности ресурсов, работая в одиночку.

Как можно увеличить процесс создания игр, используя технологии, доступные нам сейчас? Как то я наткнулся на изображения, созданные в Midjourney. В голове возник вопрос, а можно это использовать для создания графики для игр?

Спойлер: да можно)

Мы будем использовать бесплатную версию этой онлайн-версии Stable Diffusion уже обучена под разные стилистики. В настоящее время я обычно использую версию, установленную на ПК, и у нее есть некоторые преимущества, такие как обучение нейронов на возможных изображениях. Так же можно поставить генерировать до 100 изображений (обычно ставлю на ночь) прилично экономит время.

Бесплатная онлайн версия stable diffusion
Бесплатная онлайн версия stable diffusion

Первым делом загружаем силуэт персонажа в окошке. У меня это больше похоже на пятно)

Уметь рисовать как видите не обязательно
Уметь рисовать как видите не обязательно

Далее выбираем модель (то на каких изображениях обучалась ИИ, выше в описании есть примеры). Для данного примера я использую Archer и Classic Disney

После прописываем запрос, что ИИ должен сгенерировать из вашего пятна) Выбираем силу креативности ИИ, чем большее значение тем сильнее результат будет отличаться от той картинки, которую вы загрузили (использую от 0,3 до 0,7)

зомби в старой военной форме, мультяшном стиле

Рекомендую в дальнейшем использовать более подробное описание стиля. Примеры описания

Теперь суть того, как получить результат, который нас устроит:

1) Генерируем изображения и выбираем то, что нам подходит.

2) Заливаем его в нейросеть и генерируем дальше пока не оцениваем нужный результат.

Спустя 2-3 итерации у вас будет изображение, которое вам подходит. Его принадлежность только почистить и дорисовать то чего не хватает (рук, ног и глаз)

3 итерации, немного ручных правок и готов персонаж)
3 итерации, немного ручных правок и готов персонаж)

Для анимации мы будем использовать Cartoon Animator 4, пробную версию можно скачать с официального сайта.

Так же нам понадобится программа iclone 3dxchange 7 от тех же вовлечений.

Программы которые нужно скачать
Программы которые нужно скачать

Коротко о том, что мы делаем

1) Открываем Photoshop и делим персонажа на составные части( голова, шея, руки, кисти, торс, ноги, ступни)

2) Используем шаблон с костями и проводим каждую часть тела на отдельном слое, есть урок на эту тему)

Есть шаблоны болванчиков уже с готовым ригом, нам просто необходима соответствующая часть тела в соответсвующем ему слое. Шаблоны в формате PSD.

3) Заходим в Сartoon Animator 4 и загружаем нашего персонажа.

Загружаем персонажа с готовым ригом
Загружаем персонажа с готовым ригом

Переходим в папку 3d анимации и перетаскиваем нужную анимацию на персонажа.

Стандартная 3д анимация из коробки

В библиотеке СА4 есть небольшое количество 2D и 3D анимаций. Так же у них есть магазин с пакетами готовых анимаций, но их не так много и они стоят денег)

Есть способ расширить этот функционал, используя бесплатную загрузку анимаций Mixamo.

Анимация взятая с библиотеки Mixamo

Как именно это сделать более подробно опишу в следующей статье.

Подписывайтесь на телеграмм канал, там я выкладываю посты обо всем, что касается ИИ и графики для игр.

Интересная статья по этой теме👍

254254
26 комментариев

Не задумывался что можно 3Д анимацию в 2Д перевести. Довольно любопытный подход. Под определенные условия конечно, но кое-где время точно сократит.
Работает только с человекоподобными персонажами? Или можно свои риги создавать?

5
Ответить

В шаблонах CartoonAnimator4 есть четвероногие персонажи, и что то на подобии гусеницы)

3
Ответить

большой респект за статью, ты меня сподвиг все бросить и смотреть что это такое

2
Ответить

☺️👍

2
Ответить

Интересно, даже 3д прикрутил)
Здорово что моя статься нашла отклик 😀

2
Ответить

Крутая статья, спасибо)

1
Ответить

Очень круто! Действительно шикарный подход. До реального художника пока не дотягивает, но для инди разработчика это просто меняет всю реальность.

2
Ответить