Как художнику использовать нейросети в работе

Какое место AI занимает в жизни проф. художника в геймдеве? Рассказываю 10 способов применения нейросети в рабочих задачах.

Обо мне

Меня зовут Олеся, я концепт и 2D художник в геймдеве. Обучаю других художников и студии внедрять Stable Diffusion в свою работу.

Многих художников волнует ситуация вокруг нейросетей: используют ли их студии, нужно ли их изучать и как же их применять в работе. Идея статьи родилась благодаря моим читателям и я, как художник, поделюсь своим опытом и популярными способами применения нейросети.

В первую очередь я рассказываю про геймдев, но всё это художники могут применять и в других областях, будь то книжная или коммерческая иллюстрация.

Геймдев студии

Многие геймдев студии, включая OWL Studio, Belka Games и Playkot уже активно применяют AI. Некоторые, как G5 Entertainment, даже открывают специальные вакансии как Principal AI Artist.

Не все студии афишируют использование нейросетей, но многие так или иначе применяют в работе. Сама я тоже консультировала несколько студий по вопросам внедрения Stable Diffusion и обучала целые арт-отделы компаний.

Нейросети уже никуда не денутся и это наша новая реальность. Чтобы оставаться востребованными, художникам и другим специалистам стоит их освоить.

Вакансии и тестовые с AI

Сегодня в требованиях к кандидатам на позицию художника часто указывают наличие навыков работы со Stable Diffusion или Midjourney. Как дополнительный или даже основной навык. Теперь это такой же инструмент в нашем арсенале, как Blender или Photoshop.

Даже тестовые задания для художников порой включают в себя отдельные задачи, связанные с применением ИИ — и это актуально как для СНГ, так и для Европы. Как художник, я лично с этим сталкивалась.

1. Генерация референсов и идей

Если вам нужно визуализировать идею, вы можете нагенерировать себе референсы - на концепт, стиль, композицию и так далее. На анатомию всё ещё не стоит. 😅

Клиенты активно пользуются этим и присылают задачи с уже сгенерированными идеями и концептами. Также и студии, при отсутствии референсов, набрасывают идею быстро с помощью нейросети и отправляют клиенту для апрува. Это стало нормой, ведь это быстро и удобно.

Вот пример, как художник YangZhengXin сначала генерирует референсы в Midjourney, а затем делает свой скетч и рендерит его с помощью Stable Diffusion.

2. Рендер

Мой самый любимый метод использования нейросети - это рендер рисунков. Художнику чаще быстрее набросать скетч, чем добиваться словами нужной позы и образа от нейросети, который засел в голове.

Также это удобно, когда идея уже сформирована и её нужно только реализовать: в конкретном ракурсе, пропорциях, стиле и т.д.

Вот пример моего скетча кота, который был отрендерен в Stable Diffusion и затем доработан в Photoshop. На разработку такого персонажа в студии может уйти одна рабочая неделя. А с ИИ работа сокращается до 1 рабочего дня.

Конкретно этот персонаж был создан за ~3 часа, подробнее рассказываю здесь.

Вот ещё примеры моих работ с тем же пайпланом: сначала скетч, затем рендер в SD, и после полишинг в Photoshop, стиль при этом может быть любым:

Тот же пайплайн и у студии Uowls:

3. Доработка изображений (правки)

С помощью функции Inpaint мы можем вносить правки в любую часть изображения. Мы можем править как сгенерированную картинку, так и собственную.

Этот зелёный лист я быстро поправила прямо в Stable Diffusion и его не пришлось перерисовывать руками:

Аналогично с глазами у кота:

4. Обучение нейросети

Обучение нейросети для нас важно, когда мы хотим попасть в конкретный стиль: в стиль текущего проекта или задачи. В мобильном геймдеве, например, казуальный стиль остается в тренде, но каждый проект привносит свои уникальные нюансы. Поэтому лучше всего обучать нейросеть под проект или под узкую задачу.

Например, для примеров рендера выше нейросеть была обучена казуальному стилю. Обучить можно любому стилю и даже персонажу, чтобы затем генерировать его в различных ситуациях и позах.

Наглядное сравнение одного промта с обычной и обученной нейросетью:

Как художник, вы можете так же обучить нейросеть рисовать в вашем стиле с помощью уже существующих ваших работ, что тоже удобно.

5. Генерация ассетов

При помощи обучения нейросети мы можем расширить уже существующую линейку ассетов, будь то иконки или персонажи. О том, как можно с нуля создать 50 игровых иконок за 6 часов (вместо 40) я рассказывала здесь.

6. Matte Painting/Photobash

Уже сейчас на Artstation продаются паки сгенерированных референсов, в том числе для фотобаша. Мы можем сгенерировать их сами или использовать готовые. Вдруг нам нужно срочно добавить персонажу кудряшки или складки на одежду?

Это особенно удобно для игр в жанре Hidden Object, где фотобаш — это основа работы для создания реалистичной картинки. Вот ещё примеры сгенерированных персонажей, которые могут отлично туда вписаться:

Если вы владеете SD, то вы можете в пару кликов выбрать позу для персонажа и сгенерировать любую одежду. В общем, сказка для фотобашеров!

Также на сцену вышел Generative Fill в Photoshop — он может помочь с фотореалистичной графикой, со стилизацией обычно справляется хуже. Пока он всё ещё уступает в функционале и гибкости другим нейросетям, но в каких-то кейсах может сгодиться для фотобаша.

7. Создание ракурсов персонажа

Мы также можем сгенерировать персонажа в 3 ракурсах при помощи нейросети. Обычно из-за несостыковок эту картинку нельзя использовать как финальный результат, но это может стать хорошим стартом при отрисовки концепта для 3D-моделера.

8. Постобработка 3D-графики

Художники часто создают 3D-болванки под обрисовку при создании фонов или иллюстраций. С помощью Stable Diffusion мы можем за пару минут сделать постобработку, доработав мелочи руками.

Вы уже посчитали, сколько времени можете сэкономить? :)

9. Использование в анимации

Если вы анимируете, то можете сгенерировать части персонажа для вашей анимации или дополнительные объекты. Вот пример от Алексея Чернова, где для леопарда генерировались лапки по скетчу, а для орла — крылья, которые были взяты за основу и доработаны.

10. Hand-paint текстуры

С помощью масок и карты глубины мы можем сгенерировать текстуру для нашей 3D модели. Подробнее об этом рассказывает CataRackta в своей статье.

Так же мы можем сгенерировать бесшовные или обычные текстуры:

Как мы видим, способов применения нейросети для рабочих задач довольно много и все эти способы можно переплетать друг с другом, добиваясь нужного нам результата и создавая новые пайплайны.

Выводы

Надеюсь, этот материал оказался полезным и вы узнали что-то новое.⭐

🔸 Ещё мои статьи:

🔸 Если вы хотите освоить Stable Diffusion — приходите ко мне на курс. На сайте можно посмотреть программу и работы студентов! 🔥

🔸 Мой блог, где вы найдёте больше полезных постов и моих мыслей.

🔸 Artstation | LinkedIn

#gamedev #художники #2d #нейросети #stablediffusion #stablediffusionai #геймдев #ai #ии #искусственныйинтеллект #разработка_игр #дизайн #арт #art #artificial_intelligence #генерация_арта #art_generation