Кейс: рисуем персонажа с помощью нейросети

Меня зовут Олеся, я концепт и 2D художник. Обучаю других художников и студии внедрять Stable Diffusion в свою работу. Сегодня я расскажу о процессе создания персонажа с помощью нейросети.

Финальный результат
Финальный результат

Создание похожего персонажа в студии обычно занимает около недели. Но мы можем оптимизировать этот процесс и сократить его до 1 дня.

Обычно при создании персонажа на проекте есть много требований и ограничений: стиль, ракурс, пропорции, рост персонажа и так далее.

И художнику будет быстрее набросать скетч и далее отрендерить его в Stable Diffusion, чем пытаться с нуля уговорить нейросеть точно попасть во все требования проекта (если только вы не обучили нейросеть стилю ваших персонажей).

Поэтому мы разберём этот кейс как самый популярный.

Процесс работы

1. Скетч

У меня уже была четкая идея в голове: я хотела нарисовать рыжего самодовольного кота в расслабленной позе и в подростковой одежде, в казуальном стиле. Я собрала референсы и набросала цветной скетч в Photoshop.

Если у вас ещё не сформировался четкий образ по вашему ТЗ, вы можете дополнительно нагенерировать себе референсов и получить больше идей для создания персонажа.

Скетч - 1 час
Скетч - 1 час

2. Лайн (опционально)

Далее можно было бы сделать аккуратный лайн, чтобы в дальнейшем рендер тоже был более аккуратным и пришлось меньше править. Но я оставила текущий скетч, так как хотела использовать его как отправную точку. Например, я не хотела тратить много времени на прорисовку обуви, так как знала, что нейросеть сама предложит мне хорошие варианты.

3. Рендер персонажа

Я использовала ControlNet для рендера персонажа, модель Delibarate и свой обученный казуальному стилю embedding (если вы хотите хорошее попадание в определенный стиль или стиль вашего проекта - нужно обучать нейросеть).

Меняла промт, сид, и силу ControlNet, чтобы получить больше интересных вариантов. Понравившиеся увеличиваю в размере с помощью Upscale.

Я использую Stable Diffusion, установленный на компьютер, и не использую сторонние сайты (которые обычно платные после нескольких генераций). Если мы выполняем рабочую задачу, то так мы не загружаем NDA-файлы в сеть и сторонние сервисы - всё происходит локально на нашем компьютере.

Вот несколько из тех генераций, которые я получила в процессе:

30 мин
30 мин

Первые два были сгенерированы с помощью казуального обученного embedding'а, вторые внизу - без. Видно, как это влияет на стиль изображения.

Для дальнейшей работы я остановилась на первых двух вариантах в качестве основы.

Для наглядности показываю переход скетча в рендер. Кажется, что работа почти готова, но дьявол кроется в деталях! >:)

Скетч и генерация по нему
Скетч и генерация по нему

И тут мы переходим к следующему этапу.

4. Полишинг

Если мы приглядимся, то увидим множество артефактов, которые нужно поправить. Сделав аккуратный лайн, мы могли бы избежать линий, выходящих за края подбородка и обуви. Но убрать эти линии руками займет столько же времени.

Примеры артефактов
Примеры артефактов

Я правлю все артефакты, совмещаю генерации между собой и накладываю одежду из более реалистичных вариантов в разных режимах наложения.

Текущие глаза мне не нравятся, я возвращаюсь в SD и с помощью Inpaint перерисовываю их:

Inpaint глаз (остальные изменения были сделаны в Photoshop)
Inpaint глаз (остальные изменения были сделаны в Photoshop)

Вот такие изменения получились в итоге:

Процесс полишинга занял 1,5 часа
Процесс полишинга занял 1,5 часа

Сделала gif для наглядности всего процесса:

От скетча до финала

В итоге вся работа с нуля заняла примерно ~3 часа.

А с учетом фидбеков и апрувов можно уложиться в 1 рабочий день.

Вывод

Создание персонажа в студии, которое раньше занимало неделю, теперь может быть сокращено до одного рабочего дня или даже нескольких часов.

Однако важно подчеркнуть, что нейросети дополняют инструментарий художника, а не заменяют его. Они могут помочь в поиске идей, рендеринге и проработке деталей - в общем, ускорить процесс работы.

Но как и любой инструмент, они требуют правильного применения и понимания своих возможностей и ограничений.

Надеюсь, этот материал оказался полезным и вы узнали что-то новое.⭐

🔸 Ещё мои статьи:

🔸 Если вы хотите освоить Stable Diffusion — приходите ко мне на курс. На сайте можно посмотреть программу и работы студентов! 🔥

🔸 Мой блог, где вы найдёте больше полезных постов.

6969
83 комментария

Снова реклама курсов по нейромазне.
У тебя на финальном варианте ремень буквально ни для чего не нужен. Он существует сам по себе и даже штанами не закрепляется что в выбранном варианте от нейронки, что после твоих "правок". Плюсом идёт правый заплывший глаз и каким-то чудом покрашенный в цвет хвоста край штанов в финальном варианте.
И если вы такой простой дизайн для казуалок делаете неделю без нейронок, то я даже хз что сказать.

12
Ответить

Судя по вашим комментариям на сайте, вы - большой ценитель. :)
Но, к сожалению, я не кормлю троллей.

P.S. джинсы разные бывают, не везде ремень одинаково крепится, хоть нам и привычно спереди.

1
Ответить

Как нарисовать сову (Stable Diffusion edition)

7
Ответить

Хороший текст! А можешь пожалуйста рассказать, какой набор инструментария ты используешь в плане генерации и ее догенерирования?

5
Ответить

Только Stable Diffusion

Ответить

В названии статьи "подробное описание", почему не озвучены параметры Denoising strength, Control net итд для данной генерации, без этой инфы, считаю статья бесполезная

4
Ответить