Готик-арт и неожиданные пайплайны

Или как повелевать нейросетью при помощи порноигры.

Буэнос диас, нейроартисты и за ними следящие.

В нашем коммьюнити закрепилась традиция покупать себе RTX, и я с кайфом ей последовал. Гугл коллаб, отныне иди ты в пень со своими лимитами!

И вот, играясь на новых мощностях, я наконец добрался до контролнета, и мне напрочь снесно крышу. А когда я шутки ради попробовал кое-что сделать...

Короче говоря, пристегнитесь - мы едем в страну костылей и выкрутасов, коими славится нынешний этап развития технологии.

Сабж

Есть такая старая, но знакомая не очень узким круга игра:

ИРРЮЖУН
ИРРЮЖУН

Геймплей описывать не буду - люди культуры и так знают/догадываются.

Нам нужно другое - в игре мало того, что есть генератор персонажей...

Не смотрите на всратые скриншоты из первых результатов гугла - возможностей в качественной сборке куда больше.
Не смотрите на всратые скриншоты из первых результатов гугла - возможностей в качественной сборке куда больше.

..Так еще и студия, в которой можно расставлять их в какие угодно позы в каком угодно окружении:

И еще немного всратости из гугла
И еще немного всратости из гугла

А вспомнил я о ней потому, что в ходе спасения данных со старого компа наткнулся на билд внки, которую пытался сделать при помощи всего этого инструментария:

ВНки так и не получилось, но меня осенило - в наше непростое время возни с контролем генерации персонажей при помощи контролнета, почему бы не опуститься на слой ниже, и не задавать персонажей вместе с их позой еще до работы в самой нейронке?

Да, опенпоуз и куча костылей к нему прекрасны, но еще интересней скармливать нейросети почти готовый результат вместо попыток понять, где у скелета ухо, а где глаз (сорян, накипело).

Решено было начать с простого - закинуть сделанные для игры спрайты персонажей и посмотреть, что произойдёт.

Первой была Лилит:

А как еще можно назвать женщину-демоницу? Вот только по сюжету невышедшей игры ей это не особо и вкатывает.
А как еще можно назвать женщину-демоницу? Вот только по сюжету невышедшей игры ей это не особо и вкатывает.

И вот что произошло, когда я сгенерировал арт на основе одной лишь обработки в ControlNet - в промпте не было ничего, кроме worst quality, (low quality:1.4) в негативе:

На этом месте я вскрикнул, чуть не упал со стула и преисполнился восхищением
На этом месте я вскрикнул, чуть не упал со стула и преисполнился восхищением

"Охуеть" - подумал Штирлиц.

Далее я попытался описать в запросе ее внешку, но из-за моего колористического кретинизма не попал в цветовую гамму:

Помогите автору понять, какого цвета волосы и одежда были изначально. Pink не предлагать.
Помогите автору понять, какого цвета волосы и одежда были изначально. Pink не предлагать.

Я не поверил своему счастью, и решил попробовать другого персонажа:

А это Клэр - замученная жизнью и начальством администратор отеля.
А это Клэр - замученная жизнью и начальством администратор отеля.

На этот раз у меня получилось - промпт попал в детали, что в принципе не удивительно - office lady, glasses, leather skirt не самый сложный набор тегов:

Готик-арт и неожиданные пайплайны

Что ж, если оно умеет менять/повторять детали, то можно пойти с этим в страну креатива. Пробуем!

Закидываем в контролнет другой, более уверенный в себе спрайт:

Готик-арт и неожиданные пайплайны

И после обработки моделью depth получаем вот такую маску:

Могло быть и лучше, но для демонстрации возможностей оставим пока так.
Могло быть и лучше, но для демонстрации возможностей оставим пока так.

А дальше вы знаете - составляем промпт, генерируем, закидываем в инпейнт и тд. Не буду показывать весь процесс, покажу лишь свой скромный результат:

Кибервампирша, хо! Провода появились из-за кривой маски, но выглядят крайне эффектно - решил оставить.
Кибервампирша, хо! Провода появились из-за кривой маски, но выглядят крайне эффектно - решил оставить.

!!!Важная деталь - контролнет можно оставлять включенным во время инпейнта, так ваши правки не будут вылезать за пределы выставленных контролнетом ограничений. Это прекрасно, когда вам нужно сохранить определенные черты персонажа, но лучше выключать, когда вы идете править что-то еще, например фон.

Короче говоря, я предварительно в восторге. Лица и руки при таком пайплайне (слово-то какое, лол) в безопасности, потому что ты скармливаешь нейронке практически готовый результат - поза и персонаж есть, всё остальное - постобработка.

Мои эксперименты продолжатся, так что я вернусь позже и что-нибудь ещё обязательно продемонстрирую. Попробуйте и вы.

А на сегодня всё - подписывайся на волшебный телеграм-канал - там есть сиськи, непотребства и бесконечные попытки разобраться, как работает этот проклятый #stablediffusion

P.S. Вот вам анекдот напоследок - встречаются два нейрохудожника, один другому говорит:

-Ну и запросы у тебя!

4040
6 комментариев

Мам купи игру, мне она нужна для рисования)

4
Ответить

Как говорится - "это не порнуха, это референсы"

5
Ответить

Обожаю девушек готок)

3
Ответить

Оформляй подписон, брат

Ответить

Лица и руки при таком пайплайне (слово-то какое, лол)

Я хз кто додумался назвать просто последовательность действий "пайплайном", но блин... Со словом пайплайн в первую очередь асоциируется автоматизация, конвеер, комбинация автоматически выполняемых простых команд, вывод одной подаётся на вход другой.
А тут "нейрохудожники" всё ручками делают и называют это "пайплайном". Хтьфу.

Ответить

3D-шники, художники и прочие геймдевы вообще слегка не от мира сего: воркфлоу называют пайплайном, овертаймы – кранчами..
Единственная группа, от которой я такое услышал. В остальных IT-местах называют одинаково.

Ответить