3d редактор поз для ControlNet в Stable Diffusion

Друзья, совсем недавно, когда только появился редактор для OpenPose я ванговал, что через пару недель у нас появится редактор поз прямо на странице генерации около ControlNet и мы сможем быстро и просто генерировать позы и даже сохранить свои самые используемые позы в библиотеку. Помните?
Но я даже и подумать не мог, что это будет в 3д, т.е. нам больше не нужен этот гайд чтобы перевернуть персонажа! Встречайте - Posex!

3d редактор поз для ControlNet в Stable Diffusion

Что нам потребуется:

  • Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
  • Промпт по которому мы будет генерить изображение, у меня Бунтарка, у вас может быть кто угодно.

Установка расширения как всегда простая, отправляемся в Extensions - Avalibale - Load from. Находим в списке Posex, жмем Install, Возвращаемся на вкладку Installed и жмем Applay and restart UI. Если все прошло хорошо, то у вас появился новый аккардеон на вкладках txt2img и img2img с названием Posex, как у меня на картинке выше.

3d редактор поз для ControlNet в Stable Diffusion

Чтож, начнем с промпта, раз мы можем теперь крутить куклу во все стороны, то сделаем Бунтарку балериной танцующей в розой балетной пачке.

У меня получилось так, теперь фиксируем сид и отправляемся в Posex. Начнем с того, включим галочку Send this image to ControlNet, чтобы оно вообще активировалось, не забудьте в самом ControlNet выставить модель OpenPose, препроцессор не нужен. Не знаю бага это или фича, но у меня даже при снятой галочке Enable в ControlNet все равно трекалась поза из Posex.

3d редактор поз для ControlNet в Stable Diffusion

Теперь выставим разрешение такое же как и наша генерация - 512х768, просто пишем в Canvas Size. Когда разрешение выставлено можно нажать на кнопку Add и добавить куклу в окошечко. Вот так это выглядит у меня.

3d редактор поз для ControlNet в Stable Diffusion

Запускаем генерацию, чтобы проверить как это все работает. А работает все отлично, получи ли Бунтарку в розовой пачке и Т позе.

3d редактор поз для ControlNet в Stable Diffusion

Значит можно приступить к редактированию позы. Но сначала разберемся в управлении. Кликните и удерживайте левой кнопкой мыши в пустое место на черном фоне и сместите мышку, таким образом вы можете повернуть куклу боком.

3d редактор поз для ControlNet в Stable Diffusion

А вот что у нас сгенерировалось, не смотря на фиксированный сид задник меняется, стоит использовать еще один слой ControlNet, если хотите зафиксировать задник.

3d редактор поз для ControlNet в Stable Diffusion

Когда надоест крутить персонажа, просто нажмите Reset Camera, потому что нормально вернуть куклу в изначальное положение у меня не получилось =)

С помощью колесика мышки вы можете приблизить или отдалить персонажа. А если кликните правой кнопкой мышки и удержите то сможете сдвинуть камеру в стороны. Я приближу чтобы получить super closeup, хотя пока это больше похожа на муравья.

3d редактор поз для ControlNet в Stable Diffusion
3d редактор поз для ControlNet в Stable Diffusion

И вот что у нас получается на генерации, Бунтарка явно удивлена таким пристальным вниманием.

С базовым управлением разобрались, осваиваем ключевую механику, передвигаем кости. Как это сделать наведите курсором мышки на сустав который хотите передвинуть и как только увидите рамку вокруг куклы, значит кликайте и тяните в нужную сторону.

3d редактор поз для ControlNet в Stable Diffusion

И так, вроде разобрались, теперь время придумать какую-нибудь креативную позу, этот редактор действительно удобнее чем OpenPose, так что уж теперь-то это не займет много времени.

3d редактор поз для ControlNet в Stable Diffusion
3d редактор поз для ControlNet в Stable Diffusion

Вот такая поза получилась у меня, это не кандратий, это балет. Генерируем.

3d редактор поз для ControlNet в Stable Diffusion
3d редактор поз для ControlNet в Stable Diffusion
3d редактор поз для ControlNet в Stable Diffusion

Отличный результат, а теперь давайте повращаем нашу балерину.

Думаете что в этом слишком мало экспрессии и динамики? Не проблема, выставим камеру сверху под каким-нибудь странным углом.

3d редактор поз для ControlNet в Stable Diffusion
3d редактор поз для ControlNet в Stable Diffusion

Другое дело, что еще можно делать интересного, вы можете сохранить позу в библиотеку поз и использовать её повторно, для этого нажмите Save Pose, и после того как укажите имя для позы она сохранится внизу. Еще вы можете сохранить картинку с позой отдельно или копировать её в буфер обмена, чтобы вставить куда-нибудь.

3d редактор поз для ControlNet в Stable Diffusion

Еще можно загрузить сюда фон, чтобы примерить как будет выглядеть персонаж, а фон потом можно сделать через ControlNet.

3d редактор поз для ControlNet в Stable Diffusion

Но для этого придется сохранить карту с позой и загрузить её через ControlNet, потому что на момент написания этого текста многослойный ControlNet и Posex работают не корректно, может быть это уже исправиться к тому моменту как вы это читаете, так что проверьте. А пока снимите галку с Send this image to ControlNet в Posex. Теперь закинем все по отдельности в ControlNet, у меня выглядит так.

3d редактор поз для ControlNet в Stable Diffusion
3d редактор поз для ControlNet в Stable Diffusion

И вот такой прекрасный результат получаем, Бунтарка танцует на сказочной полянке в окружении облачков.

3d редактор поз для ControlNet в Stable Diffusion

По моему отлично, мне нравится новый редактор. Уверен он понравится и вам, он конечно еще очень сырой и глючный, но пользоваться им уже удобнее чем OpenPose Editorом.

А на этом у меня все, увидимся на стримах!

Хотите научиться создавать такие же нейро-шедевры? Участвуйте в онлайн-интенсиве НЕЙРОБУСТ и изучите все основные инструменты и технологии для работы с нейросетями всего за два дня! Посмотрите программу и зарегистрируйтесь через телеграм-бот.

Вот мой список полезных ресурсов:

  • Арт-нейросети от Neural Dreaming основной канал по нейросетям - подпишитесь, чтобы быть в курсе всего!
  • Neural Dreaming на YouTube тут проводятся стримы и выкладываются гайды - подпишитесь!
  • Neural Dreaming на Boosty - записи всех стримов, ххх сеты, ассеты и секретные гайды только для подписчиков, и доступ в чат для самых продвинутых.
  • ДЕНЬГИ - чат, где мы учимся зарабатывать на наших нейро-талантах вместе с настоящими профи.
  • ЧЕЛЛЕНДЖИ - группа с новыми нейро-челенджами каждый день - участвуй!
  • СКЛАД - все, что нужно для вашей нейросети: лоры, модели, эмбединги - осторожно, там нет цензуры.
  • АДМИНСКАЯ - группа для администраторов нейро-каналов, добавьте свой канал в био, прежде чем подавать заявку.
  • Чат нейро-операторов - общайтесь, задавайте вопросы, делитесь опытом с более чем 500 нейро-операторами
150150
72 комментария

Комментарий недоступен

20
Ответить

3дешникам скоро тоже кранты... Сетка сможет генерить 3д форматы.

4
Ответить

Охуеть. А теперь раздвинь ей ноги

9
Ответить

Комментарий недоступен

4
Ответить

Я никогда не запомню(

6
Ответить

ты его ник видел?

4
Ответить

Но бусти мы укажем

1
Ответить