Нейросеть Stable Diffusion и ночная женская красота. Часть 3
Заключительная часть попыток найти что-нибудь годное и сгенерировать такие вещи, после которых можно с точностью сказать, что оно того стоило. В предыдущей и самой первой мы могли лицезреть всяких благородных дам, порожденных моделью Waifu Diffusion. Эта же подборка была создана с помощью модели Babes. Как её использовать читайте далее.
О чем модель?
Назначение этой модели генерировать девушек. С особыми формами. И делать это в самых разных диапазонах художественных стилей. База у этой модели Stable Diffusion версии 1.5 + другие кастомные (созданные людьми под свои цели) модели, на которых она основана.
Установка модели
Чтобы скачать и установить её, отправляемся на сайт civit.ai, являющийся одним из крупнейших репозиториев кастомных моделей, создаваемых людьми. Предполагается, что у вас уже установлен полный пакет Python + CUDA (с позиции владельца Зеленой видеокарты, под которые гайды и пишутся в подавляющем числе случаев) + графический интерфейс для работы с нейросетью Stable Diffusion под названием Stable Diffusion web UI. Как его устанавливать (да и все остальное) вы можете прочитать в первом посте этой серии, там все ссылки на гайды. Когда же всё готово, то делаем следующее:
- На страничке модели нажимаем на Download Latest (3.59 GB), это собственно сама модель
- Вам также понадобится VAE-файл для лучшей работы с цветом (variation autoencoder, одна из важнейших частей нейросети, что это такое и почему так важно простыми словами объясняется тут и тут). Взять файл можно здесь.
- Итак, у вас скачана сама модель и VAE файл. Помещаем VAE файл в папку stable-diffusion-webui/models/VAE , а модель в stable-diffusion-webui/models/Stable-diffusion или же можно их обоих поместить в одну папку с нашей моделью, то есть stable-diffusion-webui/models/Stable-diffusion.
- Переименовываем файлы так, чтобы их основная часть до первого расширения (точки) имела одинаковое имя (к примеру babes_model). А VAE файл переименовываем меняя ему расширение на *.vae.pt. Таким образом имя файла модели у нас будет babes_model.safetensors, а VAE файл будет называться babes_model.vae.pt
- Запускаем SD Web UI (и не забываем обновлять SD Web UI: в корневой папке, где *.bat файл для запуска, открываем командную оболочку вашей ОС и пишем git pull, а как сделать так, чтобы это работало - снова читайте первый пост, пожалуйста)
Настройка модели
Теперь момент настроек. Внимательно прочитайте советы автора этой модели, чтобы получить как можно более красочные результаты. Я же использую вот такие настройки:
- В Settings в разделе Stable Diffusion выбираем наш VAE файл, применяем результаты
- В основном окне text2img я устанавливаю такие значения:
Width и Height можете менять, если вам нужно, чтобы персонаж находился в иной позе (нейросеть подстраивается, но ЕСТЕСТВЕННО вы должны написать об этом в положительном prompt-е), а еще картинки из этого поста генерировались со значениями CFG Scale от 7,5 до 30, поэтому смотрите сами на ваш вкус (что означает этот ползунок читайте в первом посте).
Обратите внимание на работу Upscaler-ра, который и обеспечивает перевод изначально сгенерированной картинки в новую с увеличенным разрешением. С ним отдельные детали могут изменяться, накладываться "шум" (Denoising Strength), смешиваясь, и создавая еще большие варианты вашей картинки из которой потом может получиться в ходе работы апскейлера что-то новенькое. Обычно я работаю с 0.6-0.7, но, конечно же, эксперимент - отец нового, поэтому пробуйте и другие значения.
Ну и промпты (prompt). Для положительного, я использовал вот этот промпт и его вариации:
Отрицательный промпт:
В сочетание с вашим терпением и трудолюбием вашей видеокарты, вам хватит с избытком, чтобы снова и снова создавать самые разные "формы" и оформления, на фоне которого будет располагаться персонаж. Модель достойная, но требует (наверное как и все) тонкой настройки под свои предпочтения. Prompt-ы сила! Поэтому составляйте их с проработкой всей сцены (тут можно почитать о том, как усиливать или ослаблять разные детали)
И в заключение вот все оставшееся, что сгенерировала модель за многие попытки (есть некоторые сходства, "эффект близнецов" присутствует, но надо сказать он не так силен как в Waifu Diffusion; присутствуют проблемы с пальцами (как обычно); еще среди этих картинок много тех, что были сделаны в начале моих попыток понять как модель работает, поэтому есть странности с глазами, артефакты, и может некая непоследовательность стиля, но все равно решил показать лучшее из того что получилось (хотя знаю, что многие это заметят и им это не понравится, ничего страшного - все исправляется более точным промптом и img2img, пробуйте обязательно сами)):
Тотальный список ссылок на все нужные гайды и ресурсы по нейросетям и моделям
Здесь собрано ВСЁ, чем я пользовался (включая то, что в первом посте), чтобы нагенерировать картинки. Надеюсь, вам он будет тоже полезен.
Спасибо, что прочитали!