Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения

Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и эффектами, и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.

Что нам потребуется:
1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
2. Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно.
3. Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜

Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.

Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт. И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.

Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.

Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.

Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта

Подготовка завершена. Теперь у нас есть отправная точка, фиксируем сид. И настраиваем свет, для этого надо нажать на карандашик рядом с крестиком.

Генерируем, теперь свет у нас с другой стороны.

Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.

И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.

И света снова нет.

А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.

Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт, эффектов и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.

Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.

А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк

С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?

Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.

Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.

И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.

А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.

----

Вот мой список полезных ресурсов:

#stablediffusion #controlnet #гайды #инструкция #automatic1111