ControlNet. Полный контроль над светом
TLDR: Че тут происходит вообще? Я тут делюсь своим опытом по работе с нейронками. Если тебе эта тема интересна, но ты только начал вникать загляни ко мне в профиль или в конец статьи, там есть полезные ссылки. Сейчас это может быть слишком сложным для тебя.
Сегодня расскажу про одну из самых вау фишек ControlNet.
Интересно что эта возможность была доступна со старта, но ее не сразу нашли.
Прежде чем начать, кратко для новоприбывших, как установить контролнет. В автоматике идем в Extension-Available жмем Load from. Ищем ControlNet, жмем Install. Скачиваем модели. Сегодня нам понадобится depth. И кидаем по пути ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models. Всё. Вы готовы. Можем начинать. Если не совсем готовы можете прочитать мою статью про ControlNet - полный контроль над позой и положением персонажа. И Установка и объяснение настроек Control Net. (Копирование позы, композиции и т.д.)
Запускаем наш automatic1111. Нам нужна сгенерированная картинка с которой будем работать.
Я возьму старую и закину в img2img через pngInfo чтобы применились все настройки генерации.
Теперь нужно активировать ControlNet и закинуть в него туже самую картинку. Препроцессор выбираем depth модель control_depth.
Что мы сделали? У нас все параметры генерации настроены так, чтобы сгенерировать ту же самую картинку. Но генерировать мы ее будем по карте глубины этой самой картинки. А теперь самая главная магия. Мы поменяем исходное изображение на что-нибудь интересное, например на чёрно-белую картинку с нарисованным светом (легко найти в интернете по запросу свет на черном фоне).
В итоге получаем наш промпт, который применен к карте обьема нашей же картинке в контролнете только ко всему этому мы подмешиваем еще одну картинку.
И это все так гладко ложится потому что у нас есть информация об объеме нашего изображения. Надеюсь понятно объяснил 🤔.
Но даже если не понятно, не важно. Это просто работает).
Сейчас настройки выглядят так
Теперь необходимо настроить Denoising strength. Тут все просто, чем ближе к левой части тем ближе вы будете к картинке вверху, в данный момент освещения. Чем ближе к правой, к картинке в контролнете.
Крайнее правое значение:
В крайнем левом будет просто наша картинка со светом.
Ваша задача найти баланс для вашей сцены.
Для меня это где-то в диапазоне 0.5 до 0.9. Сделаю для вас сравнение через XYZ Plot. Как им пользоваться рассказывал у себя на канале.
И теперь самое интересное.
Мы можем использовать одно и то же изображение для получения разных результатов. Например, сейчас будем перемещать источник света.
Идем к нашему свету, нажимаем карандаш и указываем какую область картинки мы хотим использовать:
Внимание. На дату написания этого гайда 04.04.23 в актуальной версии автоматика, то что я показываю далее работает не корректно (картинка обрезается). Для записи гайда я откатился на более старое обновление. Как это делать рассказывал тут.
Можно уменьшать область и тем самым указать только верхний пучок или наоборот только низ.
Пример с другой картинкой:
Конечно же вы можете использовать как референс другие изображения:
Но и это еще не все.
Мы можем рисовать свет сами. Для этого выставляем все вот так. (Я взял другую картинку, более подходящую для того что сейчас будем делать)
И отправляем верхнюю картинку в скетч.
В скетче намечаем наш новый свет.
Хочу чтобы рефлекс от экрана проявлялся сильнее. Могу сгенерировать прямо отсюда, но это покрасит мне все волосы в рыжий.
Поэтому отправляю в инпейнт
К сожалению, у меня получилась скорее гематома, этот инструмент для кого-то порукастее, чем я 😐.
Попробую восстановить свою репутацию на другой картинке.
Ладно, всё, сдаюсь. Надеюсь в ваших руках этот инструмент будет полезней 😅.
А на этом на сегодня всё.
Если в использовании нейросети вы чувствуете себя не уверенно или не знаете с чего начать. Для таких людей мы запускаем интенсив. Ознакомиться с программой, датой проведения и записаться можно по этой ссылке.
Мои ссылки:
◦ Нейронная академия - мой канал для которого пишу гайды, новости, советы.
◦ Наш чат - место где мы общаемся, делимся работами, помогаем друг другу с решением проблем.
◦ Челенджи - раз в день, неделю, месяц публикуем тему и выясняем кто справился лучше.
Я в ахуе. Мне интересно какие ещё инструменты придумают для работы с нейронками. Смотреть балдёжно
Мне кажется, сделают специально версию для художников, где самые муторные моменты вроде размалевки красок, обводки черновой работы и прочего будут отдавать на откуп нейросетям.
Например инструменты для "оживления" статичных генераций в SD.
Спасибо за статью! Но на этой картинке свет - прям полная хуйня, сори) Тени живут своей жизнью, солнце - своей
Согласен. С источниками света лучше быть осторожней, особенно видимыми. Вот пример получше, но тоже не идеален. Но тут уже проблема в том что сетка не идеальна. Бывают тени непонятно от чего, как и свет
На превью вообще непонятно как работает источник света - если он сзади, почему лицо так ярко освещается, если он сверху, почему так плохо рассеивается. То есть это просто какой-то суперабстрактный свет, который жутко неестественно выглядит, если рассмотреть результат как следует. В общем, сначала надо научить мозг работать, а потом уже инструменты какие-то осваивать.