Нейросеть Stable Diffusion: как работать с Inpaint на телефоне

Тема нашей статьи — "Нейросеть Stable Diffusion: как работать с Inpaint на телефоне". Нередко возникают ситуации, когда необходимо удалить или, наоборот, добавить определённый элемент на изображение. Профессиональные знания для работы с Photoshop есть не у всех. Конечно, сложные исправления, такие как замена цвета на конкретный оттенок без изменения первоначальной формы предмета или добавление объектов в точности, как они есть, лучше выполнять в профессиональных программах. Однако минимальные правки, такие как удаление объектов, добавление деталей, замена фона и восстановление части изображения (например, старого оцифрованного фото), можно легко осуществить с помощью нейросети Inpaint. Мы предоставим вам инструкцию, которая, безусловно, будет полезна, и вы сможете вносить правки самостоятельно. Inpaint можно использовать как на компьютере, так и на обычном телефоне с доступом в интернет. Удобный редактор изображений всегда под рукой.

Рассмотрим функционал Inpaint подробно:

Для корректной работы с Inpaint крайне важно правильно настроить параметры.

Model — большая модель (чекпоинт / базовая модель) является памятью нейросети, содержащей информацию о том, как должны выглядеть различные объекты, генерируемые на изображениях (люди, предметы и пр.)

Sampler — математическая модель, преобразующая текстовое описание клиента (промпт) в алгоритм, который будет понятен нейросети. Сэмплер может значительно повлиять на качество генерируемых изображений.

Mask — тип маски для Inpaint.

Original будет уделять основное внимание тому, что изображено в выделенной области на исходном изображении.

Fill будет отдавать приоритет тому, что написано пользователем в промпте, а не тому, что находится на оригинале изображения.

Steps — количество шагов сэмплинга определяет количество циклов обработки выделенной части изображения. Чем больше шагов, тем больше деталей появится на изображении, но тем дольше будет длиться генерация. Оптимальное значение 22 шага. Слишком большое количество шагов может вызвать деградацию элементов на изображении.

CFG (CFG Scale) — параметр, определяющий приоритет промпта, написанного пользователем. Чем ниже CFG, тем важнее для системы то, что написано пользователем в промпте, но при этом снижается степень свободы творчества нейросети. Оптимальное значение в большинстве случаев равно 7. Более высокие значения позволят нейросети проявить свое творчество и добавить что-то оригинальное на генерации, но это может вызвать появление артефактов и ярких "засвеченных" элементов.

Blur — размытие границы кисти выделения. Оптимальное значение равно 8. Чем больше размытие кисти, тем менее четкой будет граница выделенной вами области, это повысит плавность перехода от оригинала к тому, что изменила нейросеть.

DenS (Denoising Strength - шумоподавление) — определяет максимальную степень вмешательства (в процентах) в исходное изображение при модификации выделенной области. Чем выше DenS, тем сильнее будут проявляться изменения. Низкий DenS предназначен для незначительных исправлений, а высокий позволит максимально модифицировать оригинал в соответствии с тем, что пользователь написал в промпте.

В меню на верхней панели находится список предустановленных стилей, которые вы можете применить к выделенной маркером области на исходном изображении.

Инструмент "Корзина" — универсальный инструмент, который может как удалять предметы, так и добавлять их. Его можно использовать одновременно с вводом промта, но это не является обязательным условием.

Инструмент "Самолёт" - используется в основном для добавления объектов на исходное изображение.

В случае с корзиной вам достаточно выделить область маркером и нажать соответствующую кнопку. Нейросеть внесёт изменения на изображении, основываясь на выделенной области.

При работе с самолётиком и добавлении объекта через корзину на изображение вам необходимо в промте детально изложить, какие именно изменения вы хотели бы увидеть. Например, если вас интересует добавление мяча, просто введите слово «мяч» в текстовое поле.

Чтобы запустить процесс генерации, нажмите на иконку в виде самолета или корзины, которые находятся в правом нижнем углу интерфейса на экране вашего телефона. Генерация может занять от 10 секунд до нескольких минут.

Если у нейросети возникнут трудности с добавлением или изменением указанного элемента, измените параметр «Dens» на вкладке «Настройки» в верхней части меню для улучшения результата.

В данном примере искусственный интеллект без труда изменил выделенные области на изображении. Если итоговый результат вас устраивает, сохраните его, нажав на иконку, напоминающую дискету, которая расположена в правом нижнем углу экрана. Бот отправит созданное изображение в ваш Telegram.

Не стоит выделять маркером множество областей на изображении для экономии средств. Чем больше областей выделено, тем больше изменений внесет нейросеть, и это не всегда те изменения, которые нужны. Изменения следует вносить поэтапно, выделяя 1-2 области для коррекции. После того как вы внесли начальные необходимые правки, нажмите кнопку "Go to inpaint" для продолжения работы с изображением. При этом произойдет автоматическое сохранение отредактированного изображения. Сохраненное изображение автоматически добавится вам в бот. Этот процесс можно повторять столько раз, сколько нужно до достижения вами необходимых правок.