Как убрать артефакты на генерациях с людьми: исправляем лица в DALL-E 3

Одной из частых проблем при генерации в DALL-E 3 или Stable Diffusion является наличие артефактов – искаженные и смазанные лица. В этой небольшой заметке мы расскажем вам, как с помощью простого Crop и Photoshop вы можете легко исправить любую вашу генерацию с людьми.

DALL-E 3 отлично следует промпту, но некоторые генерации с людьми получаются слегка криповатыми. Четкое следование композиции делает DALL-E 3 прекрасным инструментом, но финальный результат далеко от production уровня.

У Stable Diffusion есть большое количество кастомных моделей, а также различные улучшения вроде HiRes Fix помогают избежать страшных лиц. Но DALL-E 3, как инструмент относительно новый и закрытый, не имеет такого большого коммьюнити и нет модификаций.

Мы хотим предложить вам простой способ улучшить ваши генерации путем использования image2image (генерация с помощью ИИ, в которой на вход подается не только промпт, но и стартовое изображение).

В Phygital+ интерфейсе у вас есть возможность объединить все лучшие ИИ-инструменты на одном рабочем пространстве, благодаря чему вы можете использовать одни генерации в качестве референсов к других и соединять разные нейронки между собой.

Например, для нашего проекта нам нужно изображение с группой людей на пляже. Мы решили написать следующий простой промпт: a photo of happy girl at the beach party, surrounded by friends, surfboards.

Мы получили достаточно хорошую генерацию с одной девушкой на главном плане, кожа на ее лице не совсем реалистична, а также есть проблемы с зубами. А с людьми на заднем плане – нет комментариев, там все и так видно)

Для этого берем ноду Image Cropper, подключаем изображение. С помощью параметров Width и Height выставляем нужное разрешение. Главное, чтобы в кадре осталось лицо и немного окружения.

Наша цель здесь – выделить одно из лиц с артефактами.

Теперь нам надо использовать полученное обрезанное изображение в качестве референса для генерации. Создаем ноду SD XL (img2img) или SD 1.5, подключаем изображение как Start image. В промпт пишем, что у нас на изображении, у нас: black woman smiling. Не забываем про негативный промпт, который поможет избежать артефактов: deformed, ugly, weird. Добавьте любые слова, которые обычно используете при генерациях.

Выставляем параметр Start image skip (denoising strength) на 0.3. Выберите модель Juggernaut или Reliberate v3.

Поскольку наше изначальное изображение было сгенерировано в 1024x1024 в DALL-E 3, и после кропа у нас разрешение стало меньше, мы рекомендуем после генерации в Stable Diffusion увеличить результат, если человек крупным планом в кадре.

Мы получили наше изображение, теперь нам надо его соединить с оригинальной генерацией. Сделать это достаточно просто в Photoshop, даже если вы им никогда до этого не пользовались.

Открываем Photoshop (в нашем случае мы используем Photoshop CC) и загружаем изначальную генерацию DALL-E 3.

Далее перетаскиваем нашу финальную генерацию из img2img (SD + Upscale) на изображение, оно должно появиться вторым слоем справа снизу.

Выбираем в слоях второе изображение с лицом крупным планом, в Параметрах наложения слоя ставим непрозрачность ниже, примерно на 40-50%.

Слева в панели нажимаем Перемещение, далее выбираем наше изображение с лицом крупным планом и меняем двигаем его так, чтобы границы человека и лица совпали с оригинальной DALL-E 3 генерацией.

Далее нам нужно вернуть прозрачность выбранного слоя на 100% в Параметрах наложения слоя. Мы получаем 2 изображения, наложенных друг на друга, в котором видны границы.

Теперь наша цель – смазать эти границы. Выбираем Кисть в режиме Очистить.

Далее начинаем смазывать границы. Возможно, чтобы продолжить, нужно будет растрировать слой.

Отлично, теперь у нас есть новая итерация с нашей генерацией с более реалистичным лицом и без артефактов :)

Повторяем все эти действия со всеми другими лицами в кадре. При генерациях старайтесь получить максимально реалистичное лицо. Если немного меняется одежда или окружение, это не страшно, так как в Photoshop все равно большая часть удалится.

Если какие-то генерации получились слишком четкими, а для заднего плана они должны быть более размытыми, примените размытие слоя (например, размытие по Гауссу на 0,2-0,3).

Вот такой финальный результат мы получили.

Таким способом вы можете исправлять лица на любых генерациях. Если вы хотите более подробно рассмотреть настройки, рекомендуем изучить наш темплейт.

Описанный пайплайн придуман и вдохновлен Артемием Калининым.