Имитация рисунка карандашом в Stable Diffusion (Automatic1111)

У одного хорошего парня увидел пайплайн, как создать карандашные скетчи на бумаге. Решил немного доработать способ и наполнить его разными лайфхаками и интересностями. Ссылка на автора будет в конце, можете заценить его канал.

Начать хочу с того, что Stable Diffusion понимает некоторые слова на русском языке. Открыв базу данных LAION 5B, на которой обучали Stable Diffusion 1.5, я увидел много интересного. Например, кучу хлама, вылазящего практически по любому токену.

По запросу рисунок карандашом мы получаем следующее.

Вот что генерирует Deliberate_v2 по данному запросу. Котики, руки, много художественных принадлежность и капелька текста.

Промпт будет следующий: рисунок карандашом, a car, line art, bw, drawing on paper, 4k paper texture, sketch, strokes

Негативный промпт: 3d, doll, realism, photo, realistic, (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation

Denoising Strength был выставлен на 0.45 единиц. Чем выше, тем хуже сохраняется текстура бумаги, но и рисунок выражен больше. Чем ниже, тем меньше проявляется скетч.

Автомобиль прибыл точно в срок!

Ниже представлен вариант в полном разрешении. Можно заметить, что штрихи проведены очень реалистично, а артефактов на изображении минимум.

Теперь попробуем другой стиль, выбрав модель Flat-2D Animerge. Моедлька просто чудо, великолепно рисует 2D-иллюстрации в разных стилях. LoRA на 2D-персонажах рекомендую тренить именно на ней.

Мы можем видеть акварельные предпосылки, что понравится не всем. Иллюстрация приобрела более детские черты, какую-то доброту и теплоту что-ли. Сразу вспоминается Хаяо Миядзаки с его сказочным стилем, при взгляде на который хочется мечтать.

Вы можете проявлять креативность и уменьшать Denoising Strength, чтобы сделать текстуру бумаги более выраженной, а также ограничить нейронку в определенной области изображения.

Тут у меня залагал режим Sketch, поэтому пришлось побуянствовать, что совсем не помешало Stable Diffusion завершить работу успешно.

В конце продемонстрирую вам легенду, доводящую подростков 1980-х годов до писка.

Теперь кто-то умеет генерировать скетчи с помощью лучшего фреймворка для Stable Diffusion. Буду рад обратной связи и вашим комментариям, а также приглашаю в свой телеграм чат, где отвечу на все вопросы касаемо SD и обработки картинок.

Буду рад видеть вас в телеграм-канале, где я пишу лучшие гайды по Stable Diffusion!

Ссылка на канал парня, который обнаружил данный лайфхак.