Промты для Stable Diffusion. Как научиться правильно составлять запросы.

В этой статье мы детально рассмотрим, как освоить написание промтов для нейросети Stable Diffusion на различных моделях.
Я поделюсь примерами промтов из своей личной коллекции, которые вы сможете применять для генерации изображений в разных моделях Stable Diffusion, будь то в онлайн сервисах или на вашем компьютере.
Художники создают свои работы на бумаге с помощью кисти, дизайнеры используют стилус и графический планшет, а мы будем учиться рисовать словами в нейросети. Для начала давайте разберёмся, что такое промпт для Stable Diffusion. Промпт, или запрос для нейронной сети, можно сравнить с кистью или стилусом. Умение эффективно использовать этот инструмент напрямую влияет на качество изображения, созданного в Stable Diffusion. Именно для того, чтобы вы могли правильно использовать инструменты нейросети, я написала эту статью.

Существуют промты как для чата GPT, так и для Stable Diffusion, и они отличаются друг от друга. Текстовые запросы для каждой нейронной сети имеют свои правила построения. Например, для DALLE нет строгих требований, и запросы можно формулировать так, как если бы вы объясняли человеку, что хотите нарисовать. Аналогично составляются промты для Stable Diffusion XL. Однако даже при использовании DALLE и SDXL, пользователь может столкнуться с тем, что результат не совпадает с его ожиданиями. Несмотря на простоту фраз, запрос должен быть грамотно и логично составлен. Чем детальнее ваш запрос, тем точнее он будет отражать вашу идею. Все примеры генераций я буду приводить на основе Telegram-бота, который включает все перечисленные нейросети и различные модели для Stable Diffusion. Вы можете использовать эти рекомендации в ваших нейросетях, хотя некоторые функции могут отсутствовать.
Пример запроса: дедушка в комнате. Нейросеть может нарисовать дедушку на полу. Лучше уточнить: дедушка сидит на стуле в комнате.

Или еще пример: Девушка сидит в комнате у стены, на улице идет дождь. За стеной дождя не увидеть. Лучше фразу в запросе прописать так: Девушка сидит на стуле у окна, за окном идет дождь.

Важно в запросе правильно указывать отношение предметов по отношению друг к другу. Избегайте в промптах для Stable Diffusion слова, которые нейросеть отобразить не сможет.

Например: Майский дождь. Дождь на любой картине это вода с неба. Если вам нужен именно весенний дождь то в запросе лучше указать: красивый пейзаж, весна, тепло, идет дождь.

Еще пример: Пожилая женщина с браслетом моей бабушки на руке. Описание браслета у вас в голове. Нейросеть мысли читать не умеет. Напишите такой запрос: Бабушка позирует в модном платье с гранатовым браслетом на руке в стиле ретро.

Чем подробнее вы хотите изобразить предмет, тем более подробно опишите его. Некоторые вещи нейросеть отобразить не может, но она может отобразить последствия некоторых действий. Например: сильный ветер, громкий звук, яркий свет. Мы в генерации увидим действие на окружающих предметах. Если вы еще ни разу не писали сами промпты для Stable Diffusion, то лучше использовать промты других людей с качественными генерациями и менять в них обьекты, описания предметов, добавлять интересные для вас детали. Так вам будет проще понять как правильно писать промпты для Stable Diffusion. Посмотрим действие стихии на генерации:

Также можно использовать функцию +GPT. Возьмем короткий запрос: Белеет парус одинокий. Нейросеть доработает сама ваш промпт. На скриншоте видно как появился текст внизу моего запроса:

Сгенерируем изображение по тому промпту, что предложил ChatGPT:

Помня об особенностях что я пречислила выше, вы можете сами составлять промты для Stable Diffusion. Начинайте с простых, с одним обьектом. Отделяйте слова друг от друга запятыми.

Например: Девушка, солнечный летний день, озеро, голубое небо, облака. Где в запросе главным будет объект (то что прописано в начале промпта для нейросети имеет более высокий приоритет), и только после обозначения главного на изображении идет описание окружающей обстановки.

Затем добавляйте в свои промты более развернутые описания и детали. Можно использовать четверостишия.(Конечно нейросеть в генерации ниже не смогла сгенерировать нам строки про далекую страну и родной дом).

Tеперь давайте изобразим белый парусник в море, сильный ветер и чаек.

Как видно по картинке чаек на генерации нет. Если мы столкнулись с такой ситуацией - значит нужно поднять вес токена в промпте или нужный обьект переместить в начало промпта.

Добавим к изображению шторм:

Подведем итоги. Все слова и словосочетания нашего запроса перечисленные через запятую называются токенами. Токены внутри запроса влияют друг на друга. И мы видим как шторм, молнии и парусник взаимодействуют друг с другом на изображении. Чем ближе к началу запроса тем выше важность токена по сравнению с остальными и соответственно выше вероятность отображения токена на генерации. Именно поэтому на первое место ставятся обьекты являющиеся центром композиции на изображении, или какой то предмет который мы хотим выделить как главную деталь.

Когда хотим сгенерировать изображение точно по нашей идее, мы должны максимально точно сделать описание изображения, избегая двойственных трактовок. Исключить описание предмета по противополжным характеристикам: и длинный, и короткий одновременно. Чем больше мы описываем предмет, какие характеристики предмета, окружающая обставновка, более подробные детали - тем длиннее становится наш промпт. И в SD 1.5 для соответствия запросу нужно расставлять весовые коэфициенты для того чтобы повысить вероятность появления на изображении того или иного токена в нашем запросе. Для Телеграм ботов максимальное количество символов в запросе ограничено количеством символов допусиимых в одном сообщении.

Допустим, вы хотите сгенерировать изображение белого парусника, выполненного масляными красками на холсте в стиле Айвазовского. В этом случае чтобы нейросеть более точно произвела имитацию стиля художника – нужно отключить принудительные стили. Повышать важность токена можно двумя способами.

Например: Белеет парус одинокий на фоне моря голубом, (((в стиле Айвазовского))), так и Белеет парус одинокий на фоне моря голубом, (в стиле Айвазовского:1.3).0.1 веса и две скобки окружающие слова или слово (в стиле Айвазовского) это +10% к важности токена.

Старайтесь сразу не повышать на большое значение веса, чтобы избежать искажений на изображении. Я обычно начинаю с 1.3. И только если совсем уж длинный промпт, то иногда я использую вес до 1.5, поднимая вес практически каждого токена в запросе. Но это очень сложная задача – проставить вес токенов соблюдая равновесие, чтобы не деформировалось изображение. Есть способ гораздо проще. Использование простых запросов и лор с сайта Civitai.com, где также вы можете найти promt для Stable Diffusion. Про лоры сейчас останавливаться подробно не буду, это тема для отдельной статьи.

В промпте могут быть использованы и квадратные скобки. В запросе: Девушка, парк, [деревья:0.4] это не приказ для нейросети исключить отображение деревьев на генерации, а всего лишь просьба добавить отрисовку деревьев на 40%, после 60% отрисовки девушки с учетом текущего сэмплинга.

Чаще всего квадратные скобки используются для создания химер. Когда используете химеризацию старайтесь не использовать птиц и змей. Этот прием можно также использовать чтобы создать уникальные лица на базе SD. [Мона Лиза:Анжелина Джоли:0.3]. В данном примере нейросеть отрисует 30% Мона Лизы и 70% Анжелины Джоли. [Mona Lisa:Angelina Jolie:0.3], in style Lara Croft, action pose, cgi, 1024K

Для того чтобы исключить отображение обьекта или цвета мы пишем это в негативном промпте для Stable Diffusion, добавляя его после основного промпта через /np. Например: Парус одинокий на фоне моря голубом /np (((белый цвет))).В негативном промпте также можно увеличить важность токена.

Нейросети могут очень хорошо имитировать не только стили художников или приемы рисования как мы видели это в примерах ранее, но и менять стилистику картинки в целом.Давайте теперь посмотрим на промт с парусником в стиле оригами.

Стилей, как и моделей для Stable Diffusion множество. В генерациях которые я вам показывала есть настройки нейросети, которые были использованы при создании изображений. Покажу еще немного стилей:

Расскажу немного о своих любимых моделях. SDXL Juggernaut - очень хорош для фотореалистичных генераций и DeepFace. Любимые мной аниме-модели VelaMix и DarkSushi. Чтобы изменить настройки и модели достаточно просто нажать на название в меню.

✏ Prompt: a pretty woman dressed in a black and bright red, (black swan feather dress), glowing red eyes, pretty woman, beautiful female vampire, beautiful female vampire, beautiful succubus, female vampire, vampire, beautiful vampire female queen, succubus | medieval, black swan outfit, badwoman, vampire queen, woman vampire, professional photo🎭 Styles: No style🧩 Model: VelaMix + H.F. 💎🔧 Sampler: DPM++ 2M Karras

✏ Prompt: A terrifying Zombie, menacing pose, decaying green skin, glowing yellow eyes, patchy black hair, wild and messy hairstyle, emaciated body, torn and blood-stained clothing, post-apocalyptic wasteland setting, emerging from a dark corner, gritty and grunge style, dimly lit with flickering candles, high-resolution digital image, photorealistic rendering, by H.R. Giger, ultra-HD.🎭 Styles: Random🧩 Model: SDXL DeepBlue 💠🔧 Sampler: UniPC

✏ Prompt: A rugged cowboy, riding pose, sun-kissed skin, blue eyes, sandy-brown hair, windswept hairstyle, muscular body, leather jacket, wild west setting, on top of a mountain, vintage style, golden hour lighting, watercolor format, impasto technique, by Leonardo da Vinci, high definition.🎭 Styles: Random🧩 Model: SDXL Juggernaut 💠🔧 Sampler: DPM++ 2M Karras

✏ Prompt: Vampire child, head-on view, mischievous smile, translucent skin showing playful freckles, sky-blue eyes with a hint of malice, carrot-top hair messy and short, slight but spry figure, tattered street urchin clothes with hidden pockets, (abandoned amusement park:1.3), (swinging from an old carousel horse:1.1), (surrealist:1.4), (by Dalí and Caravaggio:1.2), 24K vibrant🎭 Styles: No style🧩 Model: SDXL Juggernaut 💠🔧 Sampler: UniPC

✏ Prompt: Vampire huntress, three-quarter view, dynamic combat stance, bronzed skin slight glow, glowing amber eyes, platinum blonde hair in a battle braid, wiry and toned figure, leather battle attire with red accents, (rain-soaked alleyway:1.1), (crouched on a roof:1.3), (dark fantasy:1.5), (by Frazetta and Brom:1.4), 16K fine detail🎭 Styles: No style🧩 Model: SDXL Juggernaut 💠🔧 Sampler: UniPC

Желаю вам творческого вдохновения и красивых генераций!