Создание иконок с помощью ИИ: простой пайплайн для ускорения работы

За последний год text2image нейросети (позволяющие создавать изображения с помощью текста) все больше проникают в профессиональную деятельность в рамках задач по созданию визуала. Неудивительно, что специалисты задаются вопросом “А как ИИ повлияет на мою работу? Как я могу использовать ИИ для повышения продуктивности своей работы?”. Сегодня мы поговорим о том, как создавать иконки хорошего качества с помощью Stable Diffusion.

Весь процесс создания иконок можно условно разделить на 3 больших этапа:

Чтобы создать иконки с помощью любой text2image модели нужно правильно написать промпт – текстовый запрос для нейросети. Вы сразу заметите, что при простом запросе из двух-трех слов финальные изображения будут стремиться к фотореалистичности. И хоть картинка будет в целом соответствовать тому, что вы написали, в качестве иконок такие изображения не сгодятся.

Мы ранее выпускали полезный материал о промпт инжиниринге – искусстве написания промптов, а также в нашем продукте Phygital+ есть инструменты для быстрого написания текстовых запросов: Prompt Extend, Image-to-text prompt и ChatGPT. Мы также собрали одни из лучших промптов в небольшие коллекции для персонажей, локаций и объектов.

Что нам нужно, чтобы написать хороший промпт? В целом, советуем помнить про простое правило – чем подробнее ваш промпт, тем качественнее будут результаты. Представьте, что вам надо объяснить маленькому ребенку, что вы хотите увидеть, и объясните перебором ключевых слов, описывающих вашу идею.

Итак, мы написали промпт, но результаты все равно не соответствуют видению об иконках хорошего качества.

Для решения этой проблемы мы должны последовать одному очень важному совету – при генерации с помощью Stable Diffusion нужно использовать кастомные модели. Эти модели представляют собой улучшенный дообученный Stable Diffusion, в котором за основу взяли определенную стилистику. Зачастую даже самый простой промпт при использовании кастомной модели дает отличные результаты.

Так, не изменяя настройки и только выбрав кастомную модель, например, Lyriel, мы смогли получить более детализированные концепты без лишних элементов.

А вот так выглядят результаты с моделью DreamShaper

Детализированные иконки у нас получились и при использовании модели NeverEndingDream (NED)

Если вы ищете кастомные модели, то советуем воспользоваться крупной базой Civitai. Чтобы не потеряться среди такого большого количества моделей, мы регулярно тестируем новые чекпоинты и добавляем в Phygital+ самые востребованные и качественные. Сейчас доступно уже более 40 моделей, и начать генерировать с ними вы можете уже прямо сейчас

Следующим шагом является доработка полученных результатов. В процессе создания иконок зачастую нужно представить концепт в нескольких вариациях. Для этого отлично подойдет нейросеть ControlNet: она берет исходное изображение и, опираясь на текстовый промпт, преобразует его в новое.

В самой нейросети есть несколько способов преобразования, для нашего пайплайна подойдет режим HED или Edge (Canny), в которых ControlNet запоминает форму и очертания объекта, и на основе текста заполняет пространство внутри объекта тем, что указано в промпте.

ControlNet работает на базе Stable Diffusion, поэтому все правила написания промптов здесь вам также пригодятся. Например, если нам нужно создать меч или бутылку в разных цветах, мы просто копируем наш удачный промпт из исходной генерации, меняем цвет на нужный и получаем сразу несколько концептов, готовых для дальнейшего переиспользования или редактирования.

Последним штрихом мы легко удаляем фон и увеличиваем разрешение в 2 или 4 раза с помощью нейросетей в нодах Remove Background и Upscale Image.

Полное видео с описанным выше пайплайном вы можете посмотреть тут.

Если вам нужно создавать иконки в конкретной вашей уникальной стилистике, мы рекомендуем к прочтению нашу предыдущую статью, в которой показываем, как обучить нейросеть на игровом стиле и как ее использовать для генерации ассетов.

В заключение хочется сказать, что нейросети сегодня – это ассистенты, которые помогают быстрее и качественнее добиваться нужного визуала, повышая уровень креативности специалиста и забирая на себя рутинные и мелкие задачи. Это краски для художников нового поколения, с которыми уже сейчас можно работать и создавать контент нового уровня.