Илон Маск кисти Ван Гога, или специализированные модели Stable Diffusion

Благодаря сообществу, stable diffusion развивается стремительнее, чем можно было предположить. Как я писал в предыдущей статье, вскоре мы должны получить много специализированных моделей под конкретные задачи.

Илон Маск кисти Ван Гога, или специализированные модели Stable Diffusion

Уже сейчас помимо основной модели весов у stable diffusion есть модели для получения артов в строго определенном стиле.

В этой статье я покажу как это работает на практике и дам небольшую инструкцию для начинающих по добавлению специализированных моделей.

Существует “стандартная” модель (которую недавно обновили до версии 1.5), а есть специфические вариации, дополнительно обученные на конкретном наборе изображений. Например, модель mo-di-diffusion, которую тренировали на персонажах современного диснея.

Чтобы понять как именно изменяется результат, я провел несколько генераций со “стандартной” моделью версии 1.4, а потом с теми же промптами генерировал изображения в специализированных моделях. Весь материал дан для наглядности, я не слишком старался искать лучшие результаты и генерировал за раз не более 10 картинок по каждому запросу.

Результаты “стандартной” модели (промпты под картинкой):

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Теперь о некоторых интересных моделях которые есть сейчас

Все генерации я делал с теми же промптами, добавляя в начале рекомендуемые ключевые слова (токены):

Arcane-Diffusion – модель натренирована на популярном мультфильме во вселенной League of legend

Токен: arcane style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

DarkSoulsDiffusion – натренирована на артах из серии игр Dark Souls

Токен: DarkSouls Style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

mo-di-diffusion – уже упомянутая модель, натренированная на кадрах из современных мультфильмов Диснея

Токен: modern disney style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

redshift-diffusion - натренирована на изображениях полученных с помощью рендера redshift

Токен: redshift style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Tron-Legacy-diffusion – модель на кадрах из фильма “Трон: Наследие”

Токен: trnlgcy

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Van-Gogh-diffusion – на кадрах картин Ван Гога из фильма “Ван Гог. С любовью, Винсент”

Токен: lvngvncnt

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

beksinski-style-stable-diffusion – картины польского художника сюрреалиста Здислава Бексински

Токен: beksinski style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Как видно из примеров, специализированные модели плохо справляются с нехарактерными для них запросами. Финальный результат во многом зависит от ваших стараний: поисков удачного промпта, количества генераций, настроек и т.д.

Как добавить новые модели и начать работу?

Упрощенно, модель - это файл с расширением .ckpt и весом в несколько гигабайт.

По умолчанию вы работаете со стандартной моделью

Чтобы установить новую модель:

  • перейдите по ссылке
  • скачайте файл с расширением .ckpt
  • поместите скачанный файл в папку model

Если у вас есть какой-то из интерфейсов, то там, как правило, есть возможность в настройках произвольно выбирать модель.

Чтобы воспользоваться установленной моделью, вам надо в промпте прописать специальную ключевую фразу (токен), после чего уже добавить описание, по которому будет генерироваться изображение.

Для удобства в примерах выше я оставил ссылки на использованные модели и токены для промпта.

Если я не упомянул какую-то интересную на ваш взгляд модель – напишите о ней в комментариях. При достаточном интересе к теме, соберу еще одну подборку примеров с интересными моделями.

Другие мои статьи:

теги:

77
9 комментариев

Картинка на превью похожа на плакат КНДР)

2
Ответить

Dreambooth это, кажется, одна из самых важных и крутых "фич" Stable Diffusion. Прям не верится, что Arcane-Diffusion обучена на 95 изображениях и всего 8000 шагов. Результаты просто поражают воображение. Моделька с Ван Гогом тоже очень крутая

Ответить

Точно!

1
Ответить

Если я поставил invokeAI и использую вебинтерфейс тоже сработает? Типа кидать модель в папку и всё? %)

Ответить

Да, сработает, но надо в настройках скорее всего будет найти выбор модели. У меня нет такого интерфейса, поэтому точно сказать не могу как запустить, но работать будет 100%

Ответить

На днях сделал эмбединг на портретах персонажей из disco elysium.
Тренировал всю ночь.
Проверял потом на илоне маске, в итоге рисовку она вроде бы научились имитировать, но только в технике, а не в самом стиле. То есть цвета, мазки, фоны - похожи, а портретные особенности, вот эта гротескность и ракурсы - нет.

Ответить

Мне было бы интересно с моделью познакомиться)

Ответить