Генерация изображений из текста. CLIP Guided Diffusion HQ (много картинок)

Нейросети не стоят на месте, и продолжают покорять новые пространства. Многие уже знают о нейросетях, способных генерировать лица, котов, или аниме девочек. Но все они работают только в своём, строго ограниченном диапазоне. А что, если сделать нейросеть, которая будет включать в себя всё вышеописанное, и даже больше? И такая нейросеть есть. CLIP Guided Diffusion HQ. Интересно то, что нейросеть обучали не каждому отдельному предмету на картинке, а давали изображение целиком, с описанием того, что на нём изображено, после чего нейросеть сама старалась найти закономерности. И таких пар ей давали около 400 млн. И несмотря на то, что большинство изображений выглядят как кислотное месиво, или абстрактные объекты на абстрактном фоне, иногда ей удаётся передать общий внешний вид вашего описания (работает только с английским текстом).

Вот так выглядит запрос "Windows XP". Довольно близко к оригиналу.
Вот так выглядит запрос "Windows XP". Довольно близко к оригиналу.

Очень хорошо нейросеть справляется и с предметами техники.

Вот так выглядит старый ПК, по мнению нейросети
Вот так выглядит старый ПК, по мнению нейросети
А вот так выглядит программирование... На эльфийском, наверное
А вот так выглядит программирование... На эльфийском, наверное
Это похоже, скорее, на кожуру яблока, а не на само яблоко, но главное, что реклама на месте
Это похоже, скорее, на кожуру яблока, а не на само яблоко, но главное, что реклама на месте
Улыбающиеся лицо. Добра тебе ^_^
Улыбающиеся лицо. Добра тебе ^_^

Людей генерировать не всегда получается, а те что имеются - могут несколько пугать. Вот вам пару знаменитостей для примера.

Богоподобный Кодзима-сан. И ведь основные черты то прослеживаются.
Богоподобный Кодзима-сан. И ведь основные черты то прослеживаются.
Мастер Денис Ширяев
Мастер Денис Ширяев
Сэр Апанасик
Сэр Апанасик

Собстна, пользуйтесь! Также, нейросеть испытывает некоторые проблемы с двусмысленным текстом. Так, фразу "Рок группа" она может также трактовать как "Группа камней", из-за схожести названий. Не забывайте покрутить значение Seed, если изображение вас не устраивает. После начала генерации, над картинкой появится серая надпись, которая показывает примерное время до конца генерации (не всегда корректное, и реальное может превышать его в несколько раз).

UPD: Также нейросеть хорошо подражает картинам художников, если добавить подпись, например "by Salvador Dali".

5858
31 комментарий

Комментарий недоступен

2
Ответить

Комментарий недоступен

33
Ответить

Комментарий недоступен

9
Ответить

Комментарий недоступен

8
Ответить

На первой картинке - внутренности колобка съевшего Ёжика в тумане и занюхавшего гелий?

Ответить

Да этож искуство , я б выдал за свое и продал. Скоро весь авангард на подобную генерацию перейдет, с порнухой пока не очень:) 

Ответить

Крипота

7
Ответить