FLUX — новая нейросеть для генерации изображений от создателей Stable Diffusion

Всем привет!

Flux.1 D — это мощная модель для генерации изображений по текстовому описанию. Меня зовут Вандер, я куратор клуба по нейросети Fooocus и нейро-энтузиаст, и сегодня мы разберемся, почему вам точно стоит обратить внимание на свежеиспеченную Flux.

Разработчики Flux - бывшие создатели Stable Diffusion и Stable Diffusion XL - Робин Ромбах и Андреас Блаттман. Оба выступали за идею, но компания преследовала только коммерческие интересы Как итог - произошел конфликт и ключевые фигуры покинули Stability AI. Недавно ими была создана новая компания The Black Forest Team, которая и представила нам Flux.

Flux основана на 12-миллиардном трансформере и использует инновационный подход, так что достигать высокой производительности и качества изображения возможно даже при запуске на бытовых видеокартах.

Модель очень хорошо следует промпту и распознает текст.

В статье мы посмотрим, как запустить Flux онлайн и локально, а так же на ее возможности.

Модель FLUX представлена в трёх версиях:

FLUX.1 DEV: Эта версия является открытой и предназначена для некоммерческого использования. Она была создана на основе FLUX.1 Pro и обладает схожим качеством и способностью следовать подсказкам, но работает более эффективно.

FLUX.1 SCHNELL: Ориентирована на скорость, позволяя генерировать изображения за 1-4 шага. Это самая быстрая версия модели, предназначенная для локальной разработки и личного использования, в которой так же предусмотрена интеграция в ComfyUI

FLUX.1 PRO: Это самая продвинутая версия модели, обеспечивающая высококачественную генерацию изображений. Она отличается отличным следованием подсказкам, высоким визуальным качеством, детализацией изображений и разнообразием выходных данных.

Демо на Hugging Face

Интерфейс довольно простой, особенно если вы ранее сталкивались с генеративными нейросетями:

Окно Enter your prompt - добавьте в это окно текстовый запрос для будущего изображения.

Seed — начальное значение шума. Для каждого изображения используется свой seed - нажмите Randomize seed, если вы не хотите зафиксировать текущий результат.

Width и Height — размеры изображения от 256 до 2048 пикселей(кратные 64). Чем больше разрешение, тем больше изображение, но тем больше времени занимает генерация.

Guidance Scale — определяет, насколько строго модель следует текстовому запросу. Чем выше - тем лучше соответствие, но меньше творческого размаха у нейросети. Рекомендую использовать значение по умолчанию.

Number of inference steps — количество шагов, за которые модель генерирует изображение. Рекомендую использовать значение по умолчанию.

Сервис ArtGeneration.me

Вы так же можете опробовать FLUX на ArtGeneration.me бесплатно. При регистрации дают 3 бесплатных дня PRO.

У сервиса куча преимуществ перед демо на Hugging Face:

+ возможность Upscale (увеличение разрешения)

+ возможность Outpaint (расширение изображения)

+ Inpaint(к сожалению, пока только на моделях XL)

И если вы начинающий, на ArtGeneration невозможно промахнуться с разрешением.

Тут интерфейс более понятный, так как он на русском языке.

Здесь есть куча популярных XL-моделей на любой вкус помимо Flux, поэтому вводим название в поиск и нажимаем на превью.

Окно промпта находится под изображением.

Избегать — негативный запрос, то, чего не хотим видеть на изображении.

Проработка — то же, что и количество шагов.

Соответствие запросу — то же, что и guidance scale.

Шум — seed.

Сэмплеры — это различные математические функции, по которым генерируется шум для преобразования его в изображение. Советую использовать значение по умолчанию.

Количество изображений — еще один плюс в копилку сервиса — за раз можно сгенерировать до 4-х картинок.

Функции апскейла/расширения находятся на верхней панели.

Flux Dev для Forge

Сперва качаем Forge с установкой в один клик.

Далее скачиваем эту модель, если у вас видеокарта NVIDIA 30-й или 40-й серии, или эту модель для карт 10-й и 20-й серий.

Если у вас уже установлен Forge, то просто скачайте и добавьте Flux к остальным моделям в папку models. Не забудьте перед этим запустить файл update.bat и обновить интерфейс.

Портативная версия

Если вы просто хотите скачать Flux к себе на компьютер с установкой в один клик - то специально для вас мы сделали портативную версию с установкой в один клик. Это квантованная версия модели.

А теперь посмотрим на возможности Flux и красивые примеры с промптами.

Начнем с аниме, попросим Flux изобразить милую девушку в кимоно с драконом:

masterpiece, 1girl, long white hair, kimono, a dragon, red eyes, foggy, onsen

Прекрасный результат! Мне очень нравится.

Сгенерируем красивый и детальный глаз в оранжево-пурпурных оттенках:

Hyper-detailed close-up purpe eye with the iris and pupil transformed into an abstract galaxy with a high-contrast purple and orange theme. Surrounding the eye, stylized makeup in bold black and bright orange mirrors the lightning with sharp, the atmosphere is dark and moody, charged with a sense of power and mystery

Девушка с синими волосами и таинственной коробкой:

extremely beautiful, highly detailed, dark background, young lady 19 years old, long blue hair, freckles, blue eyes, black silk robe, racks, paper, makeup, named Alexis, smiling, easygoing, affectionate, enthusiastic, holding a box, light shines out of the box, light particles, depth of field, Highly Detailed, intricately detailed gothic art trending translucent, illumination, surrealistic, abstract, dark night,

Попробуем эту шедевральную модель с текстом, хотя, вы наверняка уже поняли, что и тут она справляется на отлично:

Hyper details and shaprness, night cyberpunk empty street, rainy weather, the puddles reflect the neon "WONDER" sign,

Lana Del Ray Holding a "FLUXIK" neon sign, night street, cyberpunk

Flux.1 — это выдающаяся модель для генерации изображений, которая сочетает в себе мощь современных технологий с доступностью для обычных пользователей. Советую вам опробовать ее, если вы еще этого не сделали!

Скачать портативную версию Flux с установкой в один клик для самых ленивых вы можете тут.

Подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!