Установка эпохальной нейросети FLUX в ComfyUI на ПК
Приветствую, дорогие читатели! В этой статье я поведаю вам, как возбудить в себе детский интерес и зависнуть на долгие часы в высоких технологиях.
Я занимаюсь нейронками уже около 3-х лет, и меня никогда так не вштыривало от качества генерации и уровня креатива... Прибавьте сюда возможность создания текста, и вы получите лучшее тесто в этой галактике, которое мы сейчас испечем.
Гайд предполагает наличия у вас ComfyUI на ПК!
🔥 Есть видео-версия, кому не хочется читать!
🔥 Также я выпустил гайд для слабых видеокарт, где установка намного проще — в Forge!
Рекомендации по железу:
- VRAM (видеопамять): 8-12GB+ (16-24gb предпочтительно)
- RAM (оператива): 32GB+ (64gb будет идеально)
✅ ШАГ 1 — Обновляем ComfyUI
Обновить можно либо через ComfyUI Mandger (скриншот 1), либо через файл обновления (скриншот 2).
Для обновления через файловую систему нужно зайти в корневую папку ComfyUI, после чего перейти в папку update, где необходимо последовательно запустить 2 файла.
✅ ШАГ 2 — скачиваем энкодеры
Скачиваете либо t5xxl_fp8_e4m3fn.safetensors, либо t5xxl_fp16.safetensors, а также clip_l.safetensors с сайта Hugging Face.
Если у вас 12GB видеопамяти, версия энкодера fp16 у вас может не завестись — в таком случае качаете fp8 версию. Отличаются они качеством итоговой генерации: у fp16 лучше задний фон и больше деталей на генерации.
🚩UPDATE: fp16 нормально работает только на 3090 и 4090, для остальных рекомендуется fp8, чтобы не мучиться по несколько часов.
Закидываете их в папку ComfyUI/models/clip:
Я скачал версию fp16, так как у меня RTX4090 — полет нормальный.
✅ ШАГ 3 — скачиваем модель VAE
Скачиваете модель VAE под названием ae.safetensors с репозитория разработчика HuggingFace.
Если загрузка не начинается, нужно принять соглашение на странице модели. Переходите по ссылке, логинитесь в сервисе и нажимаете на кнопку с соглашением.
VAE кладем в папку — ComfyUI/models/vae.
✅ ШАГ 4, скачиваем основную труженицу — UNet модель
Если у вас 12GB видеопамяти, то качаете flux1-schnell.safetensors с сайта модели на Hugging Face.
Если видеопамяти поболее, то можете запустить flux1-dev.safetensors, скачав модель с Hugging Face.
Модели нужно класть в папку по пути: ComfyUI/models/unet:
Я скачал модель типа dev, так как у меня больше 12GB видеопамяти.
✅ ШАГ 5 — Загружаем пайплайн для генерации
🔥Запускаем ComfyUI.
Если вы установили модель dev, то переходите по этой ссылке и просто закидываете лисичку с ушками в рабочее пространство ComfyUI.
После копирования картинки в ComfyUI, у вас будет следующая картина:
Все ноды автоматически подгрузятся, менять ничего не нужно. В принципе, вы уже можете нажимать Queue Prompt и тестировать модель!
Если вы скачали модель schnell, то заходите сюда и по аналогии перетаскиваете картинку с галактической бутылкой и планетой в бокале прямиком в комфи, после чего ноды также подгрузятся в рабочее пространство.
Разрешение генерации можно менять в этих нодах:
Примеры генераций нейросети FLUX
На сладкое я оставил для вас примеры, которые вскружили мою голову. Генерил я с утра до ночи, такой вот я фанат нейронок и ИИ. С 15 лет мечтал об этом, и вот случилось...
Повторюсь: ни одна нейронка такого качества сейчас не даст. А в купе с качественным апскейлом это вообще что-то из мира терминатора.
Заглядывайте ко мне на канал в телеге, там будет много контента с нейросетью FLUX, а также материалов для дизайнеров и уроков по работе со Stable Diffusion.
Спасибо за workflow в частности и за статью вцелом.
Поправочка. FLUX-dev отлично работает на карточках с 12GB
У меня 3080 12Gb - всё чики пики
2070 super 8Gb работает, не летает, но работает
Просмотрел бегло, если не увидел, извиняюсь - есть уже на том же civitai.com объединенные модели в привычном формате Safetensors, которые можно юзать как обычные sd15, sdxl или pony. Например flux1s-16gb.
Да, думаю сейчас, стоит ли добавлять в статью
Не особо разбираюсь, но всё накатил строго по гайду. При попытке "queue prompt" сначала бесконечное "reconnecting", а если отменить и попробовать снова, то уже "failed to fetch".
Во всех окошках указал соответствующие модели, каталоги проверил, но тщетно. Что может быть не так? 32 ram, 4070, ставил unet: schnell, а clip: fp8.
Попробуйте закрыть все приложения, может оперативы не хватает или видеопамяти. Во время генерации лучше не лазить в другие приложения, иначе ComfyUI вечно реконнектится
По идее должно работать, видюха у вас подходит, и оперативы норм.
Попробуйте другой воркфлоу, например, этот:
https://civitai.com/models/618578?modelVersionId=703980
у меня RTX4090Сколько по времени генерится 1 картинка?