Flux "рефайн"

Главная проблема новых моделей это их ограниченность в плане художественных стилей (да и просто ограниченность, если речь идет о модели FLUX). Конечно лоры для FLUX выходят и весьма неплохие. Но все-же лоры это лоры, а модели это модели и старые модели иногда бывает трудно заменить. Так что с этим делать?

Ну все просто. Используем старые модели для генерации и новые для рефайна. Или наоборот или в рекурсии. В общем суть проста - проблема старых моделей анатомия, проблема новых стили. Так что нужно взять все лучшее от обеих миров и совместить.

К примеру... делаем черновую генерацию в SDXL

Убираем странный нарост на крыше автомобиля, дорисовываем солнышко, птичек (причем для этого не надо быть художником, хватит и вот такой каля-ки маляки, модель в 90 процентах случаев поймет что вы там хотели изобразить, а если не поймет попробуйте сделать еще пару генераций и выберите из всех полученных нужные "рабочие куски")...

Прогоняем через SD 3.5 и... тут нас ждет первая засада. Вышло-то в принципе хорошо, если не считать рук. Но все-же не то что нам требуется т.к. по краям изображения видна сильная "замыленность" в темх местах где модель "не отработала"... Это связано с ограниченностью модели SD 3.5, которая хорошо работает только в 1024 на 1024. При других размерах изображения будут наблюдаться те или иные проблемы. Так что для нормальной работы нам потребуется тайловый апскейлер. Но какой тайловый апскейлер выбрать?

Ответ такой. Апскейлер от TTPlanetPig

Можно скачать из репозитория автора (или по ссылке внизу), можно собрать версию от стэйблдифа (который бог знает почему назвал ее "Драконом", видимо посчитав что "Свинья" звучит не так внушительно, даже если она размером с целую планету).

Ну не суть. Плюс этого апскейла заключается в том, что он (в отличие от всех остальных) открытый и его можно как угодно модифицировать. Менять системы зрения, добавлять контролнет и самое главное менять сами модели. Т.е. по сути он будет работать хоть с SD 1.5, хоть с SDXL, хоть с FLUX, хоть с SD 3.5.

Однако при использовании всех моделей кроме FLUX проблемы с анатомией скорее всего останутся (на самом деле этого тоже можно избежать, но метод довольно трудоемкий и при наличии FLUX уже не столь актуален - разве что для настоящих эстетов которые хотят выдержать исходный стиль даже в мелких деталях)...

В обчем флакс хорошее лекарство от недомоганий других моделей, но применять его нужно разумно иначе получите такое чудо-юдо... В котором с анатомией все нормально, но от исходного МОЭ уже мало что останется. Хотя для определенной аудитории именно этот непритязательный стиль считается оптимальным.

Да ребята?

В общем низкий денойз при Flux апскейле (или рефайне) вам в помощь, иначе модель может полностью "убить" исходный стиль генерации (можно перегенерить лишь анатомически неверные части, если все остальное и так устраивало).

Но есть и ньюансы. Флакс очень неплохо понимает описательные промты и тоже может сгенерировать вам нечто интересное. Хотя и в своем "стиле". К примеру тут у нас и платок (из описательного промта) появился и прическа довольно интересная. И тогда вы можете снова вернуться к вашей любимой модели и пропустить этот "флакс" через нее (что бы вернуть исходные детали и осмысленный взгляд у модели).

В общем панацеи нет и нужно использовать весь инструментарий который имеется в наличии если хотите получить от нейросети что-то более менее приличное.

Это кстати далеко не идеальный вариант переработки исходного изображения (т.к. и перчатки исчезли и платок не появился, да и исходный стиль был частично утерян), в общем "быстрый вариант на автомате".

P.S. Вообще модель Flux очень хорошо работает с изображениями большого размера в режиме img2img так что в 90 процентах случаев тайловый апскейл вам по сути не нужен. Просто прогоните исходную генерацию чекрез Flux с низким значением денойза и она скорее вего исправит анатомию и прочие недоработки.