SDXL: почему у модели нет будущего? (+инструкция по установке SDXL)
Вчера все каналы о Stable Diffusion и нейросетях пестрели заголовками об утечке и сливе (или "утечке" и "сливе") моделей SDXL 0.9, но почему-то без примеров рисунков от авторов блогов и каналов.
Я решил поступить иначе: не писал про утечку, зато немного порисовал на SDXL 0.9, расстроился и решил поделиться мыслями о модели с вами.
Так себе аргументация конеш
1. Сравниваем результаты беты базовой модели с результатами специализированных моделей на тех вещах на которых эти модели долго и старательно тренировались
2. пишем странные аргументы не особо связанные со сравнением
3. выкидываем эти аргументы в мусорку и говорим что главная проблема в отсутствии порева
Теперь я приведу аргументы почему у SDXL будущее есть:
1. Это только бета и судя по всем обсуждениям релизная версия будет прилично отличаться а не просто чуть отполируется
2. Судя по скриншоту использована неправильная схема, для SDXL в этом интерфейсе есть специальные ноды с которыми результат значительно лучше
3. Близкий к разрабам человек мамой клянется что придумал еще более качественную и эффективную схему дающую еще более крутые результаты, выложить ее не может из-за НДА но хоть примеры есть
4. 2.1 не взлетела не только из-за прона но и из-за серьезных проблем с обучаемостью и поддержкой инструментов, для SDXL разрабы заранее связывались и с разработчиками контролнота и интерфейсов, также связывались с людьми которые обучают самые клевые модели для 1.5 и похоже что реально слушают их фитбек и делают изменения базовой модели
5. Даже базовая модель местами может потягаться со специализированными 1.5 моделями, учитывая размер модели и возможности обучения кастомные должны быть на 3 головы выше
6. Порево - сам не тестировал но судя по комментам SDXL в этом плане намного лучше 2.0 и немного отстает от 1.5
Один фиг сейчас это гадание на кофейной гуще, надо дождаться нормального релиза и посмотреть как оно.
Спасибо за развёрнутый комментарий! Вижу, что вы лучше меня понимаете что происходит с SDXL Очень интересно обменяться с вами мнениями и опытом.
Сравниваем то, как модель слушается промпта. SDXL чуть лучше слушается в браузерной версии (на ресурсах StabilityAI), и значительно хуже в локальной. В обоих случаях модели далеки в качестве понимания промпта от 1.5. Проблему отметил не только я, но и многие сильные промптеры, с которыми знаком. Вывод сделан не только на попытках порисовать на неудачном пайплайн, но по опыту работы с веб-версией. Охотно верю, что плохие результаты локальной версии целиком зависят от неэффективного пайплайна, который надо переделывать с нуля. Но это не объясняет беды веб-версии.
Проблема модели не только в отсутствии NSFW (не только порно), но эта — ключевая.
1. Не знаю какой подход к версионности в StabilityAI, но 0.9 звучит как "почти релиз". Хочется надеяться, что в 1.0 всё будет лучше, но это непросто.
2-3. Ждём релиза и появления в открытом доступе более эффективных схем. Других вариантов у нас нет.
4. Да, в SDXL на старте будут основные инструменты. Если окажется, что скептецизм сообщества не обоснован — инструменты перевернут игру.
5-6. Отсутствие обнажённых тел ухудшает генерацию одетых. Чтобы выдать корректную анатомию модель должна понимать как устроено тело человека. В SDXL этого из коробки нет и потребуется дообучение на огромных датасетах. Из любопытства тестировали раздетых людей. Модель старается нарисовать одежду даже когда явно прописано отсутствие одежды. При описании чего-то совсем развратного модель включает дуру и отказывается рисовать совсем, вплоть до генерации абстракций.
А что сейчас по итогу на 24-ый?