Мысли по поводу Stable Diffusion 2.0
А есть ли прогресс?
Моя первая картинка в SD2.0; art of crow on tree branch, dark fantasy, forest, night, stars, moon, aesthetic
Что изменилось, и что круто:
- Апскейлер на основе SD2.0. Реально полезное и крутое нововведение, качество апскейла очень впечатляет. Неоспоримо очень круто.
- deep2img. img2img на основе глубины картинки. Выглядят годно, но нужно тестировать. С 3д получается безусловно хорошо, но скорее интересно, как будет с 2д.
- Отдельная модель для 768х768. То, что SD движется к генериции в более высоком разрешении - хорошо, но, не могу не подушить: намного лучше было бы, если SD наконец научилась генерировать широкоформатные картинки.
А теперь к плохому:
- Качество генерации улучшилось не значительно. Картинки от SD1.4/1.5 и 2.0 сложно различить.
- Убрали художников. Кожаные мешки могут радоваться, SD2.0 на старте не будет их заменять. Из пула для обучения ублали очень много артов современных художников, поэтому генерировать что-то кроме генерик фотографий будет сложно. Да, веса в открытом доступе и никто не запретит обучить нейронку на этих самых артах, но это сложно, долго и вероятнее всего, для качественного обучения ещё и дорого.
- Убрали NSFW, прямо на уровне модели, просто отфильтровав датасет. Плохо это не только по очевидным причинам, но и из-за того, что многие NSFW изображения ещё и вполне эстетичные и без всякой похабщины. То бишь страдает итоговый результат, даже для обычных картинок.
Что думаете, товарищи? Стоят ли того эти улучшения?
13 комментариев