Вышла Stable Diffusion 2.0
Open-source генеративная нейросеть получила крупный апгрейд
Всего месяц прошел с предыдущего релиза нейросети версии 1.5, а Stability-AI уже выложила новую версию базовой модели Stable diffusion (а точнее - 4 с половиной версии), улучшающую общее качество создаваемых изображений и дающую дополнительные возможности для генерации:
- Отдельная модель, обученная на изображениях с разрешением 768*768. У изображений такого разрешения больше не должна ломаться композиция. Больше исходное разрешение - меньше проблем повысить разрешение до 4к и выше. Ссылка на модель - https://huggingface.co/stabilityai/stable-diffusion-2/blob/main/768-v-ema.ckpt
- Модель с отдельным слоем распознавания глубины на изображениях. Позволяет лучше переносить сохранять глубину в методах img2img и inpainting, будет полезно при генерации вариаций скетчей и фотографий - Ссылка на модель - https://huggingface.co/stabilityai/stable-diffusion-2-depth/blob/main/512-depth-ema.ckpt
- Новая версия inpainting модели, умеющей управляемо сохранять формы и детали исходного изображения при перерисовке. Ссылка на модель https://huggingface.co/stabilityai/stable-diffusion-2-inpainting/blob/main/512-inpainting-ema.ckpt
- Новая модель-апскейлер на базе самого Stable Diffusion, натренированная повышать разрешение с 512*512 до 2048*2048. Ссылка на апскейлер - https://huggingface.co/stabilityai/stable-diffusion-x4-upscaler/blob/main/x4-upscaler-ema.ckpt
Для запуска новых моделей в текущих программных сборках Stable Diffusion вроде Automatic1111, NMKD, InvokeAi создателям необходимо внести небольшие правки в код, поэтому ждем обновленных версий ПО сборок в ближайшее время.
С генерацией NSFW в этих новых моделях будет не очень хорошо, т.к создатели утверждают, что в их новом отобранном датасете для обучения таких изображений не было.
Для желающих почитать сайт с оригинальной новостью: