Попробовал плагин для Aseprite для генерации пиксель арта
Пару недель назад кидали ссылку на плагин для Aseprite генерирующий пиксель арт с помощью нейронок. Я решил попробовать сгенерировать иконки для монстров в редакторе для своего проекта. Сразу скажу я не спец в написании запросов как и в рисовании, но мне было интересно что можно сгенерировать программисту с нуля за час. До этого, все модели которые я пробовал выдавали совершенно неприемлемый результат для pixel art, а тут на сайте увидел вполне неплохие примеры, хотя уверен - они все черри-пикнутые.
Процесс генерации стандартный - пишем запрос и негативный запрос (в моем примере - cute и anime). Крутим параметры и программа выдает результат в отдельный слой Aseprite. Для image2image можно выбрать область которая будет использоваться в запросе.
Для 32x32 иконок на 3080ti уходит примерно по 10 секунд на запрос, всего потратил где-то час. Качество - ну такое, для какого-нибудь прототипа или редактора сойдет, но в нормальную игру такое по-моему вставлять конечно нет смысла. Есть конечно шанс что у кого-то получится писать запросы получше. У меня уходило по 10 минут на каждую иконку.
Доступно три модели - текст в изображение, изображение в изображение, и изображение в пиксель арт. Максимальное разрешение для пиксель артной модели которая запускалась на моей GPU было 196x128 (что соответствует 1568x1024 без пиксель арт фильтра). Для больших разрешений нужно что-то побольше, а желательно уровня A6000 с 48GB VRAM.
Можно генерировать сразу несколько вариантов в пакетном режиме.
Тот же самый запрос, но используя модель для пиксель арта выдет странный результат:
Минусы:
- Качество все еще сильно ниже среднего, особенно при низких разрешениях.
- Стиль очень сильно гуляет. Нужно делать много попыток чтобы результаты были примерно одинакового стиля.
- Иногда генерирует совершенно не то что в запросе. Скорее всего у модели очень маленький дата-сет.
- UX очень сырой - программа падает раз в 10 минут и требует администраторских прав
Плюсы:
- Быстро и дешево.
Вывод: поиграться конечно интересно, но ни о каком "индустриальном качестве" конкретно в данном решении как заявляет разработчик на сайте речи конечно не идет. Хотя возможно кому то будет полезно для генерации большого количества набросков которые потом будет доводить художник.