Майнкрафт как инструмент визуализации диффузионных моделей ИИ

Если вы когда-либо самостоятельно или в рамках учебных курсов изучали диффузионные модели, вам наверняка попадались анимации по типу вот такой. Здесь зашумлённое изображение постепенно восстанавливается в что-то осмысленное. Почему и зачем — об этом я уже несколько раз вскользь рассказывал, например, тут.

Такие гифки здорово помогают понять принцип, по которому работают современные нейросети-рисовалки. Но принципы диффузионной генерации применимы не только к двумерным картинкам, но и к более многомерным структурам. Например, к 3D-объектам — об этом мы говорили в одном из недавних постов.

Чтобы сделать этот процесс более наглядным, ML-инженер по имени Тимоти Барнс создал специальный мод для Minecraft, в котором объекты (дома, элементы ландшафта) постепенно формируются из шума игровых кубиков (по сути, вокселей). Он рассказал о своей разработке на реддите и в твиттере, где есть больше примеров, а также завёл под это дело специальную страничку.

Кажется, поводов не учить работу диффузионнок становится всё меньше 😊