Инженеры научили нейросеть играть в Minecraft по видео — она создала алмазную кирку и побила корову
В общем, вела себя как самый обычный игрок.
О своём эксперименте с нейросетями и Minecraft рассказали специалисты компании OpenAI, в том числе известной по инструменту DALL-E 2. Для того, чтобы обучить алгоритмы играть в «песочницу», инженеры воспользовались методикой предварительного видеообучения (Video
PreTraining).
Сперва специалисты собрали ролики о Minecraft общей продолжительностью две тысячи часов и промаркировали в них действия игроков — нажатия клавиш и движения мыши. На основе этих данных инженеры обучили модель, которая предсказывает действие, выполняемое на каждом шаге видео. Эта система промаркировала гораздо больший объём данных — ролики о Minecraft общей продолжительностью уже 70 тысяч часов.
На базе полученного промаркированного массива данных специалисты обучили модель поведенческого клонирования выполнять различные задачи в Minecraft. Созданная нейросеть смогла рубить деревья, создавать верстак, крафтить предметы и выполнять другие действия, в том числе охотиться на животных и принимать пищу. Кроме того, алгоритмы освоили механику «прыжка на столб» — это когда игрок многократно прыгает и тут же размещает под собой блок.
Специалисты поставили перед нейросетью сложную задачу — найти алмазы и создать из них кирку. Для того, чтобы добиться этого, инженеры дополнительно обучили алгоритмы на необходимой последовательности из более 20 тысяч действий.
В рамках эксперимента нейросеть использовала стандартный интерфейс Minecraft, имитируя управление мышью и клавиатурой, подчеркнули в OpenAI. По словам сотрудников компании, опыт в Minecraft показал, что метод предварительного видеообучения подходит и для многих других областей, в которых нейросеть может научиться действовать после «просмотра» роликов.