Google и Blizzard: ИИ будет учиться играть в StarCraft 2

Что новое поколение искусственного интеллекта сможет перенять у компьютерной стратегии, и почему это важно для геймеров.

Журналист Ars Technica Ник Колен (Nick Cowen) взял интервью у разработчика Google и сотрудника Blizzard. Они рассуждают о том, что может привнести новый ИИ в киберспортивную дисциплину и как подсчет юнитов на экране монитора поможет сократить энергопотребление дата-центров.

DTF публикует перевод материала.

Одна новость с BlizzCon 2016, которую публика почти проигнорировала, возможно, была самой важной из всех.

Анонсы нового контента для Hearthstone, Heroes of the Storm, Overwatch и Diablo III вызвали восторг и овации фанатов. Однако новость о том, что отдел Google DeepMind, который отвечает за разработку искусственного интеллекта, будет работать совместно с Blizzard над дальнейшим улучшением ИИ, игроки оценили не так восторженно.

Возможно, отсутствие энтузиазма было связано с вопросом: «Какой интерес могут разработчики ИИ представлять для игроков StarCraft 2?» Как оказалось, в случае успешной совместной работы двух компаний и достижения поставленных целей, игроки увидят ощутимые результаты. А кроме геймеров их также увидят и люди, не относящиеся к видеоиграм.

Искусственный интеллект уже давно стал неотъемлемой частью видеоигр, и, как утверждает исполнительный продюсер StarCraft2 Крис Сигати (Chris Sigaty), разрабатываемый командой DeepMind ИИ не станет первым проектом, который будет играть в стратегию от Blizzard.

На данный момент игры используют заскриптованный ИИ. Его разрабатывает команда дизайнеров и инженеров, которые понимают, как работает игра. Они создают скрипт, в который добавляют списки различных условий. Например, если собрано X ресурсов, то ИИ потратит Y на юниты Z.

Сигати говорит: «Всё тщательно выверено, против них интересно играть. У ИИ есть элемент случайности и жёсткие закономерности в выборах. Компьютер может захватывать территорию, собирать ресурсы — в целом, все те вещи, которые вам нужно делать в StarCraft2. Но это всё заскриптовано. Компьютер действует предсказуемо, и, если говорить в целом, не существует ИИ, который смог бы победить человека (без читерства)».

Это утверждение верно и для StarCraft2 — профессиональные игроки без проблем расправляются с компьютерным противником. Целью DeepMind стало создание ИИ, который смог бы играть как человек, и, в теории, побеждать лучших геймеров, что открыло бы новые границы для технологии глубинного обучения.

У команды DeepMind уже есть некоторые успехи на поприще видеоигр: в марте 2016 года ИИ под названием AlphaGo встретился с игроком Го мирового уровня, Ли Седолом (Lee Sedol), в серии до трёх побед. Компьютер одержал верх со счётом 4-1, преодолев барьер, ранее недоступный для других ИИ.

Ориол Виньялс (Oriol Vinyals), один из научных сотрудников DeepMind, говорит, что StarCraft 2 сможет помочь исследованиям ИИ сделать огромный шаг вперёд. Всё благодаря тому, что динамичная игра с подвижными элементами помогает создать наиболее подходящие критерии для разработки ИИ.

Ориол считает, что комплексность StarCraft 2 позволяет начать тестирование алгоритмов, о которых несколько лет назад и говорить боялись.

В StarCraft 2 большая часть информации, необходимой игроку для победы, изначально скрыта. Геймеры должны заниматься разведкой, попутно собирая ресурсы и нанимая юнитов, чтобы выяснить расположение противника. Статичный ИИ видит движения на карте как кусочки информации, и для того, чтобы DeepMind смог учиться на StarCraft 2, необходимо держать эту информацию в тайне — точно так же, как играют и люди.

«Процесс намного сложнее, потому что игра прячет юнитов, и игроки не знают, где находится противник. Главным становится планирование затрат ресурсов, а затем геймеры должны дополнительно учесть факт, играли ли они против своего противника ранее, и как можно действовать с учётом такой информации» — говорит Виньялс.

«Всё это — очень серьёзные проблемы ИИ, которые мы сможем решить с помощью новой среды исследования. Самое главное — можно будет начать устанавливать критерии согласно показателям работы ИИ, даже если сразу не получится всё сделать идеально. Это позволит нам двигать границы новейших технологий, что просто замечательно. Опять же, если мы делаем их открытыми, то каждый сможет привнести в проект свои идеи».

Совместная работа Blizzard и DeepMind — не закрытый клуб. Во время анонса на BlizzCon Виньялс сказал, что среда исследования ИИ в StarCraft 2 будет открыта для всех разработчиков, любителей и геймеров, которые захотят поучаствовать в проекте. DeepMind зовёт на помощь всех, потому что им понадобятся усилия всего мира, чтобы справиться с поставленными задачами. API (программный интерфейс) планируют ввести в игру в виде патча в первом квартале 2017 года. Он будет частью бесплатного Starter Edition. Но, по словам Виньялса, до запуска ещё предстоит проделать огромную работу.

«Мы начали сотрудничать совсем недавно. Первый шаг — создать окружение, в которое игроки смогут поместить наш ИИ, чтобы позволить ему наблюдать за игровым процессом. Сейчас мы работаем только над созданием такого окружения, потому что должны выпустить его как можно скорее. Оно также должно служить критерием для других разработчиков ИИ. Сейчас многие работают над созданием искусственного интеллекта, поэтому очень важно сделать наше окружение доступным для общего использования.

Виньялс продолжает: «Следующим шагом станет внедрение управляющей системы. Мы пока ей серьёзно не занимались, лишь на самом базовом уровне».

«Это непростая задача, — говорит Сигати. — Сложность постоянно растёт. Для глубинного изучения нужна система, в которой информация будет представлена в таком виде, в каком её воспринимает человек».

Как только будет готово окружение, то в него внедрят управляющую систему (в данном случае — ИИ), и после этого начнётся обучение. Чтобы закрыть все дыры, DeepMind необходимо убедиться в том, что ИИ может проводить наблюдение и принимать действия в окружающей его среде. Такая базовая схема работы ИИ используется уже давно. StarCraft2 делает потенциал глубинного обучения более комплексным. Это совсем не то же самое, что двигать джойстик на Atari влево и вправо, или распознавать доску Го, размером в 19 на 19 квадратов.

Сигати говорит: «Раньше вы получали из игры всю информацию. Неважно, будь это матч между двумя людьми или против компьютера, вы видели всё. Вы могли видеть юнитов, которые для игрока были cкрыты за туманом войны. Вся эта информация поступала к вам в полном объёме».

Он продолжает: «Сейчас мы работаем над API, который не может учитывать эту информацию до её обнаружения. Обработка данных будет происходить в визуальном формате, поэтому обучающийся ИИ сможет эту информацию усвоить и начнёт действовать как живой человек. Мы сейчас так взволнованы, потому что следующим шагом станут нейросети и глубинное обучение. Сами не знаем, что из этого получится».

В случае успеха, DeepMind и Blizzard ждёт множество возможных преимуществ. С игровой стороны, Blizzard рассматривает этот проект, как способ улучшить StarCraft 2. Игровой опыт переместится от предсказуемого и работающего по скриптам ИИ в сторону более развитого и результативного геймплея, что положительно скажется на издателе и игровом сообществе.

Сигати говорит: «Наша цель — сделать что-то, что работает не по скриптам. Чтобы ИИ учился, наблюдая за живой игрой. И пусть он не дорастёт до навыка геймеров, но компьютер сможет разнообразить и усложнить игровой процесс».

Это глубинное обучение, в теории, может раскрыть ИИ схемы игры, типичные ошибки и условия победы. Компьютер сможет точно сказать, в какой момент матча один игрок уже одержал верх, а второй проиграл.

«В какой-то момент — и мы сами ещё не уверены, сможем ли дойти до этого этапа — ИИ сможет определить, что сделано правильно, а что нет, — рассказывает Сигати. Из этого может получиться что-то вроде ведущих или советников — тренеров, если хотите — которые могли бы подсказывать игрокам: „сейчас было бы неплохо нанять вот этих юнитов”. Это могло бы помочь новичкам, которые ещё не знают всех тонкостей игры».

Сигати считает, что искуственный интеллект, если ему удастся дорасти до такого высокого уровня, сможет решить несколько проблем, с которыми Blizzard и игроки сталкиваются в различных регионах мира. Как известно комментаторам соревнований — и игрокам StarCraft 2 в частности — геймеры из Южной Кореи доминируют практически во всех соревнованиях, в которых принимают участие. Одной из причин этого является возможность соревноваться с лучшими из лучших у себя дома. Геймеры из других стран не могут встретиться в игре с таким же количеством профессионалов, поэтому потенциал роста их навыков сильно ограничен.

«В случае успеха, эти игроки смогут улучшать навыки игры независимо от своего региона, в то время как лучшие из лучших продолжат тренироваться между собой, — надеется Сигати. — Мы уверены, что как только мы начнём преодолевать эти барьеры, то появится огромное количество новых возможностей».

Со стороны DeepMind, Виньялс считает, что парадигма управляющей системы в необходимом окружении обладает огромным потенциалом, потому что множество технологических проблем вне игровой индустрии очень похожи. Используя игры для обучения ИИ оптимальным решениям, можно грамотно подойти к вопросу симуляции сложной среды с множественными переменными.

«С одной стороны, это замечательно, потому что мы можем работать над проектом, используя множество дата-центров и отслеживая большое количество игр, можем тестировать различные идеи, — считает Вильянс. — Обычно у каждой игры есть вполне конкретные результаты и показатели, и это позволяет нам экспериментировать с развитием алгоритмов. Как только нам покажется, что есть какой-либо прорыв, мы сможем внедрить эти инструменты в нашу повседневную жизнь».

Недавним примером влияния ИИ на реальный мир стала июльская новость, получившая широкую огласку. В новости говорилось, что ИИ DeepMind смог уменьшить счета компании, которые Google платила за дата-центры, на целых 40%. Искусственный интеллект поместили в среду обучения и поставили ему задачу — «значительно улучшить» практичность системы. И хотя планы Google перевести свои дата-центры на возобновляемые источники энергии ещё не воплотились в жизнь, DeepMind серьёзно преуспел в сокращении энергопотребления и затрат.

«Это своего рода игра, — говорит Виньялс. — Система сравнивает температуру разных частей помещения и оптимально работает, чтобы охладить дата-центр. Вообще, всё намного сложнее: целью является минимизировать расходы, не повреждая серверы, но существует очень много сходств с игровым опытом. Парадигма системы и окружения настолько же мощная, насколько и обобщённая».

«Игры могут тестировать и развивать разработку алгоритмов гораздо быстрее. Как только вы извлекаете нужную информацию, то можете сразу искать для неё широкое применение. Это уникальная возможность для ИИ, с точки зрения и разработки, и исследования».

Совместная работа Blizzard и DeepMind — это новейший шаг в развитии StarCraft 2. Первая игра в серии стала причиной роста и популяризации киберспорта. Она повлияла на решение Южной Кореи инвестировать в развитие Интернета и стала в стране культурным феноменом. Теперь же космическая стратегия играет свою роль в развитии ИИ. Такой прогресс стал сюрпризом для Сигати, который работает в команде StarCraft с самого начала.

Куда теперь будет двигаться StarCraft?

Он смеётся: «Без понятия! Может будем играть в игры на космических кораблях. Я только за!»