Борись, «Борис»: основатель Nival о будущем нейросетей в играх

Футурологический рассказ Сергея Орловского о «Блицкриге 3», образовании и искусственном интеллекте.

На конференции DevGAMM 2017 CEO Nival Сергей Орловский выступил с лекцией «Борис Всемогущий и возможности нейросетей». Он рассказал о «Борисе» — нейросетевом ИИ, разработанном для стратегии компании и предположил, как развитый искусственный интеллект изменит жизни людей и игровую индустрию через десятилетие. Мы расшифровали выступление.

На тему нейросетей появляется много страшилок, это очень модно. Мы видим достаточно активное применение технологии в продуктах вроде Prisma, в играх, во всевозможных процессах автоматизации. Появляется боязнь того, что будет, когда нейросети, ИИ, сверхразум захватят мир. Страх потерять работу.

Уже выходит довольно настораживающая статистика — в частности, есть прогноз Pricewaterhousecoopers, в котором говорится, что к 2030 году (то бишь через 13 лет) 30-40% людей потеряет работу из-за автоматизации. Почему?

Джефф Безос проговорил очень хорошую мысль про четвёртую промышленную революцию. Первые две были посвящены промышленному производству, третья — информатизации и алгоритмической автоматизации (информационное общество, сформировавшееся сегодня). Четвёртая будет построена на неалгоритмической автоматизации.

Есть принципиальная разница в классе задач, которые мы можем решать. До недавнего времени все компьютеры базировались на алгоритмах, а алгоритмы становятся сложнее и сложнее. Есть классы задач, в первую очередь — оптимизационных, которые всё сложнее и сложнее решать алгоритмами. Однако прорывы в дизайне нейросетей за последние 10 лет позволили сформировать альтернативные методы решения целого класса задач — в частности, управления. И как раз нейросети с ними справляются гораздо лучше.

Много интересных историй было с распознаванием образов — нейросети радикально упростили и улучшили качество решения этой задачи. Если вы следили за этой темой, то можете заметить, что миллиарды долларов вкачивались в неё на протяжении десятилетий в попытках придумать нужные алгоритмы. Так же было и в распознавании речи. А потом приходили ребята со знанием deep learning и нейросетей и буквально за два-три года небольшими командами достигали аналогичных результатов, а потом улучшали качество распознавания в несколько раз.

Но прежде чем погружаться в эту тему, я бы хотел отметить, что может произойти в игровой индустрии. Большой интерес к ИИ привлёк пример победы DeepMind в игре го. Это был рубеж. Стало очевидно, что нейросетевая интуиция достаточно мощна и может на равных или с небольшим преимуществом играть с людьми в игры, которые очень сложно алгоритмизируются.

Несмотря на то, что мы уже занимались ИИ для «Блицкрига 3» уже несколько лет, именно архитектура го натолкнула нас на подходы, с помощью которых мы начали реализовывать новую версию ИИ.

Задача искусственного интеллекта в RTS — одна из краеугольных, потому что это один из самых сложных жанров. Тот же DeepMind очень активно пытается решить эту задачу, но академически и теоретически.

Иными словами, они пытаются построить универсальную нейросеть, которая бы анализировала видеопоток и выдавала команды для игры в RTS, причём строго на нейросетевом базисе. Мы пробовали идти тем же путём и потратили где-то полгода. Конечно, мы не разбирали видеопоток — это наша игра, мы всё про неё знаем. Однако мы попытались сначала управлять юнитами чисто с помощью нейросети.

Мягко говоря, это оказалось не очень хорошим решением. Даже не очень качественная реализация требовала огромных вычислительных ресурсов. У технологии не было практического применения: мы всё-таки делаем коммерческий продукт, нам нужно, чтобы один сервер поддерживал хотя бы 100 сессий ИИ. А у нас получалось, что один сервер с трудом справляется с одной сессией.

Мы вычленили ряд задач, которые куда эффективнее решаются алгоритмически — вспомнили все старые-добрые методы и разделили ИИ на несколько «слоёв». Большинство «слоёв» оставили алгоритмическими — они очень быстро считаются и выдают понятный прогнозируемый результат за конечное время. А несколько отдали на откуп нейросети, сделав гибридную модель, похожую на ту, что применялась в AlphaGo.

Получилось весьма интересное сочетание. Один из важных слоёв в некотором смысле похож на интуитивный слой из других нейросетей. Нейросеть старается предсказать, что делает противник. Мы изначально поставили задачу сделать игру честной, информация у оппонентов должна была быть симметричной. В отличие, кстати, от большинства стратегий, где ИИ имеет полный доступ ко всей информации, «жульничая» и обыгрывая пользователя.

Мы делаем честный ИИ, и он не может оперировать только видимой информацией, ему нужно домысливать, что игрок делает под «туманом войны». Идея оказалась очень продуктивной, поскольку именно с подобным классом задач нейросеть справляется очень хорошо — и, предсказывая по некоторым проявлениям, что мог задумать игрок, после определённой тренировки выдаёт результаты, очень похожие на поведение опытных пользователей.

К примеру, если нейросеть видит, что с какого-то направления к ней приближается скаут, она очень быстро, обучившись, понимает, что за ним есть ещё какая-то группа войск и можно «накрыть» её воздушным ударом. И точно так же, как периодически ошибается человек, ошибается и нейросеть.

Вы двигаете юниты, а внезапно в лес неподалёку прилетает воздушный удар — и вы понимаете, что играете с сущностью, которая тоже пользуется интуицией, просто она её подвела. Таким образом, сама сессия получается очень живой и необычной, радикально отличающейся от всего, что мы привыкли видеть при игре с компьютером.

Мы уже достигли этого результата. Я не буду углубляться в то, как это устроено, потому что хотелось бы сохранить некоторый секрет. Однако результат уже налицо, все могут на него посмотреть и понятно направление, в котором игровой ИИ подобного класса будет развиваться дальше. Я бы хотел посмотреть на ситуацию со стороны и поразмышлять, куда она может нас привести.

Наиболее успешные игровые проекты обладают двумя компонентами и определёнными свойствами каждого из них.

Первый компонент — сессия с высоким уровнем реиграбельности. Он, особенно при игре с живым человеком, создаёт ряд интересных аспектов. Человеку интересно играть, потому что постоянно сменяются разные ситуации. С другой стороны, у человека, применяющего разные тактики и стратегии, можно учиться, постоянно прогрессируя в навыке. На этом стоит киберспорт, так активно развивающийся сегодня.

Второй — это persistent progression, постоянный прогресс, управление контекстом. Иными словами, давая игроку новые награды, пушки, системы защиты или юнитов, мы трансформируем не правила игры, а инструменты, которыми управляем в рамках этих правил, смещая контекст.

ИИ может повлиять на обе эти вещи, объединяя в рамках сессии все преимущества, которые есть у PvE и PvP. Не все хотят играть с живыми людьми, мы проигрываем, нам это не нравится. В многопользовательских играх высокое социальное давление, очень часто порождающее «токсичность» из-за проигрышей. А в случае ИИ в рамках самой сессии мы можем делать так, чтобы игрок получал максимум положительных эмоций, находясь на грани своих навыков, при этом, в силу того, что нейросеть обладает очень высокой недетерминированностью и в перспективе может играть лучше даже самых продвинутых игроков.

Во втором случае всё так же — управление контекстом. Сейчас, чтобы задать поведение NPC или провести человека по сюжетной линии, пишутся кучи скриптов и алгоритмических правил. Но в конечном счёте мы понимаем, что все они жёстко заданы, и вскоре нам становится неинтересно. ИИ, управляющий контекстом, способен решать эту задачу гораздо эффективнее даже геймдизайнеров, заранее спланировавших игру.

Возможно, лет через 10–15 с помощью ИИ можно будет автоматизировать не только процесс игры, но и большую часть задач по её разработке. При этом разговоры о том, что автоматизируют водителей и останется огромное количество безработных, нас не очень пугают (хотя, если подумать, 30% безработного населения на горизонте в 13 лет — это очень много). При условии линейного роста, что наиболее эффективно, — это несколько миллионов безработных каждый год только в России. Но нам-то кажется, что мы люди умные, творческие, и нас это никогда не коснётся. А это не так.

Нейросети сегодня учатся решать когнитивные задачи — то есть те, что находятся на грани творчества. Они оставляют за человеком ядро творческих задач и автоматизируют большое количество рутины. Через 10–15 лет большая часть самого процесса создания игры будет отдана на откуп ИИ. В частности, уже есть примеры создания трейлеров к известным фильмам — вы никогда не скажете, что это сделал компьютер. Они очень пристойного качества, хотя понятно, что «души» там нет, но этого более чем достаточно на ремесленном уровне.

Задача текстурирования при заданном стиле — техническая. Так же, как нейросети умеют конвертировать стилистику фотографий, они через несколько лет справятся с конвертированием стилистики текстур. Мы будем задавать основные особенности персонажей и, может быть, несколько десятков референсов. В дальнейшем все текстуры будут генерироваться автоматически. Сведение цвета, сведение картинки — тоже задачи, которые можно перекладывать на нейросети.

Наша индустрия будет меняться достаточно драматически. Я считаю, что нужно уже сейчас выбирать профессии, которые сохранятся и будут ещё востребованнее при автоматизации. Думаю, нейросети окажут такое же влияние на игровую индустрию, как проникновение интернета. Драматический слом будет примерно такого же масштаба.

Если посмотреть на ситуацию глобальнее — нужно решать проблему с высвобождающимся количеством людей. На сегодня готового решения нет. Даже на уровне дискуссий очень робко обсуждается, что мы будем делать с сотнями миллионов людей, которые станут не только безработными, но и в принципе неспособными найти работу.

Наша сегодняшняя система образования обучает молодёжь, и есть незначительные курсы для дальнейшей учёбы. При этом данная концепция сформировалась триста лет назад под индустриальную революцию и с тех пор радикально не менялась. А мир изменился уже очень сильно.

Сегодня лучшие умы говорят о том, что нам недостаточно заниматься образованием в какой-то определённый промежуток времени. Мы будем учиться на протяжении всей жизни. Да, какой-то начальный набор мы будем получать ещё молодыми, а в дальнейшем — каждый год, каждый день продолжать учиться чему-то новому. И очевидно, что это потребует создания принципиально иных систем образования, нежели те, что есть сегодня.

Ещё несколько лет назад нам казалось, что основная преграда на пути постоянного образования — его недоступность. Только избранные могли получать доступ к лучшим лекциям в лучших университетах, платя за это очень большие деньги, влезая в долги (в западном обществе) и десятилетиями их выплачивая. Сейчас всё изменилось. Любой человек в любой точке мира практически бесплатно может получить доступ к лучшим лекциям лучших преподавателей в лучших университетах. Казалось бы — должен случиться Ренессанс.

Однако выяснилось, что люди очень ленивы. Неожиданность. И желание переучиваться мало у кого есть. Таким образом, решена проблема доступности, но не мотивации.

А самое удивительное в том, что именно наша индустрия — главная по решению проблем мотивации. Мы на протяжении десятилетий отрабатываем сотни механик, определяем, как замотивировать игроков делать в игре те или иные вещи, двигаться по основной сценарной линии, строить правильные дорожки (и, в конечном счёте, платить).

Те же методы мы в перспективе сможем использовать для создания образовательных систем. В этом нет никаких противоречий, особенно с учётом того, что я говорил до этого. Если мы научим ИИ управлять контекстом, образовательные игры могут стать не менее интересными, чем те, в которые мы играем просто так. Более того, в силу того, что сама образовательная индустрия в 60-80 раз больше игровой — мы сможем делать образовательные игры с бюджетами, в 50-100 раз превышающими текущий бюджет лучших игр.

Если сейчас самый крупный бюджет, которым мы оперируем — 300 миллионов [долларов], то мы сможем делать многомиллиардные образовательные проекты, выглядящие и играющиеся так же интересно, как лучшие нынешние блокбастеры, — и при этом нести огромную пользу людям, в первую очередь, в области переобразования.

Понятно, что задачи такого масштаба отдельные компании решать вряд ли смогут. В моей картине мира этим частично будут заниматься корпорации, частично — государства. В конечном счёте, речь идёт о создании очень мощных систем по воспитанию и образования всех жителей страны. И системы подобного класса будут нести очень драматические риски. Даже суверенитет государств будет зависеть от того, насколько они способны будут их создавать. И эти системы во многом будут управляться нейросетями и искусственным интеллектом.

С одной стороны, картина весьма удивительная. С другой — мы понимаем, что в рамках этих систем огромное количество людей будут способны переучиваться. Но будут и те, что не захочет. Что делать с ними?

В каждой индустриальной революции было довольно много людей, не способных адаптироваться. К сожалению, в прошлом они практически всегда отторгались обществом. В некотором смысле, сегодня на игровой индустрии лежит ответственность — сделать так, чтобы эти люди не были уничтожены тем или иным способом. Раньше на эту тему никто особенно не задумывался — развязывались войны, эпидемии, была масса инструментов.

Тем не менее, определённые рецепты уже обсуждаются. В одной из недавних книг, Homo Deus, рассматривается следующий вариант: люди, оставшиеся без работы, получают безусловный базовый доход и начинают играть в игры, которые оказываются основным источником сублимации инстинктов. Это очень интересный аспект. Да, базовым доходом мы можем сделать так, чтобы жизнь людей была более-менее комфортной, но мы не сможем придать им цель. Наши инстинкты никто не отменял. Нам нужно их в той или иной форме реализовывать. Как раз игры могут стать инструментом, который позволяет людям вести осмысленный образ жизни и чувствовать себя счастливыми. Как это ни парадоксально.

Мы начинаем тесно взаимодействовать с нейросетями. Отложим пока в сторону вопросы сознания, остающиеся на сегодняшний день открытыми (есть ряд гипотез о том, что это такое и может ли появляться сознание в рамках нейросетей). При том объёме информации, который генерируется человеческой цивилизацией, человечество неспособно будет обрабатывать эту информацию самостоятельно. Мы вынуждены будем отдать основные инструменты обработки ИИ. А значит, большинство решений, принимающихся в рамках цивилизации, будет принимать искусственный интеллект.

Когда вы вызываете Uber, водитель иногда спрашивает, каким маршрутом вы хотели бы проехать. Думаю, что большинство из вас уже говорит: «в Яндексе посмотри». Почему? Потому что мы привыкли к тому, что «Яндекс» даёт наиболее эффективный маршрут. Нет смысла с ним спорить. Мы с удовольствием отдаём право принятия этого решения роботу.

По мере того, как количество информации в обществе будет расти, всё больше и больше решений подобного класса мы будем давать на откуп информационным системам. Таким образом, медленно или скачкообразно — это не принципиально — мы войдём в очень тесное взаимодействие с нейросетями. И нам будет очень сложно отличить решения, принимаемые нами, от решений, принимаемых нейросетью за нас. Должен возникнуть определённый симбиоз между нами и нейросетями в том виде, в каком они будут через 10-20 лет. Это где-то и соответствует точке сингулярности, о которой все говорят.

Но мы не до конца понимаем один простой факт. Как сказал недавно директор дочерних фондов РВК Евгений Кузнецов: «Мы — последнее поколение, живущее в человечестве». Потому что следующее поколение будет уже жить в симбиозе человека и искусственного интеллекта. Это произойдёт при нашей жизни, мы можем на это очень активно повлиять. И я хотел бы призвать многих задумываться на эту тему.

Наши инстинкты формировались миллионы лет и под решение совсем других задач, чем даже те, что есть сейчас. Мы привыкли к тому, что мы самый умный вид на планете, и никогда не задумывались, что нам придётся сосуществовать с другим видом, который, возможно, окажется куда умнее нас (вне зависимости от того, будет ли у него сознание). И у нас не существует этических систем для подобной ситуации. Иными словами, наши социальные структуры бесконечно далеки от необходимых, и они не успеют эволюционировать, потому что базируются на наших инстинктах.

Сегодня решения нет. Одно из возможных направлений — отказ от иерархических моделей, которые перестанут быть эффективными и могут приводить к очень драматическим изменениям.

Приведу пример. Сейчас есть CRISPR, целый ряд лабораторий, которые в состоянии, по сути, «печатать» искусственную жизнь. Модифицировать клетки настолько, что получается новый вид. Мы можем печатать бактерии, микробы, пока в лабораториях. Пройдёт 10 лет, и каждый студент на своей кухне будет способен это делать. Вопрос — что будет его останавливать от создания новой пандемии? Ведь в рамках иерархической конструкции цивилизации на иерархиях построено всё — основным инстинктом остаётся доминирование, следствие естественного отбора. Эта модель начинает рассыпаться, потому что у каждого в кармане появляется «атомная бомба». Какую этическую модель мы можем предложить в этом случае? Ответа нет, но она будет радикально отличаться от существующей.

Однако у нас осталось не так много времени. Этические модели эволюционируют в симбиозе с инстинктивной моделью нашего вида. Сотни тысяч лет наши инстинкты развивались вместе с социальными структурами. Но технологический прогресс, растущий по экспоненте, очень сильно их опережает. Нам нужно пройти сравнимую эволюцию, чтобы перекроить эту связку инстинктов с социальными структурами, и успевать по экспоненте идти в соответствии с техническим прогрессом. Как это делать — ответа нет. То, что мы можем обкатывать эти модели в нами же созданных песочницах — ясно, а игры являются наилучшим инструментом для решения подобных задач. На мой взгляд, это очевидно.

Резюмируя — игровой индустрии в следующие 20 лет будет отведена очень интересная роль, и нам дана привилегия участвовать в этих процессах. Давайте относиться к этому ответственно. Давайте создавать такие игры, которые будут позитивно влиять на нашу цивилизацию. Да, это сложно, неочевидно. Мы не очень хорошо представляем, как. Но если каждый из нас в меру сил, хотя бы по чуть-чуть, будет двигаться в этом направлении — мы сможем изменить мир к лучшему.

Возможна ли в будущем модель, при которой безработное большинство получает базовый доход не в виде ставки от государства, а через игры. Играет в ММО и «фармит себе голду» на пропитание.

В рамках систем, которые я описал, возможно следующее. Часть людей учится навыкам, полезным в производительной части общества и в реальном мире. Вторая часть способна производить определённого вида контент для виртуального мира — UGC, и тоже приносить достаточно большую пользу. Только третья часть, неспособная переобучаться и производить контент, должна получать базовый доход. Да, возможно, помимо этого какие-то бонусы за «фарм голды», но это уже опционально.

Вы упоминали о когнитивных задачах, которые нейросети пытаются сейчас решать. Известно ли вам о ситуациях, когда нейросеть пыталась самостоятельно заниматься программированием? И что из этого вышло?

Знаю, что были эксперименты на эту тему, но пока ничем хорошим это не кончилось. Никаких прорывов не было. Всё пока очень примитивно и рудиментарно. Но на некотором горизонте рутинные задачи программирования будут автоматизироваться. Сложные, конечно, нет.

Думаю, программирование в том виде, в каком мы его понимаем сегодня, будет в значительной степени невалидно. Оно останется, как небольшая часть. Сейчас уже видно, что data scientists (специалисты в науке о данных, прим. редакции) становятся востребованнее программистов. С другой стороны, когда вы берёте нейросетевой фреймворк, вы в нём не особенно там программируете. Ваша задача — собирать из «кубиков» архитектуру нейросети и «скармливать» ей правильные данные. Поскольку мы будем отдавать всё больше задач на откуп нейросетям, такое «программирование» будет всё более и более востребованным.

Какие профессии в геймдеве будут автоматизированы быстрее всего, и какие — медленнее?

В силу того, что есть много наработок по обработке изображений — я считаю, что в первую очередь это большинство рутинных операций в арте. Дальше интересные вопросы будут в геймдизайне, потому что сейчас геймдизайнеры строят целостную картину игры. Однако если мы отдадим ИИ задачи по комбинаторике различных компонентов игры под соответствующую аудиторию и адаптации под конкретного юзера, задача человека будет в том, чтобы создавать эти компоненты, а дальше уже будет решать нейросеть. Ну и последнее — это программирование, трансформирующееся в Data Science.

Насколько скоро геймдев будет решать задачу создания игры с нуля без человеческого участия?

В этом нет смысла. Я приводил пример с «Борисом». Мы попытались сделать всё на нейросетях — получилось не очень. Я сторонник гибридных моделей.

Для обучения нейросети нужен data set, набор данных. Если я инди-разработчик, где их взять, учитывая, что часто они запрещены для использования в коммерческих целях?

Это ваш головняк, извините.

Можете привести ещё примеры проявления «человечности» вашего ИИ?

Разрушение шаблонов. У нас есть не очень большое количество стратегий, которое мы применяем против алгоритмического интеллекта, например, кайтинг. С нейросетью ты начинаешь «кайтить» юнитов, а они не кайтятся. Иногда могут, но не всегда. И ты понимаешь, что эта часть эксплуатации алгоритмичности не работает. Или ты любишь наносить концентрированный огонь по одному юниту. А ИИ начинает отходить и выстраивает из юнитов полусферу, чтобы наносить такой же урон по тебе. Многие люди теряются — они привыкли использовать в PvE три-четыре простые стратегии и побеждать. А тут они не работают.

Игровой индустрии отводится интересная роль — создавать проекты для светлого будущего. Вот «Нивал» сделал ИИ для игры в милитаризированном сеттинге, в чём её «светлость»?

Ждал этого вопроса. Ну, помимо милитаризированного сеттинга, мы и другими играми занимаемся. Чтобы разбираться в вопросе — неплохо бы им позаниматься. На сегодняшний день наиболее эффективное практическое применение мы видим в том, чтобы создавать противников для человека. Буквально следующий шаг — мы сделаем ИИ-союзника, игрока, который кооперируется с тобой против других.

Есть ли какие-то негативные тенденции в игровой индустрии, которые могут негативно повлиять на социум, если их не прекратить?

Есть, но я тут боюсь обидеть большую часть аудитории. Скажем так, очень много игр, которые мы создаём — бесполезны, часть из них вредны. Надо прекращать этим заниматься, по крайней мере вредными. Как кто-то хорошо недавно сказал, в мобильном сегменте лучшие умы бьются над вопросом CTR. И это тоже как-нибудь бы исправить.

По футурологической части выступления. Вам не кажется, что проблема непрерывного обучения, которое сейчас не происходит, не структурная, а чисто биологическая?

Люди с огромным удовольствием учатся играть в новые игры даже в зрелом возрасте. Было бы желание. Понятно, что темп обучения с возрастом снижается. Но есть и наиболее прогрессивные методологии, вроде той, что пытается внедрить Khan Academy. Когда информация выдаётся не общим потоком для всех обучающихся, а индивидуализируется для каждого из них.

Там был забавный эксперимент. Они взяли группу школьников и проследили траекторию, по которой они двигаются по материалу. И выяснили, что если у них близкий IQ и они похожи, то результат, к которому они приходят через определённое время одинаков, но траектории разные. При линейном поглощении информации — ты что-то пропустил, ломаешься и отваливаешься. Но если тебе это повторять до тех пор, пока не поймёшь — оставшуюся информацию ты проглатываешь очень быстро.