I've Got No Strings
Создатель мода Superintelligence для Civilization V о вопросах безопасности искусственного интеллекта.
В январе 2018 года Центр по изучению экзистенциальных рисков (это отделение Кембриджского университета, которое исследует потенциальные сценарии конца света и способы их предотвращения) выпустил мод для Civilization V под названием Superintelligence. Он добавляет в древо технологий искусственный интеллект, который, если не принять меры предосторожности, взбунтуется и для всех игроков на карте мира наступит апокалипсис в духе «Терминатора».
Сайт Rock, Paper, Shotgun опубликовал интервью с одним из авторов дополнения. Директор проекта Шахар Авин (Shahar Avin) рассказал о том, что вдохновило их на создание модификации и поделился своими мыслями о будущем в сфере изучения ИИ, а также о том, что мы должны сделать прямо сейчас, чтобы потом не пришлось посылать кого-нибудь в прошлое спасать Сару Коннор.
Как и когда вам в голову пришла идея мода?
Сначала отвечу на вопрос «Как». Идею мода вдохновила концепция «дифференциальной технологии» в изучении экстремальных рисков. Согласно ей — ускорить разработку технологии проще, чем замедлить её. В то же время, есть технологии, которые делают другие исследования менее рискованными (изучение ИИ-безопасности снижает потенциальные угрозы при работе с искусственным интеллектом, разработки в сфере чистой энергии помогают избежать проблем с экономическим ростом и т.д.). Поэтому нужно как можно раньше вкладываться в технологии, которые делают мир безопаснее.
Когда я впервые наткнулся на эту идею, она была для меня интуитивно понятной, потому что я представил все возможные технологии как одну большую схему, по которой можно продвигаться разными путями. По аналогии с тем как выглядит древо научного развития в «Цивилизации». Это привело меня к мысли о том, что мир Civilization представляет сложные механизмы реального мира в доступной форме. Если добавить к этому другие аспекты экстремальных технологических рисков, это могло сработать.
Отвечая на вопрос «когда» — зеленый свет проекту дали во время Кембриджской Конференции Катастрофических Рисков в декабре 2016, сразу после конференции в Клэр-Колледже.
Почему вы выбрали пятую «Цивилизацию»? Были ли другие игры которые вы рассматривали?
Как я уже упомянул раньше (относительно дифференциальной технологии), я сразу начал думать скорее о создании мода к Civilization, чем о создании мода или игры в принципе. В то время шестая часть серии только вышла в свет. Мы решили выбрать более надежный вариант — делать мод для уже устоявшейся Civilization V, игры, в которой у меня есть много игрового опыта и поэтому уже есть идеи о том, как интегрировать концепции в игру.
Видел ли ты какие-нибудь представления сверхразумного ИИ в играх (или фильмах, книгах) которые заинтересовали тебя? Я имею в виде примеры, идущие дальше идеи с «восстанием злых роботов». Что-то вроде Talos Principle или Nier Automata.
Мне нравятся Разумы в книгах серии «Культура» Иэна М. Бэнкса и Космические Корабли в романе «Слуги Правосудия» Энн Леки. В обоих случаях сверхинтеллект изображен работающим в коллаборации с людьми, при этом оставаясь не гуманоидным в своей природе. Важно что в этих произведениях ИИ-персонажи не слуги, враги или боги, как часто бывает в подобных сюжетах. Ещё мне нравится Четвертый Человек в «Последних и первых людях» Олафа Стэплдона. Мне кажется я читаю больше книг чем играю в игры… Мне очень понравился Хокку-бот из Shadowrun: Hong Kong от студии Harebrained Schemes. [Позже Шахар рассказал мне, что во время нашего интервью он играл в The Red Strings Club и теперь хочет добавить игру в свой «образовательный арсенал» - прим. автора]
Мод представляет восстание искусственного интеллекта как «сценарий по умолчанию» — это гарантировано произойдет, если игрок не построит центры безопасности. Ты не боишься, что это даёт неправильный послание?
Если ты построишь мост не уделяя внимания на нагрузкам, которым он будет подвергаться, то «сценарий по умолчанию» — обрушение моста. В сфере ИИ есть искусственное разделение на изучение его способностей и изучение безопасности, а для строителей мостов безопасность - это изначально важная, большая часть их работы. Похоже, человечество как вид учится работать над потенциальными проблемами и опасными ситуациями только когда нам на них указывает природа — в виде аварий или катастроф. Когда ставки очень высоки, как в нашем случае, это неправильный подход. Так что да, я думаю, если мы не начнем прямо сейчас размышлять о том, как широко распространенные системы искусственного интеллекта могут привести к катастрофическим последствиям, но продолжим разрабатывать и создавать такие системы, наш «сценарий по умолчанию» — катастрофа.
Есть что-то ещё что вы хотели сказать этим проектом но не смогли? С другой стороны, какие из опасностей касающихся изучению ИИ получилось показать правильно?
Есть много нюансов, которые мы не смогли отразить из-за временных или бюджетных ограничений. Были вещи, которые мы не стали включать в мод, думая что они сделают его менее интересным. Это не реалистично — иметь точный отсчет прогресса ИИ до его создания или бунта. Мы просто не знаем как далеко находимся от создания такой технологии и можем не узнать до тех пор, пока не будем очень близко. Мод сосредоточен на разработке ИИ отдельными странами, но мы знаем что в нашем мире более важную роль в разработке искусственного интеллекта играют корпорации. Их мотивы и действия отличаются от национальных. Мы на минимальном уровне представляем в моде технологии связанные с ИИ, потому что не хотим, чтобы он доминировал над остальной игрой. Это значит что мы даем очень условный и не особо информативный взгляд на историю искусственного интеллекта в 20 и 21 веках (но мы добавили много контента в Цивилопедию).
Я бы хотел дать игрокам больше возможностей для устранения рисков, связанных с ИИ — объединенные усилия стран, глобальное вето на рискованные разработки, обмен информацией по безопасности, сертификации и стандарты, всё в таком роде. Многое из этого сейчас активно исследуется в управлении ИИ. Тем не менее я счастлив что мы правильно представили основы — искусственный интеллект может быть как благом так и угрозой для всего живого. Есть вещи которые могут снизить этот риск — изучение безопасности в вопросе AI наверное во главе списка того, что мы можем сделать сейчас. Сотрудничество между нациями намного безопаснее чем соперничество, когда в это вовлечены опасные технологии — геополитика может нанести ущерб даже самому альтруистичному и настроенному на безопасность игроку.
Нам стоит ожидать каких-нибудь изменений в моде или дополнений к нем? У вас в планах есть похожие проекты?
Мы на ходу вносим небольшие изменения исходя из отзывов игроков (в основном со страницы Steam), и продолжим отвечать на отчеты об ошибках и новые запросы. Также, мы бы с радостью увидели эти концепции представленные в новых версиях «Цивилизации» и других играх, но пока не имеем конкретного плана как это делать — через дополнительные моды или взаимодействуя напрямую со студиями. Мы рассматриваем потенциальную возможность показать другие экзистенциальные риски в схожей манере и создать более детализированную симуляцию сценария с ИИ.
Почему мы должны бояться сверхразумного ИИ?
Я не думаю что страх — это правильная реакция на искусственный интеллект — важнее любопытство. Мы должны быть в курсе о возможных вариантах развития событий, связанных со сверхразумным ИИ. Мы должны быть оповещены, что некоторые из этих потенциальных сценариев кончаются для человечества очень плохо, в то время как другие ощутимо улучшают качество жизни людей. Самое важное — это знать, что есть выбор из вещей, которые мы можем сделать прямо сейчас чтобы воздействовать на будущее в котором мы окажемся, но это получится только если мы будем в полной мере понимать эту технологию и её возможное влияние на нас.
Мод отражает потенциальный сценарий взбунтовавшегося сверхразума, который включает в себя быстрое развитие системы, способной решать проблемы и воздействовать на мир в форме, которая значительно превышает способности людей. При этом ИИ не берет в расчет человеческие ценности или отрицает их. Его конечная цель — состояние мира, при котором человеческое выживание не рассматривается как важная задача или даже противоречит этой цели. Мы видели как корпорации тратили огромные суммы на то чтобы «заглушить» научные изыскания связанные с вредом курения или изменениями климата, несмотря на то, что они созданы людьми, для людей и в них работают люди. После этого идея о том, что более могущественные, при этом ещё менее человечные, формы искусственного интеллекта могут нанести куда больше ущерба в ходе своих действий кажется вполне правдивой. Так или иначе, повторю ещё раз — это только один из многих возможных вариантов будущего. Главная мысль заключается в необходимости дальнейшего изучения и ответственных действиях на основе предстоящих открытий.
Кроме того чтобы играть в мод и обсуждать его, есть ещё какие-нибудь способы поучаствовать в дискуссии о безопасности ИИ?
Конечно! Безопасность ИИ это растущая сфера, со многими важными темами, открытыми для изучения, вводными материалами, возможностями для построения карьеры и полноценными рабочими местами. Также существует растущее поле политики и стратегии ИИ, с несколькими исследовательскими центрами по всему миру. Существуют студенческие общества, группы чтения, блоги, гранты, премии и конференции, которые дают возможности поучаствовать в процессе.
Интервью: Мэтт Кокс (Matt Cox)
Страница мода в Steam
Сайт Центра по изучению экзистенциальных рисков