Как ИИ сможет повлиять на доступность в игровой индустрии

Мы живём в эпоху постоянного технологического развития, в том числе и в игровой индустрии, где технологии помогают сделать игры доступными для людей с ограниченными возможностями. К счастью, нейросети, машинное обучение и искусственный интеллект (В обобщённом смысле) стали мощным инструментом, который может сильно улучшить доступность в играх. Microsoft, мировой лидер в области технологий, уже активно работает над улучшением специальных возможностей в своих играх с помощью ИИ. В этой статье я попытаюсь рассказать, как искусственный интеллект меняет и будет менять игровую индустрию, подчеркивая его потенциал для создания инклюзивной среды и повышения доступности для всех.

Нарушение зрения наверное одно из самых сложных проблем доступности в видеоиграх. Благодаря алгоритмам машинного обучения игры могут предоставлять такие опции, как высококонтрастные режимы, поддержка дальтоников и настраиваемые элементы пользовательского интерфейса. Алгоритмы ИИ могут анализировать игровые визуальные эффекты и корректировать их в режиме реального времени, гарантируя, что игроки с различными нарушениями зрения смогут воспринимать важную информацию, не жертвуя общим игровым процессом. Масштабирование с помощью ИИ может улучшить читаемость текста и пользовательских интерфейсов в нужных местах для людей с нарушениями зрения. Например EA уже анонсировала систему, которая автоматически определяет, нужны ли пользователю настройки доступности дальтонизма.

Во-первых, эта система определяет «тип дихроматического зрительного дефицита» или же тип дальтонизма пользователя, с помощью теста, основанного на «виртуальных объектах индикации дальтонизма» или с цветами, которые визуально отличаются друг от друга. Этот тест может быть встроен в игры EA с помощью задания или цели, которая побуждает пользователя взаимодействовать с одним из этих объектов. Затем, основываясь на этом взаимодействии, игра может определить, является ли пользователь дальтоником и какой у него дальтонизм.

Ещё алгоритмы компьютерного зрения могут анализировать элементы на экране и предоставлять звуковые описания визуальных эффектов игры в режиме реального времени, позволяя игрокам с нарушениями зрения понимать окружающую среду и события. Уже сейчас службы Azure поддерживают функцию преобразования текста в речь в продуктах Майкрософт, включая Outlook, Edge и Office, чтобы помочь читать вслух электронные письма, документы и веб-страницы. Это облегчает доступ к цифровому контенту не только для слепых или слабовидящих, но и обычным игрокам.

Например, Gameloft, французский издатель видеоигр, использует Translator, часть Microsoft Azure Cognitive Services, для перевода чатов в игре более чем на 100 языков в режиме реального времени, что позволяет игрокам общаться, разрабатывать стратегии без каких-либо языковых барьеров. Gameloft Sofia, студия из Болгарии, выпускает стратегии в реальном времени, такие как March of Empires и War Planet Online. Когда Gameloft Sofia впервые разрабатывала March of Empires в 2015 году, студия задумала игру с продуманными альянсами и общением в реальном времени между игроками из разных стран. Чтобы это стало возможным, студии требовался точный и мгновенный перевод текста для всех внутриигровых сообщений, включая личные сообщения и глобальный чат.

У Microsoft есть ещё один проект Seeing AI — это приложение, предназначенное для помощи людям со слабым зрением или слепым. Оно визуализирует мир вокруг пользователя с помощью звуковых описаний.

Оно может прочитать рукописную заметку или отсканировать штрих-код, а затем сообщить пользователю, что это за продукт. Наведите камеру на что-то, и приложение сообщит, сколько людей оно может видеть и где они находятся на изображении — в центре, вверху слева и так далее.

Также Майкрософт официально поддерживает цифровые дисплеи и клавиатуры Брайля.
Сенсорные экраны Брайля, которые работают так же, как планшеты, уже доказали свою популярность среди людей. На конференции Ассоциации вспомогательных технологий в 2019 году в Орландо, штат Флорида, были представлены проекты, в том числе BraiBook, устройство для чтения электронных книг со шрифтом Брайля, которое умещается на ладони. И не говоря про огромное количество интересных обучающих игр предназначенных для обучения школьников шрифту Брайля под эгидой Майкрософт.

А по слухам Microsoft разрабатывает геймпад с поддержкой шрифта Брайля.

Контроллер Брайля, как он упоминается в патенте, очень похож на обычный геймпад Xbox One, за исключением того, что сзади из него торчит что-то вроде роботизированного насекомого. Это дисплей Брайля, состоящий как из точечной матрицы, которая механически воспроизводит неровности, по которым игроки могут провести пальцами, так и из набора сменных лепестков, позволяющих вводить данные. Всё это также будет работать с поддержкой машинного обучения.

Людям с нарушениями слуха ИИ может помочь в предоставлении звуковых сигналов в форме субтитров, чтобы обеспечить эффективную передачу важной игровой информации. Алгоритмы распознавания речи и обработки звука в реальном времени, позволят игрокам с нарушениями слуха прочитать буквально всё, от горение травы до жужжания жуков.

Например недавно Microsoft заключила партнерское соглашение с Рочестерским технологическим институтом, чтобы Microsoft помогла в реализации инструмента для перевода звуков в текст на основе искусственного интеллекта, в режиме реального времени для более чем 1500 зачисленных глухих и слабослышащих студентов. Система преобразует речь в беглый текст с пунктуацией и выучивает техническую лексику с помощью материалов, поступающих через Microsoft Custom Speech Service (CSS). Скрытые субтитры проецируются на экраны лекционных залов с помощью надстройки к Microsoft PowerPoint, называемой Presentation Translator, и студенты могут получить доступ к субтитрам через ноутбук, телефон или планшет и перевести их на более чем 60 языков!

Уже сейчас подобная технология преобразование речи в текст работает на консоли Xbox Series. На Xbox есть транскрибирование чата. Речь игроков во время игры преобразуется в текст, который можно читать на экране. То есть когда участник вашей команды говорит, его речь преобразуется в текст, который можно прочитать.

Физические и опорно-двигательные недостатки могут создавать проблемы, когда речь идет об управлении игровым персонажам или навигации в игровом пространстве. Многие игроки хотят забыть времена Kinect, но это был большой шаг в сторону доступности. Иногда легче прокричать, чем нажать на кнопку.

Тогда в Windows и Xbox, включили функцию голосового помощника. Эта настройка повышает доступность, позволяя пользователям взаимодействовать со своими устройствами без необходимости физического ввода, что делает её особенно полезной для людей с двигательными нарушениями. Голосовые команды можно использовать для управления внутриигровыми действиями, навигации по меню или взаимодействия с игровыми персонажами, что снижает зависимость от традиционных устройств ввода.

Кроме того, ИИ может использовать технологию отслеживания взгляда или мимики, предоставляя альтернативные методы ввода для игроков с ограниченной подвижностью. Уже сейчас пользователи могут входить на свои устройства, используя свои лица, с помощью технологии распознавания лиц Windows Hello, которая работает на базе Azure Face API. – Эта инновационная функция упрощает процесс входа в систему для пользователей с ограниченными физическими возможностями. А в 2014 году команда Microsoft Enable разработала Eye Controlled Wheelchair, инструмент, который позволяет пользователям инвалидных колясок управлять средствами передвижения только с помощью движений глаз. Прототип, который был вдохновлен письмом от бывшего игрока НФЛ Стива Глисона, страдающего нейродегенеративным заболеванием — боковым амиотрофическим склерозом (БАС), — получил главный приз из 3000 проектов со всего Microsoft, и это стимулировало создание специализированного подразделения в компании под проекты такого типа.

Eye control был первым продуктом этой команды. Это функция Windows 10, которая работает в тандеме с совместимым устройством отслеживания глаз, позволяет людям с ограниченными возможностями управлять мышью и клавиатурой с помощью взгляда, благодаря специально разработанной панели задач, являющейся расширением экранной клавиатуры. Этот проект, в свою очередь, лёг в основу эксперимента Microsoft с использованием набора инструментов для создания музыки, управляемых глазами, получивших название Sound Jam и Sound Machine.

Технология отслеживание взгляда в играх, может стать повсеместной в ближайшем будущем. Eye Tracker поддерживается уже более чем в сотне игр: от инди до недавних ААА проектов, как Far cry 6.

Также ИИ может динамически регулировать уровень сложности игры в зависимости от уровня навыков игрока или индивидуальных способностей. Это гарантирует, что геймеры всех уровней навыков могут наслаждаться играми, как например Dark Souls. Если босс наносит слишком много урона, что приводит к частым смертям, вам будут наносить меньше урона. Или сделать более удобные тайминги в платформенных играх. Эти изменения будут происходить только в зависимости от успехов или неудач игрока, делая прохождение более инклюзивным и увлекательным.

Технологии уже давно открывают двери для людей с ограниченными возможностями, от адаптивных геймпадов до слуховых аппаратов. И в ближайшие годы ИИ начнет дополнять эти усилия новыми возможностями. Microsoft хочет ускорить инновации с помощью программы под названием ИИ для Доступности (AI for Accessibility), о которой было объявлено недавно с финансированием в размере 25 миллионов долларов. Её цели включают в себя разработку большего количества проектов с ИИ в самой Майкрософт и предоставление грантов другим компаниям. Майкрософт годами работает над тем, чтобы сделать свою экосистему и программное обеспечение(в том числе и игровое) более доступными для людей с ограниченными возможностями. Дженни Лей-Флурри, главный директор по доступности в Microsoft, говорит, что технологии, которые, как она думала, появятся через пять-десять лет, теперь, скорее всего, войдут в нашу жизнь через два-три года. Светлое будущее совсем рядом!

Данная статья была написана специально для сообщества Xbox. Live на DTF по программе " самое Доступное лето с Microsoft ".

#xbox #индустрия #доступность #спецальныенастройки #microsoft #ea #ai