AR-жизнь: применение и перспективы дополненной реальности

Рассказ основателя Indium Lab о существующих технологиях и их развитии.

Основатель Indium Lab Александр Ситников написал для DTF статью о прошлом, настоящем и будущем AR-решений на конкретных примерах.

Активное обсуждение технологии дополненной реальности (AR) перезапустилось в 2016 году с приходом больших игроков и запуском проектов виртуальной реальности (VR). Казалось бы, где связь? Связь в парадигме потребления контента пользователями и осознании того, что наша реальность может быть модифицирована и улучшена, а также в сдвиге мышления — переходе от 2D-картинок в полноценную 3D-визуализацию.

Если задуматься, технологии часто задают паттерны мышления людей, которые с ними связаны. Изобретение печатного станка позволило научить миллионы людей мыслить словами и текстами. Появление изображений сдвинуло мышление в сторону плотной 2D-визуализации блоков информации, появление видео дало нам возможность осознать концепцию динамического 2D-контента.

Сейчас проходит очередной рубеж. Пока только в головах проектировщиков AR/VR-технологий и первой базы пользователей, которые изучают этот контент. Это рубеж перехода из текстового/визуального 2D в 3D-визуальное мышление. И за счёт этого перехода постепенно развиваются AR\VR-технологии.

Переход необходим из-за непрерывного увеличения информационного потока. Из-за обилия информации мы уже почти не способны потреблять её на уровне текстового контента. Тренд последних пяти лет — видео. Оно позволяет более сжато получать информацию за тот же промежуток времени. Сейчас для многих уже стало нормой одновременное потребление контента с двух мониторов и экрана телефона.

Человеческий мозг смог адаптироваться к современному потоку. Но и этого уже не хватает. Мы как информационная губка, которая может поглощать и обрабатывать невероятное количество информации. Получая её из более чем трёх источников или визуальных образов, мы без труда можем быть мультизадачными. А что, если нужно 20-30 задач, образов одновременно?

Ограничение не в том, что мозг не сможет обработать данные массивы информации в реальном времени. «Бутылочное горлышко» — системы вывода и визуализации информации и удобство взаимодействия с ней. Можно установить 20 мониторов, но даст ли это результат? Скорее всего нет, слишком сложно будет их использовать. А если эти 20 мониторов, а скорее даже точек вывода/ввода информации, будут расположены вокруг вас? Что, если они будут появляться ровно в тех местах, в которых нужны, и после выполнения своей задачи — исчезать? Если весь наш физический мир станет «монитором»?

В ближайшем будущем мы будем мыслить критериями 3D-пространства и использовать его полностью, а не только через информационные окна (экраны мониторов и мобильных телефонов).

Основа 3D-мышления — восприятие мира как информационного монитора с возможностью взаимодействия с нужной вам информацией в любой точке. Это основной тренд современности, в который вкладываются все IT-гиганты.

И одной из точек генерации информации является технология дополненной реальности.

Расхожее утверждение: «всё уже было придумано до нас». Если вы думаете, что AR появилась с выходом Pokemon Go или Snapchat — это не так.

Первая технология дополненной реальности была разработана в 1968 году в Гарварде, когда ученый Иван Сазерленд (Ivan Sutherland) создал носимую систему отображения информации с возможностью проецирования виртуальной среды на физическую. С тех пор десятки компаний и лабораторий занимались развитием и усовершенствованием технологии. Её начали активно использовать в авиационных, промышленных и военных целях.

1992 год ознаменовал рождение термина «дополненная реальность». Впервые он появился в Boeing, в работе «Augmented reality: an application of heads-up display technology to manual manufacturing processes», которая была призвана помочь сотрудникам завода самолётов, отображая схемы сборки пучков кабелей.

Не отставали и разработчики игр. Ещё в 1998 году была сделана попытка перенести в AR Quake. Проект так и назывался — ARQuake. Он проецировал игровой процесс на стену.

Только в 2008 году появилось первое коммерческие AR-приложение. Его разработали для рекламы автомобиля BMW Mini. Это была одна из первых маркетинговых кампаний, позволивших взаимодействовать с цифровой моделью в режиме реального времени.

Но официальным стартом «бума» дополненной реальности стоит считать 2010 год. Тогда журнал Time первый раз внёс дополненную реальность в список технологических трендов будущего.

Так же в это время большие бренды начали использовать данную технологию в своих маркетинговых целях.

Начиная с этого времени, технология активно развивалась в военных, промышленных и рекламных целях, но всё равно оставалась нишевой. Множество фирм строили стартапы на дополненной реальности для рекламы больших компаний, но рынок вяло реагировал на AR и разработки в этой сфере практически не вызывали резонанса.

Пока не произошло событие, после которого о дополненной реальности заговорили практически все. И что самое интересное, этот продукт не использовал дополненную реальность, а создавал псевдо-ощущение её наличия. Но в массовом сознании AR накрепко связалась именно с ним. В 2016 году вышла игра Pokemon GO.

А буквально недавно Apple объявила о создании инструментов для разработки AR-приложений. Мы вплотную подошли к черте, на которой дополненная реальность перестаёт быть развлечением для техногиков и переходит в разряд мейнстрима.

Чтобы не запутаться в том разнообразии технологий и платформ, что уже используются при разработке дополненной реальности, поговорим о настоящем.

Категория, которая использует мобильный телефон как основное устройство — самая распространённая и простая для освоения.

Использует статические метки/маркеры для запуска вывода данных. Подразумевает использование определённого маркера в виде ключа для активации 3D-объекта. Программная среда распознаёт через камеру маркер либо объект, который перед ней находится, после чего выводит поверх него 3D-модель или изображение.

У разных программ свои методы распознавания изображений, что накладывает определённые требования к подготовке и использованию. Маркерами могут выступать: QR-коды, сгенерированные точки, сохранённые изображения, логотипы брендов и так далее. В данный момент технологии позволяют распознавать как 2D, так и 3D-маркеры.

Жёлтые крестики — это точки, которые будет искать программа во время сканирования картинки для поиска в своей базе соответствующего узора и затем выводить поверх него изображение. Как видно на втором примере, при создании хороших меток возникают сложности (чем больше жёлтых крестиков — тем быстрее происходит распознавание и качественнее вывод информации).

В данный момент на Kickstarter более 218 проектов, попадающих под эту категорию. Но только 20 из них успешно собрали деньги. В основном их можно разбить на следующие типы:

Огромный пласт, использующий мобильную AR-технологию в своих целях. В основном это дополнительная визуализация продуктов компании. Но также и интерактивные каталоги, позволяющие примерить понравившийся стул из каталога прямо у себя в гостиной либо помочь разобрать мотор.

Это комбинация дополненной реальности, системы отслеживания устройств (LBS) и системы глобального позиционирования (GPS).

Она позволяет разместить виртуальный объект в определённой точке, и он будет сохранять свои координаты при последующем взаимодействии с ним любого из пользователей.

Некоторая логика данной технологии была заложена в проектах Ingress и Pokemon GO, но развита не до конца. В данный момент существует множество стартапов (как игровых, так и промышленных), взявших эту технологию за основу.

Позволяют генерировать любое изображение или объект в зависимости от датчика и его расположения. Удобно, что «маячок» можно спрятать в любой объект без надобности размещать на нём определённые AR/QR метки. Активнее всего развивается в сфере торговых центров и больших территорий, для которых нужна навигация.

Пример — Разработка системы навигации для аэропорта в Великобритании.

Технология, использующая компьютерное зрение и распознавание лиц с последующим наложением на них 2D/3D визуальных изменений.

Самые известные стартапы из этой категории:

Система масок/линз уже интегрирована практически во все большие социальные проекты (Snapchat, Facebook, «ВКонтакте», Instagram, Musically) и стала обязательным элементом для современных социальных сетей.

Также некоторые платформы открыли возможность всем желающим создавать свои маски:

Современный стартап от Google, связанный с работой определённой камеры и алгоритмами, определяющими поверхности и глубину. Позволяет использовать AR без лишних систем маркеров по аналогии с Hololens. Постоянно происходит улучшение технологии и постепенное её внедрение в новые устройства.

На рынке уже есть ​Lenovo Tango и Asus ZenFone. Вот несколько примеров их использования:

Список победителей Google Awards 2017 AR, использовавших данную технологию для своих проектов:

При положительной динамике установки данной технологии в новые устройства и на рынок (Samsung, HTC, Huawei и так далее) она станет хорошей платформой для разработки. Однако возможно, что из-за анонса и скорого выхода ARKit, Tango и не найдёт массового применения.

Следующая большая категория AR-устройств. Пользователь надевает их на себя, они не требуют дополнительных меток для генерации контента, используют методы распознавания предметов, основанные на технологии computer vision, а также построение карты пространства для ориентирования в ней.

Microsoft Hololens — главное устройство этого типа. Оно появилось в 2016 году и активно продвигается. В основном используется в b2b-проектах и пока не может завоевать большую пользовательскую базу из-за цены за устройства в 3–5 тысяч долларов. Имеет довольно небольшой угол обзора —30°×17.5°. Но даже этого хватает, чтобы оценить все преимущества «носимой» дополненной реальности.

Демо-продукты для устройства есть практически в каждом сегменте и ежедневно появляются новые. Среди основных сегментов — медицина, промышленность, образование, реклама, развлечения.

Самые известные из них:

Ещё несколько интересных примеров применения технологии.

Игра Portal AR:

Обучение игре на пианино:

Два примера из медицины:

Operator System:

При этом среди 90 проектов в Microsoft Store очень мало интересных. Это просто тестовые бета-продукты низкого качества. В основном — один объект, который можно рассмотреть с разных сторон и взаимодействовать с ним.

Стоят внимания:

Разработчики Meta 2 обещают схожий с Hololens опыт за 950 долларов. Есть возможность предзаказа. Основное отличие можно обозначить одной строкой: “HoloLens is self-contained computer while as Meta 2 is just an input/output device for a computer”. Это значит, что Meta 2 может выдавать очень детализированную графику с компьютера, но будет ограничивать пользователя проводом. Hololens же беспроводной, но работает в основном с Low Poly моделями из-за низкой вычислительной мощности. Угол обзора Meta 2 составляет 90°.

Сложно сказать, какое из них станет массовым. Большую ставку делают на Magic leap (уже более 1,4 миллиарда долларов инвестиций), но из-за закрытой информационной политики компании невозможно понять, что они реально сделали. Зато можно посмотреть красивый ролик.

Другие устройства — это аналоги Google Glass, а именно: небольшие носимые гаджеты в виде очков с небольшим углом обзора и количеством выводимой информации. Стоимость таких устройств — 2–3 тысячи долларов. Имеют хороший спрос в b2b-сегменте и в качестве устройств для конкретных решений.

Вот их небольшой список:

Интересная подкатегория, представленная сейчас двумя–тремя концепциями. Такой cardboard для AR, использующий телефон, систему линз и контроллеры, «распечатанные на принтере».

Это очень большая и не занятая до сих пор ниша: кто сделает первое коммерчески правильное устройство, вполне заслуженно заберёт себе рынок начального AR, как это в свое время сделал cardboard. Пример — ZapBox.

Сейчас пользовательская база есть только у Hololens. По информации в сети она не очень большая, продано не больше 10 тысяч устройств. Причина в высокой цене и неудобстве ежедневного использования.

Отдельно стоит остановиться на технологиях для разработки дополненной реальности. Основной средой разработки выступают Unity 3D и Unreal Engine. Уже существуют десятки разнообразных SDK, и каждый может подобрать наиболее подходящее поставленным целям.

В целом всё просто. Планируете использовать размещение объектов в пространстве без маркеров, так называемую SLAM технологию — берёте Wikitude или ARKit. Vuforia лучше всего подходит для маркерной дополненной реальности.

Нужен геотаргетинг с сохранением по геотегам — используйте Wikitude и, возможно, Kudan. Планируете работать с Hololens? Понадобится Windows 10 и Hololens SDK. Из интересного ещё стоит обратить внимание на ZapWorks от Zappar. Так называемая «дополненная реальность "для чайников"».

Сложно охватить в рамках одной статьи все кейсы и технологическое разнообразие. Только будущее покажет, какое решение станет массовым.

По оценкам аналитиков, AR-рынок превзойдёт VR и станет одной из основных технологий через три года. Если честно, в это верится пока с большим трудом. Особенно, если учесть, как медленно развивается VR, и какие устройства представлены на рынке и в разработке.

Скорее всего, стабильная AR-платформа появится через пять и более лет (если не случится чуда). Так что если вам нравится данная технология и вы считаете, что за ней будущее — сейчас лучшее время для её активного изучения.