Virtual insanity: почему опыт VR такой иммерсивный

Мозг, если верить книге Аси Казанцевой, заставляет нас делать глупости. Гарнитура виртуальной реальности заставляет человека верить, что он летит на космическом корабле в далёкой галактике, когда он на самом деле вот-вот врежется в кухонный стол. Но как?

Хотя VR-девайсы обычно имеют похожую форму, то, как они проецируют изображение перед нашими глазами, значительно варьируется. HTC Vive и Oculus Rift работают на ПК, а крупные игроки вроде Google и Samsung предлагают более доступные гарнитуры на основе смартфонов.

Автономный VR-шлем — это то, о чём вы наверняка не раз слышали. Всё началось с пары моделей, но армия VR-устройств постоянно растёт и расширяется — попробуем разобраться, как они работают на самом деле.

VR-гарнитуры, которые у всех на слуху, такие как Oculus Rift и PlayStation VR, являются наголовными дисплеями (head-mounted displays, сокр. HMD), но чаще их называют шлемами или очками виртуальной реальности.

VR-шлемы используют либо два канала, отправленные на один дисплей, либо два жидкокристаллических дисплея, по одному на глаз. В шлеме также есть линзы, которые помещаются между глазами и пиксельным изображением, поэтому устройства часто называют очками.

Эти линзы фокусируют и перестраивают изображение для каждого глаза и создают стереоскопическое 3D-изображение, помещая два 2D-изображения под углом. Попробуйте закрыть один глаз, а затем другой, чтобы увидеть, как отдельные объекты прыгают из стороны в сторону, и вы получите представление об этом.

Полное погружение — два волшебных слова, к которым стремится каждый создатель VR-гарнитуры, игры или приложения. Именно оно делает опыт виртуальной реальности настолько реальным, что мы забываем про компьютер, VR-шлем и аксессуары и действуем точно так же, как и в реальном мире. Так как же создаётся эффект погружения?

Начнём с того, что пребывание в виртуальном пространстве уже подразумевает несколько изменённое состояние сознания. Внезапная смена окружающего мира и его правил с непривычки может показаться шокирующей. Вообразите один из моментов в sci-fi шутере Station Zarya: вместо обычной одежды на теле игрока экзоскелет, он мчится на разгоняющейся вагонетке, вокруг простирается космический пейзаж, шаг влево — и под ногами бездна. Впрочем, ступить за пределы вагонетки, буквально шагнув в пропасть, можно — дух захватывает!

Один из способов усилить эффект погружения визуально — увеличить ширину изображения. VR-гарнитуры дают нам увеличенное поле зрения (FOV), то есть более широкий угол обзора по горизонтали — это как делать панорамные снимки или смотреть широкоэкранное кино. Последнее на заре своего появления поразило зрителей «эффектом присутствия». Также популярность сейчас набирают 360-градусные ролики.

Чтобы полученное изображение было хоть сколько-нибудь убедительным, минимальная частота кадров должна составлять около 60 кадров в секунду, чтобы избежать заедания кадров или плохого самочувствия пользователей. Текущее поколение VR-шлемов выходит далеко за рамки этой цифры Oculus способен показать кадровую частоту 90 кадров в секунду, например, в то время как PlayStation VR от Sony справляется со 120-ю.

Ещё один способ повлиять на эффект погружения — задействовать звук. Разработчики приложений и игр используют объёмное звучание, чтобы дать игроку в наушниках ощущение, что звук идёт сзади, сбоку или издалека.

Отслеживания движений головы подразумевает, что, когда вы носите VR-шлем, изображение перед вами смещается, если вы смотрите вверх, вниз и из стороны в сторону или наклоняете голову. Система под названием 6DoF (шесть степеней свободы) делит голову на участки с точки зрения размещения осей X, Y и Z и отслеживает движения головы вперёд/назад, вверх/вниз и качаний от плеча к плечу.

В системе трекинга может быть использовано несколько внутренних компонентов: гироскоп, акселерометр и магнитометр. Sony PSVR также использует девять светодиодов, расположенных вокруг шлема, чтобы фиксировать движения головы на 360 градусов — это возможно благодаря внешней камере, отслеживающей эти сигналы.

Чтобы быть эффективной, технология отслеживания головы нуждается в низком времени ожидания — 50 миллисекунд или меньше, или мы обнаружим отставание между тем, когда мы поворачиваем голову и когда меняется виртуальная среда. Лаг у Oculus Rift совершенно незаметный, всего в 30 мс.

Отслеживание движений головы — большое преимущество, которым обладают премиальные гарнитуры над подобными мобильными VR-гарнитурами. Но крупные игроки всё ещё разрабатывают системы отслеживания движений всего тела. Вот вы надели шлем — что будет первым, что вы захотите сделать? Конечно, вы приметесь рассматривать свои руки и ноги в виртуальном пространстве! И проверять, что ими можно делать: размахивать, пинать предметы, палить из автомата...

Oculus Touch — набор беспроводных контроллеров, предназначенных для того, чтобы вы физически чувствовали, что используете свои собственные руки в VR. Во время игры игрок хватает каждый контроллер и использует кнопки, аналоговые стики и спусковые крючки. Так, например, чтобы выстрелить из пистолета, нужно нажать на ручной спусковой крючок. На каждом контроллере также есть матрица датчиков для обнаружения жестов, таких как указание пальцем и махание.

Другие устройства ввода включают речевое управление и умные перчатки и беговые дорожки (!), как у Virtuix Omni.

Когда же речь идёт об отслеживании положения тела в пределах комнаты, первыми на ум приходят Oculus Rift и HTC Vive, использующиеся на игровых VR-площадках. Oculus всё ещё уступает HTC по уровню. Смотрите сами:

два датчика SteamVR от HTC Vive могут обеспечить отслеживание движений на игровой зоне до 68,6 квадратных метров (225 ft²);

vs.

две камеры с датчиком движения Constellation от Oculus обеспечивают охват в 7,6 квадратных метров (25 ft²), а третья камера доходит до 19,5 квадратных метров.

Отслеживание глаз — это, возможно, последний кусочек VR-головоломки. Айтрекинг не доступен на Vive, Rift и PS VR. Первый VR-шлем, в котором он появился, — это FOVE. Как всё устроено там?

Инфракрасный датчик отслеживает движения глаз внутри шлема. Так FOVE «узнаёт», куда вы смотрите в виртуальной реальности, а значит, персонажи в игре могут более точно реагировать на ваши действия, а глубина резкости изображаемого пространства (ГРИП) станет более реалистичной. В стандартных VR-шлемах вся картинка в резком фокусе, что совсем не похоже на то, как мы привыкли воспринимать мир в реальности. Рассматривая объект на переднем плане, человеческий глаз подобно фотоаппарату (или наоборот?) фокусируется на нём и слегка размывает остальные объекты, не обладающие такой важностью. Система айтрекинга позволяет графическому движку FOVE симулировать зрение, которым мы обладаем в трёхмерном пространстве, в VR.

VR-шлемы по-прежнему нуждаются в изображениях высокого качества, чтобы избежать сетки пикселей на экране. Кроме того, то, на чём фокусируются наши глаза, должно выглядеть как можно более реалистично. Когда всё изображение находится в резком фокусе (а так происходит, если в шлеме нет системы айтрекинга), лёгкое недомогание всё ещё вероятно — ваш мозг понимает, что что-то здесь не сходится. Но к счастью, технологии усмирили вестибулярный аппарат, и пользователи больше не испытывают головокружение и тошноту.

Источник: https://www.wareable.com/vr/how-does-vr-work-explained