Телеприсутствие, 3D-видеосвязь и НЕголографические будки
Почему модные способы 3D-коммуникации никак не станут массовыми, какое отношение они имеют к голограммам и чем нас не устраивает просто видео.
Телеприсутствие
Теле = далеко. Это могут быть управляемые роботы на колесиках, видеосвязь, «голограммы». Строго говоря, телеприсутствие — это любое присутствие посредством технологий связи там, где вас физически нет.
В более узком смысле телеприсутствием называют иммерсивные технологии связи (immerse — погружать, поглощать, вовлекать), которые создают иллюзию встречи вживую. Сейчас речь именно про них.
В этом случае пользователь:
— сам получает те же ощущения, как если бы находился в другом месте,
— может влиять на удаленное место, то есть его перемещения, действия, голос, мимика должны быть считаны, переданы и воспроизведены в удаленной локации.
Удаленная локация может быть реальной, где тебя ждут живые люди, а может быть виртуальной, где собирается тусовка таких же удаленщиков. В любом случае нужны визуализация и звук такого качества, чтобы все друг в друга поверили. Подпольные сборища мультяшных аватаров пока не обсуждаем.
↑ Классический старый добрый telepresence от Cisco, несмотря на высокое качество, был двумерным. Сейчас упор делается на 3D-технологии, зачем — расскажем ближе к концу.
А у вас голограмма настоящая?
Голограммой стали называть всё подряд, что мы видим в объеме. Но чаще всего это псевдоголограммы или 3D-изображения.
Настоящая голограмма — визуальная объемная копия объекта. Она существует в пространстве независимо от вас, вашего взгляда и ракурса. Это трудоемкая технология записи отраженных от объекта волн с помощью лазера. Ее можно обходить и рассматривать со всех сторон.
Остальные 3D-технологии по сути — иллюзия с целью создать эффект присутствия. Объемное изображение отличается от плоского стереокартинкой, то есть учитывает тот факт, что у нас два глаза и два ракурса зрения. Мозг соединяет две отдельные специально подготовленные картинки для правого и левого глаза в одну и «видит» объем. В отличие от голограммы, такой объем можно увидеть строго с определенного ракурса. Карета превратится в тыкву сразу, как только вы переместитесь или наклоните голову.
Про то, как устроены разные псевдоголограммы, есть старенький, но наглядный материал на Хабре с видео и картинками.
Показать человеку 3D-изображение можно тремя способами:
1. Выдать ему специальные очки ↑, чтобы создать для каждого глаза нужную картинку.
2. Создать иллюзию объемного объекта в обычной человеческой реальности с помощью специальных дисплеев ↓, эффектов, будок — это называется автостереоскопия, когда для восприятия объема не нужно ничего размещать непосредственно перед глазами пользователя. Современные 3D-дисплеи уже умеют отслеживать положение ваших глаз в трех измерениях и перестраивать картинку на лету, но иллюзия от этого не перестает быть иллюзией.
3. Сделать настоящую голограмму — это наиболее совершенная автостереоскопия.
Односторонняя 3D-видеосвязь в реальном времени
Стереокино это хорошо, его научились показывать довольно давно. Но нас интересуют технологии, которые умеют или собираются передавать объемное изображение реального человека в реальном времени, чтобы это можно было назвать телеприсутствием.
Настоящие голограммы пока не научились передавать на расстояние. Есть еще цифровая голография — Computer-Generated Hologram или CGH. С помощью программы создается модель, для которой не нужен реальный объект [но это не наш метод, нам надо телепортировать живого человека], или обсчитывается живая съемка для создания модели. Компьютерную голограмму выводят перед зрителем в 3D-очках или на специальный 3D-дисплей.
Почему же никак не взлетает повсеместная тяга к «голографическому» общению? Контент сначала неудобно снимать и тяжело обрабатывать, потом сложно передать и еще сложнее воспроизвести. И если первые две задачи решаются за счет роста вычислительных мощностей и машинного обучения, то проблема воспроизведения все еще актуальна. Очки — дорого и неудобно, 3D-мониторы пока так и не получили распространения, потому что еще дороже и неудобнее.
В 2008 году в Аризонском университете создали дисплей размером примерно 10x10 сантиметров, который мог обновлять монохромные трехмерные изображения раз в несколько минут.
«Представьте себе: вы смотрите финал чемпионата мира по футболу или долгожданное продолжение «Секса в большом городе» и наблюдаете, как все действие разворачивается в трехмерном формате на вашем журнальном столике» — пугает нас CNN
Перспективы оценивали сильно по-разному. Авторы надеялись найти спонсоров на рынке бытовой электроники, хотели выйти на голографическое телевидение и бытовые системы голографической видеосвязи уже через 5-10 лет. Но больше верили в образование, военных и медицину. Коллеги по цеху относились скептически: «Одно дело — продемонстрировать что-то в лаборатории, совсем другое — иметь возможность произвести это дешево и достаточно эффективно, чтобы распространить на массовый рынок».
В 2014 году компания OTOY, в которую инвестировали Юрий Мильнер, Autodesk, консультировал Эрик Шмидт, показала первую портативную систему захвата светового поля и облачный конвейер для рендеринга изображений, который устраняет разрыв между офлайн-рендерингом и рендерингом в реальном времени.
«Тот же уровень невероятно точного рендеринга используется при создании спецэффектов в крупных кинофильмах. Обычно на рендеринг одного чрезвычайно отполированного и реалистичного кадра для использования в фильме уходят часы, если не дни. OTOY продемонстрировал ту же огромную вычислительную сложность, реализованную за сотые доли секунды, на экране одного из наименее мощных устройств, которые мы используем ежедневно — смартфона. В результате получается видео с реалистичным качеством изображения, по которому можно перемещаться и исследовать под любым углом, иначе называемое голографическим видео», — пресс-релиз
Просматривать контент планировалось в очках Oculus Rift или в отдельно стоящем объемном голографическом боксе-дисплее, который как раз находился в процессе разработки. Коммерческое использование планировали начать в 2015 году. Всё это вместе нарекли Holodeck по мотивам Star Trek.
Один из инвесторов: «Хотя голографических дисплеев, которые мы себе представляли, еще не существует, гарнитуры виртуальной реальности дают нам невероятную возможность воплотить Holodeck в жизнь немного по-другому».
То есть опять всё уперлось в воспроизведение. Увидеть объемного собеседника наш мозг может либо через специальную гарнитуру, либо через установку/дисплей, которые воспроизводят иллюзию объема.
В 2016-м руководитель проекта Microsoft HoloLens Алекс Кипман показал на сцене TED полноразмерную голограмму профессора NASA, напугав ведущую. Профессор в этот момент находился в комнате через дорогу, оборудованной 3D-камерами.
Функцию назвали Holoportation. Увидеть профессора можно было только через гарнитуру. Кипман вставил в свои очки специальную линзу, изображение с которой транслировалось для зрителей на большой экран. Видео TED с таймкодом
В 2017-м между Нью-Джерси и Сеулом по сетям 5G созвонились трехмерные сотрудники Verizon и Korean Telecom. Собеседники отображались в виде «голограмм» на мониторах друг друга, технология не позволяла воспроизводить объекты в воздухе. Сервис назвали Live Call.
«Если сеть 5G будет коммерциализирована, видеозвонки с трехмерной голограммой будут доступны в качестве одной из типичных услуг на базе 5G», — прогнозировали представители KT.
В 2021 году мобильные звонки с «голограммными» участниками предложила словацкая компания Matsuko. Увидеть объемных собеседников по-прежнему можно только в специальных очках, а вот съемка осуществляется уже фронтальной камерой айфона с помощью приложения. Обычное видео в облаке преобразуется в 3D и уже оттуда повисает в воздухе напротив того, кто в очках. Наглядное видео здесь и здесь
Разработчики обещали научиться проводить «голографические» видеозвонки с большим количеством участников одновременно. Сотрудничать с проектом взялись крупнейшие операторы Deutsche Telekom, Orange, Telefonica, Vodafone — они отвечают за 5G.
В конце 2021 года Cisco — один из главных вендоров классической видеосвязи — показал решение Webex Hologram. Они использовали технологию светового поля, в основе которой лежит принцип изменения восприятия цвета в зависимости от угла обзора. 12 камер снимают отражение цвета с разных ракурсов, потом полученные изображения синхронизируются с информацией о том, где находятся глаза зрителя и как они двигаются. Человек в очках HoloLens или MagicLeap может видеть трехмерную фотореалистичную фигуру собеседника. В конце 2023 года обновленную установку уже отправили клиентам на тестирование.
Итак, пока мы только можем качественно отснять спикера. И показать его объемного в одну сторону человеку или нескольким людям, у которых есть индивидуальные очки или индивидуальный дисплей. Еще можем сделать его объемной иллюзией для зрительного зала, где трехмерный опять-таки только спикер.
Массовые перфомансы и образование
Отсюда логично вытекают те сферы, где 3D-спикеры начали распространяться и набирать обороты — это индустрия развлечений, образование, политика. А также удобный несложный формат а-ля киоск, который помогает визуально воссоздать иллюзию присутствия, при этом сохраняя «живой» контакт с аудиторией с помощью видеосвязи.
В 2019 году заметным событием стал американский стартап Portl, впоследствии Proto Hologram. Они создали световую будку с экраном, динамиками на уровне головы, и видеокамерой, которая снимает аудиторию. Установку хорошо описали журналисты ZDNET как «полноразмерную машину размером с торговый автомат». Потом появилась мини-версия.
Для записи изображения человека достаточно камеры и белого фона, в 2022 году снимать можно было уже на смартфон с приложением, хоть и с потерей качества. Дополнительно на голограмму можно наложить любой образ, примерить одежду и тому подобное.
Технологически в боксе воспроизводится псевдоголограмма — иллюзия «Призрак Пеппера». Система интерактивная, аудиторию тоже снимают, поэтому главный герой может видеть собеседников и вести диалог.
Оборудование для визуального воспроизведения человека в натуральную величину стоило от $60 тыс. Разработчики «воскрешали» умерших знаменитостей, проводили стендапы. В 2023 году с его помощью уже тестировали судебное заседание, где выступали 3D-свидетели ↓
В 2025 году 3D-лекции на базе Proto Epic официально планирует ввести в учебную программу Британский университет в Лафборо. Кроме приглашения удаленных лекторов разработчики уже задумались над созданием реалистичных персонажей, личность которых можно воссоздать с применением искусственного интеллекта, но пока прорабатывают юридические вопросы.
2021 год. ARHT Media за $25тыс. организует сеанс телеприсутствия вашего спикера в удаленной локации. Его снимают на фоне зеленого экрана и затем проецируют на почти невидимую сетку. Спикер видит аудиторию перед собой на больших дисплеях и может реагировать на вопросы из зала.
Технологию ARHT Media HoloPresence чуть не масштабировали в коворкингах WeWork. Они заключили соглашение с разработчиками и собирались оснастить 100 локаций. Знающие специалисты говорили, что лучше всего решение работает в затемненных помещениях — например, в больших аудиториях. Для офиса рекомендовали вышеописанный Portl.
Пример политического перфоманса — одновременное выступление в 2022 году кандидата в президенты Франции Жана-Люка Меланшона в 12 городах.
Есть и на нашей улице праздник. Российский TrueConf тоже показал в 2024 году «голографическую» будку ↓
Изображение спикера захватывает 4К-камера, подключенная к ПК с приложением TrueConf, камера смартфона тоже подойдет. Видеопоток отправляется через сервер видеосвязи на будку TrueBox. Никакого дополнительного оборудования не требуется, только хорошее освещение и белый фон.
В устройстве используется прозрачный LCD-дисплей с эффектом глубины, который создает иллюзию объемного изображения и живого присутствия.
Система интерактивная, спикер видит и слышит зрителя. Зритель может управлять будкой с телефона, отсканировав QR-код, а может нажимать непосредственно на сенсорный фронтальный экран. Видео
Взаимное 3D от вендоров видеосвязи
Общение в двустороннем режиме, где оба участника объемные и без очков, стало доступно относительно недавно. Оно логично зародилось в недрах крупных вендоров, занимающихся классической видеосвязью.
Google и Logitech хоть и разработали двустороннюю объемную связь без очков, однако вместо очков они предлагают внушительные кабины/установки для каждого участника. Сбросить кандалы пока не получается. Читерский способ — тусоваться в виде аватаров по метавселенным типа Microsoft Mesh.
Google Project Starline
↑ Google в 2021 году показал массивную экспериментальную установку Project Starline. Она, как и Cisco Webex Hologram, использовала технологию светового поля, но вместо 3D-очков был 3D-дисплей.
Аналитик NoJitter Дэйв Михельс сравнил Project Starline с изобретением NASA космической ручки из известной байки. По его мнению, это скорее масштабный научный проект, чем реальный продукт. Технология недоступна за пределами лаборатории и неподъемна по стоимости.
В мае 2023-го Google пересмотрел свой подход и предложил более компактный вариант Project Starline ↓
Габаритную кабину заменили на дисплей с камерами, который поместится в обычной переговорной. В проекте задействовали новые алгоритмы искусственного интеллекта, которые для создания 3D-модели человека полагаются на несколько стандартных камер вместо сложного аппаратного комплекса с инфракрасными излучателями. Очень занимательная демонстрация
В мае 2024-го технологию выпустили из лаборатории на рынок. Google скооперировался с HP и собирается начать зарабатывать на этой теме в 2025 году.
Logitech Project Ghost
Почти одновременно с мини-версией гугловского проекта в 2023 году более простую в исполнении, но не менее габаритную конструкцию предложил Logitech.
Технология — «Призрак Пеппера», эффект присутствия собеседника достигается с помощью отражения картинки с дисплея на размещенном перед ним специальном стекле. Внутри мебельного комплекта от компании Steelcase — доступная коммерческая система Logitech Rally Plus, что дает проекту больше шансов на выживание и распространение.
В этом году на ISE 2024 Logitech показал уже двухместную будку, появился потолок и возможность закрыть дверь с уплотнителем, чтобы создать изолированное от посторонних шумов пространство. До этого пользователи жаловались на отсутствие приватности.
Обещают скорую коммерциализацию. Выставочный образец продавался с интеграцией Microsoft Teams Rooms, предусмотрены варианты с Google Meet и Zoom.
Итого, формат по-прежнему не пригоден для массового использования. Отдельные организации со множеством филиалов смогут порадовать своих сотрудников эксклюзивной связью, но каждому по лабораторной будке размером с комнату не выдашь. Остается надеяться на тотальный переход к недорогим 3D-дисплеям или другим волшебным средствам отображения для повседневного использования, о которых мечтают визионеры.
А зачем всё это нужно?
Против классической видеосвязи уже ополчились примерно все. Одни по причине потери времени, другие — здоровья. Преимущественно психического. Zoom fatigue свирепствовал по планете, с переменным успехом вынуждая людей терять интерес к работе, нервничать, делать пластические операции и много других странных вещей.
3D-разработчики считают свои объемные миры более естественными для обитания и общения людей. Google в 2023 году даже провел исследование, чтобы выяснить, насколько Project Starline эффективнее обычной видеовстречи.
Пользователи 3D-системы видеосвязи Project Starline от Google:
— Интенсивнее разговаривают, чем в обычных видеоконференциях. Количество так называемых "очередей" разговоров, то есть передаваемых друг другу реплик, было на 2-3 больше на двухминутном отрезке.
— Используют на 43% больше жестов, на 26% — кивков головы и на 49% больше движений бровей.
— На 14% дольше сохраняют зрительный контакт с собеседником. Это примерно соответствует зрительному контакту во время личного разговора.
— На 31% меньше устают по шкале Zoom Exhaustion and Fatigue Scale (ZEF).
— На 12% быстрее реагируют на когнитивные задачи после сеанса.
— Более подробно описывают прошедший разговор, количество знаков в описании в среднем на 28% больше, чем у пользователей традиционных видеоконференций.
— Оценивают свои разговоры в Starline как значительно более естественные (цитаты: плавные, легкие, не неловкие).
Надежда умирает последней
↑ Рынку голографических дисплеев прочат почти трехкратный рост к 2029 году. «Однако непомерно высокая стоимость производства голографических дисплеев ограничивает расширение рынка».
Отдельной строкой аналитики упоминают, что в конце 2023 года компания Realfiction провела первые публичные презентации многопользовательского 3D-дисплея ECHO. Он создан на основе запатентованной технологии направленных пикселей — Directional Pixel Technology (DPT) — и показывает независимые 2D и 3D-изображения одновременно нескольким людям у экрана без потери качества. Настолько независимые, что в автомобиле пассажиры могут смотреть боевик, а водитель — смотреть в навигатор. И всё это на одном экране.
Одно из направлений разработки — телеприсутствие и групповые звонки со всеми привычными атрибутами: цифровыми досками, демонстрацией 3D-контента и прочим сотрудничеством, а также семейные посиделки. Есть с демо с одновременным показом презентации нескольким людям каждому на своем языке.
До массового распространения дисплеев еще далеко, но уже есть попытки делать голограммы осязаемыми с помощью покалывания лазером и подачи воздуха разной температуры.
Мнение эксперта
В 2019 году российская компания VRCAST разработала систему телеприсутствия для топ-менеджмента. Руководители могут удаленно подключаться через браузер с любого устройства или в VR-очках к специальной камере 360° и «лично присутствовать» на производстве или в офисе. Двусторонняя видеосвязь работает в реальном времени и кинокачестве.
Основатель VRCAST, международный эксперт в области иммерсивных технологий Анатолий Горонеско:
«Компаниям с солидными инвестициями оказалось не под силу продать голографию, дополненную и виртуальную реальности массовому пользователю. Как пример: закрытие волюметрической системы Intel True View и Intel Studios — огромной куполообразной арены с зеленым экраном и более чем 100 камерами 8K для съемки под любым углом.Я думаю, что сейчас невозможно сделать работающую голографическую видеосвязь в реальном времени для массового сегмента. Это больше маркетинговое и рекламное применение для вау-эффекта. Недостаточно развита аппаратно-программная часть, алгоритмы, обработка — всe это пока штучно, громоздко и очень дорого. Не решены проблемы с каналами связи, вычислительными мощностями, задержкой передачи. Нужны новые открытия в оптике, доработка лазерных проекционных технологий, лидаров. Мой прогноз — не раньше 2030 года.У Microsoft есть интересная и очень старая технология Kinect. Это камера с сенсором глубины, которая может сделать по сути то, что мы так давно ждем — создать облако точек и вычесть фон. Сейчас там недостаточное разрешение, малая область действия, но эволюция этой технологии мне кажется наиболее реалистичным путем, по которому пойдет развитие трехмерной связи».
Против классической видеосвязи уже ополчились примерно все.
Супер! Я ничего не поняла)