Meta выпускает Quest Camera Access для разработчиков, обещая еще более захватывающие MR-игры

Компания Meta наконец-то выпустила долгожданный API сквозной камеры для Quest, который предоставляет разработчикам прямой доступ к сквозным RGB-камерам гарнитуры для лучшего понимания обстановки, давая старт следующему поколению более захватывающих возможностей смешанной реальности на Quest.

До сих пор сквозные камеры Quest были в основном заблокированы, что ограничивало возможности разработчиков за пределами встроенных функций Meta. Компания упомянула на Connect в сентябре, что в конечном итоге выпустит API сквозной камеры Quest, хотя и не было точно известно, когда именно.

Теперь в Meta XR Core SDK v74 компания Meta выпустила API Passthrough Camera в качестве публичного экспериментального API, обеспечивающего доступ к фронтальным RGB-камерам Quest 3 и Quest 3S.

Сквозной доступ к камере по сути поможет разработчикам улучшить освещение и эффекты в своих приложениях смешанной реальности, а также применить машинное обучение и компьютерное зрение к потоку с камеры для таких задач, как детальное распознавание объектов, что сделает контент смешанной реальности менее похожим на игру в угадывание того, что находится в среде пользователя.

Когда в прошлом году было объявлено о выпуске API Passthrough от Quest, бывший вице-президент Meta по VR/AR Марк Рабкин сказал, что выпуск API Passthrough от Quest позволит реализовать «все виды передовых возможностей MR», включая такие вещи, как отслеживаемые объекты, приложения ИИ, «замысловатые» наложения и распознавание сцен.

Это первый случай, когда API стал общедоступным, хотя Meta ранее уже выпускала ранние сборки совместно с избранными партнерами, включая Niantic Labs, Creature и Resolution Games, которые вчера представили их на GDC 2025 в докладе Meta под названием «Объединяйте реальности, умножайте чудеса: экспертное руководство по разработке смешанной реальности».

Конечно, поскольку функция является экспериментальной, разработчики пока не могут публиковать приложения, созданные с использованием API Passthrough Camera, хотя вполне вероятно, что Meta снова применит итеративный подход к полноценному выпуску функции.

В выпуске v74 также предусмотрены микрожесты для интуитивно понятных жестов с использованием большого пальца (например, нажатия и смахивания), отладчик Immersive Debugger, позволяющий разработчикам просматривать и проверять иерархию сцен непосредственно в гарнитуре, а также новые компоненты, такие как подбор друзей и локальный подбор игроков.