Kinect: жизнь до и после смерти

Достижения, история и как сейчас применяют контроллер движения.

Kinect мёртв. Microsoft больше не верит в устройство, с прошлого года компания перестал его выпускать, а с января сняла с производства адаптеры для Xbox One S и Xbox One X. А ведь когда-то из него пытались сделать конкурента Wii Remote. В первые месяцы после выхода контроллер движения даже бил рекорды продаж.

И хотя в игровой индустрии у Kinect нет будущего, он всё ещё полезен в других сферах, да и его технологию продолжают использовать отдельно. Сейчас в устройство продолжают верить по меньшей мере учёные, бизнесмены, врачи и организаторы выставок.

Первый намёк на контроллер движения для Xbox 360 появился ещё в 2007 году. На конференции D5 в совместном интервью со Стивом Джобсом Билл Гейтс говорит об управлении играми с помощью камеры. Что вскоре достаточно будет взять бейсбольную биту и взмахнуть ей перед специальной камерой, чтобы спортсмен повторил действие в виртуальном мире.

В следующем году в прессе появляются первые слухи о новом устройстве Microsoft. Инсайдеры сообщают, что компания работает над своим контроллером движения и собирается составить конкуренцию Nintendo Wii. В следующем обновлении дашборда Xbox 360 журналисты находят элементы интерфейса, адаптированные под новое устройство управления.

Слухи продолжили распространяться вплоть до E3 2009, где на своей конференции Microsoft представила сенсор Project Natal. Его возможности продемонстрировали на примере программы для рисования и технодемке Ricochet, в которой нужно отбивать мячи руками и ногами. Последняя позднее послужит основой для полноценной игры Kinect Adventures.

Устройство не нуждалось в дополнительных контроллерах. Оно отслеживало движения человека с помощью инфракрасного проектора и камеры с сенсором глубины, записывало голосовые команды на микрофон. Проектор светил множеством лучей, а камера рассчитывала расстояние до объектов и их движение. Таким образом жесты и слова управляли персонажем в игре.

Лучше остальных возможности Project Natal тогда отразило демо про мальчика Майло от студии Питера Молиньё. В показанном ролике девушка разговаривала с виртуальным пареньком, изображала, как ловит и надевает очки, брошенные мальчиком, рисовала изображение на бумаге, показывала его перед камерой и оно появлялось в виртуальном мире. Это был своего рода симулятор общения с человеком.

Годом позже Молиньё выступил на конференции TED, где с восхищением рассказывал о создании «настоящего человека» в виртуальном мире. После этого о проекте перестают говорить, как будто его и не существовало. Это был первый провал сенсора Microsoft.

На следующей E3 Project Natal получает официальное название — Kinect. Вместе с тем анонсируют новую версию Xbox 360 со специальным портом для контроллера.

4 ноября 2010 года Kinect выходит в Северной Америке. Всего за одиннадцать дней продажи сенсора достигают миллиона штук, а до конца года он продался тиражом в восемь миллионов штук. Kinect становится самым продаваемым игровым аксессуаром всех времён.

Тогда этот успех казался оправданным. К выходу Kinect подготовили ряд игр, которые дарили новый опыт и предлагали развлекаться в компании. Всё же Wii Remote и PS Move — дополнительные контроллеры, которые приходилось брать в руки. А с Kinect тело — контроллер, можно прыгать, танцевать или просто жестикулировать перед экраном.

Такие достижения побудили Майкрософт и дальше продвигать новый сенсор. На волне популярности Kinect рекламировали Опра Уинфри, Джимми Фэллон и Дэвид Бекхэм. Поддержку устройства добавляли в The Elder Scrolls V: Skyrim, Forza Motorsport 4 и Mass Effect 3.

В 2012 году прозвучал первый тревожный звоночек, вышла худшая игра для сенсора — Steel Battalion: Heavy Armor. Предыдущая часть серии Steel Battalion известна тем, что с помощью эксклюзивного контроллера скрупулёзно симулировала управление огромным шагающим роботом. В Heavy Armor разработчики попытались тоже самое реализовать с помощью Kinect и геймпада Xbox 360. В итоге подвёл именно Kinect: он с трудом распознавал жесты и голосовые команды. Играть было невозможно.

На фоне других игр для контроллера это был провал. Dance Central учила танцевать, Your Shape: Fitness Evolved помогала тренироваться. Kinect Party отправляла в детство, когда на экране пол вашей комнаты превращался в лаву или пространство заполняли десятки воздушных шаров. В Kinectimals было мило чесать и гладить животных, в Child of Eden ты и вовсе создавал музыку, стреляя по абстрактным фигурам.

К февралю 2013 Microsoft продали 24 миллиона сенсоров Kinect. Для аксессуара это был успех, тем более удалось превзойти конкурентов: всего за три месяца до этого Sony сообщила о 15 миллионах проданных PS Move.

Тогда казалось, что Kinect — теперь неотъемлемая часть Xbox. Майкрософт тоже были тверды в своих намерениях: на презентации своей следующей консоли они представили и новую версию сенсора. Sony же лишь использовала отдельные технологии Move в геймпаде Dualshock 4 для PS4, но решила дальше не продвигать контроллер движения.

С первой проблемой Kinect 2.0 столкнулся уже на старте. Он шёл в комплекте с Xbox One, из-за чего консоль стоила на 100 долларов дороже PS4. Игрокам буквально навязывали устройство, без которого консоль могла спокойно работать. Первое впечатление о консоли было подпорчено.

А ведь Kinect 2.0 был гораздо лучше предшественника. Устройство умело распознавать мимику, сердцебиение и температуру тела, а его камера снимала видео в разрешении 1080p. Голосовыми командами и жестами можно было управлять Xbox One: открывать приложения, ставить видео на паузу, прибавлять громкость по команде или перемещаться по меню взмахами рук. Поначалу новые функции позволяли почувствовать себя героем фильма «Особое мнение». А войти в комнату и сказать «Xbox On», чтобы включить консоль, было просто забавно.

Сперва и с играми всё было хорошо. Вышли новые Kinect Sports Rivals и Dance Central. Голосовые команды и жесты добавляли в Forza Horizon 2 и D4: Dark Dreams Don't Die. Были и оригинальные вещи вроде Fantasia: Music Evolved, которая предлагала выступить в роли музыкального инструмента и исполнять музыку движениями. В Zoo Tycoon игрок руководил зоопарком и ухаживал за животными: кормил слона или мыл жирафа.

Но затем ситуация резко изменилась. Решение продавать Xbox One без Kinect ещё было обоснованным и оно удвоило продажи консоли. А вот дальше было хуже. В 2015 году с обновлением дашборда Xbox One исчезла навигация по меню с помощью сенсора. Microsoft перестала разрабатывать собственные игры для контроллера и больше не заставляла разработчиков добавлять поддержку устройства в свои проекты. Так в Forza Horizon 3 ещё можно было общаться голосовыми командами с навигатором, а уже в Forza Motorsport 6 никак не использует Kinect.

При этом в Microsoft не перестали поддерживать разработчиков. Дизайнер Fru, одной из последних игр для Kinect, не винит их в случившемся и благодарен за помощь по технической части. По его словам, он понимает, что это было бизнес решение — забросить Kinect, — но более всего его команде не хватило рекламы со стороны платформодержателя. И хотя Through Games не получили должного продвижения, им удалось сделать одну из самых оригинальных игр для контроллера движения.

Чем дальше, тем больше про Kinect забывали. Из выходивших после Fru игр, самые примечательные — серия Just Dance от Ubisoft и Fruit Ninja Kinect 2.

В октябре 2017 года Microsoft сняла Kinect с производства.

В январе 2018 компания прекратила выпускать адаптеры Kinect 2.0 для Xbox One S и Xbox One X.

Почему устройство так быстро и внезапно перестали поддерживать? На то было несколько причин. Для начала, Kinect требовал свободное пространство для игры, его нельзя было поставить в любую квартиру.

Хуже всего то, что он был лишь прототипом устройства из будущего. Поначалу возможность управлять жестами и голосом поражала, но вместе с тем она доставляла и раздражение. Контроллер часто не отслеживал жесты, не улавливал голос или плохо регистрировал их. Игроки все же привыкли к точности управления в играх — без неё мастерство зависит от удачи, а не от твоих действий.

Вдобавок игры для сенсора разрабатывали в основном энтузиасты, крупные студии были просто не заинтересованы подобным. Эксперименты подразумевают риски, а проверенные серии вроде Halo и Gears of War не нуждаются в Kinect.

В конце концов Microsoft оступилась сама, включив Kinect в комплект с Xbox One на обязательной основе. Рост продаж консоли в два раза после исключения сенсора из комплекта и снижения цены лишь сделал ошибку ещё более очевидной. После такого было проще больше не вкладывать деньги в устройство, которое приносит убытки.

Тем не менее Microsoft продолжила использовать технологии Kinect, а сам контроллер до сих пор полезен в других сферах.

Практически сразу после релиза сенсора стартовало первое состязание среди разработчиков. Компания Adafruit, на тот момент лидеры в производстве открытого аппаратного обеспечения, пообещали тысячу долларов первому, кто напишет свободный драйвер для Kinect.

Всего через шесть дней со старта продаж контроллера движения хакер Hector выполнил эту задачу и получил награду, которую к тому моменту подняли до трёх тысяч долларов.

После написания свободного драйвера для Kinect, устройству нашлось множество необычный применений. С его помощью подчиняли пылесос управлению жестами и превращали ванну в игровую площадку — чисто ради забавы.

Microsoft долго была против разработки любых свободных драйверов для Kinect, но в в итоге сдалась и выпустила официальный SDK. С тех пор сенсор стал доступен не только разработчикам и энтузиастам.

Японский магазин одежды United Arrows оживил манекен в своей витрине с помощью Kinect. Всё просто: сенсор отслеживает движения человека перед витриной, манекен их повторяет. Ритейлер старался таким образом завлечь покупателей или хотя бы оставить положительные впечатления о магазине.

В торговом центре Южной Кореи вендинговый автомат Coca-Cola дарил напитки за победу в игре. Машину оснастили экраном и сенсором Kinect. Проходящих мимо посетителей она завлекала поучаствовать в танцевальном состязании. Повторишь показанные на экране движения — напиток в подарок.

В 2014 году следить за нейтральной зоной между Северной и Южной Кореей поставили Kinect. На основе свободных драйверов устройства программист Ко Дже Кван создал систему для отслеживания нарушителей. Она способна различать людей и животных. Как только сенсор засечёт движение вблизи нейтральной зоны, система сразу оповещает ближайший пост.

В 2017 году сотрудники Филдовского музея естественной истории заменили профессиональное оборудование сенсором Kinect. Так вышло, что специализированные сканеры зубов не смогли захватить огромную челюсть тираннозавра целиком. Тогда работники музея обратились в агентство MIT Media Lab's Camera Cultur. Представители агенства нашли решение: они создали устройство на основе Kinect и отсканировали челюсть им.

И хотя разрешение сенсора в пять раз меньше, чем сканеров, он стоит в двести раз дешевле. К тому же его точности хватило, чтобы воспроизвести достаточно качественное изображение для изучения отверстий в зубах.

Композитор Крис Вик нашёл применение Kinect в качестве музыкального инструмента. С помощью сенсора он играл дабстеп, использовал устройство на сцене в представлениях, заменял им диджейский пульт. А ещё Вик сыграл на массивном органе в ратуше Мельбурна. Несмотря на возраст инструмента — его сделали в 1929 году — в 90-х орган модифицировали MIDI-контроллером. К нему-то музыкант и подключил сенсор, чтобы исполнить партию в дуэте с певицей Элис Ричардс.

Свои выступления на концертном туре в 2013 году Nine Inch Nails преобразили с помощью Kinect. Сенсоры устанавливали по периметру сцены, чтобы те отслеживали движения музыкантов и передавали их на экраны в дальнем конце сцены. Когда гас свет, оставались только абстрактные силуэты на фоне светомузыки, сопровождаемые тяжёлым индустриальным роком.

Некоторые магазины одежды приспособили Kinect для виртуальной примерочной. Скажем, девушка подходит к экрану-зеркалу, жестами выбирает платье. Тем временем камера сканирует её, чтобы программа показала, как это платье будет смотреться на покупательнице.

Уже в 2012 году появился первый демонстративный сценарий подобного применения сенсора. Вскоре на основе него Nike создали своё интерактивное зеркало. Затем подключились Timberland. А с 2015 года компания FXGear поставляет интерактивные зеркала FXMirror по заказам.

В IKEA придумали, как поднимать настроение своим покупателям с помощью Kinect — они создали «Мотивирующее зеркало». Каждого подошедшего человека камера сканировала, подмечала в нём яркую черту, а зеркало говорило воодушевляющие комплименты: «У вас классная борода!» или «Эта рубашка вам очень идёт!» — в таком духе. При желании устройство можно было заказать себе домой.

Kinect не идеально распознаёт движения, но его возможностей хватает, чтобы сделать выставки увлекательными. Особенно для детей и молодёжи. В этом я убедился сам, когда посетил образовательный центр «Познай себя — познай мир» в Дарвиновском музее.

На пятиметровый экран инсталляции «Биосфера» проецировался вид на планеты Земля из космоса. С помощью сенсора можно было крутить планету, приближать материки, запускать ролики и взаимодействовать с животными. Это тот случай, когда вовлечённость в процесс привлекала внимание лучше созерцания со стороны. Я вряд ли бы надолго задержался у стенда, если бы там просто крутили ролики.

Схожим образом Kinect используют в выставках по всему миру. Так в Зале искусств Нью-Йорка создали инсталляцию, которая помогала детям изучать разные экосистемы. Девять проекторов и дюжина сенсоров превратили стены в интерактивное пространство площадью девятьсот квадратных метров. Как это работает? Ребёнок вытягивает руку перед экраном и там появляется семечко. Стоит опустить руку, как семечко падает в землю и на том месте вырастает растение. И так далее: взаимодействуешь с экосистемами и познаешь окружающий мир.

И таких примеров много.

Подобные инсталляции — отнюдь не единичное решение. Агентства, организующие презентации продуктов и экспозиции, продолжают использовать Kinect в своём бизнесе. Так «Биосферу», о которой я рассказывал выше, создала компания «Аскрин».

Другая российская компания «Дизайн Досье» разрабатывает интерактивные решения для продвижения товаров и услуг. Среди их недавних работ «Песочница дополненной реальности» на стенде Правительства Москвы форума «Открытые инновации» в 2015 и 2017 годах. У проекта две цели: развлечение для детей, а также — образовательная игра, в которой можно изучить физику песка.

Французский бренд Brother System создаёт интерактивные пространства для развлечения. Среди их проектов — витрина в торговом центре Les Rives de l'Orne и инсталяция на фестивале Beauregard.

Разработкой презентаций и программ с использованием Kinect занимается и международная компания Virtualware. В 2014 году она создала рекламный стенд для туристической выставки. Посетители изображали перед Kinect летящую птицу и перемещались по территории Мексики, а затем исследовали отдельные города и природные регионы.

VirtualRehab, другой проект Virtualware, помогает восстанавливать нервно-мышечные расстройства. Программа предназначена для врачей. Они настраивают комплекс индивидуальных упражнений и следят как пациенты их выполняют, чтобы спланировать дальнейшее лечение.

Английские учёные исследуют возможности Kinect для определения дыхательных болезней. Традиционная процедура спирометрии требует дорогого оборудования и обученных работе с ним сотрудников. На этом фоне аксессуар от игровой консоли выглядит доступным решением. К тому же встроенный в Kinect 2.0 сенсор глубины может строить трёхмерную модель грудной клетки в реальном времени. Этого достаточно для отслеживания её объёма и изгиба в процессе дыхания.

Исследование ведётся с 2016 года. В прошлом году учёные составили отчёт и пришли к выводу, что на данный момент точности сенсора Kinect не хватает. Сейчас они занимаются доработкой устройства.

Kinect до сих пор полезен в операционных. Хирургам для качественной работы необходимо просматривать снимки рентгена и результаты томографии. Переключать их или изменять размер с помощью мыши и клавиатуры нельзя — не гигиенично. А вот с помощью жестов — вполне.

Первые проекты контроллеров на основе Kinect для компьютеров в операционных появились ещё в 2011 году. Последние несколько лет подобные решения предоставляет компания GestSure. По словам их генерального директора, Kinect по-прежнему самая подходящая времяпролётная камера для их нужд и в ближайшее время отказываться от неё они не собираются.

Microsoft больше не производит Kinect, но продолжает использовать его технологии в платформе Windows Mixed Reality. Камера очков HoloLens сканирует окружающее пространство с помощью более совершенных сенсоров того же типа, чтобы дополнить помещение голограммами приложений Windows. Так можно расположить на стене несколько окон со Skype, Microsoft Edge и Forza Horizon 3. Или же не выходя из дома отправиться в путешествие по Риму через HoloTour.

Платформа всё ещё дорабатывается и пока ограничена лишь приложениями Microsoft Store. Но, возможно, в скором времени именно благодаря технологии Kinect дополненная реальность и голографические интерфейсы из фантастики войдут в нашу жизнь.