Обзор костюма для записи мокапа Xsens

Всем привет! Я уже три года занимаюсь игровыми синематиками и успел поработать со всеми системами для записи движений актёров. В этой статье я хочу рассказать про костюм для записи движений который не требует студии с камерами и пишет данные относительно своих датчиков.

Записывать движения актера можно несколькими способами:

  • Классическая мокап студия с оптическими датчиками (OptiTrack и Vicon) и трек-шариками на костюмах актеров
  • Супер-бюджетный вариант с парой кинектов дома, которые умеют считывать глубину сцены и исходя из этих данных получать движения актера
  • Нейросетевое решение с анализом видео и получением данных по движению актера без каких либо датчиков
  • Костюмы не требующие камер в которых захват движения актера происходит при помощи датчиков расположенных на костюме (Xsens, Rokoko, Perception Neuron)
OptiTrack (мои архивы)
OptiTrack (мои архивы)
Kinect. Источник: Remington Creative
Kinect. Источник: Remington Creative
AI. Источник: Move AI
AI. Источник: Move AI
Xsens. Источник: Xsens
Xsens. Источник: Xsens

Xsens имеет два типа костюма — Link и Awinda.

Link это полноценная система для захвата движений в которой датчики размещаются в специальных точках на костюме идущем в комплекте и датчики соединяются друг с другом проводами идущими к передатчику и аккумулятору. Данный сетап подключается к компьютеру посредством wi-fi роутера и рабочая зона костюма равняется зоне покрытия сети wi-fi (можно использовать ретрансляторы для увеличения рабочей зоны). Анимация на этой системе пишется в 240 FPS. Для более точного позиционирования актера в сцене и максимально корректной записи нескольких актеров относительно друг друга к системе можно добавить сенсоры HTC Vive. Так же система Link позволяет записать анимацию не имея поблизости компьютера или ноутбука с необходимым ПО — анимация будет записана непосредственно на передатчик с последующим переносом в MVN Record.

Xsens Link
Xsens Link

Awinda представляет собой упрощенную систему в которой датчики работают на аккумуляторах и крепятся к актеру на липучках. Главное ограничение этого типа системы — запись анимации в 60 FPS и коннект к компьютеру посредством радио-системы (расстояние которое покрывает эта система — около 25 метров в помещении и 50 метров вне зданий).

Xsens Awinda
Xsens Awinda

Подготовка актера к записи происходит схожим образом в обоих случаях — главное это правильно расположить датчики на теле, обязательно лицевой стороной наружу, иначе система начнёт путать координаты. В случае с Link это полноценный костюм имеющий кармашки под каждый датчик, а у Awinda датчики крепятся на специальные затяжные липучки. Датчики для ступней надо крепить под шнурки кроссовок у обоих костюмов. На голове датчик крепится в специальную бандану идущую в комплекте (если случайно её забыть то не беда — можно так же подцепить датчик к импровизированной бандане из затяжки. В системе Link датчики включаются одновременно при активации аккумулятора, а в Awinda каждый датчик надо включать отдельно. Но можно применить небольшой лайфхак — когда датчик устанавливается в зарядную док станцию, то он автоматически включается, поэтому датчики можно сначала поместить в док станцию, а после уже цеплять на актера, чтобы не зажимать небольшие кнопочки для включения на каждом отдельном датчике.

Датчики
Датчики

Для калибровки актеру надо встать прямо на три секунды, пройти пару восьмерок в небольшом радиусе и после этого активно пошевелить конечностями. После этого костюм готов к записи.

Калибровка
Калибровка

Xsens умеет записывать нескольких актеров в одном пространстве координат — для этого актерам надо встать спина к спине прислонившись правыми пятками для калибровки относительно друг друга. Для наилучшего результата при взаимодействии стоит использовать только костюмы линейки Link.

Калибровка двух актёров
Калибровка двух актёров

У Xsens есть два режима записи в пространстве:

  • Когда актер находится в одной плоскости (не поднимается по лестнице и тд) — здесь перемещение пишется относительно физических шагов
  • Когда трекинг актера производится во всех трех осях координат — можно подниматься по лестницам, прыгать с уступов и тд

Так же благодаря плагину для Unreal Engine MVN Live Link вся живая сессию может напрямую стримиться в движок с ретаргетом на нужных персонажей — это очень помогает актерам вжиться в роль и видеть себя непосредственно в том месте, в котором происходит внутриигровое действие.

Стриминг в Unreal Engine
Стриминг в Unreal Engine

Если после записи мы хотим получить наиболее качественный результат, то здесь в игру вступает HD Reprocessing — фирменный алгоритм базовой чистки анимации, который устраняет лишние колебания и фиксит смещения актера при записи. Это не быстрый процесс, зато качество анимации заметно улучшается.

По моим личным наблюдениям, если хочется писать взаимодействие двух и более людей, то лучше ехать на мокап студию с оптикой, но для записи движений одного человека Xsens дает вполне качественный результат. Неоспоримое преимущество Xsens это возможность записывать свои движения где угодно — будь то апартаменты, скейтпарк или футбольное поле.

Бонус фото где меня бьют :))
Бонус фото где меня бьют :))

P. S. Спасибо Mocap Tech за презентацию и тест костюмов!

100100
21 комментарий

последний раз писал мокап с Xsens года 2 назад так что возможно с тех пор они улучшили что-то на стороне софта (более того, их представитель говорил, что они постоянно улучшают алгоритмы). Но впечатления были такие:
- это сильно лучше чем совсем шляпа типа нейрон (который скорее игрушка чем мокап)
- понятные плюсы перед оптическими системами типа отсутствия проблем с оклюженом и т.д.
Но:
- довольно быстро (как и у любой другой инерционной системы) накапливается погрешность и надо было постоянно перекалибровывать. Иначе, если поднести руку к лицу, на аватаре она будет например на 20 см левее (или правее). При +/- активных движениях перекалибровывались буквально каждые минут 10
- у того комплекта с которым я работал не писалась анимация ключицы (это когда вы, например, поднимаете плечевой сустав чтобы втянуть шею) - из-за этого все движения рук, где они поднимались хоть немного выше уровня груди, были поломаными и их везде приходилось отдельно дорабатывать аниматорам
- вцелом кривые которые он выдает уже отфильтрованы от мелких дрыжков но по итогу движения получаются лишенными ньюансов, механическими (тут возможно вопросы к конкретному оператору системы, как он настроил)

после этого пришел к тому что для превизов использовался нейрон (супердешевое решение - покупал за 1,5К за комплект), а для чистового мокапа Vicon. Результат с вайкона при всех понятных недостатках оптики всёравно была значительно (жирным шрифтом) выше.

Повторюсь что это опыт достаточно давний и сейчас дела могут обстоять лучше

6
Ответить

Оптический конечно в разы лучше, я сам xsens рассматриваю больше как решение для хороших превизов

1
Ответить

Бонус фото где меня бьют :))За бонус лайк, подписка!

6
Ответить

Прикольно!
Мне довелось поработать только в классическом OptiTrack.
Всё же с шариками есть определённые неудобства и ограничения.

3
Ответить

Люблю OptiTrack, год в нем провёл :)

1
Ответить

А стоит-то сколько?

2
Ответить

От 12к евро

Ответить