MetaHuman Animator - что это такое и с чем его едят?

Введение

Я думаю многие видели презентацию Epic Games два месяца назад, где они представили новую технологию лицевой анимации MetaHuman Animator на примере перфоманса Мелины Юргенс, которая играет главную роль в предстоящей Hellblade 2. Интернет и профильные блоггеры сели на хайптрейн потому что качество лицевой анимации в демо было феноменальным и что самое главное - для записи нужен не профессиональный мокап-шлем с кучей камер и маркировкой лица, а всего лишь iPhone.

То самое видео

Как человек, который интересуется и работает с системами захвата лицевой анимации (я успел попробовать как баловство в виде Live Link Face, так и профессиональные инструменты в виде Faceware и Facegood) я не мог пройти мимо и очень ждал релиз. И неделю назад он состоялся. Конечно же, я ворвался в эту тему моментально и результат на самом деле оказался потрясающим для сырой записи и сейчас я расскажу, как работать с этой технологией.

MetaHuman Animator - что это такое и с чем его едят?

Как оно работает

Для работы с MetaHuman Animator вам понадобится iPhone 12 и выше. Хоть модели начиная с X имеют камеру глубины, но их мощностей не хватает для стабильной работы приложения Epic Games по записи лицевой анимации.

Если у вас уже есть готовая анимация тела и вы хотите дозаписать лицо, то можно использовать просто штативчик на столе.

В моем случае это гимбл от <b>dji</b>
В моем случае это гимбл от dji

А если вы хотите сделать perfomance capture (то есть записать полный отыгрыш актера включая тело и лицо) и у вас для этого есть костюм для записи мокапа (например, Rokoko или Xsens небольшой обзор которого я писал вот тут), то вам стоит использовать шлем с креплением под телефон. Подобный шлем можно заказать как готовое решение (дешевле 500 баксов я кажется не встречал), либо скрафтить самому потратив на это 2-3 тысячи рублей (как это сделал я - ставь лайк если хочешь отдельный рассказ про крафт шлема).

Изначально шлем был под экшен камеру, но пришлось быстро колхозить его для закрепления телефона, теперь надо сделать это нормально :)
Изначально шлем был под экшен камеру, но пришлось быстро колхозить его для закрепления телефона, теперь надо сделать это нормально :)

Важно: ваше лицо должно быть хорошо освещено и как на штатив так и на шлем стоит крепить подстветку.

У меня есть вот такой крепеж для телефона с подсветкой в комплекте к гимблу
У меня есть вот такой крепеж для телефона с подсветкой в комплекте к гимблу

Чтобы начать запись вам нужно запустить приложение Live Link Face и выбрать в нём режим MetaHuman Animator - именно в нём приложение будет писать глубину видео и все необходимые данные для работы в движке.

MetaHuman Animator - что это такое и с чем его едят?

Первым делом вам надо отписать калибровку лица - посмотреть прямо, влево, вправо и показать зубы (это важно для корректного трекинга смыкания челюсти). Закиньте сохраненный архив на комп и разархивируйте его в папку в которой будете хранить все ваши последующие перфомансы.

Сделайте Ы

Далее нужно запустить Unreal Engine 5.2 (младшие версии движка не поддерживают технологию) и сделать следующие шаги (ниже я закинул полноценный туториал):

  • Создать файл для определения местоположения ваших перфомансов
  • Через Capture Manager импортировать перфоманс
  • Создать файл MetaHuman Identity в котором нужно сделать трекинг лица (он автоматический, все что нужно это лишь промотать видео проставив фреймы где вы крутили головой и показывали зубы) - в конце произойдет обучение созданной головы на вашей калибровке
  • Создать файл MetaHuman Perfomance, в нём выбрать ваше видео, меш головы и нажать кнопку Proces
  • Дождаться обработки видео и выбрать как вы хотите экспортнуть полученную анимацию - в виде файла или секвенции с ключами контрол рига головы
Меню работы с трекингом лица
Меню работы с трекингом лица
Держите подробный официальный туториал от Epic Games

Готовую анимацию можно применять на любом Метахьюмане. Лучше всего анимация с вашего лица ляжет на вашу цифровую копию, потому что одна и та же эмоция на разных лицах выглядит по разному (проблемы физиологии). Для себя я еще в том году создал своего цифрового клона при помощи Facebuilder.

Процесс создания цифрового Самборского

По моему мнению результат получается довольно крутым, потому что обычно достичь такое смыкание губ и такую плавность с классических решений записи лица можно лишь с помощью ручной доводки. Да, эту запись еще стоит доработать руками для получения максимально живого результата, но это займет в разы меньше времени, чем это было раньше. Очень круто иметь инструмент подобной мощи буквально у себя под руками. Epic уже заявили, что со временем будут расширять поддержку устройств, например, Facegood уже готовят свою камеру глубины для подобной технологии скоро мы получим шлемы нового поколения.

Мой полноценный тест

Спасибо, что прочитали мой материал, подписывайтесь на мой ютуб канал и соцсеточки!

P.S. Работы по моему короткометражному Top Gun продолжаются и совсем скоро я покажу финальный тест препродакшена!

7575
27 комментариев

are ya winning son?

18
Ответить

Какой не красивый мужик, лицо как у рыбы

1
1
Ответить

Какой отвратительный комментарий

5
Ответить

Спасибо за статью, ооочень интересно!

2
Ответить

Рад!

Ответить

Результат посредственный.

Во-первых, в мокапе нужно немного переигрывать, потому что "разрешающая способность" и камер, и лицевого рига Metahuman, равно не дотягивает до того, чтобы передать лицевую анимацию точь-в-точь. И после захвата надо сглаживать места, где переигрывание дало неестественный результат.

Во-вторых, движения глаз и шеи у человека синхронизированы. Поэтому мокапить их нужно вместе. На видео я вижу, что движения глаз перенесены (потому что это делает MH Animator), а на шею мокап не наложен, потому что для этого надо самую капельку поработать руками. В итоге, вышло криво.

2
Ответить

С результатом надо работать дальше, но этот результат лучше чем сырой результат стандартного мокапа лица с экшен камерами и маркерами. Тут именно суть, что с MH Animator проще допиливать результат. А про цельное движение я написал в статье, что для такого и нужен шлем :)

Ответить