Как работает Motion Capture: эволюция и закулисье

В первой части материала мы вместе со специалистами разбираем современное состояние одной из важнейших технологий в индустрии развлечений и специфику работы с ней.

Появление Киану Ривза на презентации Cyberpunk 2077 вызвало фурор, а касту и режиссуре Death Stranding позавидует любой блокбастер. Работа с Motion Capture давно стала для популярных актёров такой же обыденностью, как грим и костюмы. В кино Энди Сёркис и его коллеги давно отстаивают своё право на конкуренцию с другими актёрами за «Оскар», а звёзды Голливуда всё чаще участвуют в создании игр.

В недавнем видео мы уже рассказывали о зарождении технологии захвата движения и о том, как она устроена. В рунете также полно материалов об истории создания мокапа и его лучших воплощениях в кино. Но что стоит за костюмами для захвата движения и как широко может применяться технология? Попробуем разобраться в тонкостях работы с мокапом вместе с экспертами из индустрии: мокап-аниматором Сергеем Лобанковым, руководителем студии Watt Сергеем Томским и специалистом компании Mocap Tech Иваном Кириенко. Первая часть двухсерийного материала посвящена эволюции технологии и специфике работы с ней.

Историю мокапа часто ведут с возникновения ротоскопа в начала прошлого века с его применением в диснеевских мультфильмах. А в качестве важных современных вех приводят рождение термина Performance Capture — с полноценной игрой и режиссурой виртуального пространства в реальном времени, как в «Аватаре» или трилогии «Планета обезьян».

По мере развития инструментарий технологии только расширяется. Дебютное появление мокапа в кино случилось в сцене «Вспомнить всё» — это была анимация скелета, которую «оживила» игра Арнольда Шварценеггера.

В «Парке Юрского периода» с помощью захвата движения актёров и специальных фигурок доводили до идеала поведение динозавров. В «Мумии» и первом эпизоде «Звёздных войн» мир увидел CGI-персонажей, которые полноценно взаимодействовали с актёрами и окружением. До нового уровня, который до сих пор служит образцом, это довела команда «Властелина колец» — работа над созданием Голлума сделал актёра Энди Сёркиса настоящим королём мокапа.

Помимо захвата актёрских движений и совершенствования мимики мокап применялся и довольно функционально: например, чтобы размножить массовку. Впервые с помощью мокапа скопировали персонажа Вэла Килмера в «Бэтмен навсегда», а затем трюк с Ctrl+C — Ctrl+V в большем масштабе повторили в «Титанике» и «Гладиаторе», где размножили до массовки небольшую группу людей.

Есть несколько важных вех в истории развития мокапа в кино — от первого популярного реалистичного мультфильма Final Fantasy до противоречивого омоложения культовых актёров в «Ирландце». Спектр использования технологии сегодня настолько широк, что часто её применяют как вспомогательный инструмент для создания графики.

История эволюции технологии в играх даже богаче, чем в кино. Ещё в 1989-м году создатель «Принца Персии» Джордан Мехнер создал фундамет для будущей технологии. Молодой разработчик снял несколько часов видео, где его младший брат бегал, прыгал, подтягивался и фехтовал, а затем с помощью ротоскопирования перенёс движения на игровую анимацию.

Следующий большой шаг в сторону мокапа — оцифровка изображения. Яркий пример — серия Mortal Kombat, для создания которой снимали реальных бойцов и актёров на фоне хромакея, после чего полученные кадры оцифровывали. Система и принцип работы актёров с тех времён остались примерно теми же — монотонный длительный процесс записи однообразных движений, во время которого нельзя выходить из образа. Авторы Mortal Kombat позже даже ввели шуточного секретного персонажа под названием Мокап, который выглядит как обычный актёр в костюме для захвата движений.

Впервые же именно технология захвата движения была использована тоже в файтингах и по тому же принципу — в играх Rise of Robots, Soul Edge и Virtua Fighter 2, которые использовали CGI-спрайты вместо классического пиксель-арта и отличались 3D-анимацией.

Первой, кто сделал всю игровую анимацию полностью на основе технологии Motion Capture, стала студия Quantic Dream, выпустившая в 2005-м году Fahrenheit. Вместе с этим родилось целое направление кинематографичных игр, кульминацией которых является недавняя Death Stranding.

Важным прорывом как для игр, так и для мокапа в целом стало изобретение системы MotionScan во время разработки L.A. Noire. Один из важных элементов игры — это умение распознать ложь по мимике персонажей. Поэтому перед разработчиками встала непростая задача максимально точно передать движения лицевых мышц актёров. На создание прорывной технологии понадобилось семь лет — зато с тех пор актёрам не требуется носить маркеры на лице, ведь всю мимику одновременно сканируют 32 камеры.

Современные движки, вроде Unreal Engine 4 упрощают и ускоряют работу над мокапом, потому что помогают в предвизуализации и позволяют сразу увидеть всю сцену. Сегодня работать с мокапом стало значительно проще, чем десять лет назад — актёры могут видеть свои 3D-аватары и окружение прямо на площадке.

С развитием технологий и графики, как в играх, так и в кино, всё чаще вместо Motion Capture употребляют сочетание Performance Capture. Таким образом подчёркивают заслуги актёров — как тех, что отвечает за движения персонажей, так и знаменитостей, дарящих компьютерным моделям лица и голоса. Сотрудничество с десятками или даже сотнями актёров давно стало неотъемлемой частью производства, а для Киану Ривза или Мадса Миккельсена участвовать в разработке игры сегодня так же захватывающе, как и сниматься в блокбастере.

Основная тенденция в развитии мокапа — упрощение технологии производства и предоставление актёрам большей свободы. Сегодня инструменты позволяют снимать в большом спектре даже естественных локаций (в том числе под водой) и почти не сковывать себя в движениях. Один из самых доступных и удобных сегодня вариантов — это инерционные системы захвата движений, как, например, Xsens MVN Animate. Благодаря датчикам, расположенным в костюмах, она позволяет работать в неограниченной по площади рабочей зоне.

Студии часто публикуют различные видео и репортажи со съёмок, показывая, как выглядит работа с мокапом изнутри. Но это не более чем иллюзия и грамотная маркетинговая стратегия. Реалии производственного процесса раскрываются нечасто, а подробно о процессе создания мокапа для популярных игр или фильмов почти никогда не рассказывают.

Известно, что это трудоёмкий и специфический процесс, где намного больше рутины и чисто функциональных задач, чем магии. Даже при быстром развитии технологий сегодня мокап несовершенен и создаёт множество неудобств во время работы.

Это лишь часть трудностей и непростых задач, с которыми сталкиваются мокап-аниматоры сегодня. Мы видим, как правило, только перфоманс актёров и конечный результат, но не очень понимаем, что именно происходит на этапе непосредственного использования технологии Motion Capture. Чтобы закрыть этот пробел, мы попросили одного из главных специалистов по мокапу в России Сергея Лобанкова рассказать о производственном процессе и его особенностях в нашей стране.

«Площадка, камеры, маркеры, реквизит— это всё инструменты. Но на инструменте надо уметь грамотно работать. Важно так снять и получить такой материал, который потом не приходилось бы долго обрабатывать. А именно: а) получить качественный материал мокап-данных (без шума, без «дрыжков», без выкручивания скелета модели ); б) правильно и выразительно отыграть действия. На эти две составляющие и разделяется процесс производства мокапа.

Надо разбираться в процессе правильного размещения камер на площадке. Задача мокапа — захватить движения, то есть получить отражённый сигнал от маркера. Поэтому камеры надо расставить так, чтобы получить хорошую зону захвата. Луч, исходящий от камеры, начинается с точки, а потом рассеивается — значит, между лучами будут зазоры. И надо расположить камеры так, чтобы этих зазоров (мёртвых зон) было как можно меньше. Существует много тонкостей в расположении и настройке камер, их надо понимать.

В процессе производства всё важно: от расположения камер на площадке до верно выбранного положения актёров для лучшего захвата движения. И, конечно, необходим опыт и понимание, каким образом замокапить то или иное действие, которое совершает персонаж в кадре. Существует много хитростей и приёмов, которые мы используем во время съёмок. Например, мы недавно снимали сцены для заставок Первого канала — анимацию с белками. Их показывают обычно по ТВ в новогодние праздники. Была задача: сделать так, чтобы белки ползали и прыгали по стеллажам. Причём заказчикам хотелось, чтобы белки подтягивались и именно ползали по вертикали. Понятно, что сделать это непросто — мы же не можем строить огромные стеллажи и по ним ползать вертикально как белки. Мы использовали хитрость: актёр полз по полу, перебирая руками и ногами как белка лапами. А мы уже потом поставили отыгранного персонажа вертикально. В кадре убедительно смотрелось, что белка ползёт по стеллажу.

Это не то же самое, что показывают в ролике со съёмок, где Бенедикт Камбербэтч играет дракона. Он тело дракона не отыгрывал. Если смотреть не на него, а обратить внимание на экраны, которые расположены на площадке, то видно, что никакого дракона там нет, а просто трёхмерная модель человечка, который делает всё то же самое, что Камбербэтч. К движению дракона это не имеет никакого отношения — у дракона совсем другое строение скелета и другая механика передвижения. Бенедикту честь и хвала — он пробовал поймать органику и характер этого существа, чтобы определить и подобрать верное поведение, что помогло ему во время озвучки этого дракона. Ну, и, на мой взгляд, это некий маркетинговый ход, чтобы все говорили о том, что Камбербэтч сыграл дракона. На самом деле, всё анимировали руками. Но ход, по-моему, сработал, если это до сих пор упоминают.

Если говорить о том, как и сколько всё делается мокапом у нас, то индустрией это пока рано называть — слишком мал спрос и толком нет специалистов. В России с мокапом мы начали работать первыми, было это в далёком 1997-м году. Тогда ещё использовалась электромагнитная система — на ней работать сложнее, чем на оптике. Там не те возможности, но трудности закалили нас. Поработав на ней 15 лет, я получил колоссальный опыт. Тогда мы и открыли для себя различные съёмочные приёмы и очень многому научились.

В том 1997-м году мы участвовали в создании телепередачи для ОРТ (тогда так назывался Первый канал) «Чердачок Фруттис». Это был первый опыт оживления цифровых персонажей с помощью мокапа. В кадре с живыми людьми общались виртуальные герои мультфильмов Александра Татарского Шеф и Коллега. В передаче в качестве гостей участвовали звёзды и медийные персоны. А мокап использовали, потому что делать анимацию надо было быстро. Выработка одного среднего аниматора даже сегодня, если я не ошибаюсь, три секунды в неделю. А нам нужно было в конце недели выдавать в эфир 23 минуты. Плюс не надо забывать, что в то время не только аниматоров, но и моделеров и других специалистов CG сильно не хватало. А позже, когда мы выпускали передачу «Тушите свет» с Хрюном и Степаном, нужно было выдавать 15 минут в ежедневный эфир. Руками это было сделать невозможно, поэтому и была приобретена мокап-установка. Эта технология во многом для того и существует — чтобы ускорить производство больших объёмов анимации.

Если говорить о распорядке съёмочного рабочего дня, то схема стандартная. Сначала идёт техническая подготовка: проверяется и производится калибровка площадки, маркировка переодетых актёров и реквизита, размечтается пространство площадки, готовится звук и виртуальные локации. На площадке мы, как правило, ничего не строим. Стараемся по минимуму использовать то, без чего нельзя обойтись. Потому что: а) это ограничивает пространство; б) есть понятие «перекрытие маркеров» — мебель перекрывает луч, исходящий от камеры. Иногда ставим обозначающие предметы: если нужно сесть, то тогда скамеечку ставим, если в кадре лестница, ставим ступеньки. Но обычно действуем в пространстве на основе воображения и отображаемых на мониторе трёхмерных локаций. Актёр должен перемещаться в них как рыба в воде. На западных же студиях выстраивают мизансцену локации почти полностью, но тоже условную — из сваренных решёток, сетчатых дверей , кубов, пандусов и деревянных каркасов. Их бюджеты позволяют не ограничивать фантазию.

До съёмок тоже проводится подготовительная работа. Сначала идёт разбор с режиссёром, что и как мы будем снимать. Иногда в ходе обсуждения выясняется, что какие-то задачи выполнить невозможно — увы, мы не всесильны, не всё возможно сделать в мокапе. Если таких проблем нет, то мы дальше обсуждаем, сколько человек потребуется и какими силами можно снять сцену, ищем постановочное решение, находим подходящие приёмы. Так же и актёрам всё заранее объясняется, чтобы на площадке не было неожиданностей и каждый знал, что делать.

Дальше актёры на площадке выполняют поставленные творческие и технические задачи. Есть аниматики и лэйауты, по которым отыгрываются сцены. Первая попытка — это обычно как репетиция: отыграли, посмотрели анимированную сцену, увидели какие-то недостатки, переиграли заново с их учётом. В этом как раз преимущество работы с мокапом. Можно сразу увидеть отыгранный дубль.

Если анимация для компьютерной игры, то часто снимаем пробежки, разные стили передвижения, прыжки, работу с оружием. Это делается быстро и короткими дублями. Когда идут игровые сцены, там уже разыгрываются диалоги и полноценное взаимодействие.

Иногда придумываются приёмы прямо на площадке, за счёт которых можно сыграть специфичные вещи. При создании анимационного фильма «Необыкновенное путешествие Серафимы» нужно было сделать сцену, где женщина держит пятилетнюю девочку на руках, а потом приходят чекисты и их разъединяют. Что в такой ситуации делать? Маркировать женщину и пятилетнюю девочку? Но где найти пятилетнюю девочку-актрису именно для мокапа? Но даже если мы замаркеруем девочку, то сидя на руках, будет перекрываться много маркеров и у неё, и у мамы. Значит «по правде» это сыграть нельзя.

Поэтому мы придумали один приём. Всё играли два взрослых человека. Мы стояли рядом на небольшом расстоянии друг от друга. Я играл за маму, а девушка актриса отыгрывала девочку. Я стоял в позе, держащей девочку на руках — это тоже не так просто, надо понимать всю физиологию. А девушка заняла позу как бы сидящей на руках девочки и обнимающей шею мамы. А мокап-оператор в кадре на компе это всё соединил и получилась нужная мизансцена мамы с девочкой на руках. Вот так мы вышли из положения. В сцене всё получилось убедительно.

При создании таких сцен надо понимать все тонкости форм и пластики. Плюс мы в таких сложных сценах каждый момент отслеживаем через мониторы, которые расположены по всему периметру площадки. Это очень помогает ориентироваться — подобную сцену невозможно сыграть, не видя что происходит в кадре. Есть очень много условностей, которые актёр должен учитывать, при этом не выходя из процесса игры.

Как правило, мы работаем не больше шести часов. Не из-за физической усталости, а из-за напряжения, связанного с концентрацией внимания. Ты должен всё время наблюдать в монитор, всегда держать игру, учитывать, что руками нельзя «протыкать» тело своего персонажа, ориентироваться в виртуальных локациях, реагировать на звук, под который играешь и так далее»

В продолжении материала мы подробнее расскажем об особенностях работы актёров мокапа и обсудим со специалистами будущее технологии.

Материал подготовлен командой XYZ Media.

Наши каналы в Telegram и на YouTube.

#xyz #кино #игры #принцперсии #властелинколец #deathstranding