Как работает Motion Capture: актёры и будущее
Продолжение материала о мокапе, где мы вместе со специалистами расскажем о профессиональных мокап-актёрах и порассуждаем о перспективах технологии.
В прошлой части мы рассказали краткую историю Motion Capture и разобрали съёмочный процесс. В этом материале мы затронем работу актёров кино, взаимодействующих с мокапом, и подробнее расскажем обо всех актёрских профессиях в играх. А в финале с помощью Сергея Лобанкова, специалиста компании Mocap Tech Ивана Кириенко и руководителя студии Watt Егора Томского выясним, есть ли у технологии будущее и сможет ли её вытеснить Deepfake или искусственный интеллект.
Актёры
«Оскар» за мокап-персонажей пока не дают, но в кинематографе всё равно есть признанные мастера, овладевшие технологией захвата движений. Помимо уже культового Энди Сёркиса, который открыл собственную студию мокап-анимации The Imaginarium Studios, широко известна работа Бенедикта Камбербэтча в «Хоббите» и «Докторе Стрэндже», Лиама Нисона в «Голосе монстра» и Марка Райлэнса в «Большом и добром великане». А Тоби Кеббелл уже наступает на пятки Сёркису: он сыграл Дуротана в «Варкрафте», Кобу в «Планете обезьян» и Кинг-Конга в «Конг: Остров черепа».
Актёр мокапа — сегодня не отдельная профессия, а популярная в мировом кино практика, которой обучаются многие звёзды. Даже с сегодняшними технологиями и возможностью свободных передвижений на съёмочной площадке существует множество тонкостей, с которыми актёры должны считаться. Подробнее о специфике игры в костюмах для мокапа нам рассказал опытный актёр и мокап-аниматор Сергей Лобанков.
Сергей Лобанков, мокап-аниматор, актёр:
«Не так сложно анимировать пропорционального персонажа, то есть того, который выглядит почти так же, как исполнитель. Можно сделать 3D-скан актёра, где совпадают пропорции и комплекция. В таком случае ты можешь делать что угодно — прыгать, скакать, падать, не думая о «протыканиях» . Всё совпадает и ты отдаёшься только игре.
Но как только возникает разница между пропорциями персонажа и твоими собственными, появляются сложности, потому что за персонажем надо наблюдать — это уже отличается от «игры по правде». Если ты не будешь его видеть и начнёшь делать что угодно, то потом, когда анимацию нацепят на персонажа, выяснится, что есть много проблем и несостыковок. Понятно, что получится базовая анимация и потом можно всё править руками. Но это создаёт лишние неудобства — лучше изначально получить правильный финальный результат, чем потом что-то сильно доделывать. Чем лучше и точнее всё сделано на площадке, тем меньше работы на постпродакшне.
Актёр в идеале должен уметь пластически передать движения любого персонажа. Но не все, к сожалению, могут это делать. Многие актёры умеют хорошо играть в кино перед камерой или на сцене в театре, внутренне проживая весь драматизм роли. А у нас надо уметь передать пластическую характеристику персонажа. Здесь суть именно в выразительном движении. Когда актёр играет как на сцене, то специфический анимационный персонаж двигается реалистично — возникает диссонанс. Он анимационный, стилизованный, а движения угадываются реально человеческие. И нас, зрителей, не удовлетворяет это несоответствие. Актёр должен оживить персонажа — чтобы мы поверили, что он такой.
Мне доводилось играть персонажей, которые на нас совсем не похожи: курицу, динозавра, пингвина, газету «Известия» и разных других. Это интересно и необычно, здесь надо исходить из модели, её конструкции и характера. То есть управлять ею: в этом случае актёр мокапа — как кукловод. Только его кукла там, в экране, и он ей должен двигать.
Мало людей, которые так умеют. Даже если взять Запад — там тоже не так много актёров, которые могут играть нестандартных персонажей. Это даже не Халка мокапить. Да, он большой, но пропорции те же самые, что у человека. Актёр и каскадёр не думают о его пропорциях, а делают то, что нужно — остальное подправят аниматоры. Даже Голлум, при всей его странности, пропорционален, только голова больше. Или тот же Цезарь из «Планеты обезьян» — да, руки длиннее и иногда служат опорой, но он часто стоит на двух ногах или вовсе едет верхом на лошади и смотрится совсем как человек. В таких случаях не приходится постоянно делать скидку на уникальные пропорции персонажей, и это не сильно мешает актёрам мокапа «проживать» роль своего героя.
В этом и разница: западные актёры играют роли и характеры, но редко делают скидку на физическое строение персонажей. Всё зависит от специфики проекта и стиля анимации. Мне часто приходится учитывать и подстраиваться под пропорциональные и конструктивные особенности персонажа.
Взять тех же колобков Шефа и Коллегу — мы начали с самого сложного, это по природе своей не мокапится. Это была та сложность, на которой я приобрел необходимые навыки. У нас был один костюм: я отыгрывал одного персонажа, а потом другого. Поэтому в диалогах и действиях должен был постоянно учитывать, прогнозировать жизнь второго, рассчитывать время, оставляя пробелы для его отыгрыша».
С играми ситуация сложнее. Лица звёзд используют преимущественно для маркетинга, а многие из них почти не участвуют в производственном процессе, отдавая работу по захвату движений малоизвестным актёрам.
Знаменитости до сих пор редко появляются играх не только по финансовой причине. Так, один из основателей Rockstar Дэн Хаузер пару лет назад признался, что главная проблема — в в раздутом эго популярных актёров, из-за которого часто случаются скандалы. Поэтому до сих пор в большинстве своём актёры игровой индустрии — это сплошь «ноунеймы» и непризнанные гении.
Одного персонажа часто играют четыре или более человек: один отвечает за озвучку, второй — за захват движений (преимущественно трюки), третий — за лицо, четвёртый — за перфоманс, то есть непосредственно за игру всем телом. Идеально, когда все эти ипостаси в себе может совместить один актёр, но сегодня это большая редкость.
«Актёр, прежде всего, должен работать выразительно. В театре это называют работой для галерки — чтобы зритель, сидящий в самом конце зала, по позе и движению актеров понял, что происходит. Актёр должен уметь фиксировать тело, чтобы четко читалась поза. В целом, работают все анимационные принципы и мы их всегда объясняем. Классно работать с танцорами, они изначально двигаются по дугам и с таймингом.
Поэтому с наградами в этой сфере очень сложно. Дело в том, что одного персонажа могут играть несколько актеров, потом это ещё откорректирует аниматор, — и в итоге непонятно, кто тут главный. Иногда звёзд приглашают лишь отыграть пару кадров для видео в духе «making of», а остальной отыгрыш отдают не менее талантливым, но не столь известным актёрам. Очень много зависит от самого трёхмерного персонажа — бывают персы, которые прям отлично двигаются, чаще это такие толстячки».
Для омоложения актёров в недавнем «Ирландце» применялась новая разработка для безмаркерного мокапа, которая имеет с классической технологией всё меньше общего.
Главная проблема создателей заключалась в другом — сконцентрировавшись на лицах актёров, они забыли про тела. Неестественным такое омоложение во многих сценах делали именно неуклюжие старческие движения.
В играх такое невозможно как раз потому, что за захват движения отвечает отдельный человек. Даже самые талантливые актёры зачастую не могут воспроизводить точные движения, которые лягут в основу игровых персонажей. Для этого надо понимать не только специфику актёрского мастерства и знать все этапы рендера персонажа, но и разбираться в хореографии, языке тела и единоборствах. Профессиональный мокап-актёр знает, как двигаться с конкретным намерением; он должен хорошо понимать структуру своего скелета и чувствовать сокращение мышц.
Один из самых востребованных мокап-актёров в этой сфере — Ношир Далал. Он отвечал за трюки в Red Dead Redemption 2 и Sekiro, но уникальным профессионалом его делает умение обращаться с оружием. Если нужно сделать захват боевых движений с оружием в AAA-проекте, то игроделы чаще всего обращаются к Далалу.
Например, топор и холодное оружие он размещает на поясе так, как это будет удобно для создания анимации, а не так, как это делается в реальной жизни — это бы попросту разрезало ему колени.
Ещё одна важная профессия в игровом мокапе, которую зачастую не прописывают в титрах отдельно — это исполнитель трюков. Для всех киношных каскадёров — это предел мечтаний, потому что кувыркаться и падать в костюме для мокапа и в оборудованном студийном пространстве намного безопаснее, чем на киношной натуре. Но даже в этом случае не обходится без травм — во время захвата движений для Uncharted: Golden Abyss каскадёр Ричард Дортон изображал драку с обычным актёром и в ответ на фейковые удары получил настоящий. Результат — сломанный нос: конечно, не ожоги и не автомобильная авария, но аналогичных повреждений во время работы над играми тоже хватает.
Больше всего работа исполнителя трюков в играх похожа на реслинг. Вместе с тем надо обладать и актёрскими талантами — каждый каскадёр должен не просто кувыркаться и карабкаться, а делать это в образе конкретного персонажа игры, постоянно держа в голове его манеру движения.
Ещё одна сложность — ограничение по времени. В отличие от кино, на запись каскадёров мокапа в производстве выделяется не так много времени. При этом объём работы иногда даже больше, чем в блокбастерах, ведь на плечи исполнителей трюков ложатся все падения и симуляции смерти персонажа. Просто представьте, сколько времени потребуется, чтобы отдельно записать смерть от каждого из видов оружия. В этой рутине, ко всему прочему, надо не выходить из образа и думать о предстоящей анимации наперёд.
После историй о специфике работы каскадёров и профессиональных мокап-перформеров можно подумать, что все остальные актёры выполняют самые простые задачи. Но это ложное представление. Съёмочный процесс в точности повторяет все этапы, знакомые по съёмкам кино: от полноценного прослушивания и разбора характера персонажа до вживания в роль и взаимодействия с командой.
Работавшая над Metal Gear Solid 5 актриса и модель Стефани Йостен рассказывала, что весь процесс выглядел как съёмки фильма под руководством Кодзимы, — геймдизайнер отвечал за каждую мелочь и постоянно подсказывал актёрам, как играть. При этом актёрам постоянно приходится включать воображение, представляя всё окружение. Иногда нужно не выходя из образа реалистично изобразить эффект брызг воды или езду на транспорте.
Ярчайший пример актёрской работы в играх — это Red Dead Redemption 2, каст которой насчитывал более тысячи человек. Разработка проекта заняла восемь лет, поэтому основное ядро актёров превратилось в настоящую семью и взаимодействовало на интуитивном уровне — в этом и кроется секрет кинематографичности RDR2.
Ядром команды стал опытный театральный актёр Роджер Кларк, воплотивший Артура Моргана. Он продумал образ своего персонажа до мелочей: разобрав, насколько и почему он религиозен, как относится к созданию семьи, как переживает неудачи. В каждом эпизоде Роджер стремился показать Артура уязвимым, что довольно смелый ход для воплощения героя видеоигр. А богатый язык тела персонажа вдохновлён культовым японским актёром Тосиро Мифунэ, который известен по работе с Акирой Куросавой.
Будущее
Часто можно услышать тезис о том, что развитие нейросетей и появление технологии Deepfake отнимают хлеб у мокап-аниматоров. Но на деле всё совсем иначе: на любительском уровне «дипфейки» выглядят эффектно, но в крупном производстве пока не могут конкурировать с проверенными технологиями.
«Мокапа становится больше, открываются новые студии, больше людей понимают, как правильно работать с данными и, главное, какого результата ожидать. «Дипфейки» и прочее классно смотрится в качестве развлекательного видео, но в продакшене они пока только начинают применяться. Основная проблема — слабая предсказуемость результата и очень сложная корректировка.
Мокап, конечно, будет использовать (и уже частично использует) нейронки и всякие ИИ для более корректного захвата и передачи данных на персонажа. Но от маркеров мы избавимся нескоро. Есть классное направление volumetric capture, когда делается 3D-скан движения, но пока это очень дорого и данные довольно шумные».
«Дипфейк никак не может быть помехой мокапу. И не может заменить его на данный момент и на данном уровне. Да, наверное, со временем искусственный интеллект сможет сгенерировать жизнь цифрового персонажа, пропустив через машинное обучение огромный материал предоставленного цифрового контента, но, опять же, созданного мокапом.
Не так давно стояла задача оживить с помощью мокапа цифровую ведущую. Со временем её поведение будет генериться ИИ. Но набор различных её действий и их вариаций для машинного обучения мы производили мокапом. Мокап существует не только для замены лиц, если сравнивать его с дипфейком. Кстати, добиться лицевой анимации фотореалистичного качества, используя мокап-технологии, самый сложный на сегодняшний день момент. Это всегда было проблемой в цифровой индустрии. Но методы совершенствуются и есть достойные результаты».
С другой стороны, нейросети могут стать вспомогательным инструментов в развитии мокап-технологий. Ближайший шаг в развитии технологии — это усовершенствование лицевой анимации. Сейчас это довольно дорогой и трудоёмкий процесс, поэтому главная надежда на ИИ и нейтросети, которые в будущем могу упростить производство. Именно с искусственным интеллектом сегодня связывают будущее индустрии.
«Сейчас в разработке технологии, с помощью которых снимают полностью костюмированных и загримированных актёров, сразу получая цифровых героев, идентичных только что отснятым в реальных проработанных локациях . При создании анимации начинают активно использовать искусственный интеллект. Но даже для машин на базе ИИ надо создавать библиотеку движений, где как раз пригодится мокап».
Если ранее мокап использовался в основном в кинематографе, игровой индустрии и на ТВ, то сегодня применение технологии намного шире. Универсальность мокапа — тенденция, которая укрепляется с каждым годом. Последний тренд — использование технологии в живых выступлениях: театральных спектаклях, перфомансах, мэппингах и концертах. Например, группа Gorillaz активно применяет мокап при создании клипов, на живых выступлениях и даже на интервью.
«Сейчас экранные технологии широко применяются в шоу, постановках, мюзиклах. Появление VR открыло новые возможности — те же мэппинги с проекциями на стены стали популярными и востребованными. Но совсем другое дело, когда оживает не окружение, а живой персонаж. Сегодня качественно анимировать такого персонажа в реальном времени умеют немногие. Для создания таких персонажей в реальном времени или получения эффектов от их движений сегодня используют специальные безмаркерные костюмы с датчиками, построенными на гироскопах.
В Лондоне в 2014-м году была популярная постановка шекспировской «Бури», где персонаж Ариэль был виртуален. Он полноценно участвовал в сюжете — не только на экране, но и на каких-то конструктивных формах непосредственно на сцене, плюс иногда выходил сам. То есть, сегодня технология позволяет внедрять виртуального персонажа в сценическое, а не только в экранное пространство. Плюс сейчас ещё и голограммы появились. Уже сегодня идёт новая волна применения мокапа — теперь и для больших сценических форм».
Рынок мокапа движется в сторону доступности. Речь не только об удобстве костюмов и возможности сниматься в любых локациях, но и об открытости технологии для любителей. Существует множество гайдов, как оборудовать мокап дёшево и своими руками, а многие разработчики пользуются аскетичными методами.
«Если говорить в целом про технологию захвата движений, ей конечно же не хватает доступности. Доступности высококачественного оборудования для инди-разработчиков или любителей. Если бы данное оборудование стало доступно широкому кругу создателей контента, мы бы получили качественный рывок российской игровой индустрии, открыв двери новым разработчикам в мир ААА-проектов».
Motion Capture применяется уже более тридцати лет, но технология ещё не достигла пика. Мокап давно стал неотъемлемым инструментом в индустрии развлечений, но пока не теряет актуальности. Есть множество проблем: от анимации лица до более точного захвата мелкой моторики. Для многих из этих проблем уже сейчас готовятся решения — например, ИИ и специальные перчатки.
«Если есть большие бюджеты, важные задачи и институты под это дело, то новые технологии могут разрабатывать специально под фильм. На Западе есть спрос и индустрия. Она развивается. Поэтому спрос на мокап с каждым годом только увеличивается. Он ещё прилично послужит нам».
Материал подготовлен командой XYZ Media.
Тривия: У Andy Serkis собственная Mocap студия в Британии, The Imaginarium. Одня из самих качественных студии в мире. Ну сам факт, что сам он технологию обожает и принимает участие во многих мокап ролях, уже не секрет.
Интересно про особенности работы актёра рассказывали еще в документалке «God of War”. Но в целом такие же правила - больше пластики, меньше мимики и глаз (актёры любят играть глазами), тк на обработке эти мелочи не видны, зрачки и все такое будет уже отдельно прорабатывать аниматор. А вот пластика общая крайне важна.
Ещё кстати слышала такое мнение от своих аниматоров, что сама технология MC относительно дешевая с точки зрения затрат сил аниматора, так как у тебя уже есть все мокапы и тебе надо их по сути довести до ума. Топовые аниматоры обычно любят делать анимации с нуля, продумывая физику и движения персонажей без каких-либо живых мокапов так как это сложнее и показывает истинный скилл аниматора, который по идее должен понимать и в анатомии)
его лучшая роль Король Бохан
Отличная статья, респект большой.
Это всё ещё в виде видео. былоб супер