Искусство плавных анимаций — Motion Matching, кинематика и нейросети

В наше время технологии захвата движения уже не поражают как раньше, а качество исполнения не сильно отличается друг от друга в играх последних нескольких лет. Однако, разработчики все же пытаются стремиться к идеалу, создавать максимально реалистичные или просто красивые анимации, ведь они делают наше погружение в виртуальный мир глубже. Давайте же поговорим о новых методах создания плавных анимаций, а также взглянем, как нейросети помогают аниматорам, и почему Ubisoft и Nvidia толкают индустрию вперёд.

Игровые анимации на этапе зарождения геймдева отличались оригинальностью подходов к их созданию. Особый интерес вызывают игры с 8-битной графикой. Для них авторы рисовали раскадровку персонажей по клеткам на листах, а потом выводили в игру. Так сделали авторы Super Mario Bros., Pac-Man и других аркад тех времён. За простыми образами скрывались по-настоящему хорошо проработанные герои.

Битность картинки увеличивалась, мощность ЭВМ возрастала, появлялись новые методы реализации идей. Кто-то просил своих друзей ходить и драться перед камерой, а потом зарисовывал это в цифровом формате. Так, к примеру, поступили авторы Mortal Kombat для создания реалистичных (по мерках тех времен) движений персонажей. Другие же авторы рисовали покадрово, прямо как в мультфильмах. Но игры не смотрелись так же хорошо как сейчас из-за ограничения в 256 Кбайт, доступного пространства на картридже или памяти игрового автомата.

С появлением полноценного 3D в играх все изменилось. Теперь аниматоры не создавали спрайты персонажа каждый раз с нуля, им было достаточно создать 3D модель. К ней добавлялся условный скелет, который позволял двигать конечности без особых проблем и упрощал работу. Поначалу персонажей делали мультяшными специально, чтобы отбросить необходимость создавать физиологически корректные движения. Зато, благодаря этому, вышли в свет такие прекрасные проекты как Mario 64 или Crash Bandicoot.

Для того, чтобы анимации выглядели как мультипликация, разработчики из Naughty Dog применяли 12 принципов анимирования, что повлияло на общий образ Крэша. 3D также привнесло смену перспективы, из-за чего пришлось менять подход к работе. Всё в том же Crash Bandicoot камера периодически сдвигалась из-за спины героя в сторону и представляла картину сбоку, однако движения персонажа должны были оставаться неизменно качественными. Подход к анимации для игр, где мы видим персонажа со стороны, значительно отличается от игр с видом от первого лица. В то время приходилось проделывать больше работы и делать так, чтобы анимация выглядела выразительно со всех сторон, как бы камера ни повернулась.

Прогресс двигался, аниматоры все больше набивали руку. Наступала эпоха реализма. Этим в первую очередь начали активно пользоваться разработчики шутеров от первого лица, которые ранее работали лишь с 2D средой. Одним из амбассадоров своего времени являлась студия Infinity Ward со своей Call Of Duty. Анимации в данной серии игр были всегда на высоте, как от первого, так и от третьего лица. Разработчики понимали, что игрок будет видеть оружие и руки очень близко, поэтому их стоило не только качественно нарисовать, но и анимировать. Уже с первых частей серии Call of Duty отличилась работой над перезарядкой оружия, его поведением в руках игрока, а также взаимодействием окружающих нас неписей с объектами и друг с другом. Даже сейчас игры этой серии завораживают своими перезарядками.

Со временем ПК и консоли становились мощнее, количество деталей увеличивалось, и работать прежними методами становилось всё сложнее. Приходилось вновь искать способы для упрощения задач, в этот раз они прибыли из кино и распространёны до сих пор. Да, речь идёт о Motion Capture. Эту технологию кинематографисты используют уже более 25 лет, но в играх полноценно ее начали применять не так давно, около 12 лет назад. Однако, многие аниматоры, такие как в Sony Santa Monica, все ещё предпочитают работать привычными методами, но вот в катсценах они всецело опираются на работу актёров. Отличным примером смешанной методики может служить новая Call of Duty: Modern Warfare, где все движения персонажей записывались при помощи Mocap, а вот перезарядки и стрельба из оружия уже делались вручную (но не без консультации с действующими войсками США и стран Европы). Так авторы смогли найти баланс между реализмом и зрелищностью происходящего.

Стоит упомянуть, что анимация от первого лица не обходится только самой анимацией, а состоит из многих компонентов, которые приобретают цельный вид, когда соединяются вместе. Но про игры от первого лица говорить можно еще очень долго, а это уже материал для другой полноценной статьи. Зато тут разработчики Witchfire наглядно показали из чего состоит анимация банального выстрела.

На данный момент уже существует выработанный алгоритм работы над анимациями. Сначала их делают с помощью Motion Capture или вручную. На данном этапе проходит один из самых трудоемких процессов из-за неоднократной записи одних и тех же фрагментов. Одной из самых богатых на анимации игр на данный момент является Red Dead Redemption 2. Их в игре записано более 100 тысяч. Актерами на площадках выступали не только люди, но и лошади, олени и прочие животные. Затем анимации очищались от шумов записи, обрабатывались, выбирались лучшие варианты, на что в целом уходит много времени. После результат закреплялся за скелетом персонажа. Все анимации определялись как переменные в программном коде, а между ними выстраивали связи, чтобы переход из одного состояния в другое учитывался игровым движком и по итогу перемещался в игровую среду. Благодаря этому игра выглядит так реалистично.

Казалось бы, подход уже привычный и даже в чем-то простой, так зачем что-то менять? Тем более игры с привычным подходом к анимации все еще выглядят высококачественно. Все дело в промежуточных моментах.

Для прежних методов приходилось записывать или воссоздавать вручную не меньшее количество промежуточных действий, а в основных — самостоятельно дорисовывать анимации для перехода. Кроме этого, привычные подходы заставляют ждать окончания предыдущей анимации, перед началом следующей.

Ubisoft внесла большой вклад в технологии бесшовной склейки, что повлекло за собой создание алгоритма Motion Matching. Он помог избавиться от прежних ограничений. Принципы данного метода основаны на Mocap составляющей, но при этом избавляют актеров захвата от длительных записей одних и тех же движений по несколько раз для достижения лучшего результата. Теперь достаточно одной сессии длительностью в 10-15 минут, на которой один актер бегает прыгает, резко и плавно поворачивает налево и направо, ходит на корточках или преодолевает препятствия. Этот один файл проходит через специальную систему из большого количества скриптов и переменных (можно считать её за урезанную версию ИИ, которая делит анимации на определенные фазы и самостоятельно определяет переходы между ними). После этого получается уже готовый набор требуемых анимаций, причем сразу привязанный к модели.

Технология позволила сократить затрату человекочасов на разработку сцен и вдобавок упростила работу программистам. Motion Matching очень быстро начали использовать в играх: Саймон Клавет, глава технического отдела анимации Ubisoft Montreal, все на той же GDC наглядно продемонстрировал как работает Momat на примере For Honor, плюс, насколько с ним становится проще работа с программной частью анимирования. Качество исполнения достигалось путем длительных сессий записи движения, боёв и всевозможных комбинаций ударов и добиваний. Такой титанический труд нельзя не оценить. Вместе с тем стоит отметить ещё не вышедшую The Last of Us Part 2, активно использующую Motion Matching, качество исполнения которого мы можем наблюдать в геймплейных кадрах.

Казалось бы, вот оно — наше будущее, но на деле все не так просто. Momat создан больше для бесшовной склейки, а не автоматизации создания анимаций. Те же красивые добивания продолжают делать по старинке. Но неужели нельзя с этим ничего поделать? Вполне возможно, да и способы упрощения жизни уже появляются, но об этом чуть позже. Стоит отметить, что у Momat есть и другой существенный минус — и это его плавность. Да, склейка и вправду выходит реалистичной, но для создания резких переходов от анимации к анимации данный способ никак не годится. С технической части вопроса Motion Matching не только упрощает работу с программной частью, но и предоставляет для этого более гибкий инструментарий, позволяя воссоздавать большую базу переходных сцен.

Кроме новых алгоритмов для бесшовных анимаций, Ubisoft представили свою систему, основанную на инверсивных кинетических моделях или Inverse Kinematic Rig-Based Animation System, которая помогает не только подстроить анимацию под гуманоидов с разными пропорциями тела, но так же просчитать одну и ту же анимацию для различных животных и моделей с неестественным положением частей скелета движения. Плюсом можно отметить то, что технология, как и Motion Matching, легко имплементируется в любой игровой движок.

В свою очередь авторы Uncharted 4 воспользовались простотой взаимодействия IK Rig с Ragdoll физикой, во время работы над перестрелками и погонями. Они применяли как полностью заскриптованные движения, так и генерируемые физическим движком. Инверсивную кинематику можно встретить и в Assasin's Creed: Odyssey, благодаря чему разработчикам было легче анимировать толпы людей.

Но не только устаревание технологий усложняют жизнь аниматорам. В наше время для работы над анимациями все в большинстве своем до сих пор используют Autodesk Maya, но он не располагает достаточным и в меру комфортным набором функций для работы. Помочь с данной проблемой пришла компания Nekki — авторы серий Shadow Fight и Vector. Они создали программу Cascadeur, позволяющую делать физически корректные анимации без использования Motion Capture. Она применяет уже заготовленные скелеты, предназначенные для упрощенной работы. На данный момент технология находится в состоянии закрытого бета-теста, однако, со слов авторов программы, ею уже заинтересовались многие крупные студии.

Одним из знаковых открытий за последнее время является Phase-Functioned Neural Networks for Character Control (Фазово-функциональная нейросеть для управления персонажем), созданная специально для игр Даниэлем Холденом и Таку Комурой, а затем доведенная ими до ума в стенах Ubisoft La Forge.

История разработки началась во время обычных экспериментов по созданию анимаций привычными алгоритмами обучения. К сожалению, разработчики сталкивались с ворохом проблем: то персонаж не поворачивал в нужную сторону, то швы между анимациями были видны, то и вовсе сцены проигрывались с ошибками. Для решения данных проблем было решено переписать алгоритм обучения с нуля и сделать базу еще более обширной. Так была создана Фазово-функциональная нейросеть. Благодаря данной наработке появилась возможность создавать анимации, динамически реагирующие на рельеф, без надобности делать для этого большое количество отдельных сцен. Помимо прочего, отпадала необходимость в длительных мокап сессиях для записи ходьбы, бега и прочего, следовательно все силы можно бросить на проработку более сложных анимаций.

Уже в 2018 студия Ubisoft заявила о своих дальнейших планах на использование фазово-функциональной нейросети в разработке собственных игр. Вполне возможно, что Watch_Dogs: Legion станет первым проектом, использующим эту наработку. Студия уже долгое время обучает нейросети создавать более сложные анимации. Последние успехи в этом плане можно заметить поиграв в самую свежую версию For Honor. С введением новых персонажей, для упрощения работы аниматоров, бои режиссировали нейросети. Да, машинное обучение, в связке с Momat позволило создать по-настоящему захватывающие анимации боя.

Говоря о нейросетях в игрострое, не стоит забывать о компании Nvidia, которая уже долго время ведет политику развития нейросетей и искусственного интеллекта. Разумеется, их влияние чувствуется и в играх. Nvidia в 2018 году представила первую версию SoundMatching-технологии автоматического липсинка на основе аудиодорожки при помощи нейросетей. Алгоритм был сильно доработан на основе большого количества концептов с открытым исходным кодом, а затем, при помощи глубокого обучения, был настроен на автолипсинк. В дальнейшем SoundMatching продолжили развивать в Ubisoft La Forge — отделе, основная задача которого — создание инструментов для новых игр студии. Данная технология упростит и увеличит качество лицевой анимации при переводе игр на другие языки. Теперь не придется создавать отдельный скрипт движения губ для каждого языка вручную, что часто сказывалось на качестве работы. Нейросеть обучалась на большом количестве примеров ручного липсинка аудиодорожек с разных языков мира и с разным качеством исходного аудио. Результат и в правду удивляет.

Есть ли последствия у прогресса? Однозначно да. На данный момент мы находимся на переходной части технологий. Ubisoft потеряла в качестве своих продуктов по одной причине — они хотят идти в одну ногу с прогрессом. Анимации в последнем Assassin's Creed не сильно впечатляют, но зато с технической стороны они безупречны. Использование нейросетей упростило создание сцен в Assassin's Creed Odyssey. Мы должны перетерпеть этот фрагмент в развитии, который, по мнению Ubisoft La Forge продлится около трёх лет, и ожидания будут оправданы. Игры будут поражать не только размерами миров, но и реалистичностью движений каждого персонажа в кадре. Прогресс не стоит на месте, как и не стоит на месте мир игровых анимаций. Прекрасно жить в эту пору, когда на наших глазах рождаются новые технологии и семимильными шагами двигаются к своему идеалу.

Ну а если вы заинтересовались этим обширным миром, то мы можем вам посоветовать подписаться на автора книги на эту тему — Джонатана Купера или самим ознакомиться с различными выступлениями аниматоров на конференции GDC.

Текст подготовлен командой Arena+. Вы можете найти нас в Telegram.
#анимация #исскуство #разработка #нейросети