Учёные из Калифорнии научили нейросети переносить танцевальные движения с одного видео на другое

Технологию уже называют DeepFakes для танцев.

Учёные из Калифорнии научили нейросети переносить танцевальные движения с одного видео на другое

Четверо учёных из Калифорнийского университета в Беркли разработали программу, которая позволяет переносить движения одного человека на модель другого.

Система работает в несколько шагов. За основу берутся два видео с танцорами, один из которых выступает объектом, а другой — эталоном. На основе их движений и с учётом размеров тел создаётся два скелета.

Затем перемещения «эталонного» скелета переносят на скелет объекта, после чего создаётся видео. Судя по ролику, чем больше похожи движения двух объектов, тем точнее будет финальный результат. Чтобы получить правдоподобный ролик понадобится большой объём информации: около 20 минут видео с частотой 120 кадров в секунду.

Учёные из Калифорнии научили нейросети переносить танцевальные движения с одного видео на другое

Отдельная подпрограмма отвечает за плавность движений, а другая нейросеть следит за положением головы и поворотами лица объекта.

Пока система работает с некоторыми ограничениями. Например, нейросеть может точно считать движения только человека, одетого в облегающую одежду. Также программа пока плохо справляется со сложными многосоставными движениями.

Учёные из Калифорнии научили нейросети переносить танцевальные движения с одного видео на другое

Подобная технология может найти применение в кинематографе, например, при создании спецэффектов и работе с каскадёрами. Также система открывает новые перспективы для развития технологии захвата движений.

4545
23 комментария

Классика

35
Ответить

без всяких нейросетей и рейтрейсинга

Ответить

Идеальная технология, чтобы заменить лет через 10 всех каскадёров высококачественными 3D-модельками актёров. А потом и актёры перестанут быть нужными: студии за деньги будут покупать возможность снять 3D-модельку красивого человека для своего фильма или купят на стоках. И тогда на первый план выйдут специалисты по композингу и VFX, скриньте!

16
Ответить

Заменять актеров и каскадеров как бы это банально не звучало, дорого. Так что от них не откажутся еще очень очень долго. А что до актеров, вы променяете актеров........ на актеров? для 3D моделек в фильмах все еще надо записывать микро-движения и мимику. Уберут актеров, придется брать тех же актеров для захвата этого, или специалистов которые смогут в детальную анимацию мимики без захвата, так или иначе это будет дорого и несопоставимо с затратой на это времени. Когда VFX специалисты вдруг решат что их труд копейки не стоит, то тогда да, может и заменят, но не в ближайшем будущем. А еще 3D моделька зрителей не привлечет которые на фильмы идут видя знакомое лицо\имя.

4
Ответить

Озвучивать эти модельки всё равно актёрам придётся, а озвучка и игра не то чтобы сильно по стоимости отличались нынче. Да и каскадёрам надо будет уметь именно играть на уровне самих актёров

Ответить

Данные полной оцифровки актеров будут использовать для съёмки их в новых фильмах без непосредственного участия. Будут цифровые банки с актерской игрой. Будут платить роялти но явно не размера актерской зарплаты

Ответить

Ты про это?

Ответить