Учёные из Калифорнии научили нейросети переносить танцевальные движения с одного видео на другое
Технологию уже называют DeepFakes для танцев.
Четверо учёных из Калифорнийского университета в Беркли разработали программу, которая позволяет переносить движения одного человека на модель другого.
Система работает в несколько шагов. За основу берутся два видео с танцорами, один из которых выступает объектом, а другой — эталоном. На основе их движений и с учётом размеров тел создаётся два скелета.
Затем перемещения «эталонного» скелета переносят на скелет объекта, после чего создаётся видео. Судя по ролику, чем больше похожи движения двух объектов, тем точнее будет финальный результат. Чтобы получить правдоподобный ролик понадобится большой объём информации: около 20 минут видео с частотой 120 кадров в секунду.
Отдельная подпрограмма отвечает за плавность движений, а другая нейросеть следит за положением головы и поворотами лица объекта.
Пока система работает с некоторыми ограничениями. Например, нейросеть может точно считать движения только человека, одетого в облегающую одежду. Также программа пока плохо справляется со сложными многосоставными движениями.
Подобная технология может найти применение в кинематографе, например, при создании спецэффектов и работе с каскадёрами. Также система открывает новые перспективы для развития технологии захвата движений.