Специалисты Facebook разработали ИИ, который позволяет делать из людей в видео управляемых персонажей
Теперь можно «пройти» свою свадебную хронику заново.
Команда исследователей искусственного интеллекта из Facebook разработала технологию Vid2Play, которая позволяет превращать людей из видео в управляемых персонажей. Нейросеть анализирует ролики создаёт на основе действий людей в них виртуальную модель, которой можно управлять с помощью геймпада.
Всего используется две нейронные сети: Pose2Pose и Pose2Frame. Первая определяет движения человека в видео и отделяет его от фона. Затем Pose2Frame помещает «людей», их тени и любые предметы, которые находятся у них в руках, на новую сцену. После этого героями видео можно управлять в реальном времени.
В итоге получается изображение вроде того, что было в FMV-играх. Как говорят в Facebook, в новой версии Vid2Play намного меньше артефактов, чем раньше. В частности, изображение человека хорошо ложится на фон и не выглядит инородным. Однако наблюдаются подергивания анимации, а сами «модели» будто скользят по поверхности.
В декабре 2018 года Nvidia представила свою нейросеть, которая умеет создавать графику на основе видео. Возможности технологии показали на примере простого автомобильного симулятора. Как сообщили в Nvidia, с помощью этого ИИ можно также переносить движения одного человека на модель другого.