Новый подход к отслеживанию рук

Исследовательский отдел Facebook продемонстрировал новый подход с использованием деформируемой физической модели.

В приведенной выше демке показано движение руки, зафиксированное со скоростью 30 кадров в секунду с использованием 124 камер, на 6-ядерном процессоре Xeon и графическом процессоре Tesla V100.

Многие действия руками включают пересечения и окклюзию. Мы пожимаем руки, сжимаем кулаки, переплетаем пальцы во время размышлений. Всё это довольно сложно отследить, поскольку существующие методы отслеживания не предназначены для чрезмерных самопересечений.

Команда Facebook Research решила расширить последние достижения в области отслеживания на основе зрения и физической анимации, создав первый алгоритм для отслеживания деформаций рук с высокой точностью. Новая система предназначена как для одной, так и для двух рук.

Ограничивая алгоритм отслеживания на основе зрения с помощью деформируемой физической модели, получился алгоритм, устойчивый к повсеместным самовзаимодействиям и массивным самоопересечениям, проявляемым обычными жестами рук, что позволяет отслеживать взаимодействия двух рук и некоторые из самых сложных жестов.

Новый подход к отслеживанию рук
3737
19 комментариев

Апиздахуительно!
Теперь игры Naughty Dog будут ещё пизже анимированы!

Почему именно Naughty Dog? Ну а кто, если не они обязательно возьмут/купят топовую технологию на вооружение для своих игр? Скажите Rockstar? Не, ну вы чё — это же руки, а не айки коня.

2
Ответить

Комментарий недоступен

4
Ответить

рокстар: Мы сделаем дорогущую песочницу в жанре вестерн и наполним ее тысячами мелочей
геймеры: Гы гы яйки коней!

2
Ответить

Тихо в лесу, только не спит барсук

1
Ответить

Hand movement sensed at 30fps using 124 cameras, a 6-core Xeon CPU and Tesla V100 GPU.

В сеть утекли характеристики нового Oculus Quest 3!

1
Ответить

Выглядит офигенно. Надеюсь что то подобное будет в Quest 3.

1
Ответить

Андрей, вот это нормальный репост. Я на раздел не подписан и дтф считает что мне не интересно будет читать новости от пользователя, если я не подписан на раздел в который он постит. Так хоть репост покажут.

1
Ответить