Alibaba представила нейросеть, которая копирует движения людей на исходных видео и анимирует персонажей
Её можно протестировать в бесплатной демоверсии.
- Модель LHM (Large Animatable Human Reconstruction Model) анимирует персонажа на загруженной фотографии, используя движения с видеореференса. Она «детально сохраняет форму и текстуру одежды», заявляет компания.
LHM анимировала фотографию статуи. Генерация vc.ru
- До этого для «3D-реконструкции человека», которая используется, например, для создания фильмов и игр, моделировали статичное изображение персонажа с последующей анимацией, рассказывают исследователи. Метод наложения изображения на видео позволяет достичь «более высокой точности движений».
Пример анимации нескольких персонажей по видео. Источник: Alibaba
- Однако LHM плохо справляется с обработкой роликов, в которых есть смена ракурса или резкие изменения позы персонажа. В будущем разработчики планируют решить проблему и обучить модель на большем объёме видеоданных.
Пример использования модели для анимации 2D-персонажей. Источник: Alibaba
- Бесплатная демоверсия доступна на HuggingFace, в ней можно создать ролик длиной до десяти секунд. Для достижения лучшего результата компания рекомендует установить модель локально, скачав код с Github.
263 комментария