Представлены видео со свободной точкой обзора — free-view videos (FVV) на основе ReRF
Текущие методы, использующие нейронную визуализацию (NeRF) для создания FVV-контента ограничены либо работой в оффлайн режиме, либо способностью обрабатывать только короткие сцены с минимальным движением.
Новый метод ReRF (Residual Radiance Field) обладает отличным сжатием, и подходит для реал-тайм визуализации длинных динамичных сцен с возможностью свободно вертеть камерой.
Для FVV сделан отдельный кодек, который сжимает контент в десятки-сотни раз без потери качества:
ReRF — 0,645 МБ/кадр
INGP — 87,3 МБ/кадр
DVGO — 785,6 МБ/кадр
Сопровождается ReRF-плеером для онлайн-трансляций и длительных FVV сцен.
Подключил своего цифрового двойника к сайту/апе, через SD+SAM сгенерил ему новый шмот, повертел со всех сторон в ReRF-плеере, что понравилось — отправил на печать в 3D-принтере или доставкой на дом.
Интересно как свободную камеру в мире кино применят.
Больше интересного у меня в канале: