NVIDIA научила ИИ «замедлять» любое видео, симулируя эффект ускоренной съёмки

Полученные кадры почти не уступают результатам работы дорогостоящих камер.

Исследователи из компании NVIDIA рассказали об обученной ими нейросети, которая способна «замедлять» видео, снятые при 30 кадрах в секунду, увеличивая эту частоту до нескольких сотен.

При помощи нескольких графических процессоров Tesla V100 и системы «глубокого обучения» PyTorch ИИ «скормили» одиннадцать тысяч роликов, записанных при 240 FPS. На их основе он стал способен «предсказывать» и дополнять видео сотнями кадров с недостающей информацией.

Для наглядности в компании сопоставили видео, воспроизведённые при 12% от оригинальной скорости с результатами работы алгоритма.

На полученных кадрах трудно заметить какие-либо артефакты, а движение на них плавное. Разрешение и чёткость при этом не отличается от источника.

Работы ИИ всё же уступают роликам, записанным, например при помощи камер Phantom, стоимость которых достигает десятков тысяч долларов. Однако преимущество разработки NVIDIA в её универсальности.

С помощью нейросети можно в том числе ещё больше «замедлять» ролики со «слоу-мо». Алгоритм в качестве примера опробовали на видео с YouTube-канала The Slow Mo Guys.

Разработчики из NVIDIA отмечают, что несмотря на то, что поддержка съёмки при 240 FPS есть в современных смартфонах, пока что она очень энергозатратна и не слишком практична в некоторых случаях.

Нейросеть же может работать с уже отснятыми роликами, несмотря на то, что для обработки видео ей требуется больше времени, чем на нативную съёмку.

188188
86 комментариев

Скоро все смогут играть на своих вёдрах в 480 FPS.

А если серьёзно, то телевизоры уже давно научили отрисовывать промежуточные кадры, причём в реальном времени.

23
Ответить

Комментарий недоступен

90
Ответить

"Скоро все смогут играть на своих вёдрах в 480 FPS."
Вообще не в тему.

13
Ответить

Нет, в теликах деревянный Frame Blending и он ужасен. Тут качественно другой уровень.

9
Ответить

В играх такое использовать нельзя, т.к. данный процес замедляет прорисовку кадра

6
Ответить

Комментарий недоступен

2
Ответить

"Скоро все смогут играть на своих вёдрах в 480 FPS":
"несмотря на то, что для обработки видео ей требуется больше времени, чем на нативную съёмку"

1
Ответить