NVIDIA научила ИИ «замедлять» любое видео, симулируя эффект ускоренной съёмки

Полученные кадры почти не уступают результатам работы дорогостоящих камер.

Исследователи из компании NVIDIA рассказали об обученной ими нейросети, которая способна «замедлять» видео, снятые при 30 кадрах в секунду, увеличивая эту частоту до нескольких сотен.

При помощи нескольких графических процессоров Tesla V100 и системы «глубокого обучения» PyTorch ИИ «скормили» одиннадцать тысяч роликов, записанных при 240 FPS. На их основе он стал способен «предсказывать» и дополнять видео сотнями кадров с недостающей информацией.

Для наглядности в компании сопоставили видео, воспроизведённые при 12% от оригинальной скорости с результатами работы алгоритма.

На полученных кадрах трудно заметить какие-либо артефакты, а движение на них плавное. Разрешение и чёткость при этом не отличается от источника.

Работы ИИ всё же уступают роликам, записанным, например при помощи камер Phantom, стоимость которых достигает десятков тысяч долларов. Однако преимущество разработки NVIDIA в её универсальности.

С помощью нейросети можно в том числе ещё больше «замедлять» ролики со «слоу-мо». Алгоритм в качестве примера опробовали на видео с YouTube-канала The Slow Mo Guys.

Разработчики из NVIDIA отмечают, что несмотря на то, что поддержка съёмки при 240 FPS есть в современных смартфонах, пока что она очень энергозатратна и не слишком практична в некоторых случаях.

Нейросеть же может работать с уже отснятыми роликами, несмотря на то, что для обработки видео ей требуется больше времени, чем на нативную съёмку.

#технологии #nvidia