Нейрокино на основе NeRF от Jake Oleson

Начинающий режиссёр Jake Oleson опубликовал свою видеоработу, сделанную на основе технологии NeRF (Neural Radiance Field). Для этого он использовал сервис Luma.ai

NeRF это способ генерации 3D сцен на основе того, что вы сняли на камеру. Кадры (видео или набор фото/скриншотов) скармливаются нейронке, которая запоминает данные о визуальной составляющей, и может интерпретировать их для отображения углов камеры, которые не были использованы при съёмке.

Коридоры годное видео на эту тему сделали:

Таким образом, можно кружить как угодно в пространстве, проходить сквозь объекты, и даже попасть в зазеркалье:

Сделать NeRF задача не из простых: можно упороться с установкой питона, разбивкой видео на кадры, тренировкой на них нейронки для создания датасета, и при попытке сгенерить из этого NeRF упереться в недостаток оперативки своей видюхи. Есть облачное решение в виде Colab, но при компиляции может выйти ошибка, и че с ней делать — дальше ты сам (или дискорд).

Хорошая новость в том, что появляются проекты вроде Luma, которые берут на себя обработку данных для NeRF, а ты можешь через веб-интерфейс это всё режиссировать.

Сегодня они выпустили плагин для UE 5 и теперь можно будет генерить невозможные пируэты камеры в реальном времени.

Introducing the Luma✨Unreal Engine alpha! Fully volumetric Luma NeRFs running realtime on Windows in UE 5 for incredible cinematic shots and experiences, starting today!

Try now: https://lumalabs.ai/ue

Нужно будет запилить детальный пост как это всё работает и что с этим делать. Потом испеку.

Больше интересного у меня в телеге:

33
3 комментария

Комментарий недоступен

Ответить

В теории можно снять фильм/клип не выходя из комнаты: заснял всё по максимуму одним заходом, а потом генери из этого множество разных пролётов и монтируй их.

2
Ответить
Ответить