NVIDIA научила нейросеть генерировать устойчивое видео по абстрактным объектам
Ещё несколько лет - и моделлеры будут больше не нужны. Под катом краткий пересказ
Технология генерации изображения из абстрактных объектов была известна ещё несколько лет назад: предоставив нейросети размеченную картинку с информацией о том, где и что должно быть нарисовано, она могла воспроизвести эти объекты. Тем не менее, нейросеть не обладала никакой контекстной памятью, а потому эта технология плохо работала с видео изображением: каждый новый кадр был мало похож на предыдущий.
NVIDIA представила новую нейросеть, которая лишена этого недостатка. Теперь видео обладает устойчивостью, объекты двигаются равномерно и не изменяются в процессе. Для генерации видео нейросети достаточно предоставить видео с контурами объектов, видео с глубиной объектов в кадре и фотопример того, как должно выглядеть видео.
Технология всё ещё не идеальна и плохо понимает устройство мира. Например, в примере в видео автомобили неестественно изгибаются, а облака двигаются слишком быстро. Тем не менее, как показывает пример с GPT-3, стоит потратить всего лишь несколько лет и добавить мощностей, и результат будет неотличим от реальности.
Автор видео рассуждает о том, что данную технологию можно легко применять с видеоиграми, используя нейросеть как рендерный движок. Таким образом, не придётся тратить много времени на дизайн и проработку игровых объектов - нейросеть сделает всё сама.