Первые тесты видеогенератора Nvidia Cosmos

Напомню что он бесплатный (а так-же физически точный) и вы уже сейчас можете скачать модели на гитхаб.

Первые тесты видеогенератора Nvidia Cosmos

хорошо, что у них много вариантов, и все они имеют i2v и t2v autoregressive-4b, 5b, 12b, 13b diffusion-7b,

14b 7b близок к возможностям hunyuan, а 14b, вероятно, имеет возможности hunyuan и имеет i2v, что довольно хорошо на данный момент.Авторегрессивные должны быть очень быстрыми и с хорошим качеством (хотя еще не тестировал). 4b может генерировать 10 кадров в секунду, поэтому их можно просматривать в реальном времени, диффузионные не слишком быстрые, хотя. 2 от aiktoria с 14b

66
21 комментарий

Я такое умел ещё в 98, поэтому чет слабенько

Ну, прогресс не стоит на месте. Скоро все так смогут...

1

Главный вопрос, сколько надо памяти на видеокарте что бы это запустить?

От 21 до 66 для 5B модели.

1

Inference Time and GPU Memory Usage
These numbers may vary based on system specifications and are provided for reference only.

Offloading Strategy Cosmos-1.0-Autoregressive-5B-Video2World Cosmos-1.0-Autoregressive-13B-Video2World
No offloading 66.2 GB > 80 GB
Guardrails 58.7 GB 76.6 GB
Guardrails & T5 encoder 41.3 GB 58.0 GB
Guardrails & T5 encoder & Diffusion decoder 29.0 GB 46.9 GB
Guardrails & T5 encoder & Diffusion decoder & Tokenizer 28.8 GB 46.7 GB
Guardrails & T5 encoder & Diffusion decoder & Tokenizer & AR model 21.1 GB 30.9 GB

Тесты ваши или чужие?

Чужие. Человек с форума уже запустил часть моделей и выложил (вверху прикреплен его комментарий). Есть модель с поддержкой img2video (что очень хорошо, но конечно нужно посмотреть что она выдает)