NVIDIA представила "Chat with RTX": Чатбот с ИИ работает на видеокартах RTX 30/40, требует минимум 8 Гб видеопамяти
3333

В источнике источника написано про поддержку 7B/8B моделей, они и так работают очень быстро на любом железе где помещаются в vram, и без приставки rtx

2
Ответить

А на АМД тоже работает?

Ответить