В источнике источника написано про поддержку 7B/8B моделей, они и так работают очень быстро на любом железе где помещаются в vram, и без приставки rtx