Я потестил модели для ИИ-ролеплея, чтобы вам не пришлось
Кажется, что нейронки могут потянуть только гигафабрики в зданиях OpenAI или гигапечки с 128 ОЗУ и Threadripper PRO, и они умеют только эксплуатировать твои фетиши, которые стыдно гуглить? Как бы не так. В этом посте собраны модели, которые подойдут как для сюжетной игры, так и для запретной любви.
А где мистраль, который 13b и 20b даёт за щеку, при этом выдавая 25 токенов на 8GB карточке?
Toppy-M-7B в данном списке на базе мистраля.
Правда насчет 25 токенов, хм интересно. Это какая именно видеокарта? И выдает ли оно 25 токенов в самом начале или после того как набьется контекст 32к?