ЭТО СТАРЫЙ ПОСТ! Вот новый. Но и эти модели хороши, но старые
А где мистраль, который 13b и 20b даёт за щеку, при этом выдавая 25 токенов на 8GB карточке?
Toppy-M-7B в данном списке на базе мистраля.Правда насчет 25 токенов, хм интересно. Это какая именно видеокарта? И выдает ли оно 25 токенов в самом начале или после того как набьется контекст 32к?
А где мистраль, который 13b и 20b даёт за щеку, при этом выдавая 25 токенов на 8GB карточке?
Toppy-M-7B в данном списке на базе мистраля.
Правда насчет 25 токенов, хм интересно. Это какая именно видеокарта? И выдает ли оно 25 токенов в самом начале или после того как набьется контекст 32к?