300 грамм кубической муки - тестируем маленькие LLM

- Мама, я хочу ChatGPT!

- У нас есть ChatGPT дома.

88
22
11

Очень много ошибок в посте.

Грубый вес модели на 27B - 16 Гб.

Грубый вес модели на 27В - 27*2=54 Гб. 16 Гб может быть у квантованной модели — число бит на вес примерно 0.59, это соответствует q5_k_m, вроде, либо вообще q4_k_m, я точно не помню.

Gemini Nano

Это flash, а не nano. Flash непонятно какого размера, гугл не делится — но есть Gemini flash 8b experimental и она хуже — значит, обычная flash больше по размеру. Nano доступна в хроме или в избранных приложениях на пикселе.

Mistral 7b

Мистраль очень старый, ему больше года, это чуть ли не самая старая модель из перечисленных. Надо было ministral 8b тестить тогда уж.