300 грамм кубической муки - тестируем маленькие LLM

- Мама, я хочу ChatGPT!

- У нас есть ChatGPT дома.

77
11
11

Надо было тестировать llama3.1 - самая популярная модель. Модель 8B спокойно работает на домашней rx 6600, а вот 70B запускается со скрипом тк Ollama нехватку vram компенсирует оперативой. В теории если свап файл сделать большой можно запустить что угодно но это уже надо упоротым быть

2
Ответить

У меня 16 Гб ОЗУ. Запускал 27B со swap на SSD - за полчаса сгенерила 2 предложения. Я упоротый :)

1
Ответить