Надо было тестировать llama3.1 - самая популярная модель. Модель 8B спокойно работает на домашней rx 6600, а вот 70B запускается со скрипом тк Ollama нехватку vram компенсирует оперативой. В теории если свап файл сделать большой можно запустить что угодно но это уже надо упоротым быть
Надо было тестировать llama3.1 - самая популярная модель. Модель 8B спокойно работает на домашней rx 6600, а вот 70B запускается со скрипом тк Ollama нехватку vram компенсирует оперативой. В теории если свап файл сделать большой можно запустить что угодно но это уже надо упоротым быть
У меня 16 Гб ОЗУ. Запускал 27B со swap на SSD - за полчаса сгенерила 2 предложения. Я упоротый :)