Я уже день пытаюсь квантовать модель в GGUF, и у меня ничего не получилось. Инфу в интернете я за весь день найти не смог
Собрался становиться профессиональным поставщиком GGUF на huggingface?)
Я дообучил модель и теперь не могу ее квантовать, меня любой скрипт шлет нахер
на маркизе дообучал?)