Я уже день пытаюсь квантовать модель в GGUF, и у меня ничего не получилось. Инфу в интернете я за весь день найти не смог#щитпост
Ох уж эти гуманитарии, пытающиеся в айти
Таким я себя и ощущаю
Кстати дипломированный программист, приятно познакомиться
Это не котики, это никому не интересно
Мне интересно, не бухти.
Собрался становиться профессиональным поставщиком GGUF на huggingface?)
Я дообучил модель и теперь не могу ее квантовать, меня любой скрипт шлет нахер
на маркизе дообучал?)