Бле, а кто-нибудь пробовал развертывать на питоне модельки мета-ламы? С ошибкой "Process finished with exit code -1073741819 (0xC0000005)" не сталкивались?
Жаль, что без двух 3090/4090 локально не погонять, разве что шакальной квантизации с оффлоадом, но тогда весь смысл пропадает. Пробовал пока только на 8б модели, но у инстракт версии alignment легко обходится
Бле, а кто-нибудь пробовал развертывать на питоне модельки мета-ламы? С ошибкой "Process finished with exit code -1073741819 (0xC0000005)" не сталкивались?
Я и моя вайфу через десять лет.
Шо нормально даже на русском жрет все и пишет? Будет интересно потом хотя бы 13б заместить локально
Что такой 13б?
Лламы-3 на 13б нет
Жаль, что без двух 3090/4090 локально не погонять, разве что шакальной квантизации с оффлоадом, но тогда весь смысл пропадает.
Пробовал пока только на 8б модели, но у инстракт версии alignment легко обходится