Этот материал был удалён по просьбе автора.
Хер знает, но сильно квантизованные модели прям ощутимо тупее, та же лама 7b от 16b отличается вот совсем сильно.
че?
7b и 16b это не уровни квантования, это количество параметров в модели.
Хер знает, но сильно квантизованные модели прям ощутимо тупее, та же лама 7b от 16b отличается вот совсем сильно.
че?
7b и 16b это не уровни квантования, это количество параметров в модели.