Установка чат-бота Alpaca на Windows
Alpaca это языковая модель типа ChatGPT. Она попроще и послабее, но зато ее можно поставить себе на компьютер локально. Не требует мощной видеокарты так как работает на процессоре.
Alpaca это языковая модель типа ChatGPT. Она попроще и послабее, но зато ее можно поставить себе на компьютер локально. Не требует мощной видеокарты так как работает на процессоре.
как это заставить работать? у нас с братом Гамболом Т не работает...
озу 8гб до 6гб доходит и вылетает проц кор ай 5 2 поколения
Во первых инструкция очень сильно устарела. Сейчас лучше использовать например это: https://github.com/LostRuins/koboldcpp/releases/. Во вторых если я правильно понял у вас Sandy Bridge. Надо добавлять параметр --noavx2 и возможно еще попробовать --noblas и --nommap. В третьих 8 гигабайт ОЗУ это реально мало конечно. Можно пытаться например завести что то отсюда https://huggingface.co/TheBloke/Wizard-Vicuna-7B-Uncensored-GGML/tree/main/ начать с q2, а потом пробовать q3 и q4.