Chat GPT

Не так давно разлетелась новость о группе учёных из Стэнфордского университета, которая опубликовала модель ничем не уступающую Chat GPT и при этом затраты на её создание составили что-то около тысячи долларов. Что естественно не совсем правда. Во-первых: они всего лишь дообучили “Ламу” (LLaMA), во-вторых: сопоставить её можно только с версией чата OpenAI под названием “text-davinci-003”. Но на своём домашнем компьютере запустить её действительно можно. Графический процессор не нужен, оперативки для в общем-то комфортной работы достаточно даже 4 гб — это если запускать модель “7B”. Есть и более “тяжёлые” — “13B”, “30B”. Гигабайт памяти для них нужно примерно в соответствии с числом в названии, которое в свою очередь родственно “Ламе” (“Альпака”, полное — “Stanford Alpaca”) . Страница проекта здесь.

Модель быстрее всего запустить из строки, но удобнее пользоваться в интерфейсе. Я предпочитаю “Dalai” созвучное “Ламе”. Страница проекта здесь.

Там есть подробная инструкция и как на “маке” и как на “вине”, но если вкратце и на “лине”, то:

Всё, открываем в браузере: http://localhost:3000 и пишем запрос вместо “>PROMPT” - далее “Go”. Запрос может быть на русском, но ответ будет на английском. В консоли можно наблюдать лог.

Серия моих тестов на “7B” показала, что как собеседник модель неплоха, но вот код генерирует она ужасно. Хотя впрочем генерирует, и у меня ещё не было времени протестировать шаблоны, которые можно выбрать в поле “Select a template”. А также, имеет смысл скачать модели потяжелее - я думаю они будут выдавать результат поинтереснее. Кто сделает это - напишите в комментариях, интересно.