Chat GPT
На обычном компе

Не так давно разлетелась новость о группе учёных из Стэнфордского университета, которая опубликовала модель ничем не уступающую Chat GPT и при этом затраты на её создание составили что-то около тысячи долларов. Что естественно не совсем правда. Во-первых: они всего лишь дообучили “Ламу” (LLaMA), во-вторых: сопоставить её можно только с версией чата…

1616

30B пытается какой-то код рабочий сгенерировать, но плохо вопрос понимает и ответы больше случайные. До Chat gpt 3.5 далеко.
Скорее всего сейчас появятся энтузиасты, которые будут дальше дообучать модель на основе примеров инструкций/ответов, что бы получше стала вопросы понимать.

Лучше результат выдаёт, если увеличить кол-во токенов в ответе, например n -2048. А promt посложнее строить, чем в Chat Gpt.

Если promt большой, то не хватает 32Гб памяти для 30B модели.