Карасик, ты не знаешь случаем, почему в oobabooga/text-generation-webui по умолчанию контекст стоит больше миллиона? n_ctx параметр у моделей имею ввиду.

Я долгое время думал, что это моя машинка не может в такие модели, удалял, пробовал другие и везде +- один резултат. cudaMalloc (из курса универа помню, что malloc это про выделение памяти в C) просит 120 GB и падает при попытке загрузить.

Гуглёж подсказал, что вообще контекст у моделей обычно 4-5 цифр, типо условно 2k, 4k, 8k, а тут аж миллион по умолчанию стоит 🙃 ещё где-то читал, что модели имеют разный максимальный контекст, но на huggingface этого не увидел у многих