Подбор свежих моделей для ролеплея
Просто список неплохих, без тестов, ибо этот пост все равно ничего не соберет
В основном это модели, основанные на Mistral Nemo, в основном - 12b, так что ваша печка потянет
Mistral-Nemo-12B-ArliAI-RPMax-v1.2 - в основном я на ней
MN-GRAND-Gutenberg-Lyra4-Lyra-23.5B - 23,5b, большая
L3-DARKEST-PLANET-16.5B - большая модель, и ЧЕРНУШНАЯ, очень жестокая, так что пользоваться с осторожностью, возможно ваша лоля вас убьет самым неприятным способом
Настройки для нее
Temperature: от0.7 до 1.1. Но я заметил, что интересные результаты получаются и при более высоких значениях, вплоть до 2. Эти модели начинают повторяться примерно на 30-35 сообщении, и повышение температуры помогает им
Min-P: 0,01-0.07
Rep Pen: 1.08
Rep Pen Range: 1536
У гугла вчера новая модель вышла, жаль зацензуренная очень
Спасибо мистер Карасек, буду устраивать себе днд сессию в одиночестве 😎
Большое спасибо за серию статей про LLM!
Подскажи пожалуйста, а что на счет модели DarkIdol (https://huggingface.co/aifeifei798/DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored) - не котируется?
Привет! Во-первых, огромнейшее спасибо за донат!
Во-вторых, я просто про нее не знал. Но выглядит круто. И инструкт, и uncen, ну песня
Карасик, ты не знаешь случаем, почему в oobabooga/text-generation-webui по умолчанию контекст стоит больше миллиона? n_ctx параметр у моделей имею ввиду.
Я долгое время думал, что это моя машинка не может в такие модели, удалял, пробовал другие и везде +- один резултат. cudaMalloc (из курса универа помню, что malloc это про выделение памяти в C) просит 120 GB и падает при попытке загрузить.
Гуглёж подсказал, что вообще контекст у моделей обычно 4-5 цифр, типо условно 2k, 4k, 8k, а тут аж миллион по умолчанию стоит 🙃 ещё где-то читал, что модели имеют разный максимальный контекст, но на huggingface этого не увидел у многих
Почему у тебя так - не знаю
Но обычно контект не должен превышать 8к
Погугли, где выставлять значения по умолчанию, мб там что-то неправильно