Diavator
Еще небольшая ремарка по поводу синтетических наборов данных для ЛЛМ. Недавно на Реддите это обсуждала с англоговорящей аудиторией, оказалось все очень печально. Суть такова, что многие кто файнтьюнит модели просто боятся брать данные из интернета из-за авторских прав и возможных проблем с лицензией на ЛЛМ. Если та же ЛЛама 2 была изначально обучена на "живых" данных, то уже 3,1 получила тонны "синтетического" контента. У тюнеров две беды: 1 - где достать данные что бы не нарушить ничьи права (по этому ЕРП на новых моделях такое ужасное), и 2 - если генерировать данные то на чем ГПТ или Клод. В основном делают на Клоде, хотя объективно для красивого литературного языка лучше модели кормить: книги, живую переписку, фанфики/новеллы. Блин, помню на Хагине даже ЛОРА была для обучения модели ЕРП основанная на выборке топовых работ с сайта СексСторис..., но увы, сейчас ЛЛМ беззубые. Получить послушного фем-бота очень легко, а вот сделать характерного мужика -невероятно сложно (знаю о чем говорю.)
На Лайфбенче 7б Квен 2,5 насилует Клода, Мистраль, ГПТ... Не всегда важен РАЗМЕР, важно умение его использовать, как бы смешно и банально это не звучало. Большинство современных жирных моделей это просто солянка, куда напихано все что только есть и повторяется по 100 раз. Пример: кто юзает Мистраль и Ллама 3,1(даже Гермес 405b) у них в основе один и тот же датасет с ошибкой, эти две модели безумно любят "убирает выбившуюся прядь волос за ухо" и "жгучий поцелуй" эти 2 фразы просто болячка в РП.
Кстати, еще забавный факт, цитата: "Китайская компания обучила конкурента GPT-4 всего с 2000 графических процессоров — 01.ai потратила 3 млн долларов по сравнению с 80–100 млн долларов у OpenAI". К чем я это пишу, все просто, сейчас сфера АИ это отмывание денег, и бывшие лидеры скатываются в говно, они не могут предложить ничего нового, а денег хотят как и раньше - вагон и маленькая тележка сверху.
Сейчас США усиленно пытаются ограничить Китай от технологий, поскольку наши любители риса и кошко-жен начали нагибать звездно-полосатых на их же поле. Ставлю на то что топовыми моделями ЛЛМ будут модели из поднебесной в ближайшие пару лет, Квен уже это доказал. Главная проблема современных моделей в том, что одни ЛЛМ учат на генерациях от других ЛЛМ. Следствием мы имеем этот ужасный и сухой текст и кучу оборотов именуемых ГПТизмами на подобии двойного отрицания с положительным значением "не неприятно" и тд. По этому для меня и многих кто РПшил на локальных моделях еще с мая-июня прошлого года кажется что современные модели -отвратительны. Да, они лучше понимают контекст, намного более изобретательны, НО их язык не живой, их реакции и эмоции - скупы, а про цензуру вообще молчу, это мрак и ужас.
Честно, для меня Клод +/- то же самое как и WizardLM 8*22, проблема в том что Антропик проломить на цензуру и этику сложно, GPT4o куда проще в этом плане. Тут вопрос вкуса. К тому же они любят логи смотреть и реально забанить могут за очень "веселые" генерации.
Я даже не пытаюсь на русском, это все равно что игра в сломанный телефон через 10 человек, даже если промт у бота на русском. Лучше через переводчик на английском, за одним знание языка подтягиваю. У меня друг Гемму2 на русский переобучил, напихал в датасет всякой около порно литературы и женские романы ей скормил, боже, что она пишет и как... нет, это хорошо, правда, просто не дай бог этой нейронке дать кибер-тело, это будет рождение Скайнета.
Что касаем ГПТ - если вы используете API GPT4 то и пишите как он советует, а если все другие модели, особенно файнтюн и франкенмерж это правило уже не работает! Каждый автор кто дообучает ЛЛМ по факту ломает их через колена новыми правилами и данными. И то что работало на чистом Мистрале на ее файнтьюне может не работать. Вон сейчас пытаются проломить цензуру через лораблитерацию, ждем когда пойдут модели для которых использовать для ЕРП больше слов будет не так тяжко.
Хорошая модель писатель маленькая и очень умная https://huggingface.co/DavidAU/Gemma-The-Writer-N-Restless-Quill-10B-Uncensored-GGUF Вообще модели от этого автора плохо годятся для РП из-за их хаотичности, но прекрасно пишут истории. Обязательно читайте советы по настройкам от автора. Про русский можете забыть, либо брать 70б+ они его обычно знают. Но вопрос в другом ваши мощности позволят запустить 70б в 6q?
Это зависит от модели на которой вы играете, как она обучена так она и будет себя вести. Пример: большинство РП моделей обучено на дата-сетах игры с женскими героями и изобразить достоверную девушку для них не сложно. Но, они очень плохо отыгрывают мужских персонажей, уходя в 2 крайности либо ноющий и стонущий вечно нуждающийся слизняк, либо агрессивный доминант, который сквернословит и использует юзера как тряпку.
На какие то модели влияет то как написан чар, а на какие-то нет. Есть модели которые вообще будут генерить нейро-берд сочиняя и приписывая герою то что не описано в карточке. Это вообще невозможно контролировать толком.
Что касаемо стиля общения в СТ есть отдельный пункт Примеры диалога, но опять же все зависит от модели, некоторые четко следуют этой подсказке, а некоторые просто на нее положат большой и толстый...
На сексуальность и домогательства влияет не промт, а вес токенов промта в модели и внутренние инструкции, это не обойти, эти вещи приоритетны для ЛЛМ и она ВСЕГДА будет применять эти настройки выше ваших ООС и ДжейлБрейков. Проше говоря, если модель сексуальный террорист, либо смиритесь и нагнитесь, либо найдите модель более нейтральную в своем поведении.
Если нужна небольшая знающая русский язык модель то https://huggingface.co/Epiculous/Violet_Twilight-v0.2-GGUF Но язык у нее скудный, после 20го сообщения надоест.
молодец в Гугле не забанили. Но в рисовании чуть-чуть другое значение))
Полным нулям надо кубы и шары рисовать, строить перспективу и научится отличать собственную тень предмета от просто тени, и да, знать, что терминатор - это не машина убийца из будущего.
Ну а если представить тандем художник + нейросеть? Удивлю, но все генерации имеют косяки, который насмотренный глаз художника заметит. Если я что-то генерирую при этом умею рисовать, то могу внести правки и сделать так что генерация на выходе будет как картина. Вот тебе пример:
Александр Рыжкин - ищи его лекции он как боженька дает основу!
Рисовать это здорово, но все важно делать по порядку. Что вообще значит "вменяемо", уровень скила WOLP или мальчика Васи из соседнего подъезда, а может что-то в стиле артов SOFA? Вообще надо начинать с базы, простые формы, объем, свет-тень и далее по нарастающей. За год упорной учебы можно освоить базу и рисовать, но это как с программированием нужно постоянно учиться, хотя диджитал в какой то мере упрощает жизнь.
Важно помнить что правильное обучение очень сильно сокращает время освоения данного умения, по себе знаю. Рисую 20+ лет но раньше рисовала контурно, пытаясь повторить форму из-за чего теряла объем в работе. Каким же адом было переучиваться, особенно когда я с бумаги пересела на цифру.
Плюс, ты хочешь в классику (бумага/карандаш/акварель...) или в дидж?
Могу дать пару советов по программа, принципам рисования и базе, но мой стиль тебе будет интересен.
https://huggingface.co/ParasiticRogue/EVA-Instruct-32B Лови порно-квен, советую сделать настройки как говорит автор, они действительно рабочие и на фоне Немо и 3й Лламы эта моделька так освежает набором слов, оборотов и вообще поведением.
Шаблон не плох, но есть еще куча рабочих вариантов и моментов(чорд, не хочу раскрывать эту кухню, ибо сама делаю чаров, дарю вам свой хлеб за даром!).
Бота не покажу, не простите, но суть объясню.
Вообще любого нового бота можно написать с помощью бота спецом заточенного на такую работу. Звучит дико, настоящий Скайнет, но это проще чем писать в ручную и быстрее. Огромный плюс такой методики, что та модель на которой вы создаете персонажа будет понимать его промт на 101% и подберет максимально отражающие запрос смысловые единицы.
Я делаю так:
1. Создаю краткое текстовое описание персонажа, внешность, стори, особенности, характер, и если надо четко описываю его фичи.
2. Генерирую "мозг" бота на 3х моделях от разных разработчиков: WizardLM 8*22, Llama 3 70b и Mistral Large и иногда ради забавы через 4 GPTо пускаю.
3. Сравниваю те слова, смысл и обороты которые использовали эти модели для генерации и собираю - франкенштейна. Это гарантия того что бот будет работать на любой модели. Чаще всего понимание у них общее, сильной разницы нет в используемых словах и смысловых единицах. Что-то дописываю сама, например список кинков, обычно модели работающее через API их не описывают, по этому прибиваем гвоздями сами.
4. Пишу сценарии/стартеры. Идеи либо рождаются у меня в голове сами либо прошу накидать идей нейронку. Сами тексты генерирую на специальной модели заточенной под писательство с напрочь отбитой цензурой. Мало того что она пишет так что это не выглядит ГПТ-текстом, так еще и подкидывает изюма в текст.
5. Тестирую бота на тех моделях что использовала для его создания + те модели что популярны в сообществе. Обычно делаю 5 -7 рп. Если надо правлю тексты/мозги замечая что боты давятся на словах или начинают болеть не той эмоцией.
6. Оформляю бота, генерирую задники, аватарку, если есть набор выражений, шапки стартеров.
7. Релиз... и все по новой с новым ботом.
Люблю писать бота смешанным стилем с четким разделением атрибутов, но при этом с описательной частью в истории и лора(если делаю). Применяю систему MBTI и психо-тестирования, если надо усилить какой то кинк или психическое состояние то несколько раз повторяю это понятие по тексту, дабы увеличить его вес в промте.
п.с. Есть нюанс, ботов для Антропиковских моделей надо писать тегово, если что я говорю о Клоде, но я сомневаюсь что тут есть его пользователи.
Забыл написать про самую важную фигню - ПРИГЛАШЕНИЕ, обычно его так называют, это формат подсказки длz LLM. Если выбрать тот на котором модель не умеет работать, опыт РП при таких условиях будет, мягко говоря, монолог из дур-дома!
Как понять на какой формат приглашения обучена модель, логично, прочесть документацию! Многие авторы пишут на прямую о том какой формат, но иногда это не понятно. Решение: смотрим на то какая в базе файнтьюна находится модель в файле config.json в данных на обучение модели. Если Мистраль - логично что запрос Мистраль, если Ллама 3- то запрос для Лламы и тд.
Нет никаких проблем, только вопрос оплаты. Ну это уже либо иметь друзей за бугром либо карточку.
Ваша модель - Мистраль значит она априори 32к, Таверна не работает нормально более чем с 8к контекста, именно по этому она вам предупреждение лепит когда вы контекст завышаете. Можно играть на 32к, без проблем, но могут быть артефакты в тексте и сведение диалога в скучную воду. Чем меньше контекст тем качественнее ответ, модель не растекается мыслью по древу, увы это пока издержки ЛЛМ. Попробуйте поработать с TogetherAI, прикольная шняга, за регу дарят API на 5 долларов, 1 лям токенов в зависимости от модели на площадке от 0,2 бакса до 1,2 бакса. Я сейчас просто сиу на Qwen2-72B-Instruct на 400 токенов за 2,2 секунды рожает! Уже задумываюсь реально оплачивать этот сервис, он раз в 100 дешевле API ГПТ4, Клода 3, Гемини 1,5, а модели кастомные куда более откровенные и без лишней цензуры.
В карточке модели на ХагинФейсе пишут, при загрузке если пользуетесь на КобольдССП а Ообабугой тоже видно сколько там контекст. Но прикол в том что Таверна работает хорошо только с 8к контекста. Если ставите больше когда чат перевалит за 8к могут начаться проблемы, от "хрюши-повторюши" до "не знаю что выбрать перечислю все". Обычно 6 квантование считается оптимальным. Разудтый контекст тоже плохо, модель теряет "изюм" в повествовании и становится скучно, поскольку у ней слишком много токенов в выборке.
Если вы ищите модели для РП то обратите внимание на новые 7б. Многие модели 7 б сейчас продуктивнее и обучены более качественно, чем старые 13-23б. Советую попробовать модели от https://huggingface.co/Lewdiculous Особенно его модельку Kunoichi DPO V2 Imatrix 7B у нее шикарные показатели в тестах, а скорость письма - быстрее поноса у ребенка)
MistralTrix V1 9B. Этой модели 8*9 нет. В моем сообщении нет таких данных о модели.
Могу советами помочь, если у вас есть дискорд. Просто местный чат ужасен ,я даже нормально скрины опубликовать не могу максимум 1 скрин в сообщение.
Если нужно что бы бот помнил важные вехи общения то проще всего их прописать в Заметки автора. Совсем упоротые ЛОРА пишут.
Следовательно токенов в Таверне должно быть идентичное количество:
Она не рассчитана на 8к, следовательно работать не будет. Вы можете хоть 1м контекста выставить, если модель сделана на 4 к, больше она не удержит, а после из-за разницы настроек сдохнет набрав свою минималку. Вообще на ЛЛаме2 - 4к контекста, на Мистрале -32к, есть еще 8к контекстные модели и ЮИ на 200к. Но по опыту 200к лучше не трогать, они жутко глючные и в РП не могут, 95%+ повторяемости, это отвратно.
Тот самый парадоксальный момент когда 9б может дать прикурить 70б модели. Тут прикол как в сравнении "умного" и "разумного", "умный" -знает много, но фигово пользуется этими знаниями, а "разумный" знает меньше, но то как оперирует этими малым объемом заставляет задуматься. Сама тестила МикстралТрикс 9б, и офигела от нее, не без грехов (привет, немецкий язык без причины, глюк обучения), но то как она обыгрывает карточку героя и как она красиво литературно пишет... это великолепно, еще и 32к контекста)) Поверьте на слово, мне есть с чем сравнить за долгое время тестов различных моделей и героев. Так что погоня за жирностью модели не всегда хорошая идея.
Насчет мыслей и Джисона, который обычно используется для их оформления, иногда помогает небольшое изменение, например "Sysytem Note" перед правилом или же [правило] заключить в усиление скобками.
Этот порт везде одинаковый, он прописан системно в настройках, его меняют только те кто делают доступ к Таверне сетевой, а не личный. Например вы ходите на работе к домашнему Пк через мобилу подрубиться и помучать бота.
http://ayumi.m8geil.de/erp4_chatlogs/?S=iq3_0#!/index
Ва должно интересовать только вот это:
1- размер моели
2- вариативность прилагательных (красивости текста и литературность если проще)
3- Повторяемость слов из предыдущих сообщений, чем меньше значение тем лучше.
4- умность модели, ее понимание чем выше тем лучше.
5- пошлость, если для ЕРП, чем выше тем лучше.
Обычно набор данных для РП - диалоги с женскими героинями, по этому ЛЛМ их изобразить проще, а все парни делятся на 3 вида: ноющий и бесхребетный слюнтяй, общечеловеческое бревно и мачо-мен который об юзера вытирает ноги и общается с ним как с последней проституткой. Это ужасно...