Виртуальный ролеплей, часть 2: Настройка SillyTavern

Всем привет! После того, как вы запустили LLM-интерфейс oobabooga и интерфейс SilyTavern, что описано в первой части, необходимо его настроить, чтобы получить максимально приятный опыт ролеплея. (А чтобы получить уникальный опыт — попробуйте создать своего персонажа)

В первой части после запуска SillyTavern вы дали имя своему персу, но ему еще можно добавить и черты характера. Открывайте вкладку со смайликом:

Слева вы можете описать себя, а справа можете добавить еще личностей.

Вы — {{user}}, и дальше коротко описывайте себя любимого. А вот эти непонятные буквы ENTP и далее — это тип личности. Модели почему-то отлично понимают их, и по словам играющих — очень понимают. Настолько, что ИИ может вам отказать в рамках отыгрыша (хотя обычно она никогда не отказывает) Его можно добавлять как к своему персонажу, так и к тому, с кем вы будете играть, об этом чуть позже.

Вы можете либо пройти MBTI тест, либо вот табличка:

Эти настройки, находящиеся слева, контролируют ответ ИИ, и их много.

Маленькое отступление, чтобы лучше понять инфу ниже: Если залезть в структуру ИИ-модели, то можно увидеть огромную паутину из нейронов и весов к ним. Пример: Если нейросеть обычная, то после слова «Меня« вероятнее всего ИИ выберет слово «‎зовут», а если модель, например, пошлая, то после слова «Меня» скорее всего она выберет «‎заводит», так как вес у него больше, чем у «зовут». Вот из этих взаимосвязей слов и весов и состоит ИИ-модель.

Сверху есть предустановки, это сильно упрощает жизнь. Мне рекомендовали Pygmalion и Deterministic, в комментах тоже есть пара рекомендаций, и есть Mirostat, о котором позже.

Основные, которые вам стоит знать, но не стоит трогать просто так:

Приведу список количества токенов, которые модели смогут адекватно обработать:

It's revolution, Johnny! Это новый алгоритм обработки генерации ответов «нового поколения», и он может действительно улучшить качество ответов ИИ, но немного замедлит генерацию. Если хотите разобраться, как эта технология работает, тут статья от разработчиков Mirostat. Его настройка:

Когда мы наконец настроили все, можно и персонажа доделать

В принципе с настройками персонажа все понятно, они очевидны. В Promt Overrides можно написать переопределения персонажа — что ему можно и нужно, а что нельзя (в работе с новыми моделями лучше не трогать).

Но устоявшихся стандартов пока нет, тема слишком новая, так что персонажей каждый пишет по-своему. По крайней мере я не нашел какого-то единого шаблона, у всех все по разному — подробнее в третьей части.

В Личную сводку можно написать или дописать его характер по вашему желанию. Снова вспоминаем про тест личности, 4 буковки и циферки, даже их будет достаточно, чтобы придать персу определенные черты характера.

Если персонаж известный, то его тип личности можно посмотреть на этом сайте. Также оставлю ссылку на редактор персонажей, если захотите углубиться в эту тему

Персонаж также состоит из токенов. Их количество указано правее его имени. Permanent токены — это количество, которое передается каждую генерацию. Чем больше токенов, тем лучше, конечно, но нужно знать меру. В идеале, чтобы Длина Контекста была вдвое больше, чем токенов у персонажа, иначе для лорбука и сообщений не останется места, и перс будет топтаться на одном месте в сюжете.

Прикольная фишка, но адекватно работает только на моделях от 13B.

Необходимо выбрать персонажа, и нажать на кнопку в его описании, которая подсвечена на картинке. Выбираете название чата, и персонажей, которые будут в него входить:

Как только выберете персонажей, нажимайте на галочку и развлекайтесь.

Некоторые специальные символы для общения:

Но не все модели правильно понимают эти спец.знаки. Pygmalion-like понимают хорошо, а с другими нужно проверять и экспериментировать.

Эти настройки отвечает за формат передачи контекста ИИ модели, они скрываются во вкладке "А":

Шаблон контекста позволяет выбрать формат передачи всего контекста ИИ при каждой генерации. Хватает и Default настроек, но можете поэкспериментировать, я не нашел сильных отличий генерации между режимами. Единственный сильно отличающийся режим — Roleplay, позволяет ИИ в своем ответе писать речь от вашего лица.

Для расширения контекста и раскрытия персонажа, существуют Лорбуки. Они описывают окружающий мир. Лорбук подключаемый и также состоит из токенов.

Как только ИИ видит определенные ключевые слова в вашем сообщении, он сопоставляет их с заранее прописанными к ключевым словам инструкциями в Лорбуке и может добавить в свой ответ контекст из него.

Extras позволяют вам разнообразить и расширить SillyTavern, например заставить персонажей говорить с помощью TTS или генерировать изображения с помощью Stable Diffusion

Для установки вам требуется дополнительно установить Miniconda

Как только установите:

Запуск из папки, куда скачали экстрасы — python server. py --enable-modules=caption, classify, sd, chromadb

Тут описание всех модулей.

Stable Diffusion (sd) работает… странно. Вы вписываете промты сами в SD Promt Templates и SD генерирует и отправляет картинку в чат. И это так в любом режиме.

TTS уже более интересный, но он читает оригинальный английский текст, а не русский. Как это исправить, я не нашел.

Character Expressions (classify) показывает эмоции персонажа, если вы загрузите его картинки. Можете протестировать со стандартным персонажем Seraphina.

Smart Context (chromadb) — Спасение для тех, кому не хватает длины контекста. Эта настройка записывает всю память в БД, и оттуда уже вытягивает нужные данные.

Перевод я освещал в первой части.

Искусственному интеллекту далеко до идеала, и он не может заменить реального общения, но он активно стремится к нему. Когда нет времени (или друзей) собирать кучу народа для DnD, почему бы и нет. Думаю, это все, что вы должны знать для комфортного отыгрыша. Для «глубокого погружения» есть документация и десятки веток на Reddit.

Спасибо всем, кто комментирует и помогает в развитии этой темы. Любая полезная информация навеки останется в этой статье.

Делитесь своим опытом в комментариях, и приятной игры!