Ещё один GPT-мод для Skyrim: общение с NPC через ввод текста и не только

Синтез речи для NPC в этой версии на порядок выше

Ещё один GPT-мод для Skyrim: общение с NPC через ввод текста и не только

Ранее о подобном моде уже писали на просторах DTF:

Тем не менее, данный мод отличается от вышеуказанного (сначала о преимуществах):

  • В нём можно вводить команды и текстом (основная функция), и голосом;
  • Синтез речи звучит на порядок лучше (и тоже оригинальными голосами);
  • Персонажи отвечают быстрее;
  • Предназначается, в первую очередь, для обычной версии Skyrim (не VR). [не совсем понятно, поддерживает ли мод из новости выше обычную версию Skyrim].
Почти получасовая демонстрация процесса общения с NPC. Слушать диалоги довольно интересно.

Мод довольно легко позволяет расширять лор, а атмосферу игры практически не портит.

Я перевёл для вас кусочек заинтересовавшего меня фрагмента из видео — автор мода спрашивает стражника Вайтрана, как его зовут, и как именно тот получил стрелу в колено. Получилось аутентично:

В полном ролике на YouTube есть продолжение этой истории. :)

Можно подумать, что модификация заменяет встроенную систему диалогов, но это не так: для того, чтобы начать общение с персонажем через мод, необходимо нажать клавишу "Y", а обычный диалог остаётся доступным по кнопке "E".

Автор также выложил исходный код проекта на GitHub, что позволяет посмотреть, как устроен мод и даже доработать его.

Можно ли полноценно поиграть уже сейчас?

По всей видимости, до выхода полной версии ещё далеко:

  • Пока что мод (и другие подобные ему) не имеет прямого воздействия на геймплей (например, нельзя начать квест, поговорив с NPC через мод);
  • Количество персонажей ограничено (поддерживаются (добавлены) лишь некоторые жители Вайтрана);
  • Для использования голосового ввода команд, по всей видимости (исходя из авторского описания видео на YouTube), используется внешняя "Text-to-Speech"-система от ElevenLabs и она требует наличия кредитов на аккаунте;
  • Лип-синк (синхронизация движений губ персонажей с речью) здесь гораздо менее качественный, в отличие от мода из новости в начале поста;
  • Похвастаться наличием перевода на другие языки мод также не может.

Но доработки наверняка не заставят себя долго ждать: для внедрения в геймплей явно будут использоваться скрипты, ведь 99% таких модов состоят из текста, и многие моды для Skyrim и так работают на скриптах, а перевод как технология в последнее время работает на лету и без дополнительных разработок — например, в ChatGPT или DeepL (машинное обучение и тут порешало).

Стоит также сказать, что без курьёзов не обошлось: Изольда (торговка с рынка Вайтрана) прямо при знакомстве признаётся, что любит приторговывать скумой и лунным сахаром, а Лидия (спутница игрока) ударяется в лёгкий расизм по отношению к каджитам, заявляя, что именно они украли её медовуху, хоть у неё и нет этому доказательств.

Всё же, все эти забавные реплики вполне вписываются в атмосферу игры, а персонажи, при необходимости, готовы защитить свою позицию: в представленном ролике Изольда аргументирует продажу наркотиков тем, что это не основной её заработок, и что продаёт их она только тем, кто уже "подсел" и не может с этим справиться.

<i>"Да, я торговец. Я люблю покупать специи, лунный сахар, скума и другие экзотические товары"</i>
"Да, я торговец. Я люблю покупать специи, лунный сахар, скума и другие экзотические товары"

Как работает мод?
Если копнуть немного глубже, то узнаем, что мод, помимо внешней системы перевода текста в речь (об этом было выше), использует работу других модов (SKSE, SkyUI и пр.), а также систему "Inworld" — стороннюю коммерческую разработку, которая позволяет интегрировать эту набирающую популярность механику в игры путём наименьших усилий. Мод посредством API подключается к учётной записи сервиса (опять же, судя по файлам мода) и генерирует фразы прямо в игре.

На примере нашего мода, покопавшись в исходном коде, мы сможем увидеть, что Inworld использует для введения чат-бота в курс дела всего два файла: файл со знаниями о мире (факты, важная информация), а также файл с характерами определённых персонажей.

Так выглядит общая информация о мире Скайрима:

<i>Среди прочего, здесь можно прочитать о том, что Скайрим известен медовухой, сыром и мёдом, что из себя представляют Древние свитки, и что некогда провинцию посещали известные личности, такие как Святая Алессия, Тайбер Септим и другие.</i>
Среди прочего, здесь можно прочитать о том, что Скайрим известен медовухой, сыром и мёдом, что из себя представляют Древние свитки, и что некогда провинцию посещали известные личности, такие как Святая Алессия, Тайбер Септим и другие.

А так — относящаяся строго к персонажам:

<i>Здесь мы видим общее описание Изольды: молодая женщина с голубыми глазами и каштановыми волосами, она добра и дружелюбна к Драконорождённому, и имеет высокий интерес к Каджитской культуре.</i>
Здесь мы видим общее описание Изольды: молодая женщина с голубыми глазами и каштановыми волосами, она добра и дружелюбна к Драконорождённому, и имеет высокий интерес к Каджитской культуре.
<i>А здесь указаны различные факты, помогающие системе бота находиться "в персонаже": Изольда любит носить бижутерию (особенно кольца и подвески), читать и готовить, но не любит грубых людей, и конкретно Назима (другого жителя Вайтрана)</i>
А здесь указаны различные факты, помогающие системе бота находиться "в персонаже": Изольда любит носить бижутерию (особенно кольца и подвески), читать и готовить, но не любит грубых людей, и конкретно Назима (другого жителя Вайтрана)

Выглядит довольно просто, но объём ручной работы всё ещё большой, потому нейросети и тут не способны обойтись без оператора.
Но опасения простого народа может вызвать другой факт: для работы модов используются платные нейросетевые сервисы, которыми владеют различные компании-корпорации.

Из этого вытекают следующие вопросы:

  • Как это повлияет на ценовую политику модов и игр?
  • Всегда ли будет требоваться подключение к облачным сервисам сторонних компаний для этой механики?
  • Если работа нейросети будет осуществляться на мощностях игрового устройства, то какие мощности для этого необходимы?

Почти уверен, можно внятно предположить или же найти в интернете точные ответы на все эти вопросы, и у меня даже есть определённое мнение обо всех них, но оставлю это обсуждение для комментариев.

Also

В последний момент при написании статьи я также заметил, что не так давно, автор этого мода представил такой же и для Mount & Blade II: Bannerlord. В отличие от мода на Skyrim, этот мод уже рабочий и играбельный (но я не изучал, как именно он работает, и бесплатно ли).
Предоставляю ссылки на эти ролики, если кому-то вдруг интересно:

Более ранний ролик
Ролик посвежее. Здесь же, в описании, и ссылка на скачивание мода на Nexus'е.
1313
2 комментария

А потом компании типо «ЕА» засунут нейросети в свои ААА+ проекты и будут просить больше денег, зато будет прикольно: «первая игра с нейросетевым взаимодействием - уже на прилавках твоего онлайн-стора»

Привет от Собаки, Лулзи)

1
Ответить

Приветы! Спасибо, что забежал!
Конечно, нейросети даже уже туда затягивают, пока больше просто саму технологию машинного обучения используют, для создания ассетов или для генерации чего-либо ещё. Точно знаю, что Ubisoft чем-то таким начинает промышлять

Ответить