Хакер взломал чат-бота, где пользователи общались с нейросетью под видом «виртуальных девушек», и узнал их сексуальные фантазии

Его напугало то, что он увидел — множество запросов с упоминанием несовершеннолетних.

Анонимный хакер взломал сервис, который позволяет с помощью нейросети общаться с «виртуальными девушками». Благодаря рядовым уязвимостям ему удалось скачать базу данных пользователей и их переписки с чат-ботом. Данные проверили и подтвердили журналисты издания 404 media.

За последние пару лет запустились десятки сервисов, предлагающих услуги чат-ботов со встроенным искусственным интеллектом, который имитирует близкое общение с «виртуальными девушками». Взломанное приложение называется Muah, но есть аналоги — Character без сексуального контента, Clona с профилями порноактрис или Chub с интерактивными ролевыми играми.

Оказалось, даже у таких современных сервисов не самая надёжная защита. По словам хакера, он зашёл на Muah «просто подрочить», но заметил, что сайт «сделан довольно неудачно». После этого он решил связаться с журналистами.

По сути, это несколько проектов с открытым исходным кодом, склееные между собой скотчем. Я покопался и довольно быстро нашёл несколько уязвимостей
хакер, взломавший Muah

В данных, переданных хакером, содержатся подсказки для чат-бота, раскрывающие сексуальные фантазии пользователей. Многие пытаются создать чат-ботов, которые ведут себя как дети или отыгрывают насилие над ними. Среди отправленных ссылок он нашёл сайты с инцестом, насилием и изнасилованиями. Неизвестно, как на это ответила нейросеть, но сами запросы сохранились.

Другие подсказки о фетишах пользователей содержат классический набор для любого «анонимного» порносайта. Фантазии о жёстком доминировании, ролевые игры в «раба и рабыню», интимные пытки рестлером-садистом, отыгрыши несовершеннолетних и etc.

Владельцы Muah в ответ на претензии сказали, что «она была профинансирована конкурентами в индустрии искусственного интеллекта без цензуры, которые нацелены на получение прибыли». Но подтвердили, что сервис действительно взломали на прошлой неделе. Также журналисты писали пользователям по почте, но никто не ответил (вот это да!)

Это первая такая крупная утечка. Секс-кинки пользователей здесь напрямую связали с электронными адресами, указанными при регистрации в чат-боте. Из-за этого хакер без проблем смог идентифицировать, кто и какую ИИ-модель создал, а также связать их с другими сервисами, оформленными на эту почту. При этом в правилах подобных сервисов написано, что они не сохраняют чаты пользователей.

2024 — год генеративного контента и нейросетей в порноиндустрии. И нам ещё предстоит ужаснутся тому, что на самом деле смотрят люди вокруг нас. Один из создателей сайтов по генерации порно уже жаловался на запросы пользователей: «Очень надеюсь, они просто хотят протестировать модель, а не на самом деле хотят увидеть то, что пытаются найти».

Николай Чумаков

Жизнь 7 мар

Владелец первых порносайтов вернулся в бизнес спустя 20 лет — и в шоке от запросов пользователей

«Надеюсь, на самом деле, они не хотят смотреть то, что ищут», — сказал он после того, как решил создать сайт с генеративным порно.

Обществу вновь придётся решить сложный моральный вопрос. Если контент ужасен и незаконен, но полностью сгенерирован и никто не пострадал, нужно ли его запрещать? Когда-то любое насилие на экране воспринималось как реальное — сейчас миллионы геймеров каждый день убивают людей в играх самыми разными способами.

Будем ли мы также лояльны к другим пугающим вещам, которые можно делать виртуально и без реальных страданий?