Нейро-копия друга на основе его сообщений

Было ли у вас когда-либо желание сделать клона своего друга? Может не полную копию, а вот зафайнтюнить бота на основе вашей с другом перепиской в наш век более чем возможно

По итогу получится бот который чуть ли не идеально имитирует юмор, шутки, фразочки, смайлики человека, что я порой бы не смог их отличить. Более того он умеет сам проявлять инициативу, писать по несколько сообщений по-очереди, при этом в дискорде показывается что он пишет. И даже необязательно его как-то вызывать с помощью команд, он сам анализирует все сообщения и понимает когда его упоминают. К тому же и сам умеет пинговать писать.

Изначально я сам на компе файнтюнил с помощью LLaMA-Factory на своей rtx 3060 ti что занимало по 10 часов на основе llama 3.1 8b

Но затем узнать что Mistral открыло бесплатный с лимитами доступ к La Platforme, зарегался под впн и использовал свой телефон указав что он якобы казахский

И я совершенно бесплатно смог зафайнтюнить в считанные минуты модель на основе mistral large и пользоваться ей. есть рейт лимитинг в виде одного запроса к апи в секунду, но нам этого более чем достаточно

А датасет получилось создать с помощью пары скриптов от чатжпт. в телеграм есть встроенная выгрузка сообщений в виде json и остается лишь преобразовать в нужный формат, а в вк можно запросить архив с данными где тоже я просто спарсил скриптом html файлы переписок

По итогу создал ботика на джаваскриптике, закинул на свою впс'ку и радуюсь жизни

Вот так захотел поделиться радостью прогресса на нашем веку

Не думаю что кому-то нужен пост с инструкцией, но если кто хочет может сделаю выложив готовые скрипты для преобразования экспорта переписок в нужный для файнтюнинга вид и самого бота где нужно будет подставить свой mistral токен, discord токен и имя зафайнтюненной модели