Тестирование aiogram ботов с LLM'ками - как?

Короче, есть у меня один небольшой проект со своей fine-tune моделью (исходник - gemma2:22b).

Решил под себя написать бота на aiogram3, а потом оказалось, что не одному мне интересно использовать модели со всем их обширным функционалом (не урезанным как у опенаи и прочих типов ака клауда, бинг и етс.) ((возможность менять системник, топ_к, температура и тд)). Я хочу монетизировать это дело, но перед этим мне нужно оценить - потянет ли моя система коммерческое использование или нет?

Итак, вопрос: как мне проверить сколько человек в пике сможет "обслужить" видеокарта(ы) и сам бот, в частности? Я не особо хорошо разбираюсь в юнит-тестах, пирограме и прочих подобных вещах - я просто ресерчер, и то - энтузиаст, а куда обратиться с этим вопросом - понятия абсолютно не имею.

11
4 комментария

Ну, ночной пдф тебе точно не поможет.

2
Ответить

Тебе бы на хабр за такой информацией)

Ответить
Автор

Д там есть статья одна на этот счёт, но она не даёт исчерпывющей инфы, а звучит примерно так (представь, что вопрос задаёт человек, не разбирающийся в теме):
- Как создать нейросеть?
- Да очень просто, если речь о перцептроне, можно использовать готовый фреймворк, типа PyTorch или Tensorflow, пишем класс, эээ корочь, наследуясь от Module.....

1
Ответить

я пришел сюда на котиков смотреть, а ты меня загрузил технической информацией, ну спасибо удружил)

Ответить