Nvidia + Hugging Face

Nvidia + Hugging Face недавно объявили о новом партнерстве. Теперь разработчики могут использовать услугу "Inference as a Service", которая позволяет запускать модели ИИ без необходимости в собственных серверах и навороченных компьютерах. Вся работа будет осуществляться через облако (API - ключи).

💱Среди доступных моделей есть недавно вышедшая - Llama 3.1 70B и Mixtral 8x22B. Стоимость использования сервиса начинается от $0.0023 за секунду работы одного GPU.

🤖Как мы можем использовать данную информацию? К примеру, теперь мы можем запускать телеграмм ботов с хорошими нейросетями, без надобности локального скачивания моделей себе на ПК или на сторонние сервисы.

🤑Однако если вы планируете использовать ботов для большого числа пользователей, то вам придется купить еще и подписку Pro за 9$. Так как:

🖥Бесплатный план - ограничивает генерацию до 30,000 символов в месяц на CPU и предоставляет лимитированный доступ к моделям размером до 10GB.

💻Pro план - увеличивает лимиты до 1 миллиона символов в месяц, предоставляет доступ к мощному оборудованию, включая GPU и много что еще )

Если будет интересно в субботу запишу ролик на YouTube о том как сделать таких своих телеграмм ботов.