NVIDIA представила "Chat with RTX": Чатбот с ИИ работает на видеокартах RTX 30/40, требует минимум 8 Гб видеопамяти
Переведено с помощью DeepL
NVIDIA представила новую функцию под названием "Chat with RTX", предлагающую альтернативу для пользователей, которым неудобно общаться с ИИ в онлайн чатах.
Этот ИИ чатбот работает локально на видеокартах GeForce RTX 30 и 40, используя программное обеспечение TensorRT-LLM и Retrieval Augmented Generated (RAG), полностью поддерживаемое видеокартами RTX и ускоренное встроенными ядрами Tensor.
NVIDIA Chat with RTX - это возможность использовать мощь своих видеокарт для задач ИИ.
В основном мы видели, как ИИ делает крутые вещи с изображениями и видео, но до сих пор чаты были как бы застрявшими в больших центрах обработки данных из-за ресурсов, необходимых для этих сложных моделей ИИ с кучей переменных.
Теперь пользователи могут загрузить облегченные версии этих моделей ИИ, некоторые из которых доступны для скачивания бесплатно.
Но, как и в случае с любой новой технологией, ее настройка для обычных пользователей может быть немного сложной.
NVIDIA решила упростить этот процесс с помощью одного приложения, которое работает на вашей системе, и вы можете запустить его через браузер, что делает весь процесс гораздо более удобным.
Chat with RTX - это не просто текстовый редактор, он может работать с файлами различных форматов, включая текст, pdf, doc/docx и xml.
Он использует возможности популярных больших языковых моделей, таких как Mistral или Llama2, для генерации ответов, а также может использовать онлайн-ресурсы, такие как видео на YouTube.
В настоящее время NVIDIA подтверждает поддержку только для видеокарт GeForce RTX 30 и RTX 40, не упоминая о серии RTX 20. Видеокарты должны иметь минимум 8 ГБ памяти, что исключает совместимость с RTX 3050 6 ГБ.
Чат будет доступен для загрузки в ближайшее время, более подробную информацию вы можете найти по следующей ссылке.