Grok 3 бета - эпоха "думающих" агентов
Grok 3 — это последняя серия моделей компании xAI Илона Маска. Представленная 17 февраля 2025 года, эта модель была обучена с использованием суперкомпьютера Colossus, оснащенного около 200 000 графических процессоров Nvidia H100, что в десять раз превышает вычислительные мощности, использованные для предыдущей версии Grok 2.
Согласно результатам бенчмарков, представленным xAI, Grok 3 превосходит другие передовые модели, такие как GPT-4o, Claude 3.5 Sonnet, Gemini-2 Pro и DeepSeek-V3, в областях математики, программирования и научных исследований.
Модель способна решать сложные математические задачи, проводить научные исследования и создавать простые игры. Например, во время презентации Grok 3 сгенерировал вариант игры, сочетающий элементы «Тетриса» и «три в ряд».
Немаловажным преимуществом этой модели является контекстное окно 1 миллион токенов - в 8 раз больше, чем у предыдущих версий.
Помимо Grok 3 и Grok 3 mini, xAI выпустили в релиз две бета-модели рассуждений - Grok 3 (Think) и Grok 3 mini (Think). Как легко догадаться, они обучены на весах двух названных базовых моделей с помощью Reinforcement Learning совершенствовать процесс chain-of-thoughts. Это позволяет моделям Think находить оптимальные стратегии решения задач, находить ошибки в своих рассуждениях, то есть делать все то, чему обучены OpenAI o1 и DeepSeek R1. На процесс рассуждений у Grok 3 может уходить от нескольких секунд до нескольких минут.
Технически обучить веса небольшой модели строить и оптимизировать цепочки рассуждений можно и на достаточно небольших мощностях, арендовав облачные GPU. Некоторые подробности о процессе обучения есть в одном из моих видео.
Особенность Grok 3 в том, что Reinforcement Learning осуществлялся в GPU-кластере невиданных до этого масштабов.
Доступ к Grok 3 первоначально предоставлялся подписчикам X уровня Premium+, стоимость которой составляет около $40 в месяц. Кроме того, xAI предлагает подписку SuperGrok за $30 в месяц или $300 в год, предоставляющую расширенные возможности, включая доступ к новым функциям и неограниченное количество кредитов для генерации изображений.
Впоследствии, однако, xAI анонсировала в X, что доступ к чатботу с Grok 3 в настоящее время предоставляется бесплатно, “пока наши сервера не расплавятся”.
В посте также говорится, что подписчики X Premium+ и SuperGrok получат расширенный функционал, а также ранний доступ к возможностям вроде Voice Mode, которые еще не вышли в релиз.
Здесь следует отметить, что речь идет об использовании модели Grok 3 через интерфейс чатбота. В ближайших планах xAI — добавить в Grok 3 голосовой режим и предоставить программный доступ к модели через API.
Особенный интерес представляют агенты на базе Grok 3, первый из них - DeepSearch - уже доступен через интерфейс чата. Он также будет доступен через корпоративный API, чтобы компании автоматизировали с его помощью свои бизнес-процессы.
Как заявили xAI в анонсе Grok 3:
чтобы познать Вселенную, мы должны создать интерейс между Grok и миром. Оснащенные интерпретаторами кода и веб-поиском, модели Grok 3 учатся находить недостающий контекст, динамически корректировать свой подход и улучшать рассуждения, опираясь на фидбек