Используем локальные LLM для помощи в разработке

Я долгое время использовал IDE Cursor, которая предоставляет встроенную поддержку языковых моделей (LLM) для написания кода. Хотя это мощный инструмент, он накладывает слишком жесткие лимиты в бесплатной версии. Я решил изучить возможность использования локальных языковых моделей внутри Cursor, но, к сожалению, так и не смог найти подходящее решение. Однако в процессе поиска наткнулся на интересную альтернативу, которую теперь активно использую.

Как это работает:

1. LM Studio

Я настроил локальный сервер с помощью LM Studio. Этот инструмент позволяет запускать локальные языковые модели, что особенно полезно для задач, связанных с конфиденциальностью и производительностью.

2. Visual Studio Code + Continue

Вместо Cursor я теперь использую Visual Studio Code с расширением Continue, которое позволяет подключить LLM к редактору кода. Это расширение хорошо поддерживает интеграцию с локальными моделями, в том числе с API сервера LM Studio.

3. Модель T-Lite 7b

В качестве языковой модели я выбрал T-Lite с 7 миллиардами параметров. T-Lite и T-Pro — модели на 7 и 32 млрд параметров соответственно, построенные на базе моделей Qwen 2.5 и дообученные на русский язык.

Если вы хотите попробовать что-то подобное, рекомендую начать с LM Studio и посмотреть, какие модели подойдут для ваших задач. У меня 8 Гб видеопамяти и 16 оперативной, и этого вплотную хватает, чтобы запустить одновременно Unity, VS Code, Photoshop и LM Studio с моделью T-Lite. Если у вас больше видеопамяти, советую присмотреться к модели Qwen2.5-Coder-32B-Instruct.