Гайд на создание селф-хоста LLM на основе ollama.

На фоне шумихи вокруг китайской DeepSeek-R1 я захотел тоже опробовать эту модель, да и в принципе разные LLM для понимания темы инфоциганщины вокруг AI-чатов. Если вы ищете гайд, как именно использовать DeepSeek-R1, то можете просто пройти по ссылке. После регистрации вы сможете использовать их бесплатную версию в браузере или скачать её на телефон. Мне лично такой метод не шибко интересен, так как я хочу потратить время и «потанцевать с бубном» возле компа.

Для создания сел-хоста можно использовать разные методы на Darwin, Linux или Windows — они все разные. Я расскажу подробно про метод установки на Windows через Python и Ollama. Весь интерфейс я буду использовать Open WebUI, но также рассмотрим другие варианты (позже).

Ollama — это бекенд платформа, которая доступ к большим языковым моделям (LLM), позволяя пользователям запускать их локально на своих устройствах.

В принципе, можно обойтись без установки GUI, но тогда вам всё нужно будет делать через терминал, а это неудобно.

Скачать Python версии 3.11.9.
(Опционально) Скачать Git для работы с терминалом. Можете использовать встроенный PowerShell или командную строку, но мне удобнее терминал в Git, так как он распознаёт команды Unix-систем.
Скачать Ollama

Переходим на сайт, скачиваем и устанавливаем Python. Во время установки убедитесь, что вы поставили галочку «Добавить Python в PATH» — без этого работать не будет. После установки проверьте версию в терминале командой: python --version. Должна отображаться корректная версия (3.11.9).

Следуйте инструкциям на сайте. После установки перейдите на в браузере 127.0.0.1:11434. Если всё работает, вы увидите приветственное сообщение.

Введите в терминале:

pip install open-webui

Установка зависимостей займёт время (у меня было около 10 минут). После завершения запустите сервер:

open-webui serve

Перейдите по адресу localhost:8080, зарегистрируйте пользователя — интерфейс готов.

На сайте Ollama выберите модель (например, deepseek-r1:7b).В новом терминале введите:

ollama run deepseek-r1:7b

Теперь модель будет доступна в вашем локальном интерфейсе.

Расширение для браузера: Ollama-UI. Плюс: не требует мощного железа. Минус: нет поддержки загрузки файлов.

Отдельнео десктоп приложение: Harbor работает только на Darwin и Linux.

В чём смысл запуска таких моделей на локальной машине?

Минусы:

Как итог это интересный способ протестировать LLM на своём ПК, но для «крутых» моделей требуется топовое железо. В будущем хочу сделать обзор на харбор, а пока вот вам видео превью.