Гайд на создание селф-хоста LLM на основе ollama.

Гайд на создание селф-хоста LLM на основе ollama.

На фоне шумихи вокруг китайской DeepSeek-R1 я захотел тоже опробовать эту модель, да и в принципе разные LLM для понимания темы инфоциганщины вокруг AI-чатов. Если вы ищете гайд, как именно использовать DeepSeek-R1, то можете просто пройти по ссылке. После регистрации вы сможете использовать их бесплатную версию в браузере или скачать её на телефон. Мне лично такой метод не шибко интересен, так как я хочу потратить время и «потанцевать с бубном» возле компа.

Для создания сел-хоста можно использовать разные методы на Darwin, Linux или Windows — они все разные. Я расскажу подробно про метод установки на Windows через Python и Ollama. Весь интерфейс я буду использовать Open WebUI, но также рассмотрим другие варианты (позже).

Ollama — это бекенд платформа, которая доступ к большим языковым моделям (LLM), позволяя пользователям запускать их локально на своих устройствах.

В принципе, можно обойтись без установки GUI, но тогда вам всё нужно будет делать через терминал, а это неудобно.

Примено так это будет выглядет, не очень круто:)
Примено так это будет выглядет, не очень круто:)

Подготовка системы

Скачать Python версии 3.11.9.
(Опционально) Скачать Git для работы с терминалом. Можете использовать встроенный PowerShell или командную строку, но мне удобнее терминал в Git, так как он распознаёт команды Unix-систем.
Скачать Ollama

Установка Python

Переходим на сайт, скачиваем и устанавливаем Python. Во время установки убедитесь, что вы поставили галочку «Добавить Python в PATH» — без этого работать не будет. После установки проверьте версию в терминале командой: python --version. Должна отображаться корректная версия (3.11.9).

Установка Ollama

Следуйте инструкциям на сайте. После установки перейдите на в браузере 127.0.0.1:11434. Если всё работает, вы увидите приветственное сообщение.

Гайд на создание селф-хоста LLM на основе ollama.

Установка Open WebUI

Введите в терминале:

pip install open-webui

Установка зависимостей займёт время (у меня было около 10 минут). После завершения запустите сервер:

open-webui serve

Должно получится так в итоге
Должно получится так в итоге

Перейдите по адресу localhost:8080, зарегистрируйте пользователя — интерфейс готов.

Загрузка модели

Гайд на создание селф-хоста LLM на основе ollama.

На сайте Ollama выберите модель (например, deepseek-r1:7b).В новом терминале введите:

ollama run deepseek-r1:7b

Теперь модель будет доступна в вашем локальном интерфейсе.

Альтернативные варианты

Расширение для браузера: Ollama-UI. Плюс: не требует мощного железа. Минус: нет поддержки загрузки файлов.

Отдельнео десктоп приложение: Harbor работает только на Darwin и Linux.

В чём смысл запуска таких моделей на локальной машине?

  • Все запросы хранятся локально.
  • Бесплатно.
  • Не требуется интернет.

Минусы:

  • Нужно мощное железо (на RTX 4070 Super я смог запустить только 32B модель, и та работала медленно).
  • Сложно настроить поиск информации из интернета.

Как итог это интересный способ протестировать LLM на своём ПК, но для «крутых» моделей требуется топовое железо. В будущем хочу сделать обзор на харбор, а пока вот вам видео превью.

8
8 комментариев

А LM Studio чем-то хуже? Там просто совсем легко, установил программу, выбрал модель, скачал и готово.

1

Поддержка видеокарт и больше моделей разных, просто этот гайд о том как использовать ollama

1

Запиши в минусы ещё что локальная модель хуже работает чем та что на сайте

1

Смотря какую модель ты скачаешь. Я взял легкую версию на 10 гигов. На сайте может быть использована на 40 или 400 гигов. По сути это лишь минус уже системы пользователя

На сайте как я понял версия на 16b, на пк ты поможешь поставить версию на 70+b