Сказ о том, как я DeepSeek дома настраивал.

!!! установка и на стройка, использование, на ваш страх и риск!!

Ставил на win11

Захотелось мне пощупать, что такое этот ваш DeepSeek, вдруг полезен. Боты с ограничениями немного поднадоели, то цензура у них, то часть не весь материал выдает при ответе, то рекламы вгоняют, то сразу «позолоти ручку».

Как же поставить сервер с нейронкой?? да там все просто...
1. Идем на сайт Ollama.com – сразу предлагает скачать

А вот дальше самое интересное.
2. Как установить модель \ модели?

Ставиться модели через консоль.
Как узнать какую поставить?
Идем на сайт Ollama и тыкаем в Models

Лицензия у сего творчества MIT и Apache – смотрите, читайте, значит что можно использовать, но собака может где то быть зарыта и на сайте и это не очевидно, но будем надеется, что все как и написано.
3. Заходим в модели

Базовая модель это 671b – 404 gb, если у вас распределённый видео сервер то пожалуйста. Остальные модели – «Дистиллированные», в описание сказано, что какие то сверх быстрые и до обучение, чтобы это не значило.
Почитав документацию понял что зависит от видео карты, думаю что работать будет на GeForce, владельцев AMD карта, наверное, надо почитать документацию.

Для работы модели нужна видео карта от 8 GB VRAM. перевод из документации «Для работы с моделями 7B у вас должно быть доступно не менее 8 ГБ оперативной памяти, для работы с моделями 13B - 16 ГБ, а для работы с моделями 33B - 32 ГБ.»

Думаю что обозначении 1.5B – размерность требуемой VRAM видеокарты.

Так вот. Прикинули сколько у нас VRAM ставим нужную модель.
Для установки и запуска, чтобы общаться в консоли, скрипт одинаковый.
Например:
или через консоль - CMD или через PowerShell консоль – рекомендую.
Команда:
ollama run deepseek-r1:14b
скачает модель и установит.
Пути:
C:\Users\”ваш пользователь ”\.ollama
C:\Users\”ваш пользователь ”\.ollama\models\blobs – тут хранятся модели
Все, установили.
запускаем в PowerShell, вводим:
ollama run deepseek-r1:14b
и радостно общаемся через консоль, русский она знает, с примесью китайского))
Делаем общение с нейронкой более комфортным.
Базовый способ общение через консоль – мне показался не удобным. Стал искать способ, как это все запустить в более комфортном виде. В инете полно видео, как ставить через Docker - мне откровенно лень ставить еще с пару гигов софта и писать настройку с портами по этому всему.
Способ есть – openWebUI
Ставить достаточно просто и рекомендую ставить через pip, но по порядку.
1. Если нет питона – ставим 3.11 – он рекомендован, при установки укажите, что он проставил путь в переменные среды.
Вот так это выглядит:

кнопка Next :

Установка openWebUI

Открываем PowerShell
Команда установки:
pip install open-webui
Далее идет много консольного вывода о магии установки.
Допустим, все прошло хорошо.
Запускаем, в PowerShell команду:
open-webui serve

в консоли идет запуск, чтобы отрыть в браузере, откроем браузер и в строке поиска пишем:
localhost:8080

При первом запуске предложит создать пользователя и пароль и указать email – можно поставить что угодно похожее на email
Проверяем. Тыкаем в пользователя – левый нижний угол.
Открываем – Настройки Тыкаем в Соединение – должна быть такая картинка:

Тыкаем в модели Ollama – которая является сервером для нейронки. Запускать Ollama через консоль не нужно, она уже подгружена.
Модели:

Все работает!
Чтобы начать чат с моделью:

примерно так идет общение:

Спасибо за внимание!