Как запустить почти любой GPT на телефоне

Единственное ограничение - ваш телефон

Как запустить почти любой GPT на телефоне

Гайд сделан для Андроид устройств.

Установка termux

Идём сюда и качаем termux https://f-droid.org/en/packages/com.termux. Если система запищит, что вирус, игнорируем и ставим.

Установка контейнера с дистрибутивом Linux

В этом гайде будет использоваться Fedora. Но можно использовать любой другой.

pkg update pkg install proot-distro proot-distro install fedora

Устанавливаем ollama

Сначала зайдем в наш контейнер. И потом качаем

proot-distro login fedora curl -fsSL https://ollama.com/install.sh | sh

Так как в контейнере нет systemd, то сервер ollama надо поднимать каждый раз вручную.

nohup ollama serve & clear

Теперь мы можем запускать всякие qwen, deepseek и прочее. Покажу на примере Gemma 3

ollama run gemma3:1b

Лучше качать сначала минимальные размеры моделей, так как телефон скорее всего большие модели не потянет, так как они считаются на проце

Profit

Надеюсь, что кому-то помог найти, чем заняться , когда уже совсем делать нечего.

4
3
6 комментариев