VPS для Ollama: свой локальный ИИ, который не сливает данные

Ollama позволяет запускать открытые языковые модели одной командой — без подписок и без отправки ваших данных в чужое облако. На VPS такой ИИ работает круглосуточно и доступен по API из любого вашего проекта. Разбираем, какой сервер нужен и как всё настроить.

Зачем свой ИИ на VPS, а не облачный API

Облачные API удобны, но у них есть три минуса: помесячная плата за токены, лимиты и то, что все ваши промпты и данные уходят на чужие серверы. Для чувствительных данных, парсинга, автоматизаций и ботов это часто неприемлемо.

Небольшие модели (3B–8B) вполне тянут суммаризацию, классификацию, извлечение данных и простые чат-сценарии. Для этого не нужен дорогой GPU — хватит производительного CPU-сервера.

Какой VPS нужен под Ollama

Главный ресурс для языковых моделей — оперативная память: модель целиком грузится в RAM. Ориентир: 7–8B модель в квантовании Q4 занимает ~5–6 ГБ, значит нужен сервер минимум с 8 ГБ RAM.

• Модели 3B (Phi, Gemma 2B/Qwen 3B) — 4 ГБ RAM, 2 vCPU.
• Модели 7–8B (Llama 3, Mistral) — 8 ГБ RAM, 4 vCPU.
• Модели 13–14B — 16 ГБ RAM, 6–8 vCPU.

Скорость на CPU — несколько токенов в секунду: для фоновых задач и API это нормально, для живого чата в реальном времени берите модель поменьше. Диск — обязательно NVMe: модели весят гигабайты, и быстрый диск ускоряет их загрузку.

На тарифах MAATRIX (AMD EPYC + NVMe) 8B-модель отвечает заметно бодрее, чем на старом железе с тем же числом ядер — важна производительность на ядро.

Установка Ollama за 5 минут

Подключитесь к VPS по SSH и поставьте Ollama одной командой:

curl -fsSL https://ollama.com/install.sh | sh

Скачайте и запустите модель:

ollama pull llama3
ollama run llama3 "Привет, кратко объясни, что такое VPS"

Ollama сразу поднимает локальный API на порту 11434. Проверить можно так:

curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"2+2="}'

Открываем API для своих приложений

По умолчанию Ollama слушает только localhost — это правильно с точки зрения безопасности. Чтобы обращаться к нему из своего приложения на другом сервере, не открывайте порт наружу голым: поставьте перед ним nginx с авторизацией по токену и HTTPS.

location /ai/ {
  proxy_pass http://127.0.0.1:11434/;
  proxy_set_header Authorization $http_authorization;
}

Ollama совместим с форматом OpenAI, поэтому большинство SDK работают, если подменить base_url на адрес вашего сервера. Это удобно для ботов, парсеров и внутренних сервисов.

Для нескольких проектов держите одну модель и обращайтесь к ней по HTTP — не нужно поднимать по копии на каждый сервис.

Безопасность и стабильность

Закройте порт 11434 фаерволом (UFW) от внешнего мира, наружу выставляйте только nginx с HTTPS и токеном. Иначе вашим ИИ будут бесплатно пользоваться чужие боты.

Оформите Ollama как systemd-сервис (установщик это делает автоматически) — после перезагрузки сервера ИИ поднимется сам. Логи смотрите через journalctl -u ollama.

Следите за RAM: если модель не влезает, система уйдёт в swap и всё замедлится. Мониторинг памяти и ежедневный бэкап VM на MAATRIX уберегут от сюрпризов.

Частые вопросы