Деплой ИИ-модели в production на VPS

От «запустил в терминале» до «работает в проде» — дистанция. Продакшн-модель должна сама подниматься после перезагрузки, переживать сбои, отдавать стабильный API и не падать под нагрузкой. Собираем такой деплой.

Выбираем рантайм под нагрузку

Для прода бери рантайм с OpenAI-совместимым API — тогда клиенты и SDK работают без переделок. Варианты:

• llama.cpp server — лёгкий, CPU-friendly, отдаёт /v1/chat/completions.
• Ollama — удобное управление моделями, простой API, хорош для старта.
• vLLM — высокая пропускная способность, но заточен под GPU.

Для CPU-сервера практичен llama.cpp с GGUF-моделью — предсказуемо по памяти и быстро стартует.

Запуск как сервис через systemd

Продакшн-процесс не должен зависеть от твоей SSH-сессии. Оформляем systemd-юнит с автоперезапуском. Создай /etc/systemd/system/llm.service:

[Unit]
Description=LLM API
After=network.target

[Service]
User=llm
WorkingDirectory=/opt/llama.cpp
ExecStart=/opt/llama.cpp/llama-server -m /opt/models/model-q4_k_m.gguf --host 127.0.0.1 --port 8080 -c 8192
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable --now llm
journalctl -u llm -f

Вариант с Docker

Если предпочитаешь контейнеры — Ollama удобно катить в Docker с сохранением моделей в volume:

docker run -d --name ollama --restart unless-stopped \
  -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 ollama/ollama
docker exec ollama ollama pull qwen2.5:7b-instruct-q4_K_M

Обрати внимание на -p 127.0.0.1:11434 — публикуем порт только на localhost, наружу отдаём через nginx.

Nginx-фронт: HTTPS, лимиты, ключ

Перед моделью ставим nginx: он терминирует HTTPS, режет флуд и проверяет API-ключ. Ограничение частоты запросов защищает от исчерпания ресурсов:

limit_req_zone $binary_remote_addr zone=ai:10m rate=10r/s;

server {
    location /v1/ {
        limit_req zone=ai burst=20;
        proxy_pass http://127.0.0.1:8080/v1/;
        proxy_read_timeout 300s;
    }
}

proxy_read_timeout поднят намеренно: генерация длинного ответа не должна обрываться по таймауту. Сертификат — через certbot.

Проверка и мониторинг

После деплоя проверь, что API отвечает в формате OpenAI:

curl http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"ping"}]}'

Следи за ресурсами и логами в бою:

journalctl -u llm --since '10 min ago'
watch -n 2 'free -h; ss -s'

Ключевое для стабильности прода — не уходить в swap (см. расчёт RAM) и держать быстрый диск под модель. На AMD EPYC + NVMe у MAATRIX сервис поднимается за секунды после рестарта, а ежедневные бэкапы и root-доступ дают откат и полный контроль над конфигурацией.

Чеклист перед выкатом

• Сервис под systemd/Docker с Restart=always.
• Модель слушает 127.0.0.1, наружу только nginx с HTTPS.
• Rate-limit и API-ключ включены.
• RAM с запасом, swap не задействуется под нагрузкой.
• Логи пишутся, есть команда быстрой диагностики.
• Бэкап конфигов и модели настроен.

Частые вопросы