Приватный ИИ для бизнеса на своём VPS

Отдавать переписку, договоры и клиентскую базу во внешние ИИ-сервисы рискованно. Разберём, как развернуть корпоративный ИИ на собственном VPS, где данные не покидают вашего периметра.

Зачем бизнесу свой ИИ вместо облачного

Публичные ИИ-сервисы удобны, но у них два минуса для компании: данные уходят третьей стороне и вы зависите от их доступности и цен. Свой ИИ на VPS убирает оба риска.

• Приватность — документы и переписка не покидают сервер
• Предсказуемая цена — фиксированная аренда вместо оплаты за токены
• Контроль — своя модель, свои промпты, свой доступ

VPS MAATRIX в UK/США с ежедневными бэкапами и root-доступом подходит для такого контура: вы владеете и данными, и конфигурацией. Оплата картой РФ, СБП или криптой снимает проблему с зарубежными провайдерами.

Важно честно оценить, где приватный ИИ действительно нужен, а где хватит облака. Если вы обрабатываете договоры, медицинские данные, финансы, персональные данные клиентов или коммерческую тайну — свой контур оправдан. Если работаете с публичной информацией и вам важнее максимальное качество генерации — облачные модели пока сильнее. Многие компании идут гибридным путём: чувствительное на своём VPS, всё остальное — во внешнем API.

Выбор конфигурации

Размер модели определяет требования к RAM. Ориентиры для CPU-инференса:

• 3B модель — 8 ГБ RAM, быстрые короткие ответы
• 7-8B модель — 16 ГБ RAM, хороший баланс качества
• 13-14B модель — 32 ГБ RAM, ближе к облачному качеству

AMD EPYC + NVMe у MAATRIX дают высокую производительность на ядро — это напрямую ускоряет генерацию токенов на CPU без видеокарты. Начните с 7-8B модели: она уже уверенно ведёт диалог, суммирует документы и отвечает по инструкциям, а требования к железу остаются разумными. Апгрейд на более крупную модель — это просто смена тарифа и команда pull, код и интерфейс менять не нужно.

Установка локальной модели

Ollama — самый простой способ поднять приватную LLM. Устанавливаем и тянем модель:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
systemctl enable --now ollama
ollama run qwen2.5:7b "Проверка связи"

Сервис слушает 127.0.0.1:11434 — наружу порт не открываем, только внутренний доступ.

Веб-интерфейс для сотрудников

Чтобы команда пользовалась ИИ через браузер, поднимите Open WebUI в Docker:

docker run -d --restart=always -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v openwebui:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

Доступ закройте за nginx с HTTPS и авторизацией — так интерфейс не торчит в открытый интернет. Open WebUI умеет заводить пользователей и роли, вести историю чатов и раздавать доступ к разным моделям, поэтому для команды из нескольких десятков человек это готовое рабочее место без единой строки фронтенда с вашей стороны. Порт 3000 в примере намеренно привязан к 127.0.0.1: наружу его показывает только nginx, уже под сертификатом и логином.

RAG: ИИ по вашим документам

Чтобы модель отвечала по внутренней базе (регламенты, договоры, вики), подключите RAG. Open WebUI умеет загружать документы и искать по ним, либо соберите свой пайплайн на LangChain с локальной векторной базой (Chroma).

pip install langchain chromadb sentence-transformers

Эмбеддинги и векторную базу тоже держите локально — тогда и поиск по документам не уходит наружу. Смысл RAG прост: перед ответом система находит в вашей базе релевантные фрагменты и подкладывает их модели в контекст. Так ИИ отвечает не из общих знаний, а по вашим регламентам и договорам, и заметно реже выдумывает. Обновление базы — это просто переиндексация новых документов, дообучать саму модель не требуется.

Безопасность периметра

• Файрвол — откройте только 443, ИИ-порты держите на localhost.
• Авторизация — доступ к WebUI только для сотрудников, желательно через VPN или basic-auth.
• Бэкапы — векторная база и настройки должны попадать в ежедневный бэкап.
• Логи — храните журнал запросов для аудита, но без утечки за периметр.

ufw default deny incoming
ufw allow 22/tcp
ufw allow 443/tcp
ufw enable

Частые вопросы