Свой ИИ-шлюз для команды или компании на VPS

Когда с ИИ работает вся команда, раздавать каждому личный ключ — путь к хаосу и утечкам. Единый шлюз на зарубежном VPS даёт один вход, общий биллинг и учёт по каждому сотруднику.

Зачем команде общий шлюз

Личные ключи у каждого разработчика — это неконтролируемые расходы, риск утечки и невозможность быстро отозвать доступ у уволившегося. Шлюз решает всё сразу: настоящие ключи провайдеров лежат на сервере, а сотрудники получают виртуальные ключи с лимитами.

• Один биллинг — видите общий и персональный расход.
• Лимиты — бюджет на человека и на проект.
• Быстрый отзыв — удалили виртуальный ключ, и доступ закрыт.
• Единый доступ из РФ — шлюз на зарубежном VPS ходит к OpenAI и Anthropic, сотрудники — на ваш домен.

Выбор сервера

Шлюз — легковесный сервис, но он критичен: если он ляжет, встанет вся команда. Берите VPS с запасом по надёжности и быстрым диском. AMD EPYC + NVMe у MAATRIX даёт низкие задержки, а ежедневные бэкапы страхуют конфигурацию.

Локации UK, US и RU подходят под большинство ИИ-провайдеров. Оплата картой РФ, СБП, криптой или токеном MAAT снимает вопрос с зарубежным биллингом хостинга — компании не нужна иностранная карта, чтобы держать инфраструктуру за рубежом.

Ещё один довод в пользу выделенного сервера — данные команды остаются под вашим контролем. Промпты, история и логи не уходят в чужой сторонний сервис-посредник, а лежат на вашем VPS с root-доступом. Для компаний, которым важна конфиденциальность переписки с ИИ, это часто решающий фактор.

Ставим LiteLLM в Docker

LiteLLM — популярный прокси-шлюз, который говорит с десятками провайдеров через единый OpenAI-совместимый интерфейс. Ставим Docker и запускаем:

curl -fsSL https://get.docker.com | sh
mkdir -p /opt/ai-gateway && cd /opt/ai-gateway

Файл config.yaml с двумя провайдерами:

model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-3-5-sonnet-20241022
      api_key: os.environ/ANTHROPIC_API_KEY

Запуск контейнера с мастер-ключом:

docker run -d --name gateway --restart always -p 4000:4000 \
  -e OPENAI_API_KEY=sk-... \
  -e ANTHROPIC_API_KEY=sk-ant-... \
  -e LITELLM_MASTER_KEY=sk-master-... \
  -v $(pwd)/config.yaml:/app/config.yaml \
  ghcr.io/berriai/litellm:main-latest --config /app/config.yaml

Выдаём виртуальные ключи с лимитами

Мастер-ключ остаётся у вас. Сотрудникам генерируйте отдельные ключи с бюджетом:

curl -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer sk-master-..." \
  -H "Content-Type: application/json" \
  -d '{"models":["gpt-4o","claude"],"max_budget":20,"duration":"30d"}'

В ответ придёт ключ вида sk-..., который вы отдаёте человеку. Он использует его как обычный OpenAI-ключ, указывая base_url вашего шлюза.

Когда сотрудник уходит или проект закрывается, ключ удаляется одной командой — и доступ мгновенно перекрыт, при этом основной ключ провайдера остаётся в безопасности:

curl -X POST http://localhost:4000/key/delete \
  -H "Authorization: Bearer sk-master-..." \
  -H "Content-Type: application/json" \
  -d '{"keys":["sk-удаляемый"]}'

Публикуем шлюз наружу безопасно

Не выставляйте порт 4000 в открытый интернет напрямую. Спрячьте его за nginx с HTTPS:

location / {
    proxy_pass http://127.0.0.1:4000;
    proxy_set_header Host $host;
    proxy_buffering off;
}

Дальше certbot --nginx -d ai.company.ru — и сотрудники подключаются к https://ai.company.ru из любой точки, включая российские офисы.

Мониторинг и типичные ошибки

Расход по каждому ключу виден через endpoint учёта — удобно раз в неделю выгружать статистику и сверять с бюджетом:

curl http://localhost:4000/spend/logs \
  -H "Authorization: Bearer sk-master-..."

• Контейнер падает при старте — не проброшены переменные с ключами провайдеров.
• Виртуальный ключ не работает — модель не указана в его списке models.
• Стриминг обрывается — в nginx не отключён proxy_buffering.
• После перезагрузки шлюз не поднялся — забыт флаг --restart always у контейнера.

Частые вопросы