Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Как установить и настроить LiteLLM на VPS
Со вторым и третьим провайдером моделей начинается зоопарк: свой SDK, свои коды ошибок, свои лимиты и свой счёт у каждого, а ключи расползаются по .env разработчиков. LiteLLM Proxy сводит это в один OpenAI-совместимый эндпоинт с общими ключами и бюджетами. Разбираем установку на VPS: Docker Compose с Postgres, config.yaml, виртуальные ключи, HTTPS и место, где ломается стриминг.
Подробнее →