Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
LiteLLM на Ubuntu 24.04: пошаговая установка
Свой LLM-шлюз нужен тогда, когда ключей уже несколько — OpenAI, Anthropic, Gemini, — а приложений, которые в них ходят, ещё больше. LiteLLM собирает всё это за одним OpenAI-совместимым адресом и добавляет виртуальные ключи, лимиты и учёт расходов. Ниже — установка на чистую Ubuntu 24.04: от apt update до systemd-юнита за nginx, вместе с граблями, на которых теряют вечер.
Подробнее →