Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Сколько RAM нужно для LiteLLM Gateway
LiteLLM Proxy выглядит лёгким: это же просто прослойка между вашим кодом и чужими API. Потом контейнер уходит в Exited (137) на сервере с гигабайтом памяти, и вопрос «сколько RAM нужно» становится срочным. Ниже — разбор потребления по компонентам, замеры RSS, формула под свою нагрузку и честные пороги: где хватит 2 ГБ, а где придётся брать 4.
Подробнее →