Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Сколько памяти нужно для vLLM
vLLM не берёт память «по мере надобности» — он на старте забирает заданную долю карты и раскладывает её по полкам, поэтому либо запускается сразу, либо падает на первой секунде с длинным ValueError. Ниже — как посчитать бюджет до заказа железа: формула KV-кэша, таблица по моделям, роль системной RAM и точные тексты ошибок.
Подробнее →