Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Сколько RAM нужно для локальной LLM
Главный вопрос перед арендой сервера под ИИ: сколько памяти брать? Ошибёшься в меньшую сторону — модель уйдёт в swap и всё встанет. Возьмёшь с запасом — переплатишь. Считаем по формуле. RAM под LLM — это три слагаемых: веса модели, KV-кэш контекста и накладные расходы рантайма (сама программа, ОС, буферы).
Подробнее →