MAATRIX / Блог / Сколько RAM нужно для локальной LLM: таблица по моделям

Сколько RAM нужно для локальной LLM: таблица по моделям

Блог MAATRIX · 2026-07-07

Главный вопрос перед арендой сервера под ИИ: сколько памяти брать? Ошибёшься в меньшую сторону — модель уйдёт в swap и всё встанет. Возьмёшь с запасом — переплатишь. Считаем по формуле.

Содержание

  1. Из чего складывается память
  2. Таблица: RAM по моделям
  3. Контекст съедает больше, чем кажется
  4. Как проверить, хватает ли памяти
  5. Роль NVMe и почему MAATRIX
  6. Несколько моделей на одном сервере

Из чего складывается память

['RAM под LLM — это три слагаемых: веса модели, KV-кэш контекста и накладные расходы рантайма (сама программа, ОС, буферы).', '
  • Веса — главное. Зависят от числа параметров и квантования.
  • KV-кэш — растёт с длиной контекста. Для 7B на 4k токенов это сотни МБ, на 32k — уже гигабайты.
  • Оверхед — заложи 1–2 ГБ на систему и рантайм.
', 'Формула веса: параметры (млрд) умножить на байты на параметр. Для Q4 это ~0.5 ГБ на 1B, для Q8 ~1 ГБ на 1B, для fp16 ~2 ГБ на 1B.']

Нужен сервер под эту задачу?

Разверните VPS MAATRIX за пару минут: NVMe, AMD EPYC, root-доступ, локации UK и США. Оплата картой РФ и по СБП.

Арендовать VPS для LLM

Таблица: RAM по моделям

['Ориентировочная минимальная RAM сервера (веса + KV-кэш + оверхед), контекст 4k–8k:', '
Модель   Q4       Q8       fp16\n3B       ~4 ГБ    ~6 ГБ    ~9 ГБ\n7B       ~6 ГБ    ~10 ГБ   ~18 ГБ\n8B       ~7 ГБ    ~11 ГБ   ~20 ГБ\n13B      ~10 ГБ   ~16 ГБ   ~30 ГБ\n34B      ~22 ГБ   ~38 ГБ   ~72 ГБ\n70B      ~42 ГБ   ~75 ГБ   ~140 ГБ
', 'Практический вывод: 7B в Q4 живёт на сервере с 8 ГБ, но 16 ГБ дадут запас под длинный контекст и второй сервис. 13B комфортно на 16 ГБ. 70B — это уже 48–64 ГБ и терпение.']

Нужны сами нейросети для контента?

Генерируйте изображения, видео и озвучку нейросетями на falapi.io — десятки моделей в одном окне. Оплата картой РФ и по СБП.

Изображения и ВидеоАудио и звукИИ MAAT — Собеседник

Контекст съедает больше, чем кажется

['Многие считают только веса и забывают про KV-кэш. Увеличил окно контекста с 4k до 32k — и модель, которая влезала в 8 ГБ, требует уже 12–14 ГБ.', 'Если памяти впритык, ограничь контекст явно при запуске в llama.cpp:', '
./llama-server -m model-q4_k_m.gguf -c 4096 --host 0.0.0.0 --port 8080
', 'Флаг -c задаёт размер контекста. Меньше окно — меньше KV-кэш — больше моделей влезет.']

Как проверить, хватает ли памяти

['Смотри реальное потребление во время работы модели:', "
free -h\nwatch -n 1 'free -m; echo; ps aux --sort=-%mem | head -5'
", 'Если в колонке available память близка к нулю и растёт использование swap — модель не помещается. Проверь swap:', '
swapon --show\ncat /proc/meminfo | grep -i swap
', 'Правило: рабочая LLM не должна касаться swap вообще. Один заход в swap — и скорость генерации падает в десятки раз, потому что веса начинают читаться с диска.']

Роль NVMe и почему MAATRIX

['Даже когда всё в RAM, диск важен: модель на десятки гигабайт грузится с накопителя при старте. На NVMe у MAATRIX модель 13B поднимается за секунды, на медленном SATA-диске — за минуты. Плюс архитектура AMD EPYC даёт широкий канал к памяти, а это прямо конвертируется в токены/с при CPU-инференсе.', 'Практический совет: бери RAM с запасом 25–30% над расчётом. Это дешевле, чем потом мигрировать сервис на больший тариф под нагрузкой.']

Несколько моделей на одном сервере

['Часто на одном сервере хочется держать сразу несколько моделей: чат-модель, отдельную под эмбеддинги, может быть модель для кода. Память складывается — считай сумму всех, что будут загружены одновременно.', '
  • Чат 7B Q4 (~6 ГБ) + модель эмбеддингов (~1–2 ГБ) — комфортно на 16 ГБ.
  • Две модели 7B параллельно — уже 12–14 ГБ только под веса, бери 24–32 ГБ.
', 'Если модели нужны не одновременно, выгружай простаивающую. Ollama умеет это автоматически по таймауту — задай, через сколько выгружать неиспользуемую модель:', '
export OLLAMA_KEEP_ALIVE=5m\nollama ps
', 'Команда ollama ps показывает, какие модели сейчас в памяти и сколько занимают — удобно контролировать реальное потребление.']

Нужен сервер под эту задачу?

Разверните VPS MAATRIX за пару минут: NVMe, AMD EPYC, root-доступ, локации UK и США. Оплата картой РФ и по СБП.

Арендовать VPS для LLM

Нужны сами нейросети для контента?

Генерируйте изображения, видео и озвучку нейросетями на falapi.io — десятки моделей в одном окне. Оплата картой РФ и по СБП.

Изображения и ВидеоАудио и звукИИ MAAT — Собеседник

Частые вопросы

Хватит ли 8 ГБ RAM для локальной LLM?

Да, для 7B–8B модели в Q4-квантовании с умеренным контекстом. Для 13B и длинных окон контекста берите 16 ГБ.

Что будет, если памяти не хватит?

Система начнёт использовать swap на диске. Скорость генерации упадёт в десятки раз, а при жёсткой нехватке процесс убьёт OOM-killer.

Как уменьшить потребление RAM без потери модели?

Возьмите более агрессивное квантование (Q4 вместо Q8), уменьшите размер контекста флагом -c и выгрузите ненужные сервисы с сервера.

KV-кэш можно вынести на диск?

Некоторые рантаймы умеют, но это резко замедляет генерацию. Правильнее держать весь KV-кэш в RAM и ограничивать длину контекста.

Читайте также