Сколько RAM нужно для локальной LLM: таблица по моделям

Главный вопрос перед арендой сервера под ИИ: сколько памяти брать? Ошибёшься в меньшую сторону — модель уйдёт в swap и всё встанет. Возьмёшь с запасом — переплатишь. Считаем по формуле.

Из чего складывается память

RAM под LLM — это три слагаемых: веса модели, KV-кэш контекста и накладные расходы рантайма (сама программа, ОС, буферы).

• Веса — главное. Зависят от числа параметров и квантования.
• KV-кэш — растёт с длиной контекста. Для 7B на 4k токенов это сотни МБ, на 32k — уже гигабайты.
• Оверхед — заложи 1–2 ГБ на систему и рантайм.

Формула веса: параметры (млрд) умножить на байты на параметр. Для Q4 это ~0.5 ГБ на 1B, для Q8 ~1 ГБ на 1B, для fp16 ~2 ГБ на 1B.

Таблица: RAM по моделям

Ориентировочная минимальная RAM сервера (веса + KV-кэш + оверхед), контекст 4k–8k:

Модель   Q4       Q8       fp16
3B       ~4 ГБ    ~6 ГБ    ~9 ГБ
7B       ~6 ГБ    ~10 ГБ   ~18 ГБ
8B       ~7 ГБ    ~11 ГБ   ~20 ГБ
13B      ~10 ГБ   ~16 ГБ   ~30 ГБ
34B      ~22 ГБ   ~38 ГБ   ~72 ГБ
70B      ~42 ГБ   ~75 ГБ   ~140 ГБ

Практический вывод: 7B в Q4 живёт на сервере с 8 ГБ, но 16 ГБ дадут запас под длинный контекст и второй сервис. 13B комфортно на 16 ГБ. 70B — это уже 48–64 ГБ и терпение.

Контекст съедает больше, чем кажется

Многие считают только веса и забывают про KV-кэш. Увеличил окно контекста с 4k до 32k — и модель, которая влезала в 8 ГБ, требует уже 12–14 ГБ.

Если памяти впритык, ограничь контекст явно при запуске в llama.cpp:

./llama-server -m model-q4_k_m.gguf -c 4096 --host 0.0.0.0 --port 8080

Флаг -c задаёт размер контекста. Меньше окно — меньше KV-кэш — больше моделей влезет.

Как проверить, хватает ли памяти

Смотри реальное потребление во время работы модели:

free -h
watch -n 1 'free -m; echo; ps aux --sort=-%mem | head -5'

Если в колонке available память близка к нулю и растёт использование swap — модель не помещается. Проверь swap:

swapon --show
cat /proc/meminfo | grep -i swap

Правило: рабочая LLM не должна касаться swap вообще. Один заход в swap — и скорость генерации падает в десятки раз, потому что веса начинают читаться с диска.

Роль NVMe и почему MAATRIX

Даже когда всё в RAM, диск важен: модель на десятки гигабайт грузится с накопителя при старте. На NVMe у MAATRIX модель 13B поднимается за секунды, на медленном SATA-диске — за минуты. Плюс архитектура AMD EPYC даёт широкий канал к памяти, а это прямо конвертируется в токены/с при CPU-инференсе.

Практический совет: бери RAM с запасом 25–30% над расчётом. Это дешевле, чем потом мигрировать сервис на больший тариф под нагрузкой.

Несколько моделей на одном сервере

Часто на одном сервере хочется держать сразу несколько моделей: чат-модель, отдельную под эмбеддинги, может быть модель для кода. Память складывается — считай сумму всех, что будут загружены одновременно.

• Чат 7B Q4 (~6 ГБ) + модель эмбеддингов (~1–2 ГБ) — комфортно на 16 ГБ.
• Две модели 7B параллельно — уже 12–14 ГБ только под веса, бери 24–32 ГБ.

Если модели нужны не одновременно, выгружай простаивающую. Ollama умеет это автоматически по таймауту — задай, через сколько выгружать неиспользуемую модель:

export OLLAMA_KEEP_ALIVE=5m
ollama ps

Команда ollama ps показывает, какие модели сейчас в памяти и сколько занимают — удобно контролировать реальное потребление.

Частые вопросы