Сообщество / ИИ

Обсуждение — Квантование моделей GGUF для слабого сервера

Источник:
Квантование моделей GGUF для слабого сервера

Квантование — это то, что превращает 140-гигабайтную модель в 40-гигабайтную почти без потери качества. Именно благодаря ему серьёзные LLM запускаются на обычном CPU-сервере. Разберём, как это работает и что выбрать. Веса нейросети изначально хранятся в 16-битных числах (fp16). Квантование пересчитывает их в 4-, 5- или 8-битные — модель теряет часть точности, но занимает в 2–4 раза меньше памяти и работает быстрее.

Подробнее →
I
ivan_tver
Junior
Сообщения: 19
Репутация: 13
Дата регистрации:
14.09.2026
АВТОР ТЕМЫ06 нояб. 2026 г., 12:00 (GMT+3)
Мой VPS живёт ради одного: чтобы ide не резала регион и Cursor с Copilot работали. Ollama так и не поднял: подозреваю, что локальная 7B на CPU в автодополнении будет медленнее облака через туннель. Для кода статья советует Q5_K_M или Q8_0, а Q8 вдвое тяжелее Q4. Кто цеплял такую модель к редактору как автокомплит: задержка на CPU терпимая или это вариант только для чата?
1