Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Какое квантование выбрать для Gemma 2
У gemma2:9b в библиотеке Ollama полтора десятка вариантов одного файла — от 3,8 до 18,5 ГБ. И короткий тег здесь даёт не то, что у соседей по каталогу: дефолт у Gemma 2 — Q4_0, легаси-схема из первых версий llama.cpp, а не привычный Q4_K_M. Ниже — сколько весит каждый уровень у 2B, 9B и 27B, где Gemma 2 ломается раньше других моделей и какой тег качать под вашу память.
Подробнее →