Сообщество / Новая тема

Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь

Об статье:
Какую модель Ollama поставить на 8 ГБ RAM

С 4 ГБ RAM выбор модели для Ollama сводится к компромиссу: либо 1,5–3 млрд параметров, либо своп и риск OOM-killer при первом же длинном запросе. На 8 ГБ разговор меняется — в диапазон уверенно заходит целый класс моделей 7B-8B, которые заметно осмысленнее отвечают, лучше держат инструкции и меньше путаются в контексте. Вопрос уже не «влезет ли вообще», а «какую именно модель 7B-8B взять и в каком квантовании», и здесь легко переплатить памятью впустую или, наоборот, поставить модель, которая формально влезает, но не оставляет запаса ни на контекст, ни…

Подробнее →