Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Ollama медленно генерирует токены: причины и решение
Модель выдаёт по слову в секунду, курсор ползёт, а htop показывает загрузку процессора в 30% — знакомая картина. Ollama почти никогда не «тормозит сама по себе»: за медленной генерацией стоит одна из четырёх конкретных причин, и каждая диагностируется за пару минут. Разберём, как найти свою по цифрам, а не по ощущениям, и что реально даёт прирост, а что плацебо.
Подробнее →