Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Gemma 2 на сервере: частые ошибки и решения
Gemma 2 ставится одной командой, а дальше начинается: signal: killed на девятимиллиардной модели там, где Llama 3.1 8B работала спокойно, num_ctx 32768 без всякого эффекта и System role not supported при переезде с Ollama на vLLM. Почти все частые ошибки Gemma 2 — не поломка сервера, а три особенности линейки: окно ровно 8192 токена, head_dim 256 и логит-softcapping. Разберём их по порядку — со строками из журналов и арифметикой памяти.
Подробнее →