Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Сколько RAM нужно для Gemma 2
Gemma 2 9B весит 5,4 ГБ, и восьмигигабайтный тариф выглядит достаточным — ровно до первого запуска. У Gemma 2 самая дорогая голова внимания в классе: head_dim 256 вместо привычных 128, поэтому окно на 8192 токена просит ещё два гигабайта кэша, а словарь на 256 тысяч токенов добавляет полгигабайта под буфер логитов. Ниже — требования Gemma 2 к RAM по трём размерам, арифметика и граница, за которой восьми гигабайтов не хватает.
Подробнее →