Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Сколько RAM нужно для Llama 3
Llama 3 8B весит 4,9 ГБ — значит, восьми гигабайтов хватит. На коротких запросах это даже работает. Проблема вылезает позже: у Llama 3 самый прожорливый KV-кэш в своём классе, и обещанное окно на 128 тысяч токенов просит ещё 16 ГБ — втрое больше весов. Ниже — требования Llama 3 к RAM по всем тегам Ollama, арифметика кэша и границы, за которыми пора менять тариф.
Подробнее →