Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Сколько RAM нужно для Qwen 2.5
«Qwen 2.5 7B» звучит как четыре с половиной гигабайта, и на этом расчёт обычно заканчивается. Потом выясняется, что контекст 32k добавляет ещё почти два, 14B по памяти дороже 7B не вдвое, а втрое, а обещанные 128k из коробки вообще не включены. Ниже — требования Qwen 2.5 к RAM по всем семи размерам, точная арифметика KV-кэша и честные границы конфигураций.
Подробнее →