Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь

На 4-8 ГБ RAM выбор модели — это компромисс: либо мелкая модель, либо крупная, но обрезанная агрессивным квантованием до потери связности. На 16 ГБ логика меняется: сюда уже помещаются модели 13-14 млрд параметров в нормальном Q4 или даже Q5-квантовании, без экстремального сжатия. Ниже — какие модели реально стоят на 16 ГБ с запасом, когда выгоднее взять 7B в высоком качестве вместо урезанной 13B, как держать две модели загруженными одновременно и в какой момент даже 16 ГБ перестаёт хватать.