Окно контекста растёт из релиза в релиз, и кажется логичным вывод: раз модель умеет держать в голове 128 тысяч токенов, значит нужно скормить ей максимум документов, логов переписки и кусков кода — чем больше данных перед глазами, тем точнее ответ. На практике всё ровно наоборот: избыточный контекст сплошь и рядом ухудшает качество ответа, при этом стабильно увеличивает счёт за инференс и время ожидания. Разберём, откуда взялся этот миф и как собирать контекст так, чтобы он реально работал на результат.
Подробнее →