«Модель галлюцинирует» — фраза, которая звучит как диагноз неисправности, будто где-то в системе баг, который можно починить патчем. На деле это не баг, а прямое следствие того, как языковая модель вообще устроена: она не хранит факты в базе данных и не сверяется с ними перед ответом, она предсказывает следующее слово по статистике того, что видела при обучении. Если понять этот механизм на пальцах, становится ясно, почему модель увереннее всего врёт именно там, где ей не хватает данных — и что реально можно с этим сделать на практике, а не в теории.
Подробнее →