«Подключите RAG — и модель перестанет выдумывать факты» — эту фразу слышит почти каждый, кто впервые собирает ассистента по своим документам. Звучит логично: раз модель галлюцинирует из-за нехватки знаний, подсуньте ей знания прямо в промпт — и проблема решена. На практике RAG действительно заметно снижает частоту галлюцинаций, но не убирает их как класс, и если строить критичный продукт в расчёте на «RAG = ноль ошибок», рано или поздно система выдаст уверенный, хорошо оформленный, но неверный ответ — причём именно тогда, когда цена ошибки высока.
Подробнее →