Вы обновили модель, подправили промпт или поменяли параметры RAG-пайплайна — и теперь стоите перед вопросом «стало лучше или хуже?», на который можно ответить только субъективным «вроде нормально». В обычной разработке ПО для этого давно есть решение: регрессионные тесты, которые автоматически ловят непреднамеренную поломку при любом изменении кода. Для LLM-системы работает тот же принцип, только тесты придётся написать самим — и ниже разберём, как именно.
Подробнее →