Вы протестировали систему на 100 заранее подготовленных вопросах, метрики вышли приемлемыми, и вы выкатили её в прод. Через два месяца пользователи начали жаловаться, а метрики на том же тестовом наборе всё ещё зелёные — потому что тестовый набор не менялся, а реальные вопросы, база знаний и внешние сервисы вокруг системы поменялись незаметно. Разовое тестирование отвечает на вопрос «работает ли система сейчас, на этих примерах», но не отвечает на вопрос «работает ли она через месяц, на реальном трафике». Нужен отдельный контур — непрерывный мониторинг…
Подробнее →