Вышла новая версия модели, которую вы используете в продакшене, — общий рейтинг выше, бенчмарки лучше, вендор обещает улучшения почти по всем направлениям. Соблазн простой: обновить endpoint или тег, и всё станет только лучше. На практике именно так ловят регресс — новая версия оказывается хуже старой на вашей конкретной задаче, хотя в среднем по больнице она объективно сильнее. Ниже — рабочий процесс, который не даёт полагаться на репутацию модели вместо проверки на своих данных.
Подробнее →