Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Как тестировать качество ответов своей модели
Вы развернули модель на своём сервере, задали пару вопросов в чате, ответы выглядят разумно — и на этом проверка обычно заканчивается. Проблема в том, что «выглядит разумно» — не метрика. Через месяц вы поменяете промпт, обновите модель или переключитесь на более лёгкую версию ради экономии ресурсов — и без опорной точки не скажете, стало лучше или хуже. Ниже — рабочий способ поставить такую опорную точку за один вечер, без сложной eval-инфраструктуры.
Подробнее →