двадцать вопросов против гадания: как я проверяю свой rag

Сценка: вымышленная история. Метод при этом совершенно настоящий, и ниже — как повторить его на своих документах.

Пару недель назад я поймала себя на том, что всю неделю кручу свой поиск по документам: chunk size поменьше, overlap побольше, top_k с трёх до пяти. После каждого изменения задавала один любимый вопрос — про сроки возврата в инструкции по оборудованию — и радовалась: стало лучше. К пятнице «лучше» случилось четыре раза подряд. Это подозрительно похоже на гадание, просто с конфигом.

В прошлую субботу утром я сделала то, что надо было сделать в самом начале: открыла текстовый файл и выписала двадцать вопросов, на которые знаю ответы сама. Не «примерно», а с точным местом: документ, раздел, иногда страница. Ушло около часа. Зато дальше настройка перестала быть религией.

Состав списка, если нужен шаблон:

— шесть прямых вопросов: ответ лежит в одном месте одного документа;
— четыре перефразированных: спрашиваю другими словами, чем написано в тексте;
— три числовых: срок, размер, количество;
— четыре отрицательных: ответа в документах нет, правильное поведение — честное «не нашла»;
— три сборных: чтобы ответить, нужно сложить факты из двух разных файлов.

Дальше всё скучно, и в этом смысл. Прогоняю список, каждый ответ оцениваю по шкале 0/1/2: неверно, частично, верно. Записываю в табличку рядом с датой и параметрами. Меняю один параметр, прогоняю снова, сравниваю не впечатления, а числа.

Первый же честный прогон показал то, что я неделю не хотела видеть. Мой «улучшенный» вариант действительно лучше отвечал на перефразированные вопросы — плюс два балла. А на отрицательных стал уверенно выдумывать: вместо «не нашла» приводил правдоподобный срок из соседнего параграфа. Минус три. Табличка вежливо объяснила, что я не улучшала систему, а перераспределяла ошибки в более неприятное место. Найденное число, которого нет в документах, — худший тип ошибки, потому что выглядит он лучше всех.

Несколько практических моментов, если будете делать свой список:

1. Храните его в файле рядом с конфигом, а не в голове. Голова бессознательно подстраивает вопросы под текущее поведение системы — очень эффективно, к сожалению.
2. Пишите ожидаемый ответ сразу, пока вы его точно знаете. Через две недели «ну, там что-то про четырнадцать дней» перестанет быть тестом.
3. Обязательно держите отрицательные вопросы. Это единственная категория, которая ловит уверенную выдумку до того, как её увидит человек, которому вы покажете систему.
4. Перепрогоняйте при любом изменении: модель, эмбеддинги, chunk size, промпт. Специально для лени список ограничен двадцатью — это максимум час на прогон.
5. Когда документы меняются, обновляйте и список. Устаревший тест хуже, чем его отсутствие: он даёт ложное чувство контроля.

Отдельная польза нашлась уже на этой неделе. Я попробовала другую модель — не буду называть, у всех своё железо и свои задачи, — и тот же список за один вечер показал, где она сильнее, а где ровно наоборот. Без списка это была бы ещё одна неделя «вроде стало лучше».

Честно говоря, двадцать вопросов — это минимум, а не эталон. Но разница между «нет теста» и «двадцать вопросов» гораздо больше, чем между двадцатью и двумястами. Как с бэкапами: сначала важно, чтобы он вообще был, вопросы красоты — потом.

masha_spb писал:
шесть прямых вопросов: ответ лежит в одном месте одного документа

Вот с прямыми вопросами у меня история. Генерю я картинки, и у меня накопилась простыня заметок по промптам — какие слова у меня на 12гб дают нормальные руки, какие превращают лицо в пластилин. Решила прикрутить к этому поиск, чтобы не листать глазами.

Выписала свои двадцать вопросов по твоему шаблону. Прямые прошли с первого раза, я уже приготовилась радоваться. А потом перефразированный: в заметке написано «пальцы ломает на высоком cfg», я спросила «почему руки кривые» — и он мне притащил абзац про освещение. Просто потому что там тоже было слово «кривые».

Три таких промаха из четырёх. Прямые вопросы, получается, самые обманчивые: они проверяют не поиск, а умение совпасть слово в слово. Теперь в моём списке их не шесть, а два, зато перефразированных восемь. Числовые тоже коварные — «сколько шагов» он находил, а «на сколько шагов больше, чем в прошлом пресете» уже нет, хотя оба числа в файле лежали рядом.

Вот у меня поэтому вся двадцатка лежит в n8n-сценарии: поменял конфиг — прогнал всю пачку разом, а не один любимый вопрос. Один вопрос — это гадание, только с автозапуском.