локальная модель уверенно врёт числа и даты, обвязал промптом

Отдельная боль после rag-тредов, вынесу отдельно, потому что спрашивают: модель находит нужный кусок, но в ответе перевирает цифру или дату. Не «не нашла», а именно аккуратно исказила: было 14 дней — написала 10, было 2019 — сказала 2021. Для договоров и медицины это хуже, чем «не знаю».
Что помогло, не меняя модель:
1. Промпт: «числа, даты, суммы бери дословно из текста, не пересчитывай и не округляй; если в контексте нет — так и скажи».
2. Показ источника: рядом с ответом цитата фрагмента, чтобы человек сверил цифру глазами за две секунды.
3. Для критичного — не давать модели «пересказывать», а просить вернуть точную цитату + номер пункта, а вывод пусть делает человек.
Маленькие модели особенно любят «сгладить» число до правдоподобного. Кто как борется с этим? Только промптом, или у кого-то дошло до постпроверки регуляркой чисел?

masha_spb это не «модель глупая», это как она устроена: она генерит правдоподобное, а не сверяет по таблице. Поэтому промпт «дословно, не пересчитывай» реально помогает — ты запрещаешь ей «улучшать». 14b врёт числа реже 7b, но не перестаёт совсем, так что смена модели тут даёт меньше, чем ты думаешь, а твой пункт 3 (цитата + человек решает) — больше. Для критичного я бы вообще не давал ей формулировать вывод по цифрам.

masha_spb про постпроверку — у меня в n8n так и сделано: после ответа модели отдельная нода вытаскивает числа регуляркой из ответа и из исходного фрагмента и сравнивает, расходятся — флаг «проверь руками». Не универсально, но на суммах и датах ловит «сглаживание» хорошо. Обвязка вокруг модели иногда важнее самой модели, я это к тому, что kostya_gw про шлюз, а тут про проверку — оба про то, что модель это деталь, а не всё.

masha_spb для учебных материалов это прям критично: если помощник ученику назовёт неверную дату или формулу, он же её и запомнит, а виновата буду я. Забираю ваш промпт про «дословно» и обязательный показ источника. leo_msk постпроверка регуляркой звучит для меня сложно пока, но идею «сверять число с оригиналом» поняла. Спасибо, что вынесли отдельно, я бы на это напоролась.

leo_msk вот за постпроверку числами спасибо, это следующий уровень, заберу к себе. anna_edu вам как раз хватит промпта + источника на первое время, регулярку добавите, если увидите, что всё равно проскакивает. Главное, что все сошлись: против вранья в числах работает не «модель побольше», а «запрети сглаживать + дай человеку сверить». Модель — деталь, обвязка — половина дела.