Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Модель начала отдавать мусор: тихо сменился шаблон промпта
Мониторинг зелёный, HTTP 200, задержки в норме — а в поддержку одно за другим летят сообщения: бот отвечает бредом. Такой инцидент особенно неприятен тем, что все привычные приборы молчат: ни одна метрика не ловит «модель стала тупить», потому что для инфраструктуры это по-прежнему успешный запрос. Расскажу, как мы две смены искали причину и в итоге нашли её не в модели, не в GPU и не в сети, а в одной переименованной переменной шаблона.
Подробнее →