Вы добавили в RAG реранкер, потому что в статье написали, что так «правильно» — а разницы в качестве ответов почти не заметили, зато задержка выросла на заметные доли секунды. Или наоборот: у вас есть подозрение, что часть релевантных фрагментов теряется где-то за top-5, но вы не понимаете, окупит ли вторая модель эту потерю. Разберём честно, в каком именно случае реранкер даёт реальный скачок качества, а в каком — просто добавляет задержку без пользы.
Подробнее →