Сообщество / Новая тема

Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь

Об статье:
Эмбеддинги для миллиона документов: своё железо против API

У вас есть корпус документов — условно миллион штук, может быть меньше, может больше — и его нужно превратить в векторы один раз: для RAG, для поиска по смыслу, для дедупликации или кластеризации. Это не постоянный инференс, который крутится месяцами и обслуживает живой трафик, а разовая (или редкая) пакетная задача с чётким концом. Экономика такой задачи считается иначе, чем экономика постоянного сервиса, и если вы прикидываете стоимость по тем же формулам, что и для непрерывного API-трафика, вы почти наверняка ошибётесь — причём в обе стороны.

Подробнее →