Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Как считать эмбеддинги на CPU без GPU
Векторная база поднята, документы нарезаны на чанки, а на шаге «посчитать векторы» всё встаёт: гайды требуют видеокарту, аренда GPU выходит дороже остального конвейера, индексация на обычном VPS тянется часами. Хорошая новость: эмбеддинги на CPU — полноценный рабочий режим, а не компромисс, потому что модели-энкодеры в сотни раз меньше генеративных. Разберём, где процессора хватает, где он честно не тянет и как получить кратное ускорение без единой строки про CUDA.
Подробнее →