Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Как собрать данные для RAG парсингом сайтов
Скормить модели десяток PDF и сотню страниц сайта — не значит собрать данные для RAG. В чанках оказываются меню навигации, футер с копирайтом и обрывки предложений на границах абзацев, а ассистент отвечает цитатой из блока «Политика конфиденциальности» вместо ответа по делу. Разберём пайплайн от sitemap.xml до записи в Qdrant: обход без бана, извлечение текста без вёрстки, чанкинг и загрузка эмбеддингов — с командами и текстами реальных ошибок на каждом шаге.
Подробнее →