RAG与数据摄取工具

两个开源项目,CocoIndex和Firecrawl,为RAG和知识库构建提供了简化的ETL、抓取和格式化工具。
Key insights
CocoIndex简化了RAG的数据摄取
CocoIndex是一个针对AI用例量身定制的开源高性能数据转换框架。它提供了端到端的管道,使用约100行Python代码定义文件读取、分块、嵌入生成和向量数据库插入。它支持本地文件、S3、Google Drive以及Postgres、Qdrant和LanceDB等目标,并包括PDF解析、嵌入、分块和知识图谱构建的组件。
Firecrawl自动化网络到LLM友好的内容提取
Firecrawl将网站/页面转换为干净的Markdown或结构化JSON,以供AI使用。其功能包括单页抓取、全站爬取、通过提示/模式进行结构化提取、网站映射、变更监控、PDF处理、Python/JS的SDK以及与LangChain/LlamaIndex的集成。Firecrawl是开源的(AGPL-3.0),并支持自托管。