RAGとデータ取り込みツール

CocoIndexとFirecrawlという2つのオープンソースプロジェクトが、RAGおよびナレッジベース構築のための効率的なETL、スクレイピング、フォーマットユーティリティを提供します。
Key insights
CocoIndexがRAGのためのデータ取り込みを簡素化
CocoIndexは、AIユースケースに特化したオープンソースの高性能データ変換フレームワークです。ファイルの読み込み、チャンク化、埋め込み生成、ベクターデータベースへの挿入を定義するために約100行のPythonコードでエンドツーエンドのパイプラインを提供します。ローカルファイル、S3、Google Drive、Postgres、Qdrant、LanceDBなどのターゲットをサポートし、PDF解析、埋め込み、チャンク化、ナレッジグラフ構築のためのコンポーネントを含んでいます。
FirecrawlがウェブからLLMフレンドリーなコンテンツ抽出を自動化
Firecrawlは、ウェブサイトやページをAI消費向けのクリーンなMarkdownまたは構造化されたJSONに変換します。特徴には、単一ページのスクレイピング、全サイトのクロール、プロンプト/schemaによる構造化抽出、サイトマッピング、変更監視、PDF処理、Python/JS用のSDK、LangChain/LlamaIndexとの統合が含まれます。Firecrawlはオープンソース(AGPL-3.0)であり、セルフホスティングをサポートしています。