生産AIのための検索、RAGおよびメモリインフラストラクチャ

検索、RAGおよびメモリシステムは生産のギャップと新しいエンジニアリングパターンを示しています。 - 77件のRAG研究の系統的レビューでは、63.6%がGPTモデルを使用し、80.5%がFAISS/Elasticを使用しています。 - RAG研究のうち、企業展開に至ったのはわずか13%;主な課題は、幻覚、プライバシー、レイテンシ、ドメイン適応です。 - 混合検索(ベクトル + ナレッジグラフ)は、一部の研究において説明可能性と精度を向上させます。 - OpenRouter/a16zからの業界データは、エージェントの多段階使用と中規模オープンモデルのシェア拡大を示しています。 - Indexはエージェントの精度を最適化した生産検索システムであり、Postgres + pgvector、エッジワーカー、三層キャッシングを使用しています。 - Indexはサブ300msのP99を達成し、効率的な取り込み/アップサートを伴う動的なマルチテナントフィルターをサポートします。 - Anthropicの高度なツール使用は、トークンの膨張を減らし、精度を向上させるためにツール検索、プログラム的呼び出し、例を導入します。
Key insights
RAG研究は企業展開が限られ、繰り返しの運用課題を抱える
77件のRAG研究の文献レビューでは、ほとんどのプロトタイプがGPTスタイルのモデルと確立された検索ライブラリ(FAISS/Elasticsearch)に依存していることが示されていますが、企業展開に進んだのはわずか13%です。繰り返し発生する障害には、幻覚の制御、データプライバシー、レイテンシ、ドメイン適応が含まれます。多くの研究ではビジネスへの影響を定量化することが難しいままです。
ハイブリッド検索は事実性と解釈可能性を向上させる
研究によると、密なベクトル検索と構造化されたナレッジグラフまたはメタデータを組み合わせることで、精度と出所が向上し、企業環境において純粋なベクトル検索に対して説明可能性が高まり、幻覚のリスクが低下することが報告されています。
Indexはエージェント使用ケースのための生産検索アーキテクチャを示す
ミリ秒単位のエージェント検索のために構築されたIndexは、Postgres(pgvector + pg_trgm + tsvector)、Cloudflare Workersのグローバルエッジランタイム、三層キャッシュシステム、チャンクレベルの取り込みを使用して、サブ300msのP99レイテンシと正確な混合検索を維持します。この設計は、動的フィルター、マルチテナントの分離、および再処理を避けるためのインクリメンタルな埋め込み更新を強調しています。
高度なツール使用パターンはトークンコストを削減し、ツールカタログを拡大する
Anthropicの高度なツール使用は、ツール検索メタツールを介した遅延ツール読み込み、複数ツールシーケンスのプログラム的(コード)オーケストレーション、および明示的な使用例を通じて、トークン消費を削減し、エージェントが数百または数千のツールにアクセスする必要がある場合のツール選択の精度を向上させます。
OpenRouterデータはエージェントワークフローと中規模モデルの台頭を示す
OpenRouterとa16zの実際のインタラクションデータの分析は、エージェントの多段階推論が大幅に成長し、コスト効率の良い開発者ワークフローのために「中規模」オープンモデル(15B–70B)が採用され、ツールの呼び出しと長いプロンプトが平均ユーザープロンプトの長さを増加させたことを示しています。