XNews

VikingRAG: トークンコストを削減する効率的なRAG手法

VikingRAG: トークンコストを削減する効率的なRAG手法

新しいRAG手法であるVikingRAGは、最先端手法と同等以上の精度を維持しながら、トークン消費量を5%~32%に削減します。構造化文書検索における高いトークンコストの問題に対処します。主要な設計は、階層的意味ストレージ(文書を構造ノードでチャンク化し、viking://Pasta/Carbonara/のようなURIを使用)、証拠ギャップ駆動型マルチラウンド検索(エージェントが証拠の十分性を判断し、最大15ラウンド)、および適応型アップグレードを備えた経験エッジ(過去の検索パスを再利用し、必要な場合のみフルマルチラウンドにアップグレード)です。DeepSeek-V4-Proおよびその他のモデルを用いて6つのデータセット(0.24M~8.78Mトークン)でテストされました。基本のVikingRAGはSOTAの11.6%~51.9%のトークンを使用し、VikingRAG-E+は5.1%~32.5%に削減します。従来のグラフ手法は大規模データセットでタイムアウトしました。

Key insights

階層的ストレージが線形ディレクトリのオーバーヘッドを排除

プロンプトに文書構造全体を配置する代わりに、VikingRAGはすべての構造情報を外部のクエリ可能なオブジェクトに保存します。URIは祖先-子孫関係をエンコードします。訪問したフラグメントのみがトークンコストを発生させ、DeepReadの線形成長問題を解決します。

証拠ギャップ駆動型検索がSOTA精度と同等

エージェントは各ツール呼び出し(Search、List、Grep、Read)後に証拠を評価し、証拠が不十分な場合のみ継続します。設計は粗い位置特定と詳細な検証を分離し、各ステップで検索空間を絞り込みます。

経験エッジと適応型アップグレードがコストをさらに削減

VikingRAG-Eは過去の検索からエッジを保存し、新しいクエリがパスを再利用できるようにします(12%~33%のトークン節約)。VikingRAG-E+は制約ベースの検証が失敗した場合のみフルマルチラウンドにアップグレードし、さらに19%~50%の節約を追加します。

大規模文書コレクション全体でスケーラブル

VikingRAGのパフォーマンスは、文書が関連のみから合計991に増加しても安定しており、大規模データセットでタイムアウトしたグラフ手法とは異なります。挿入レイテンシはDeepRead/MoDoraと同等で、グラフアプローチよりも高速です。

Source posts