LlamaIndex、文書解析用ベンチマーク「ParseBench」を公開

LlamaIndexは、AIエージェントの文書解析用ベンチマーク「ParseBench」を公開した。実際のエンタープライズ文書2,000ページを対象に、100の手法を評価する。LlamaParse Agentic Plusがスコア90.2でトップだが、このベンチマークは市場の断片化を浮き彫りにしており、全5つの評価軸で優れた手法は存在しない。
Key insights
ParseBenchはエンタープライズ文書2,000ページで100の解析手法を評価
このベンチマークには67のVLMと33の専用パーサーが含まれ、実際のエンタープライズ文書2,000ページを対象に、2回の人間による検証を経て評価される。169,011の決定論的ルールを使用し、LLMによる判定は行わないため、再現性が確保されている。評価軸は、表構造、グラフ抽出、内容の忠実性、形式のセマンティクス、視覚的グラウンディングの5つである。
グラフが最大の差別化要因、万能な手法は存在せず
グラフは最大の性能差を生む要因であり、20以上の手法がスコア0である一方、上位手法は88〜94を達成している。忠実性は概ね高く(80以上)、テキスト抽出はほぼ解決済みであることを示している。グラウンディングはVLMの盲点であり、一部の専用パーサーは75〜80を記録する。全評価軸で優れた手法は存在せず、市場の断片化を示している。
コスト効率は大きく異なり、LlamaParseが最良の価値を提供
LlamaParse Cost Effectiveは1ページあたり0.38ドルでスコア80.6を記録し、最もコストパフォーマンスに優れる。GLM-5.3 FlashとGemini 3 Flashは1ページあたり0.01ドル未満で70以上のスコアを達成している。一方、Fable 5.1は1ページあたり0.16ドルだが、総合スコアは低い。これは、性能と並んでコストを考慮することの重要性を示している。