LlamaIndex发布文档解析基准ParseBench

LlamaIndex发布了ParseBench,这是一个针对AI智能体文档解析的基准测试,在2000页真实企业文档上评估了100种方法。LlamaParse Agentic Plus以90.2分领先,但该基准测试揭示了碎片化现象:没有一种方法在所有五个维度上都表现出色。
Key insights
ParseBench在2000页企业文档上评估100种解析方法
该基准测试包含67个视觉语言模型和33个专用解析器,在2000页真实企业文档上进行了评估,并经过两轮人工验证。它使用了169,011条确定性规则,且没有采用大语言模型作为评判者,确保了可重复性。测量了五个维度:表格结构、图表提取、内容忠实度、格式语义和视觉定位。
图表是最大的区分因素;没有一种方法普遍最佳
图表是最大的性能分水岭:超过20种方法得分为零,而顶尖方法达到88-94分。忠实度普遍较高(80分以上),表明文本提取基本已解决。视觉定位是视觉语言模型的盲点,而一些专用解析器得分在75-80分。没有一种方法在所有维度上都表现出色,显示出碎片化的格局。
成本效益差异巨大;LlamaParse提供最佳价值
LlamaParse Cost Effective以每页0.38美元的成本获得80.6分,性价比最高。GLM-5.3 Flash和Gemini 3 Flash每页成本低于0.01美元,得分超过70分。相比之下,Fable 5.1每页成本0.16美元,但总体得分较低。这凸显了在考虑性能的同时考虑成本的重要性。