XNews

WeVisDoc:腾讯微信开源端到端文档解析器

WeVisDoc:腾讯微信开源端到端文档解析器

腾讯微信视觉团队开源了WeVisDoc,这是一个端到端的文档解析器,能够接收页面图像并一次性输出包含文本、LaTeX公式和HTML表格的结构化Markdown。基于Qwen3-VL-2B/4B-Instruct,它采用两阶段训练策略,先关注覆盖范围,再关注能力分配。WeVisDoc-4B在OmniDocBench上获得了95.38分,在退化输入上表现尤为出色。

Key insights

两阶段训练:从覆盖到能力

WeVisDoc采用以数据为中心的两阶段方法。第一阶段通过源平衡异构数据和保留结构的风格合成,在语义、结构和外观维度上扩展覆盖范围。诊断阶段通过残差分析识别系统性失败集群。第二阶段使用残差感知权重和困难样本将训练令牌分配给薄弱区域,同时不排挤自然数据。

性能:在退化输入上表现强劲

在OmniDocBench v1.6上,WeVisDoc-4B得分为95.38,略高于HunyuanOCR-1.5(94.74)。在PureDocBench上,它表现出持续提升:干净79.81,数字退化77.74,真实退化69.08,每项均领先次优约1.4分。消融研究表明,第二阶段增益随退化程度增加:干净+0.49,数字+2.55,真实+4.03。这证实了残差驱动的分配策略在最需要的地方效果最佳。

Source posts