WeVisDoc:微信端到端文档解析器

腾讯微信视觉团队开源了WeVisDoc,这是一个端到端文档解析器,能够接收页面图像并输出结构化的Markdown,包含文本、LaTeX、HTML表格以及阅读顺序,全部在一个序列中完成。该4B模型在OmniDocBench上达到95.38分,在退化输入上取得了显著提升。
Key insights
WeVisDoc采用两阶段训练:先覆盖后能力分配
第一阶段使用源平衡的异构数据,覆盖语义、结构和外观维度。诊断阶段进行残差分析,识别系统性失败集群。第二阶段利用残差感知权重和困难样本,将训练令牌分配给薄弱区域,同时不挤占自然数据。
性能优势随输入退化程度增加而增长
在清洁数字文档上,WeVisDoc-4B得分为79.81,略领先于竞争对手。在数字退化输入上,得分为77.74。在真实退化输入(光照不均、透视、阴影)上,得分为69.08,比次优结果高出约1.4分。消融实验显示,第二阶段带来的增益随退化程度增加:清洁文档+0.49,数字退化+2.55,真实退化+4.03。