WeVisDoc:WeChatのエンドツーエンド文書パーサー

TencentのWeChatビジョンチームは、ページ画像を入力として、テキスト、LaTeX、HTMLテーブル、読み取り順序を含む構造化Markdownを単一のシーケンスで出力するエンドツーエンド文書パーサー「WeVisDoc」をオープンソース化しました。4BモデルはOmniDocBenchで95.38を達成し、劣化した入力において顕著な改善を示しています。
Key insights
WeVisDocは2段階のトレーニングを採用:カバレッジ、次に能力配分
第1段階では、ソースバランスの取れた異種データを使用して、意味、構造、外観の次元をカバーします。診断フェーズでは残差分析を実行し、体系的な失敗クラスターを特定します。第2段階では、残差を考慮した重みとハードな例を用いて、弱い領域にトレーニングトークンを割り当て、自然データを圧迫することなく行います。
入力の劣化に伴い性能優位性が拡大
クリーンなデジタル文書では、WeVisDoc-4Bは79.81を記録し、競合他社をわずかに上回ります。デジタル劣化入力では77.74を記録します。実際の劣化入力(不均一な照明、遠近法、影)では69.08を記録し、次点を約1.4ポイント上回ります。アブレーション研究では、第2段階の利得が劣化に伴い増加することが示されています:クリーンで+0.49、デジタル劣化で+2.55、実際の劣化で+4.03。