百度の無制限OCR「R-SWA」がGitHubトレンドで首位、Yann LeCunも注目

百度の無制限OCRは、Reference Sliding Window Attention(R-SWA)を導入し、人間が長文書を読むように、デコード中にKVキャッシュサイズを一定に保つことで、従来のページ単位の結合手法を使わずに、30億パラメータモデルが数十ページを連続して解析できるようにした。このプロジェクトは公開翌日にGitHubトレンドとHuggingFaceモデルダウンロードトレンドで1位を獲得し、その後16,500スターと224万ダウンロードを達成。再びトレンド入りし、GLM-5.2を上回った。Yann LeCunも注目し、トレーニングデータクリーニングのインフラとしての重要性を強調した。