百度无限OCR结合R-SWA登顶GitHub趋势,获Yann LeCun关注

百度无限OCR引入了参考滑动窗口注意力(R-SWA),该技术通过在解码过程中保持KV缓存大小恒定,模拟人类阅读长文档的方式。这使得一个30亿参数的模型能够持续解析数十页文档,而无需传统逐页拼接的方法。该项目在发布次日即登顶GitHub趋势榜和HuggingFace模型下载趋势榜,随后累计获得16,500颗星和224万次下载。它再次成为趋势,超越了GLM-5.2。Yann LeCun注意到了该项目,强调其作为训练数据清理基础设施的重要性。