XNews

MiMo V2.6与分词器创新:小米和Hugging Face的高效AI模型

MiMo V2.6与分词器创新:小米和Hugging Face的高效AI模型

Hugging Face发布了tokenizers v1,这是一个新的SOTA分词库,通过SIMD比特流和单词缓存将编码速度提升3-30倍,解码速度提升5.4-8.8倍。小米开源了MiMo-V2.6 Pro和Flash多模态模型,在Artificial Analysis上得分为46,与xAI Grok 4.7持平,API定价为每百万token 0.435/0.87美元。

Key insights

Tokenizers v1:通过SIMD和缓存实现大幅速度提升

Hugging Face的tokenizers v1通过三项核心技术实现了编码速度提升3-30倍、解码速度提升5.4-8.8倍:bitcannon(用SIMD比特流替代正则表达式)、word cache(缓存重复预分词结果的BPE结果)以及merge loop(零分配、无分支合并)。它支持GPT-2、cl100k、o200k、Tekken和DeepSeek的分词模式,对于未知模式则回退到正则表达式。

MiMo-V2.6:具备强化学习训练的开源多模态模型

小米发布了MiMo-V2.6 Pro和Flash,原生多模态模型在Artificial Analysis上得分为46,与xAI Grok 4.7持平。Pro经历了开源模型中最大规模的强化学习训练:30步、75万条轨迹,耗资262万美元。MixRL策略混合了编码、视觉和网络安全任务。API定价方面,Pro为每百万token 0.435/0.87美元,Flash为0.14/0.28美元。

MiMo-V2.6开源生态系统

小米开源了完整的强化学习训练框架、超过7000个强化学习任务环境以及一个蒸馏后的Qwen-9B模型。两个模型均支持100万token上下文,并在MIT许可下支持文本、图像、音频和视频输入。Flash在智能体基准测试中仅落后Pro几分,但在代码审查和文档处理等批量任务中提供了更好的成本效益。

Source posts