开源与专业模型(MiMo,BU-30B,MiMo-V2-Flash)

多个供应商发布或详细介绍了用于长上下文和浏览器自动化的开源和专业模型。
Key insights
小米发布MiMo-V2-Flash,专注于生产效率
小米发布了MiMo-V2-Flash,采用309B参数模型,每个token激活约15B,原生训练支持32K并扩展至256K上下文,声称推理速度为150个token/秒,报价成本极低(每百万输入token $0.10;每百万输出token $0.30)。小米还发布了一个演示聊天网页产品,以展示该模型的代码能力。
BU-30B-A3B-Preview专注于浏览器自动化,采用MoE效率
browser_use发布了BU-30B-A3B-Preview,这是一个基于MoE的30B参数模型,专门用于浏览器自动化和DOM理解。它支持视觉语言输入,32k token上下文,并在运行时激活约3B参数,以平衡能力和资源成本。该模型适用于网络代理、RPA和需要精确网页元素推理的任务。
Hybrid SWA、MTP和MOPD工程选择强调部署务实性
小米及其贡献者的技术笔记强调了混合SWA注意力、固定KV缓存以便于部署、多token预测(MTP)层以提高RL效率,以及MOPD在线策略蒸馏,以低计算复制RL教师行为。这些选择优先考虑生产部署、长上下文处理和低成本RL蒸馏。