XNews

Recursive发布Flint:400亿参数本地编码MoE模型

Recursive发布Flint:400亿参数本地编码MoE模型

Recursive发布了Flint,这是一个400亿参数的混合专家编码模型,每个token激活25亿参数,可在笔记本电脑上本地运行。在智能体编码基准测试中,Flint在500亿参数以下的MoE模型中处于领先地位,在M4 Pro MacBook Pro上每秒生成超过125个token。该模型借助公司的Eureka Machine自动化研究系统,在不到四个月内从零构建完成。

事件版本 1.

Key insights

同类中顶尖的智能体编码性能

在包括SWE-Bench Pro v2、Terminal-Bench 2.1和SWE-Bench Verified在内的智能体编码基准测试中,Flint在总参数少于500亿的MoE模型中处于领先地位。它可与250亿至400亿参数的稠密模型相媲美,同时运行速度超过五倍。

快速的本地推理

在M4 Pro MacBook Pro上,Flint每秒生成超过125个token;在64GB NVIDIA RTX Spark上短上下文时每秒生成超过150个token。其运行速度最高可达同类模型的两倍。

借助自动化研究构建

Recursive的Eureka Machine自动化了构思、实现和验证的研究循环,并为Flint模型构建栈的几乎每一部分做出了贡献。其贡献包括更稀疏的模型形状、将Flint缩小71%且几乎不损失质量的低比特训练,以及自定义内核。

本地隐私与开放权重

Flint支持高达512k token的上下文窗口,建议保持在256k token以内。它在本地运行,因此数据保留在用户计算机上并可离线工作,开放权重可在Hugging Face上获取,并支持llama.cpp、Ollama、LM Studio、vLLM、SGLang和Unsloth。

Source posts