XNews

Thinking Machines发布开源权重模型Inkling-Small

Thinking Machines发布了Inkling-Small,这是一款开源权重模型,总参数量达2760亿,其中活跃参数为120亿。该模型在仅为原版Inkling四分之一规模的情况下,实现了与之相当的性能。它具备对音频和图像的原生推理能力,并支持可变的思考深度。模型提供了NVFP4检查点,并获得了vLLM的Day 0支持。使用SGLang时,该模型在DSpark(模拟累积长度为4)下可实现每秒648个令牌的解码速度,无DSpark时为每秒288个令牌。该模型适用于在NVIDIA DGX Station上使用NVIDIA NeMo进行微调。

Key insights

Inkling-Small以更小规模实现可比性能

Thinking Machines发布了Inkling-Small,这是一款开源权重模型,总参数量为2760亿,其中活跃参数为120亿。该模型在仅为原版Inkling四分之一规模的情况下,实现了与之相当的性能。这一效率提升展示了模型架构的显著优化,使得缺乏运行更大模型基础设施的开发者和研究人员能够更广泛地使用该模型。此次发布还包含一个NVFP4检查点,进一步扩展了部署选项。

原生多模态推理与可变思考深度拓展应用场景

Inkling-Small具备对音频和图像的原生推理能力,超越了仅处理文本的模式。该模型还支持可变的思考深度,允许用户根据任务需求调整计算深度。这些特性使该模型适用于多种应用,包括微调工作流。NVIDIA强调了其与NVIDIA DGX Station上NVIDIA NeMo的兼容性,并特别推荐将其用于微调目的。

vLLM与SGLang的Day 0生态系统支持确保即时可用性

Inkling-Small在发布首日即获得vLLM的即时推理支持。使用SGLang的性能基准测试显示,在启用DSpark且模拟累积长度为4的情况下,解码速度达到每秒648个令牌;无DSpark时为每秒288个令牌。这种快速的生态系统集成降低了开发者采用该模型的障碍,并表明Thinking Machines与推理框架维护者之间有着紧密的协作。

Source posts