腾讯开源AngelSpec投机解码框架
腾讯混元开源了AngelSpec,这是一个支持训练和部署的端到端投机解码框架。 - AngelSpec包含DFly方法,相比自回归解码可实现1.98至2.40倍的端到端加速。 - 加速效果在Hy3-A21B模型上、并发数4至64的范围内测得。 - DFly的吞吐量比DFlash高出10.5%至11.8%。 - 训练代码以及Hy3-A21B MTP/DFly草稿模型权重已在GitHub、Hugging Face和ModelScope上公开。 - 随发布附有文档和研究论文。
Key insights
AngelSpec为大型模型带来显著推理加速
腾讯混元的AngelSpec框架提供了一个端到端的投机解码流水线,其DFly方法在Hy3-A21B模型上相比自回归解码实现了高达2.40倍的端到端加速。在并发数4至64的范围内,加速比保持在1.98倍至2.40倍之间,吞吐量比DFlash基线高出10.5%至11.8%。此次发布包括训练代码和草稿模型权重,使研究人员和工程师能够立即用于加速大型模型推理。