XNews

Tencent、投機的デコーディングフレームワーク「AngelSpec」をオープンソース化

Tencent Hunyuanは、トレーニングとデプロイメントの両方をサポートするエンドツーエンドの投機的デコーディングフレームワーク「AngelSpec」をオープンソース化しました。AngelSpecには、自己回帰デコーディングと比較して1.98~2.40倍のエンドツーエンド高速化を実現する手法DFlyが含まれています。高速化はHy3-A21Bモデル上で、同時実行数4~64の条件下で測定されました。DFlyはDFlashよりも10.5~11.8%高いスループットを達成しています。トレーニングコードとHy3-A21B MTP/DFlyドラフターの重みは、GitHub、Hugging Face、ModelScopeで公開されています。また、ドキュメントと研究論文もリリースに付随しています。

Key insights

AngelSpec、大規模モデルに大幅な推論高速化をもたらす

Tencent HunyuanのAngelSpecフレームワークは、エンドツーエンドの投機的デコーディングパイプラインを提供し、そのDFly手法はHy3-A21Bモデルにおいて自己回帰デコーディングと比較して最大2.40倍のエンドツーエンド高速化を達成しています。同時実行数4~64の範囲では、高速化は1.98倍から2.40倍の間を維持し、スループットはDFlashベースラインより10.5~11.8%高くなっています。このリリースにはトレーニングコードとドラフターの重みが含まれており、大規模モデルの推論高速化を目指す研究者やエンジニアがすぐに利用できます。

Source posts