XNews

GLM-5.3-Flash推論最適化:Zhipu AIによる成果

GLM-5.3-Flash推論最適化:Zhipu AIによる成果

Zhipu AIは、GLM-5.3-Flashモデルが、GLM-5.3を搭載したAIエージェントによって最適化され、2週間未満でスループットが3.2倍向上し、現在10万台以上の国内アクセラレータで稼働していると発表しました。このエージェントは、高密度フィードバックフレームワークを使用して、精度のずれや並行処理のボトルネックなど、3つのエンジニアリング問題を診断・修正しました。

Key insights

自己最適化エージェントフレームワーク

Zhipu AIは、GLM-5.3-Flashの最適化が、人間のエンジニアではなく、GLM-5.3自体を搭載したAIエージェントによって実行されたことを明らかにしました。このエージェントは、正確性、システム動作、パフォーマンスの3つのシグナルタイプを持つ「高密度フィードバック」システムを採用しました。これにより、KDAカーネルでのTF32丸め誤差の蓄積や、KV転送でのGIL競合などの問題を特定・修正できました。このアプローチは、エンジニアが問題を解決するのではなく、フィードバック環境を設計するというパラダイムシフトを表しています。

エンジニアリング上のトレードオフと制約

最適化は、国内アクセラレータの限られたメモリと帯域幅、未成熟なソフトウェアスタック、100万トークンのコンテキストとマルチモーダルリクエストのサポートといった厳しい制約の下で実施されました。すべての改善にはトレードオフが伴いました(ReplaySSM:計算とメモリの交換、ノード内テンソル並列:通信とメモリの交換、混合INT8/FP8/BF16キャッシュ:精度と容量の交換、エンコード・プリフィル・デコード分離:柔軟性とスケジューリングの交換)。最終的なトークンあたりのコストは、主流のNVIDIA GPUと同等になりました。

解決された3つの実エンジニアリングケース

エージェントは、KDAコンテキスト並列パスでのTF32丸め誤差の蓄積による精度のずれ、GILが解放されないことによるKV転送とDeepEPディスパッチの非オーバーラップ、ブロック分割によるデコードカーネルでの同じ正規化の4回計算という、3つの実際の問題を発見・修正しました。各ケースは、数値的正確性の帰属、クロス言語デバッグ、コードベース間のパターン移行という、異なる能力を表しています。

Source posts