XNews

Zhipu GLM-5.3、自らの推論インフラを最適化

Zhipu GLM-5.3、自らの推論インフラを最適化

ZhipuのGLM-5.3-Flashは、モデル自身が駆動するAIエージェントを用いて推論インフラを最適化し、2週間でスループットを3.2倍に向上させた。現在、このシステムは10万基以上の国産AIアクセラレータ上で稼働し、100万トークンのコンテキストをサポートし、トークンあたりのコストは主流のNVIDIA GPUと同等である。

Key insights

自己最適化の成果

Zhipuは、GLM-5.3-Flashの本番推論全体が10万基以上の国産AIアクセラレータ上で動作していることを明らかにした。初回実行から本番稼働までに、モデルは2週間未満でエンドツーエンドのスループットを3.2倍向上させた。最適化作業は人間のエンジニアではなく、GLM-5.3自身が駆動するAIエージェントによって行われた。CEOの唐傑氏は、モデルがそれを実行するシステムの最適化に貢献したと述べている。

工学的制約とトレードオフ

展開環境は困難を極めた。国産アクセラレータはメモリと相互接続帯域幅が限られ、ソフトウェアスタックは未成熟で、カーネルが欠落しドキュメントも不十分だった。GLM-5.3-Flashはさらに、100万トークンのコンテキストとマルチモーダルリクエストをサポートする必要があった。すべての最適化にはトレードオフが伴った。計算とメモリの交換(ReplaySSM)、通信とメモリの交換(ノード内テンソル並列処理)、精度と容量の交換(INT8/FP8/BF16混合キャッシュ)、分離とスケジューリング柔軟性の交換(エンコード-プリフィル-デコード分離)である。

実装された具体的な最適化

エージェントはいくつかの重要な最適化を実装した。計算とメモリを交換するReplaySSM、通信とメモリを交換するノード内テンソル並列処理、精度と容量を交換するINT8/FP8/BF16混合キャッシュ、アーキテクチャの分離とスケジューリングの自由度を交換するエンコード-プリフィル-デコード分離である。これらの最適化により、国産チップは主流のNVIDIA GPUと同等のトークンあたりのコストを達成した。

高密度フィードバックシステムの設計

Zhipuは、エージェントを導くために「高密度フィードバック」と呼ばれる階層型検証インターフェースを構築した。これは3種類のシグナルを提供する。正確性(計算は正しいか)、システム動作(時間はどこに使われているか)、パフォーマンス(どのソリューションがどの条件下で勝つか)である。各シグナルは局所的で低コストかつ客観的に検証可能でなければならない。このアプローチにより、シニアエンジニアの暗黙的な経験が、エージェントのための明示的で呼び出し可能なインターフェースに変換される。

発見・修正された実際のバグ

エージェントは3つの実際の工学的問題を特定し修正した。第一に、KDAコンテキスト並列パスにおける精度ドリフト。TF32の丸め誤差が連鎖的な状態行列マージによって蓄積され、修正されてFlash Linear Attentionに統合された。第二に、KV転送とDeepEPディスパッチのオーバーラップ不足。エージェントはPython/C++境界を越えた呼び出しチェーンを追跡し、ノード内パスがGILを解放していないことを発見し、オーバーヘッドを30%以上から1%未満に削減した。第三に、デコードカーネルがタイリングのために同じ正規化を4回繰り返していた。エージェントはSGLang、FLA、DeepGEMMのカーネルコードを読んで抽出した最適化スケルトンを用いて計算を再構成し、1.71倍の高速化を達成した。

人間の役割と将来への示唆

Zhipuは、人間は依然として目標を設定し、フィードバック環境を構築し、リスクの高い変更をレビューすると強調した。しかし、エンジニアの役割は問題解決者からフィードバック設計者へと移行している。唐傑氏は、階層型検証可能フィードバック環境には二重の目的があると指摘した。それはエージェントの作業環境であると同時に、将来のモデルのためのトレーニングデータでもある。同氏は「再帰的自己改善にはほど遠いが、最小の閉じたループは既に存在する。モデルがシステムを最適化し、システムがモデルにサービスを提供する」と述べた。

Source posts