XNews

GLM-5.3-Flashの推論最適化をAIエージェントが実現

GLM-5.3-Flashの推論最適化をAIエージェントが実現

Zhipu AIは、GLM-5.3-Flashモデルの本番推論が10万基以上の国内AIアクセラレータ上で完全に稼働し、エンドツーエンドのスループットを2週間で3.2倍に向上させたと発表した。この最適化はGLM-5.3自身が駆動するAIエージェントによって完了し、困難なハードウェア環境下においても、トークン単位で主流のNVIDIA GPUと同等のコストを実現した。

Key insights

最適化手法とトレードオフ

エンジニアリング環境は厳しいものであった。アクセラレータのメモリとインターコネクト帯域幅が限られ、100万トークンのコンテキスト、マルチモーダルリクエスト、未成熟なソフトウェアスタック(カーネル欠落や推測に頼るドキュメント)といった課題があった。すべての最適化はトレードオフを含んでいた。ReplaySSM(メモリのために計算を犠牲)、ノード内テンソル並列処理(メモリのために通信を犠牲)、混合INT8/FP8/BF16キャッシュ(容量のために精度を犠牲)、エンコード・プリフィル・デコード分離(スケジューリングのために柔軟性を犠牲)である。最終的な国内チップ上のトークン単位のコストは、主流のNVIDIA GPUと同等となった。

エージェントのデバッグ手法:高密度フィードバック

エージェントの主なボトルネックはコーディングではなく、性能低下の診断(例:スループット20%低下)であった。これは疎な報酬とクレジット割り当ての問題として捉えられた。解決策として、人間の暗黙知を階層的な検証インターフェース(高密度フィードバック)に明示化し、三つの信号タイプ(正確性、システム動作、性能)を導入した。各信号は局所的で低コストかつ客観的に検証可能でなければならなかった。これにより、エージェントの能力を補うのではなく、エージェントのための環境を効果的に設計した。

発見・修正された三つの実事例

エージェントは三つの実際のエンジニアリング問題を特定し修正した。1) KDAカーネルにおける精度ドリフト:TF32の丸め誤差が連鎖的な状態行列マージで蓄積(Flash Linear Attentionに統合)。2) KV転送とDeepEPディスパッチが重複不可能:ノード内パスがGILを解放しないため、オーバーヘッドが30%超から1%未満に削減。3) デコードカーネルがブロック分割により同一の正規化を四回再計算:SGLang、FLA、DeepGEMMから抽出された最適化骨格を適用し、再構築により1.71倍の高速化を達成。

広範な示唆:データフライホイールとしての環境設計

CEOのTang Jie氏は、人間が目標を定義し、フィードバック環境を構築し、高リスクな変更をレビューする一方で、エンジニアの役割は問題解決者からフィードバック設計者へと移行すると述べた。階層的な検証可能なフィードバック環境は二重の目的を持つ。すなわち、エージェントの作業環境であると同時に、次世代モデルのトレーニング資料となる。完了した各タスクは後継のエージェントの訓練データとなる。Tang氏は、再帰的自己改善にはまだ程遠いが、最小の閉じたループは既に存在すると結論付けた。すなわち、モデルがシステムを最適化し、システムがモデルを実行するというループである。

Source posts