GLM-5.3インフラエージェントによって最適化されたGLM-5.3-Flash

Zhipu AIは、GLM-5.3-Flashの推論が10万基以上の国産AIアクセラレータ上で完全に動作し、エンドツーエンドのスループットが2週間未満で3.2倍に向上したと発表した。この最適化は、GLM-5.3自身を搭載したAIエージェントが、階層的な検証フィードバックシステムを用いて実施した。
Key insights
AIエージェントが自律的に自身の推論システムを最適化
Zhipu AIのGLM-5.3-Flash推論システムは、エンジニアではなくGLM-5.3駆動のAIエージェントによって最適化された。エージェントは初回実行から本番環境まで2週間未満で作業を完了し、スループットを3.2倍に改善した。このデプロイは、限られたメモリと帯域幅という厳しい制約のもと、10万基以上の国産AIアクセラレータ上で動作している。
ハードウェア制約下での主要な最適化とトレードオフ
最適化には4つの主要な技術が用いられた:ReplaySSM(計算とメモリのトレードオフ)、ノードレベルのテンソル並列化(通信とメモリのトレードオフ)、混合INT8/FP8/BF16キャッシング(精度と容量のトレードオフ)、エンコード-プリフィル-デコード分離(スケジューリング柔軟性のための分離)。これらは、国産アクセラレータの限られたメモリ、インターコネクト帯域幅、未成熟なソフトウェアスタックのために必要だった。
密なフィードバックシステムが暗黙のエンジニア知識を代替
Zhipu AIは階層的な検証インターフェースを構築し、密なフィードバック信号を提供した:正確性(計算は正しいか)、システム動作(時間がどこに費やされているか)、パフォーマンス(どのソリューションがどの条件下で勝るか)。各信号は局所的で低コスト、かつ客観的に検証可能である。このシステムにより、エージェントは3つの実際のエンジニアリング問題を診断・修正できた。
エージェントが発見・修正した3つの実際のバグ
エージェントは以下の3つの問題を特定・修正した:KDAカーネル精度ドリフト(TF32丸め誤差が連鎖状態行列マージに蓄積)、KV転送がDeepEPディスパッチとオーバーラップしない(GILが解放されないため)、デコードカーネルがタイリングにより同じ正規化を4回再計算する問題。修正にはFlash Linear Attentionなどのオープンソースプロジェクトへの貢献も含まれる。
エンジニアの役割は問題解決者からフィードバック設計者へ
Zhipu AIのCEOである唐杰氏は、依然として境界が存在することを強調した:人間が目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする。エンジニアの役割は問題解決からフィードバックシステムの設計へと変化している。フィードバック環境は次世代モデルの訓練データとしても機能し、データフライホイールを生み出す。