GLM-5.3、自身の推論システムを最適化

智譜AI(Zhipu AI)は、GLM-5.3-Flashの推論が10万台以上の国産AIアクセラレータ上で稼働しており、エンドツーエンドのスループットが2週間足らずで3.2倍に向上したことを明らかにした。この最適化作業はGLM-5.3が駆動するAIエージェントによって実行され、自律的に3つの実際のエンジニアリング問題を特定し修正した。
Key insights
エージェント主導の最適化で3.2倍のスループットを達成
智譜AIのGLM-5.3を搭載したエージェントは、10万台以上の国産AIアクセラレータ上で動作するGLM-5.3-Flashの推論パイプラインを最適化した。初期導入から2週間以内にエンドツーエンドのスループットが3.2倍に向上した。エージェントは、精度ドリフト、並行処理のボトルネック、重複計算という3つの実際のエンジニアリング問題を特定し修正した。
密なフィードバック環境が鍵となる革新
エージェントの成功は、3種類のシグナルを提供する階層型検証システムに依存していた。すなわち、正確性(計算は正しいか)、システム動作(時間はどこに費やされているか)、パフォーマンス(どのアプローチがどの条件下で優れているか)である。各シグナルは局所的で低コストかつ客観的に検証可能でなければならなかった。この密なフィードバック設計により、エージェントは自律的に問題を診断し修正することができた。
発見された3つの実際のエンジニアリング問題
エージェントは3つの事例を発見した。1) KDAコンテキスト並列パスにおける精度ドリフト。TF32の丸め誤差が長いシーケンスで蓄積したため。2) KVキャッシュ転送がDeepEPディスパッチとオーバーラップできなかった。ノード内パスがGILを解放しなかったため。3) デコードカーネルがチャンク化により同じ正規化を4回再計算していた。これを簡略化し1.71倍の高速化を達成。すべての修正は上流にマージされた。
エンジニアの役割はフィードバックデザイナーへ移行
智譜AIのCEOは、ボトルネックはコードを書くことではなく、なぜパフォーマンスが低下するのかを理解することだと述べた。シニアエンジニアは暗黙のプロセス・報酬知識を持っている。密なフィードバックシステムはその経験を外部化する。人間は現在、目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする。問題解決からフィードバック設計へと役割が移行している。
最小限の再帰的自己改善ループが存在
フィードバック環境は二重に活用される。現在のエージェントを可能にし、将来のモデルのための訓練データを提供する。完了した各タスクは次のタスクの訓練材料となる。著者らは、再帰的自己改善はまだ遠いが、最小の閉ループが存在すると指摘する。すなわち、モデルがシステムを最適化し、システムがモデルにサービスを提供する。
制約下での最適化:国産ハードウェアとソフトウェアの未成熟
導入環境には、国産アクセラレータ上の制約されたメモリとインターコネクト帯域幅、カーネルやドキュメントが不足した未成熟なソフトウェアスタックが含まれていた。すべての最適化にはトレードオフが伴った。ReplaySSM(計算とメモリの交換)、ノード内テンソル並列(通信とメモリの交換)、混合INT8/FP8/BF16キャッシング(精度と容量の交換)、エンコード・プリフィル・デコード分離(分離とスケジューリング柔軟性の交換)。