GLM-5.3の推論最適化をAIエージェントが実行

Zhipu AIは、GLM-5.3-Flashの本番推論が現在10万台以上の国産AIアクセラレータ上で稼働しており、GLM-5.3が駆動するエージェントが2週間未満で最適化を完了し、スループットを3.2倍に向上させたと発表した。このエージェントは3つの実際のボトルネックを発見・修正し、そのうち1つではオーバーヘッドを30%超から1%未満に削減した。
Key insights
GLM-5.3エージェントが2週間未満で自らの本番推論を再構築
Zhipu AIは、GLM-5.3-Flashの本番推論のすべてが現在10万台以上の国産AIアクセラレータ上で稼働しており、モデルの初回成功実行から本番稼働まで2週間未満で、エンドツーエンドのスループットが3.2倍に向上したことを明らかにした。最適化作業の大部分はエンジニアリングチームではなく、GLM-5.3が駆動するAIエージェントによって行われた。CEOの唐杰氏は、繰り返し浮かんだ考えは、主な労働力はモデル自身であり、あるモデルがそれを実行するシステムの最適化を支援しているということであり、国産チップのトークンあたりのコストは現在、主流のNvidia GPUに匹敵すると述べた。
制約のあるハードウェアが各段階で明確なトレードオフを強要
デプロイ環境は過酷だった。メモリとインターコネクト帯域幅が限られた国産アクセラレータ、カーネルやドキュメントが不足し推測せざるを得なかった未成熟なソフトウェアスタック、さらに100万トークンのコンテキストとマルチモーダルリクエストへの対応が求められた。各最適化は無償の勝利ではなくトレードオフだった。ReplaySSMは計算とメモリを交換し、ノード内テンソル並列処理は通信とメモリを交換し、INT8/FP8/BF16混合キャッシュは精度と容量を交換し、エンコード-プリフィル-デコード分離はアーキテクチャ上の分離とスケジューリングの自由度を交換した。
密なフィードバックインターフェースが真のボトルネックである診断を解決
Zhipuが述べた核心的な教訓は、エージェントがコードを書けなかったために停滞したのではなく、パフォーマンスがなぜ悪化したのかを理解できなかったために停滞したということである。「スループットが20%低下した」というような記述は疎な報酬とクレジット割り当ての問題であり、エンドツーエンドのベンチマークには数時間かかるため、探索コストが高くなる。同社は、シニアエンジニアの暗黙のプロセス報酬を、階層化された検証インターフェースとして明示化し、これを密なフィードバックと呼び、3つのシグナルクラスを設けた。すなわち、計算が正しいかどうかに答える正確性、時間の消費先に答えるシステム動作、どの条件下でどの選択肢が勝るかに答えるパフォーマンスである。各シグナルは局所的で低コスト、かつ客観的に検証可能でなければならず、基本的にはエージェントに機能を追加するのではなく、エージェントのための環境を設計することである。
エージェントが発見・修正した3つの実際のボトルネック
エージェントは3つのエンジニアリング問題を発見し修正した。第一に、精度ドリフト:KDAカーネルのコンテキスト並列パスにおける連鎖的な状態行列マージでTF32丸め誤差が蓄積し、シーケンス長に伴って増大した。修正はオープンソースのFlash Linear Attentionプロジェクトにマージされた。第二に、並行性のボトルネック:ノード内パスがGILを解放しなかったため、KVキャッシュ転送がDeepEPディスパッチと重複せず、Python/C++境界をまたいで追跡された。修正後、オーバーヘッドは30%超から1%未満に低下した。第三に、冗長計算:デコードカーネルがチャンク化により同じ正規化を4回計算していた。SGLang、FLA、DeepGEMMのカーネルコードを読んで抽出した最適化スケルトンを用いた再構築により、1.71倍の高速化を達成した。
3つのケースが異なるエージェント能力を示す
文書化された3つのケースは、簡単な勝利ではなく、異なる能力を代表するために選ばれた。KDA精度ドリフトのケースは、連鎖的な状態行列マージを通じたTF32丸め誤差の蓄積を追跡する数値的正確性の帰属を示す。KV転送とDeepEPディスパッチのケースは、PythonとC++をまたぐコールチェーンを追跡して解放されていないGILを発見する、言語間境界を越えたシステムレベルのデバッグを示す。デコードカーネルのケースは、SGLang、FLA、DeepGEMMのカーネルコードを読んで抽出した最適化スケルトンを適用し、繰り返しの正規化計算を再構築して1.71倍の向上を達成する、コードベース間のパターン転送を示す。
人間の境界と訓練データとしても機能するフィードバック環境
Zhipuは明確な境界を引いている。人間が目標を定義し、フィードバック環境を構築し、すべての高リスクな変更をレビューする。これによりエンジニアの役割は問題解決者からフィードバック設計者へと移行する。唐杰氏はさらに深い含意を指摘した。実際のインフラタスクに基づいた階層化された検証可能なフィードバック環境は、まさに次世代モデルの訓練に必要なものであり、完了したタスクはすべて後継の訓練材料となり、環境設計とデータフライホイールを融合させるからである。彼の締めくくりの言葉:「我々は再帰的自己改善には程遠いが、最小限のループはすでに存在する。モデルがシステムを最適化し、システムがモデルに奉仕する。」