GLM-5.3エージェントによるGLM-5.3-Flash推論の最適化

智譜(Zhipu)は、GLM-5.3を搭載したエージェントが10万台以上の国産アクセラレータ上でGLM-5.3-Flashの推論を最適化し、2週間未満でスループットを3.2倍に向上させたと発表した。高密度なフィードバックにより、エージェントは精度ドリフト、GILの並行性バグ、冗長な計算を修正し、人間が高リスクな変更をレビューした。
Key insights
エージェントが作業を実行:初回実行から本番稼働まで2週間
智譜は、GLM-5.3-Flashの本番推論が現在10万台以上の国産AIアクセラレータで動作しており、最適化作業はエンジニアリングチームではなく、GLM-5.3を搭載したエージェントが行ったことを明らかにした。モデルの初回成功実行から本番展開までに2週間未満、エンドツーエンドのスループットは3.2倍向上した。CEOの唐傑氏は、主な労働力はモデル自身であり、モデルが自身を実行するシステムを最適化していると述べ、国産チップにおけるトークンあたりのコストは主流のNVIDIA GPUと同等になったと語った。
厳しい制約の下で行われたすべての最適化はトレードオフの結果
展開環境は厳しいものだった。限られたメモリと相互接続帯域幅を持つ国産アクセラレータ、未成熟なソフトウェアスタック(カーネルやドキュメントが欠落しており推測が必要)、さらに100万トークンのコンテキストとマルチモーダルリクエストへの対応が求められた。そのため、各最適化はトレードオフであった。ReplaySSMは計算とメモリを交換し、ノード内テンソル並列処理は通信とメモリを交換し、ハイブリッドINT8/FP8/BF16キャッシュは精度と容量を交換し、Encode-Prefill-Decodeの分離は分離とスケジューリングの柔軟性を交換した。どの変更も無料で得られるものではなかった。
高密度フィードバックは診断に焦点を当て、コーディング能力ではない
記事は、エージェントがコードを書けなかったために停止したのではなく、なぜ状況が悪化したのかを理解できなかったために停止したと主張している。「スループットが20%低下」といったシグナルは、疎な報酬と信用割り当ての問題である。これは、どのレイヤーが原因か、検証すべき仮説、次のテストを特定せずに障害を報告する一方、単一のエンドツーエンドベンチマーク実行には数時間を要する。Z.aiは、シニアエンジニアの暗黙のプロセス報酬を「高密度フィードバック」として明示化した。すなわち、正確性、システム動作、パフォーマンスの3つのシグナルクラスを持つ階層的検証インターフェースであり、それぞれが局所的、低コスト、かつ客観的に検証可能であることが求められる。これにより、エージェントに能力を追加するのではなく、エージェントのための環境を設計している。
3つの修正が3つの異なるエージェント能力を示す
エージェントは、各能力に1つずつ、代表的な3つの問題を発見し修正した。数値的正確性の帰属:TF32丸め誤差がKDAコンテキスト並列パス内の連鎖状態行列マージを通じて蓄積され、シーケンス長に応じて拡大する精度ドリフトを引き起こした。修正はオープンソースのFlash Linear Attentionにマージされた。言語横断的なシステムデバッグ:KVキャッシュ転送がDeepEPディスパッチと重複しなかった理由は、ノード内パスがPython/C++境界でGILを解放できなかったためであり、修正後、オーバーヘッドは30%超から1%未満に低下した。コードベース横断的なパターン転送:デコードカーネルがチャンク化により同じ正規化を4回再計算していた。SGLang、FLA、DeepGEMMのカーネルから抽出した「最適化スケルトン」を用いた再構成により、1.71倍の高速化を達成した。
人間が目標、環境、高リスクなレビューを担う
両方の記事は境界を強調している。人間が目標を定義し、フィードバック環境を構築し、高リスクな変更をすべてレビューする。唐傑氏はこれを最も重要な教訓と位置づけ、個々の最適化よりも重要だと述べた。導き出された役割の変化は、エンジニアが問題を解決する人からフィードバックを設計する人へと移行することである。高密度フィードバックインターフェースは、合成ベンチマークではなく実際のインフラタスクに基づいて構築されており、シニアエンジニアの優位性はすでに暗黙のプロセス報酬(タイムラインの確認、マイクロベンチマークの実行、レイヤー出力の比較など)にあると記事は指摘し、これらがエージェント向けツールとしてコード化されている。
フィードバック環境は訓練データのフライホイールとしても機能
指摘された最も深い含意は、実際のインフラタスクに基づく階層的で検証可能なフィードバック環境は、まさに次世代モデルの訓練に必要なものであるということだ。なぜなら、エージェントが完了するすべてのタスクが後継モデルの訓練資料となり、環境設計とデータ・フライホイールを統合するからである。唐傑氏の締めくくりの言葉:「私たちは再帰的自己改善からほど遠いが、最小限のループはすでに存在する。モデルはシステムを最適化し、システムはモデルにサービスを提供する。」公式の記事タイトルは「再帰的自己改善に向けて:GLMがいかにして自身の推論インフラを構築したか」である。