XNews

AIエージェントによるZhipu GLM-5.3-Flashの推論最適化

AIエージェントによるZhipu GLM-5.3-Flashの推論最適化

Zhipu AIは、GLM-5.3-Flashモデルが10万基以上の国産AIアクセラレータ上で稼働し、推論スループットが2週間未満で3.2倍に向上したと発表した。この最適化はGLM-5.3自身が駆動するAIエージェントによって実行され、ReplaySSM、テンソル並列処理、混合精度キャッシングなどの技術が用いられた。

Key insights

エージェント主導の最適化によりスループットが3.2倍に向上

Zhipu AIは、GLM-5.3-Flashの本番推論が10万基以上の国産AIアクセラレータ上にデプロイされたことを明らかにした。初回実行から本番環境までのエンドツーエンドのスループットは、2週間足らずで3.2倍増加した。主要な最適化はすべて、人間のエンジニアではなく、GLM-5.3を搭載したAIエージェントによって実行された。デプロイ環境は厳しく、アクセラレータのメモリと帯域幅が限られ、ソフトウェアスタックが未成熟で、100万トークンのコンテキストとマルチモーダル要求に対応する必要があった。

スパース報酬に代わる高密度フィードバックシステムによるエージェントデバッグ

重要な革新は、暗黙的なエンジニアリング経験を「高密度フィードバック」と呼ばれる階層型検証インターフェースに変換した点にある。3種類の信号が定義された:正確性(計算は正しいか?)、システム動作(時間はどこで消費されているか?)、パフォーマンス(どのソリューションがどの条件下で勝るか?)。各信号は局所的で低コストかつ客観的に検証可能でなければならない。この設計により、エージェントは単に機能を追加するのではなく、探索可能な環境を得ることができる。

エージェントが発見・修正した3つの実世界のバグ

エージェントは3つの異なるエンジニアリング上の問題を発見し修正した。第1に、KDAコンテキスト並列パスにおけるTF32丸め誤差が、チェーン状態行列のマージを通じて蓄積され、長いシーケンスで精度ドリフトを引き起こしていた。第2に、KVキャッシュ転送とDeepEPディスパッチが重複できなかった。これは、ノード内パスがGILを解放せず、転送スレッドをブロックしていたためである。第3に、デコードカーネルがブロック分割により同じ正規化を4回再計算していた。エージェントはこれを再構成し、SGLang、FLA、DeepGEMMから抽出した最適化スケルトンを用いて1.71倍の高速化を実現した。

エンジニアの役割が問題解決者からフィードバック設計者へ

Zhipu AIのCEO、唐傑氏は、ボトルネックはコード記述ではなく、なぜパフォーマンスが低下するかを理解することだと強調した。エージェントのスパース報酬問題(例えば、場所を特定せずに「スループットが20%低下」)は、強化学習におけるクレジット割り当ての課題を反映している。解決策は、人間が目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューすることである。現在、エンジニアは各最適化を直接解決するのではなく、フィードバックシステムを設計する役割を担っている。

再帰的自己改善ループ:モデルがシステムを最適化し、システムがモデルを稼働させる

唐傑氏は、階層型検証環境には二重の目的があると指摘した。それはエージェントの作業環境であると同時に、次世代モデルの訓練データとしても機能する。完了した各タスクは、後続のモデルのための訓練材料となる。同氏は「再帰的自己改善にはほど遠いが、最小の閉ループは既に存在する。モデルがシステムを最適化し、システムがモデルを稼働させる」と述べた。

Source posts