XNews

GLM-5.3エージェント、自身の推論スタックを最適化しスループット3.2倍

GLM-5.3エージェント、自身の推論スタックを最適化しスループット3.2倍

智譜AI(Zhipu AI)は、GLM-5.3を搭載したInfra Agentが10万台以上の国産AIアクセラレータ上でGLM-5.3-Flashの推論スタックを最適化し、2週間以内にスループットを3.2倍に向上させたと発表した。エージェントは精度誤差や並行処理のボトルネックを含む3つの実際のエンジニアリング問題を発見・修正した。

Key insights

自己最適化エージェント

GLM-5.3駆動のInfra Agentは、GLM-5.3-Flashの本番推論スタックを自律的に最適化した。10万台以上の国産アクセラレータに展開され、初回実行から本番環境までのエンドツーエンドのスループットが2週間未満で3.2倍に向上した。智譜AIのCEOである唐傑氏は、最適化作業の大部分をエージェントが行ったと強調した。

困難な展開環境

国産アクセラレータはメモリと帯域幅に制限があり、ソフトウェアスタックは未成熟でカーネルが欠落し、ドキュメントも不十分である。GLM-5.3-Flashは100万コンテキストとマルチモーダル対応を必要とした。すべての最適化にはトレードオフが伴った:計算とメモリ(ReplaySSM)、通信とメモリ(テンソル並列化)、精度と容量(混合INT8/FP8/BF16)。

主要なボトルネック:パフォーマンス低下の原因の理解

エージェントはコードが書けないからではなく、パフォーマンスがなぜ低下したのか理解できないために、しばしば行き詰まった。「20%のスループット低下」は、クレジット割り当てに関するスパース報酬問題である。解決策は、正確性、システム動作、パフォーマンスシグナルからなる密なフィードバックを提供する階層的検証インターフェースを構築することであった。

エージェントが発見した3つの具体的な修正

1)KDAカーネルの精度誤差:TF32の丸め誤差が長いコンテキストでの逐次状態行列マージにより蓄積。2)KV転送とDeepEPディスパッチの重複なし:エージェントがPython/C++間の呼び出しチェーンを追跡し、GILが解放されていないことを発見。3)デコードカーネルがブロック分割により正規化を4回再計算。エージェントが計算を再構成し、1.71倍高速化。

オープンソースと知識移転

精度誤差の修正はオープンソースプロジェクトFlash Linear Attentionにマージされた。エージェントの最適化スケルトンは、SGLang、FLA、DeepGEMMのカーネルを読むことで得られた。これはコードベース間のパターン移行を示している。

エンジニアの役割の変化

唐傑氏は、エンジニアの役割が問題解決者からフィードバック設計者へと変化すると指摘した。人間は目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする一方、エージェントは最適化ループを実行する。密なフィードバック環境は、次世代モデルのトレーニングデータとしても機能する。

再帰的自己改善に向けて

論文「再帰的自己改善に向けて」は、これを最小限の閉ループとして説明している:モデルがシステムを最適化し、システムがモデルにサービスを提供する。完全な再帰的自己改善には程遠いが、AIが自らのインフラを反復的に改善できることを示している。

Source posts