XNews

GLMエージェントによるGLM-5.3-Flash推論システムの自己最適化

GLMエージェントによるGLM-5.3-Flash推論システムの自己最適化

智譜AIは、GLM-5.3を搭載したエージェントが10万台以上の国産アクセラレータ上で推論システムを最適化し、2週間未満で3.2倍のスループットを達成したと発表した。エージェントは高密度フィードバックを用いて、精度、並行性、計算エラーを修正した。

Key insights

AIエージェントが2週間未満で3.2倍のスループットを達成

智譜AIは、GLM-5.3-Flashの全本番推論が現在10万台以上の国産AIアクセラレータ上で動作していると発表した。最適化は人間のエンジニアではなく、GLM-5.3によって駆動されるAIエージェントによって実行され、初回実行から本番稼働まで2週間未満でエンドツーエンドのスループットを3.2倍向上させた。このマイルストーンは、AIが厳しい制約下で複雑なインフラを自律的に最適化できることを示している。

工学的制約とトレードオフ

展開は厳しい条件下で行われた。国産アクセラレータの限られたメモリとインターコネクト帯域幅、100万トークンのコンテキスト、マルチモーダルリクエスト、カーネルやドキュメントが不足した未成熟なソフトウェアスタックなどである。すべての最適化はトレードオフを伴った。ReplaySSMは計算とメモリを交換し、テンソル並列性は通信とメモリを交換し、混合INT8/FP8/BF16キャッシングは精度と容量を交換し、エンコード-プリフィル-デコードの分離は分離とスケジューリングの柔軟性を交換した。

診断のボトルネックと高密度フィードバックによる解決策

核心的な困難はコードを書くことではなく、パフォーマンスが低下した理由を診断することだった。「スループットが20%低下した」というのは、クレジット割り当て問題を伴うスパースな報酬である。エンドツーエンドのベンチマークには数時間かかり、探索コストが高くなる。智譜AIは、上級エンジニアの暗黙的なプロセス報酬を、正しさ、システム動作、パフォーマンスの3つのシグナルからなる高密度フィードバックシステムに外部化することでこれを解決した。各シグナルは局所的で低コストかつ客観的に検証可能であり、エージェントに能力を追加するのではなく、環境を設計する効果がある。

発見・修正された3つの具体的な工学的バグ

エージェントは3つの実際の問題を発見し解決した。1) KDAコンテキスト並列処理における精度ドリフト。これはチェーン状態行列マージにおけるTF32丸め誤差の蓄積によるもの。2) KV転送とDeepEPディスパッチのオーバーラップ失敗。ノード内パスがGILを解放しなかったためで、30%以上のオーバーヘッドが1%未満に削減された。3) デコードカーネルが同じ正規化を4回再計算していた問題で、1.71倍の高速化につながった。エージェントはSGLang、FLA、DeepGEMMのカーネルコードを読むことで最適化の骨格を導き出し、コードベース間でのパターン転送を示した。

人間の役割はフィードバック設計へと移行

智譜AIのCEOである唐傑氏は、人間は依然として目標を定義し、フィードバック環境を構築し、高リスクな変更をレビューすると強調した。しかし、エンジニアの役割は問題解決者からフィードバック設計者へと進化している。これは根本的な変化であり、問題を直接修正するのではなく、AIエージェントが自律的に問題を特定し解決するための条件をエンジニアが作り出すことで、AI駆動インフラにおける人間の専門性の意味を再定義している。

フィードバック環境はトレーニングデータとしても機能

唐傑氏は、階層化された検証可能なフィードバック環境は二重の目的を果たすと指摘した。それはエージェントの作業環境であると同時に、次世代モデルのトレーニングデータの源泉でもある。完了したタスクはすべて後継のトレーニング例となり、閉ループを形成する。再帰的自己改善はまだ遠いが、最小限のループは既に存在している。「モデルがシステムを最適化し、システムがモデルを実行する」というものである。これは将来のAI開発を加速させるデータフライホイールを示唆している。

Source posts