XNews

GLM-5.3エージェント、自身の推論システムを最適化

GLM-5.3エージェント、自身の推論システムを最適化

智谱AIは、GLM-5.3-Flashモデルの推論システムが、GLM-5.3自身によって駆動されるAIエージェントによって最適化されたことを明らかにした。このシステムは10万台以上の国産AIアクセラレータ上で動作している。エンドツーエンドのスループットは2週間で3.2倍に向上し、主要な最適化はすべてエージェントによって実行された。

Key insights

エージェントが密なフィードバックを用いて3つの実際のエンジニアリング問題を解決

エージェントは、KDAカーネルにおける精度ドリフト(TF32丸め誤差の蓄積)、KVキャッシュ転送のオーバーラップ失敗による並行性ボトルネック(GILが解放されていないため)、およびデコードカーネルにおける冗長計算(正規化が4回計算される)を特定し修正した。各修正は、正確性、システム動作、パフォーマンスシグナルを提供する層状検証環境によって可能となった。

最適化は国産ハードウェア制約下でのトレードオフ

限られたメモリと帯域幅を持つ中国製アクセラレータへの展開はトレードオフを強制した:ReplaySSMは計算とメモリを交換、ノード内テンソル並列処理は通信とメモリを交換、混合INT8/FP8/BF16キャッシュは精度と容量を交換、エンコード-プリフィル-デコード分離は分離とスケジューリングの柔軟性を交換した。単一トークンあたりのコストは主要なNvidia GPUに匹敵した。

人間の役割が問題解決者からフィードバック設計者へ

智谱AIのCEOである唐傑氏は、人間は依然として目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューすると強調した。密なフィードバック層は明示的なプロセス報酬の一形態であり、エージェントが問題を特定することを可能にする。この環境はその後のモデルのトレーニングデータとしても機能し、モデルがシステムを最適化し、システムがモデルにサービスを提供する閉ループを形成する。

Source posts