XNews

ジプー GLM-5.3 エージェント、自身の推論システムを最適化

ジプー GLM-5.3 エージェント、自身の推論システムを最適化

智譜AIは、GLM-5.3を搭載したInfra Agentが、10万基以上の中国国内のAIアクセラレーター上で、2週間足らずでGLM-5.3-Flash推論システムを最適化し、スループットを3.2倍に向上させたことを明らかにした。エージェントは、高密度フィードバックシステムを用いて、精度ドリフトや同時実行ボトルネックなどの実際のエンジニアリング問題を修正した。

Key insights

エージェント主導による困難なハードウェアでの最適化

最適化は、メモリと帯域幅が限られた中国国内のアクセラレーター上で、1Mトークンコンテキストのマルチモーダルリクエストを実行して行われた。Infra Agentは、4つの主要なトレードオフを適用した:計算をメモリに(ReplaySSM)、通信をメモリに(テンソル並列化)、精度を容量に(INT8/FP8/BF16ハイブリッドキャッシュ)、分離をスケジューリングの柔軟性に(エンコード-プリフィル-デコード分離)。最終的なトークンあたりのコストは、主流のNvidia GPUに匹敵した。

高密度フィードバック設計:スパースな報酬から実行可能なシグナルへ

智譜は、主なボトルネックはコード作成ではなく、パフォーマンスが低下した原因の診断であることを特定した。彼らは、3つのシグナルタイプを提供する階層的な検証インターフェースを構築した:正確性(計算精度)、システム動作(時間配分)、パフォーマンス(条件下でのソリューションの優位性)。各シグナルは局所的で、安価で、客観的に検証可能であり、エージェントにスパースな報酬ではなく明示的な「プロセス報酬」を効果的に与える。

エージェントが発見・修正した3つの実世界のバグ

エージェントは、3つの重要なエンジニアリング問題を発見し修正した。第一に、KDAコンテキスト並列パスにおけるTF32丸め誤差が精度ドリフトの連鎖的蓄積を引き起こした;修正はFlash Linear Attentionにマージされた。第二に、KV転送とDeepEPディスパッチが重複できなかった。これは、ノード内パスがGILを解放できず、同時実行ボトルネックを隠していたためである。第三に、デコードカーネルが同じ計算を4回正規化していた;エージェントは、オープンソースカーネルから抽出した最適化パターンを使用して、それを再構築し1.71倍の高速化を実現した。

再帰的自己改善への影響

智譜のCEOは、階層的な検証可能なフィードバック環境は二重の目的を果たすと述べた:それはエージェントの作業環境であり、同時に将来のモデルのためのトレーニングデータでもあり、完了した各タスクが後継のトレーニング例となる。彼らはこれを、再帰的自己改善に向けた「最小の閉ループ」と表現した。そこでは、モデルがシステムを最適化し、システムがモデルにサービスを提供する。

Source posts