XNews

GLM-5.3-Flash推論の自己最適化:インフラエージェントによる実現

GLM-5.3-Flash推論の自己最適化:インフラエージェントによる実現

智譜AIは、GLM-5.3-Flashの推論が10万基以上の国内AIアクセラレータ上で稼働し、エンドツーエンドのスループットが2週間足らずで3.2倍向上したと発表した。この最適化は、GLM-5.3自身が駆動するAIエージェントによって実行され、階層的な高密度フィードバックシステムを用いて3つの実際のエンジニアリング問題を特定し修正した。

Key insights

インフラ制約とトレードオフ

展開環境には深刻な制約があった:国内アクセラレータの限られたメモリとインターコネクト帯域幅、100万トークンのコンテキスト、マルチモーダルリクエスト、カーネルやドキュメントが欠落した未成熟なソフトウェアスタック。すべての最適化は意図的なトレードオフだった:ReplaySSM(計算とメモリの交換)、ノード内テンソル並列(通信とメモリの交換)、混合INT8/FP8/BF16キャッシュ(精度と容量の交換)、エンコード-プリフィル-デコード分離(分離によるスケジューリング柔軟性の獲得)。最終的な国内チップ上のトークンあたりコストは、主流のNVIDIA GPUに匹敵した。

高密度フィードバックメカニズムが中核的革新

エージェントのボトルネックはコード生成ではなく、性能劣化の原因診断だった。エンドツーエンドのベンチマークには数時間かかり、エージェントにはプロセス報酬がなかった。智譜AIは経験豊富なエンジニアの暗黙知を3つの検証シグナルカテゴリに明示的にコード化した:正確性(計算は正しいか?)、システム挙動(時間はどこで消費されるか?)、性能(どのソリューションがどの条件下で勝つか?)。各シグナルは局所的で、低コストで、客観的に検証可能である。

エージェントが発見した3つの具体的ケーススタディ

エージェントは3つの実際の問題を発見し修正した:(1) KDAカーネルの精度がシーケンス長に応じてドリフトし、連鎖状態行列マージでTF32丸め誤差が蓄積した;(2) KV転送がDeepEPディスパッチとオーバーラップできず、ノード内パスがPython/C++境界を越えてGILを解放しなかったため;(3) デコードカーネルがブロック分割により同一の正規化を4回再計算し、再構築後に1.71倍の高速化が必要だった。これらのケースは、数値正確性の帰属、クロス言語デバッグ、クロスコードベースパターン移行という3つの異なる能力を示している。

エンジニアの役割の変化:問題解決者からフィードバック設計者へ

智譜AIのCEOである唐杰氏は、人間が依然として目標を定義し、フィードバック環境を構築し、高リスクの変更をレビューすることを強調した。エンジニアの役割は、問題を直接解決することから、エージェントが問題を解決できるようにするフィードバック基盤を設計することへと進化している。この階層的な検証可能なフィードバック環境は二重の役割を果たす:エージェントの作業環境であると同時に、次世代モデルのトレーニングデータでもある。

再帰的自己改善ループと将来ビジョン

唐杰氏は次のように述べた:「再帰的自己改善にはほど遠いが、最小のループはすでに存在する:モデルがシステムを最適化し、システムがモデルを実行する。」実際のインフラタスクに基づいて構築されたフィードバック環境はデータフライホイールを生み出し、完了した各タスクが後続エージェントのトレーニング素材となる。このアーキテクチャは「一石二鳥」を目指している – 環境設計とデータフライホイールの統合である。

Source posts