GLM-5.3-Flashの推論インフラ、自身のAIエージェントにより最適化

Z.aiは2026年9月17日、10万台以上の国産AIアクセラレータ上で動作するGLM-5.3-Flashモデルが、2週間足らずでエンドツーエンドのスループットを3.2倍に向上させたと発表した。この最適化は、ReplaySSM、テンソル並列処理、混合精度キャッシング、エンコード・プリフィル・デコード分離などの技術を適用した、GLM-5.3を搭載したインフラエージェントによって実現された。
Key insights
エージェントによる3つの実際のエンジニアリングバグの発見
インフラエージェントは3つの本番環境の問題を発見し修正した。第一に、KDA畳み込みの並列パスにおけるTF32丸め誤差が、長いシーケンスで精度のずれを引き起こしていた。第二に、KVキャッシュ転送がDeepEPディスパッチとオーバーラップできなかった。これはノード内部パスがGILを解放せず、送信スレッドがブロックされたままになったためである。第三に、デコードカーネルがタイリング構造により同じ正規化を4回再計算していた。エージェントはこれを再構成し、1.71倍の高速化を達成した。
中核的実現要因としての密なフィードバック環境
Z.aiは、3種類のシグナルを提供する階層型検証インターフェースを構築した。すなわち、正確性(計算は正しいか)、システム動作(時間はどこで費やされているか)、パフォーマンス(どのソリューションがどの条件下で勝るか)である。各シグナルは局所的で、取得コストが低く、客観的に検証可能でなければならない。これにより、エージェントのスパースな報酬問題が密なフィードバック環境に変わり、仮説ごとに高コストなエンドツーエンドのベンチマークを実行することなくデバッグが可能となる。
新たなエンジニアの役割:問題解決者からフィードバック設計者へ
Z.aiのCEOである唐傑氏は、ボトルネックはコード作成ではなく、「なぜ悪化したのか」を理解することにあると述べた。密なフィードバック環境は、シニアエンジニアが用いる暗黙のプロセス報酬を外部化する。人間は依然として目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする。その結果得られるアプローチは、完了した各タスクを次世代モデルの訓練データとして扱い、再帰的な改善ループを生み出す。
国産ハードウェア上でNVIDIA GPUと同等の性能とコスト
限られたメモリと帯域幅の10万台以上の国産AIアクセラレータ上で動作する最適化されたGLM-5.3-Flashは、主流のNVIDIA GPUとトークンあたりのコストで同等を達成した。このモデルは100万トークンのコンテキストとマルチモーダル入力をサポートする。主要なトレードオフとして、計算とメモリの交換(ReplaySSM)、通信とメモリの交換(テンソル並列処理)、精度と容量の交換(INT8/FP8/BF16キャッシング)、分離とスケジューリング柔軟性の交換が含まれる。