GLM-5.3-Flash、自社AIエージェントによる推論最適化を実現

Zhipuは、GLM-5.3-Flashの推論が10万基以上の国産AIアクセラレータ上で動作し、2週間でスループットが3.2倍に向上したと発表した。この最適化は、GLM-5.3自身を搭載したAIエージェントが、階層型検証フィードバックシステムを用いて実施したもので、3つの実際のエンジニアリング問題を特定・修正した。
Key insights
最適化の成果と制約
GLM-5.3-Flashの推論は、メモリとインターコネクト帯域幅が限られた10万基以上の国産AIアクセラレータに展開されている。このモデルは100万トークンのコンテキストとマルチモーダルリクエストをサポートする。スループットは2週間でエンドツーエンドで3.2倍向上した。主なトレードオフとして、ReplaySSM(計算対メモリ)、ノード内テンソル並列処理(通信対メモリ)、混合INT8/FP8/BF16キャッシュ(精度対容量)、エンコード-プリフィル-デコード分離(柔軟性対スケジューリング)が挙げられる。単一トークンコストは主流のNVIDIA GPUと同等である。
AIエージェントによる最適化プロセス
最適化は、GLM-5.3自身を搭載したAIエージェントによって実施された。エージェントは疎な報酬とクレジット割り当て問題に直面した。「スループットが20%低下した」という情報は何かが間違っていることを示すが、その場所は示さない。Zhipuは、3種類のシグナル(正確性:計算は正しいか?、システム動作:時間はどこに費やされているか?、パフォーマンス:どのソリューションがどの条件下で勝つか?)からなる階層型検証フィードバックシステムを構築した。各シグナルは局所的で、低コストであり、客観的に検証可能である。
発見・修正された3つのエンジニアリング問題
エージェントは3つの実際の問題を発見した。(1) KDAコンテキスト並列パスの精度ドリフト:連鎖状態行列マージにおいてTF32丸め誤差が蓄積し、コンテキストが長くなるにつれて悪化した。(2) KV転送とDeepEPディスパッチの重複なし:エージェントはPython/C++境界を越えてコールチェーンを追跡し、ノード内パスがGILを解放せず、転送スレッドが実行されないことを発見した。(3) デコードカーネルがタイリングにより同じ正規化を4回繰り返していた:エージェントは計算を再構成し、SGLang、FLA、DeepGEMMのカーネルコードから抽出した最適化スケルトンを用いて1.71倍の高速化を実現した。
エンジニアの役割転換と再帰的自己改善のビジョン
ZhipuのCEOである唐杰氏は、ボトルネックはコードを書くことではなく、なぜ状況が悪化したのかを知ることにあると強調した。エージェントの階層型検証環境は、暗黙のエンジニア経験を明示的なシグナルに変換する。エンジニアは問題解決者からフィードバック設計者へと移行する。唐氏は、完了した各タスクが次世代モデルのトレーニング資料となり、データフライホイールを生み出すと述べた。同氏は「再帰的自己改善にはほど遠いが、最小のループはすでに存在する。モデルがシステムを最適化し、システムがモデルにサービスを提供する」と述べた。
境界と人間による監視
人間は依然として目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする。エージェントの自律性は、人間が設定したこれらのガードレールによって制限される。階層型検証システムは「一石二鳥」と表現され、エージェントの作業環境として機能すると同時に、将来のモデルのトレーニングデータとしても機能する。このアプローチはまだ完全に自律的ではないが、自己改善の最小限の閉ループを示している。