XNews

GLM-5.3エージェントが自身の推論システムを最適化(スループット3.2倍)

GLM-5.3エージェントが自身の推論システムを最適化(スループット3.2倍)

Z AIのGLM-5.3-Flash推論システムは、GLM-5.3自身によって駆動されるAIエージェントにより最適化され、10万基以上の国内アクセラレータ上で2週間足らずでスループット3.2倍を達成した。エージェントは高密度フィードバックシステムを用いて、精度ドリフトや並行性ボトルネックを含む3つのエンジニアリング上の問題を特定し修正した。

Key insights

エージェント主導の最適化がスループット3.2倍を達成

Z AIは、GLM-5.3-Flashの本番推論が10万基以上の国内AIアクセラレータ上で稼働していることを明らかにした。初回実行から本番運用まで2週間足らずで、エンドツーエンドのスループットは3.2倍に向上した。最適化はGLM-5.3自身を搭載したAIエージェントによって行われた。CEOの唐傑氏は、モデルが自身を稼働させるシステムの最適化に貢献していると述べた。

困難な導入環境

この導入では、メモリと帯域幅が限られた国内アクセラレータを使用し、ソフトウェアスタックも未成熟(カーネル欠落、推測によるドキュメント)であった。さらに、100万トークンのコンテキストとマルチモーダル要求への対応が求められた。すべての最適化にはトレードオフが伴った。ReplaySSM(メモリと引き換えに計算)、ノード内テンソル並列(メモリと引き換えに通信)、INT8/FP8/BF16混在キャッシング(容量と引き換えに精度)、エンコード・プリフィル・デコード分離(スケジューリングと引き換えに柔軟性)である。最終的なトークンあたりコストは、主流のNvidia GPUと同等になった。

高密度フィードバックシステムが主要な実現要因

エージェントの主なボトルネックはコードを書くことではなく、性能が低下した理由を理解することだった。スループット20%の低下は、信用割当問題を伴う疎な報酬である。Z AIは、3種類のシグナルからなる高密度フィードバックシステムを構築した。正確性(正しいか?)、システム動作(時間はどこで費やされるか?)、性能(どの解決策がどの条件で勝つか?)である。各シグナルは局所的で安価で、客観的に検証可能である。これにより、エンジニアの役割は問題解決者からフィードバック設計者へと変わる。

発見され修正された3つのエンジニアリング上の問題

エージェントは3つの実際の問題を発見した。(1) KDAコンテキスト並列パスにおける精度ドリフト。チェーン状態行列のマージでTF32丸め誤差が蓄積したことが原因である。(2) ノード内パスがGILを解放しなかったため、KV転送とDeepEPディスパッチがオーバーラップしなかった。(3) タイル化により、デコードカーネルが同じ正規化を4回再計算していた。修正内容は、それぞれFlash Linear Attentionへの統合、オーバーヘッドの30%から1%未満への削減、1.71倍の高速化である。

再帰的自己改善への含意

唐傑氏は、高密度フィードバック環境が二重の目的を果たすと強調した。すなわち、エージェントの作業環境であると同時に、将来のモデル向けのトレーニングデータでもある。完了した各タスクは後継モデルのトレーニング材料となる。同氏は「再帰的自己改善にはほど遠いが、最小のループはすでに存在する。モデルがシステムを最適化し、システムがモデルを実行する」と述べた。

Source posts