XNews

Zhipu GLM-5.3-Flash、自身の推論システムを最適化

Zhipu GLM-5.3-Flash、自身の推論システムを最適化

Zhipu AIは、GLM-5.3-Flashの推論システムがGLM-5.3駆動のエージェントによって最適化され、10万台以上の中国国産AIアクセラレータ上で2週間以内にスループットを3.2倍に達成したと発表した。エージェントは高密度フィードバック環境を用いて、3つの実際のエンジニアリング問題を発見し修正した。

Key insights

GLM-5.3エージェントが自社の推論インフラを最適化

Zhipu AIは、GLM-5.3-Flashの本番推論が現在10万台以上の中国国産AIアクセラレータ上で稼働していることを明らかにした。初回実行から本番稼働までの最適化は2週間未満で、エンドツーエンドのスループットは3.2倍に向上した。この作業は人間のエンジニアではなく、GLM-5.3を搭載したAIエージェントによって行われた。CEOの唐傑氏は、モデルがそれ自体を実行しているシステムの最適化に貢献したと述べた。

最適化は制約のあるハードウェア下でのトレードオフだった

導入環境は、中国国産アクセラレータのメモリと帯域幅が限られ、ソフトウェアスタックが未成熟で、100万トークンのコンテキストとマルチモーダル要求への対応が求められた。最適化には、ReplaySSM(計算とメモリの交換)、ノード内テンソル並列(通信とメモリの交換)、INT8/FP8/BF16混在キャッシュ(精度と容量の交換)、エンコード・プリフィル・デコード分離(柔軟性とスケジューリングの交換)が含まれる。これらのトレードオフにより、主流のNVIDIA GPUと同等の単一トークンあたりのコストを実現した。

高密度フィードバック環境がエージェントの根本原因特定を可能に

重要な知見は、エージェントがコードを書けないからではなく、性能が低下した理由を理解できなかったために行き詰まるという点だった。Zhipuは、正しさ(計算は正しいか)、システムの挙動(時間はどこで費やされるか)、性能(どのソリューションがどの条件下で優れるか)という高密度フィードバックを提供する階層的検証インターフェースを構築した。各シグナルは局所的で低コスト、かつ客観的に検証可能だった。これにより、エージェントの暗黙的なプロセス報酬が明示的なシグナルへと変換された。

エージェントが発見し修正した3つの実際のエンジニアリング問題

エージェントは次の3つの問題を特定し解決した。(1)KDAコンテキスト並列パスにおける精度ドリフト。チェーン状態行列のマージでTF32丸め誤差が蓄積することが原因で、Flash Linear Attentionで修正された。(2)ノード内パスがGILを解放しないため、KV転送とDeepEPディスパッチがオーバーラップせず、修正によりオーバーヘッドは30%から1%未満に低下した。(3)タイル化によってデコードカーネルが同じ正規化を4回再計算していた問題。エージェントはSGLang、FLA、DeepGEMMから抽出した最適化スケルトンを使用して計算を再構成し、1.71倍の高速化を達成した。

エンジニアの役割は問題解決者からフィードバック設計者へ

唐傑氏は、人間が依然として目標を定義し、フィードバック環境を構築し、高リスクの変更をレビューすると強調した。しかし、エンジニアの役割は問題解決からフィードバックシステムの設計へと進化している。高密度フィードバック環境には二重の目的がある。エージェントの作業を可能にし、将来のモデル向けのトレーニングデータも生成する。完了した各タスクは後継モデルのトレーニング材料となり、データのフライホイールを生み出す。

Source posts