XNews

GLM-5.3-Flash、自身のAIエージェントによる推論最適化

GLM-5.3-Flash、自身のAIエージェントによる推論最適化

Z.ai(Zhipu)は、GLM-5.3-Flashの本番推論が10万基以上の国内アクセラレータ上で、GLM-5.3自身を搭載したAIエージェントによって最適化されたと発表した。エージェントは2週間足らずでエンドツーエンドのスループットを3.2倍に向上させ、高密度フィードバックシステムを通じて精度ドリフトやカーネルの非効率性などの問題を修正した。

Key insights

2週間で3.2倍のスループット向上

Z.ai(Zhipu)は、GLM-5.3-Flashの本番推論システムが10万基以上の国内AIアクセラレータ上で動作し、エンドツーエンドのスループットを3.2倍向上させたと報告した。最適化は最初の実行から本番稼働まで2週間未満で完了した。このシステムは100万トークンのコンテキストとマルチモーダルリクエストをサポートする。

GLM-5.3搭載のAIエージェントが最適化を実施

最適化作業は、GLM-5.3自身を搭載したAIエージェントによって行われた。ZhipuのCEOである唐傑氏は、モデルがそれを実行しているシステムの最適化を支援したと述べた。エージェントは、正確性(計算は正しいか?)、システム動作(時間はどこに費やされているか?)、パフォーマンス(どのソリューションがどの条件で勝つか?)という3種類のシグナルを持つ高密度フィードバックシステムを使用した。各シグナルは局所的で、低コストで、客観的に検証可能だった。

具体的な修正:KDAカーネルでの精度ドリフト

エージェントは、コンテキスト並列パス中にチェーン状の状態行列マージでTF32丸め誤差が蓄積し、シーケンス長に応じて悪化する精度ドリフトを引き起こすことを発見した。この修正は、オープンソースプロジェクトFlash Linear Attentionにマージされた。

具体的な修正:KV転送とDeepEPディスパッチのオーバーラップ

エージェントは、KVキャッシュ転送とDeepEPディスパッチが意図したようにオーバーラップしていないことを発見した。Python/C++境界をまたいでコールチェーンをトレースすることにより、DeepEPのノード内パスがグローバルインタプリタロック(GIL)を解放せず、転送スレッドの実行を妨げていることを特定した。修正後、オーバーヘッドは30%超から1%未満に低下した。

具体的な修正:デコードカーネルの繰り返し正規化

デコードカーネルはタイル化により同じ正規化を4回計算していた。エージェントは計算を再構成し、1.71倍の高速化を達成した。最適化のアイデアは、SGLang、FLA、DeepGEMMのカーネルコードを読み、'最適化スケルトン'を抽出したことから得られた。

エンジニアリング上の制約とトレードオフ

導入環境には深刻な制約があった:国内アクセラレータのメモリと相互接続帯域幅の限界、カーネルやドキュメントが不足している未成熟なソフトウェアスタック。すべての最適化にはトレードオフが伴った:ReplaySSM(メモリのための計算)、ノード内テンソル並列(メモリのための通信)、INT8/FP8/BF16混在キャッシュ(容量のための精度)、エンコード-プリフィル-デコード分離(スケジューリング柔軟性のための分離)。

再帰的自己改善に向けて

唐傑氏は、エージェントのために構築された高密度フィードバック環境は、将来のモデルにとっても貴重なトレーニングデータであると強調した。完了した各タスクは後継者のトレーニング例となる。彼は、再帰的自己改善はまだ遠いが、最小の閉ループはすでに存在すると述べた:モデルがシステムを最適化し、システムがモデルにサービスを提供する。エンジニアの役割は、問題解決者からフィードバック設計者へと移行する。

Source posts