XNews

Zhipu AIエージェントによるGLM-5.3-Flash最適化

Zhipu AIエージェントによるGLM-5.3-Flash最適化

智譜AIは、10万基以上の国内AIアクセラレータ上で稼働するGLM-5.3-Flash推論システムが、GLM-5.3を搭載したエージェントによって最適化されたと発表した。このエージェントは、専門家の直感を検証可能なインターフェースに変換する高密度フィードバック環境を実装し、約2週間でエンドツーエンドのスループットを3.2倍に向上させた。

Key insights

工学的制約と最適化のトレードオフ

デプロイ環境は困難を極めた。限られた国内アクセラレータのメモリと相互接続帯域幅、100万トークンのコンテキスト、マルチモーダルリクエスト、未成熟なソフトウェアスタックなどである。そのため、すべての最適化にはトレードオフが伴った。すなわち、ReplaySSM(計算とメモリの交換)、ノード内テンソル並列処理(通信とメモリの交換)、INT8/FP8/BF16混合キャッシング(精度と容量の交換)、エンコード-プリフィル-デコード分離(スケジューリングの自由度を得るための分離)である。

診断のボトルネック:疎な報酬とクレジット割り当て

重要な難しさはコードを書くことではなく、パフォーマンスが低下した理由を理解することだった。「スループット20%低下」は疎な報酬であり、クレジット割り当ての問題である。何かが間違っていることを示すが、どの層や仮説をテストすべきかは示さない。エンドツーエンドのベンチマークは数時間を要し、探索のコストが高くなる。経験豊富なエンジニアは、タイムラインやマイクロベンチマークをいつ確認すべきかを知るために、暗黙の「プロセス報酬」に依存している。

高密度フィードバック環境:3種類のシグナル

智譜AIは、この暗黙知を3種類のシグナルを持つ高密度フィードバック環境によって明示化した。すなわち、正しさ(計算は正しいか)、システム動作(時間はどこで費やされているか)、パフォーマンス(どの条件下でどのソリューションが勝つか)である。各シグナルは局所的で、安価で、客観的に検証可能でなければならない。これは、エージェントの能力にパッチを当てるのではなく、エージェントのための環境を設計することに他ならない。

ケーススタディ1:TF32丸め誤差によるKDA精度のドリフト

エージェントは、コンテキスト並列パスにおいてKDAカーネルの精度がシーケンス長とともにドリフトすることを発見した。TF32の丸め誤差が連鎖的な状態行列マージを通じて蓄積され、長いコンテキストで精度が低下した。修正はオープンソースのFlash Linear Attentionプロジェクトにマージされた。

ケーススタディ2:GILによるKV転送とDeepEPディスパッチの非オーバーラップ

KVキャッシュ転送は計算とオーバーラップするはずだったが、エージェントはそれらが決してオーバーラップしていないことを発見した。Python/C++の境界を跨いだ呼び出しチェーンを追跡した結果、DeepEPのノード内パスがグローバルインタプリタロック(GIL)を解放しておらず、転送スレッドの実行を妨げていることが判明した。これを修正することで、オーバーヘッドが30%超から1%未満に低減された。

ケーススタディ3:デコードカーネルの重複正規化

エージェントは、ブロック分割方式により同じ正規化を4回計算しているデコードカーネルを発見した。計算構造を再編成し、1.71倍の高速化を達成した。最適化のアイデアは、SGLang、FLA、DeepGEMMのカーネルコードを読み、「最適化スケルトン」を抽出したことから得られた。

エンジニアの役割の変化と再帰的自己改善の洞察

智譜AIのCEOである唐傑氏は、目標の設定、フィードバック環境の構築、リスクのある変更の審査といった境界は依然として人間にあると強調した。しかし、エンジニアの役割は問題解決者からフィードバック設計者へと移行している。より深い意義は、この階層的な検証可能なフィードバック環境が二重の目的を果たすことにある。すなわち、エージェントの作業空間であると同時に、次世代モデルのトレーニングデータでもある。唐氏はこう結論付けた。「我々は再帰的自己改善には程遠いが、最小のループはすでに存在する。モデルがシステムを最適化し、システムがモデルに奉仕する。」

Source posts