Zhipu AIによるGLM-5.3-Flash推論最適化

Zhipu AIは、10万台以上の国産アクセラレータ上で動作するGLM-5.3-Flash推論システムが、GLM-5.3を搭載したAIエージェントによって最適化されたと発表した。このエージェントは2週間未満でエンドツーエンドのスループットを3.2倍に向上させ、ReplaySSMや混合精度キャッシングなどの技術を用いてハードウェアの制約を克服した。
Key insights
AIエージェント、国産アクセラレータで3.2倍のスループット向上を達成
Zhipu AIのGLM-5.3-Flashモデルは、10万台以上の国産AIアクセラレータにデプロイされ、GLM-5.3を搭載したAIエージェントによって最適化された。エージェントは2週間未満で最適化を完了し、エンドツーエンドのスループットを3.2倍に向上させた。主要な技術には、ReplaySSM(計算とメモリのトレードオフ)、ノード内テンソル並列処理(通信とメモリのトレードオフ)、混合INT8/FP8/BF16キャッシング(精度と容量のトレードオフ)が含まれる。このデプロイメントは、限られたメモリ、帯域幅、未成熟なソフトウェアスタックなどの制約に直面したが、エージェントの作業により、単一トークンのコストが主流のNVIDIA GPUと同等になった。
エージェントデバッグフレームワーク、密なフィードバック信号を活用
最適化プロセスにおいて、エージェントの主な課題はコードを書くことではなく、パフォーマンスが低下する原因を診断することであることが明らかになった。Zhipu AIはこれに対処するため、密なフィードバック信号を持つ階層的な検証インターフェースを作成した。すなわち、正確性(計算が正しいか)、システム動作(時間がどこに費やされているか)、パフォーマンス(どのソリューションがどの条件下で勝るか)である。各信号は、局所的で、低コストで、客観的に検証可能であるという基準を満たしていた。このフレームワークにより、エージェントは3つの実際の問題(KDAカーネルにおける精度のずれ、DeepEPのノード内パスにおけるGILボトルネック、デコードカーネルにおける冗長な正規化)を特定し修正することができ、あるケースでは1.71倍の高速化を達成した。
エンジニアの役割、問題解決者からフィードバック設計者へ
Zhipu AIのCEOである唐傑氏は、重要な教訓は個々の最適化ではなく、エンジニアの役割の変化にあると述べた。人間は現在、目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする一方、AIエージェントが実際の最適化作業を担当する。このアプローチにより、エージェントの暗黙的な経験が明示的で階層的な検証インターフェースに変換される。唐氏は、この環境は次世代モデルのトレーニングデータとしても機能し、データフライホイールを生み出すと指摘した。また、再帰的自己改善はまだ遠いが、最小の閉ループはすでに存在している、すなわちモデルがシステムを最適化し、システムがモデルを実行する、と強調した。