GLM-5.3、AIエージェントによる推論自己最適化

智譜AI(Zhipu AI)は、GLM-5.3-Flashの推論が国内の10万台以上のアクセラレータ上で稼働しており、2週間足らずでスループットが3.2倍に向上したと発表した。最適化はGLM-5.3自身が駆動するAIエージェントによって行われ、緻密なフィードバックシステムを用いて精度ドリフトや並行処理のボトルネックなどの問題を特定・修正した。
Key insights
AIエージェント、国内ハードウェアで3.2倍のスループット向上を達成
智譜AIは、メモリと帯域幅が限られた国内のAIアクセラレータ10万台以上にGLM-5.3-Flashをデプロイした。GLM-5.3を搭載したAIエージェントが2週間足らずで最適化を完了し、エンドツーエンドのスループットを3.2倍に向上させた。エージェントはReplaySSM、テンソル並列処理、混合精度キャッシング、エンコード-プリフィル-デコード分離などの手法を用いて、リソースとパフォーマンスのトレードオフを実現した。
緻密なフィードバックシステムによりエージェントがパフォーマンス問題を診断
エージェントはスループット低下時に疎な報酬とクレジット割り当ての問題に直面した。智譜AIは、緻密なフィードバックを提供する階層型検証インターフェースを構築した。すなわち、正確性シグナル(計算は正しいか?)、システム動作シグナル(時間はどこに費やされているか?)、パフォーマンスシグナル(どのソリューションがどの条件下で勝つか?)である。各シグナルは局所的で低コスト、かつ客観的に検証可能である。
エージェントが発見・修正した3つの実世界のバグ
エージェントは3つのエンジニアリング上の問題を発見し修正した。すなわち、チェイン状態行列のマージにおけるTF32丸め誤差の蓄積によるKDAカーネルの精度ドリフト、ノード内パスがGILを解放しないためにKV転送とDeepEPディスパッチが重複できなかった並行処理のボトルネック、そしてタイリングにより同じ正規化を4回再計算していたデコードカーネルである。これらの修正によりパフォーマンスが向上し、オープンソースプロジェクトにマージされた。
エンジニアの役割、問題解決者からフィードバック設計者へ
智譜AIのCEOである唐傑氏は、システムの境界は人間によって定義されると述べた。すなわち、目標設定、フィードバック環境の構築、リスクの高い変更のレビューである。エンジニアの役割は問題解決からフィードバックループの設計へと進化している。緻密なフィードバック環境は将来のモデルのトレーニングデータとしても機能し、データのフライホイールを生み出す。
再帰的自己改善ループ、最小だが現実的
唐傑氏は、このシステムは再帰的自己改善の最小限の閉ループを表していると指摘した。すなわち、モデルがシステムを最適化し、システムがモデルにサービスを提供する。完了した各タスクは次世代のトレーニング材料となる。完全な再帰的改善には程遠いが、基盤は整っている。