GLM-5.3、自身の推論インフラを最適化

智譜(Zhipu)は、同社のGLM-5.3-Flashモデルの推論システムが、10万基以上の国産AIアクセラレータ上で稼働し、GLM-5.3自体を搭載したAIエージェントによって最適化されたことを明らかにした。このエージェントは2週間未満でスループットを3.2倍に向上させ、再帰的自己改善への一歩を示した。
Key insights
主要成果:自己最適化
智譜は、同社のGLM-5.3-Flashモデルが現在、10万基以上の国産AIアクセラレータ上で本番推論を実行していると発表した。重要な節目は、推論システムの最適化が人間のエンジニアではなく、GLM-5.3自体によって駆動されるAIエージェントによって行われた点である。このエージェントは2週間未満でエンドツーエンドのスループットを3.2倍に向上させた。
「高密度フィードバック」手法
エージェントの主な課題は、パフォーマンスが低下した原因を診断することだった。智譜はこれを解決するために、階層化された検証インターフェースを持つ「高密度フィードバック」システムを構築した。これにより、正しさ(計算は正しいか?)、システム動作(時間はどこに費やされているか?)、パフォーマンス(どの戦略がどの条件下で勝つか?)の3種類のシグナルが提供される。このアプローチは、エージェントにより多くの能力を与えるのではなく、エージェントのための環境を設計するものである。
事例研究1:数値精度のドリフト
エージェントは、コンテキスト並列パス中にKDAカーネルの精度がシーケンス長に応じて変動することを発見した。TF32の丸め誤差がチェーン状態行列マージを通じて蓄積された。エージェントは根本原因を特定し、修正はオープンソースプロジェクトFlash Linear Attentionにマージされた。
事例研究2:並行性のボトルネック
エージェントは、KVキャッシュ転送とDeepEPディスパッチが意図した通りにオーバーラップしていないことを発見した。Python/C++境界を横断してコールチェーンを追跡したところ、DeepEP内のノード内パスがグローバルインタプリタロック(GIL)を解放しておらず、転送スレッドの実行を妨げていることが判明した。この修正により、オーバーヘッドは30%超から1%未満に削減された。
事例研究3:冗長計算
あるデコードカーネルは、そのブロッキング戦略により同じ正規化操作を4回実行していた。エージェントは計算を再構築し、1.71倍の高速化を達成した。最適化のアイデアは、エージェントがSGLang、FLA、DeepGEMMなどのプロジェクトのカーネルコードを読んで抽出した「最適化スケルトン」に由来する。
再帰的自己改善ループ
智譜のCEOである唐傑(Tang Jie)氏は、これにより閉ループが形成されると強調した。すなわち、モデルがシステムを最適化し、システムがモデルにサービスを提供する。エージェント用に構築された階層化検証環境は、将来のモデルにとって理想的なトレーニングデータとしても機能する。完了した各タスクは次世代のトレーニング例となり、データのフライホイール効果を生み出す。
エンジニアの役割の変革
唐傑氏は、エンジニアの役割が問題解決からフィードバックシステムの設計へと移行していると述べた。人間は依然として目標の定義、フィードバック環境の構築、高リスクな変更のレビューを担当する。エージェントはその構造化された枠組みの中で実行と診断を処理する。