GLM再帰的自己改善インフラストラクチャに関する記事
智譜AIは、GLM-5.3-Flashが10万台以上の国内アクセラレータ上で動作し、自己最適化によりスループットが3.2倍向上したと発表した。エージェントが3つの実際のエンジニアリング問題(精度ドリフト、GILボトルネック、冗長計算)を特定・修正し、1つのカーネルで1.71倍の高速化を達成した。同社はこれを再帰的自己改善に向けた最小ループと呼んでいる。
Key insights
GLM-5.3-Flash、大量の国内アクセラレータに展開、スループット3.2倍向上
GLM-5.3-Flashのすべての本番推論は現在、10万台以上の国内AIアクセラレータ上で動作している。初回実行から本番稼働まで2週間未満で、エンドツーエンドのスループットが3.2倍向上した。最適化はGLM-5.3自身によって駆動されるAIエージェントによって実行された。
国内アクセラレータにおける厳しい展開条件
国内アクセラレータはメモリと帯域幅が限られ、ソフトウェアエコシステムが未成熟でドキュメントも不足している。最適化には、メモリと計算のトレードオフ(ReplaySSM)、通信と計算のトレードオフ(テンソル並列化)、精度のトレードオフ(INT8/FP8/BF16ハイブリッドキャッシュ)、アーキテクチャ分離(エンコード-プリフィル-デコード分割)が含まれる。最終的なトークンコストは主流のNVIDIA GPUと同等になった。
密なフィードバックメカニズムによりエージェントがシニアエンジニアのようにデバッグ可能に
エージェントは階層的な検証インターフェース(正確性、システム動作(所要時間)、パフォーマンス(どの戦略がどの条件下で優れているか))を通じて密なフィードバックを収集した。これにより、スパースな報酬(例:スループット低下)だけでは不十分な問題を特定できるようになった。このアプローチは経験豊富なエンジニアの「プロセス報酬」の直感を模倣している。
エージェントが修正した3つの実際のエンジニアリング問題
エージェントは3つの問題を発見・修正した。(1) KDAカーネルにおける精度ドリフト(長いコンテキストでTF32丸め誤差が蓄積)。(2) DeepEPのノード内パスがGILを解放しないため、KVキャッシュ転送と計算が重ならない同時実行ボトルネック。(3) デコードカーネルにおける重複正規化(同じ正規化を4回再計算)。 (3)の修正により1.71倍の高速化を達成。
人間のエンジニアは依然として目標設定と高リスク変更のレビューを担当
智譜AIのCEOである唐傑氏は、人間のエンジニアが目標設定、フィードバック環境構築、高リスク変更のレビューを引き続き担当すると強調した。しかし、エンジニアの役割は問題解決者からフィードバック設計者へと移行している。エージェントが完了したタスクは次世代モデルのトレーニング資料となる。
再帰的自己改善に向けた最小ループを達成
唐傑氏は、完全な再帰的自己改善にはほど遠いが、最小の閉ループが存在すると述べた。モデルがシステムを最適化し、システムがモデルを実行する。実際のインフラストラクチャタスクに基づいて構築された階層的な検証可能フィードバック環境は、まさに次世代モデルのトレーニングに必要なものである。