智谱AI、GLM-5.3-Flashが自らの推論システムを最適化

智谱AIは、GLM-5.3-Flashの本番推論が10万台以上の国産AIアクセラレータ上で動作し、エンドツーエンドのスループットが2週間未満で3.2倍に向上したと発表した。この最適化はGLM-5.3自身が搭載するAIエージェントによって行われ、精度のドリフトや並行処理のボトルネックなど3つの実際の工学的問題が発見・修正された。
Key insights
自己最適化の成果
智譜AIは、GLM-5.3-Flashの本番推論全体が現在10万台以上の国産AIアクセラレータ上で動作していることを明らかにした。初回実行から本番展開まで2週間未満で、エンドツーエンドのスループットは3.2倍に向上した。最適化作業は人間のエンジニアではなく、GLM-5.3が駆動するAIエージェントによって行われた。CEOの唐傑氏は、モデルが自身が動作するシステムの最適化を支援したと強調した。
工学的課題とトレードオフ
展開環境は過酷だった。国産アクセラレータ上の限られたメモリと帯域幅、未成熟なソフトウェアスタック(カーネル欠落や推測に基づくドキュメント)などである。モデルは100万トークンのコンテキストとマルチモーダルリクエストをサポートする。最適化には、ReplaySSM(計算とメモリのトレードオフ)、ノード内テンソル並列処理(通信とメモリのトレードオフ)、混合INT8/FP8/BF16キャッシング(精度と容量のトレードオフ)、エンコード・プリフィル・デコード分離(スケジューリング柔軟性のための分離)などのトレードオフが伴った。
緻密なフィードバックシステム
重要な革新は、エージェントに「緻密なフィードバック」を提供する階層型検証インターフェースの構築だった。3つの信号タイプがある。正しさ(計算は正しいか?)、システム動作(時間はどこで費やされているか?)、パフォーマンス(どのソリューションがどの条件下で勝るか?)である。各信号は局所的で低コスト、かつ客観的に検証可能である。これにより、上級エンジニアがデバッグに使用する暗黙的なプロセス報酬が外部化される。
発見・修正された3つの実際のバグ
エージェントは3つの工学的問題を発見し修正した。第一に、KDAカーネルにおける精度ドリフト。TF32の丸め誤差が連鎖的な状態行列マージを通じて蓄積され、コンテキストが長くなるほど悪化した。第二に、並行処理のボトルネック。KV転送とDeepEPディスパッチが決してオーバーラップしなかった。これはノード内パスがGILを解放しなかったためである。第三に、冗長計算。デコードカーネルがブロック分割により同じ正規化を4回再計算していた。エージェントはこれを再構成し、1.71倍の高速化を達成した。
エンジニアの役割の変革
CEOの唐傑氏は、ボトルネックはコードを書くことではなく、なぜパフォーマンスが低下するのかを理解することにあると指摘した。緻密なフィードバックシステムは、エンジニアの役割を問題解決者からフィードバック設計者へとシフトさせる。人間は依然として目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする。エージェントは反復的な最適化ループを処理する。
再帰的自己改善のビジョン
唐傑氏は、より深い含意を強調した。このタスクのために構築された階層型検証可能フィードバック環境は、次世代モデルの理想的なトレーニングデータでもある。完了した各タスクは、後続モデルのトレーニング例となる。同氏は「再帰的自己改善にはほど遠いが、最小の閉ループはすでに存在している。モデルがシステムを最適化し、システムがモデルにサービスを提供する」と述べた。