XNews

Z.ai、GLM-5.3エージェントによるGLM-5.3-Flash推論基盤の最適化

Z.ai、GLM-5.3エージェントによるGLM-5.3-Flash推論基盤の最適化

Z.aiは、GLM-5.3駆動のエージェントによって同社のGLM-5.3-Flash推論システムが最適化され、10万台以上の国産AIアクセラレータ上で2週間未満のうちにスループットが3.2倍向上したと発表した。エージェントは高密度フィードバックシステムを用いて、3つのエンジニアリング上の問題を特定・修正した。

Key insights

制約されたハードウェア下でのエンジニアリング上のトレードオフ

最適化は厳しいハードウェア制約の下で実施された。国産アクセラレータの限られたメモリと相互接続帯域幅、未成熟なソフトウェアスタック、そして100万トークンのコンテキストとマルチモーダルリクエストへの対応が求められた。すべての最適化にはトレードオフが伴った:ReplaySSM(計算とメモリの交換)、ノード内テンソル並列化(通信とメモリの交換)、混合INT8/FP8/BF16キャッシュ(精度と容量の交換)、エンコード-プリフィル-デコードの分離(スケジューリング柔軟性のための分離)。これらのトレードオフは最終的な3.2倍のスループット向上を達成するために必要であった。

高密度フィードバックシステムという主要な革新

エージェントのデバッグおよび最適化能力は、上級エンジニアの暗黙のプロセス報酬を明示化する高密度フィードバックシステムに依存していた。3種類のシグナルが提供された:正確性(計算は正しいか?)、システム動作(時間はどこに費やされているか?)、性能(どのソリューションがどの条件下で勝るか)。各シグナルは局所的で安価かつ客観的に検証可能に設計された。このフィードバック環境により、エージェントはコストのかかるエンドツーエンドのベンチマークなしに根本原因を特定できた。

エージェントが解決した3つの実世界のエンジニアリング事例

エージェントは3つの異なる問題を発見・修正した。第一に、チェーン状態行列マージにおけるTF32丸め誤差の累積によるKDAコンテキスト並列パスの精度ドリフト。第二に、ノード内パスがGILを解放しなかったためKV転送とDeepEPディスパッチが重複せず、30%のオーバーヘッドが1%未満に低減された。第三に、ブロック分割によりデコードカーネルが同じ正規化を冗長に4回計算していた問題で、エージェントが再構成して1.71倍の高速化を達成した。これらの事例は、数値的正確性の帰属、言語横断的なデバッグ、コードベース横断的なパターン転送を示している。

人間の役割は問題解決者からフィードバック設計者へ

CEOの唐傑氏は、人間の責任範囲には目標の定義、フィードバック環境の構築、高リスク変更のレビューが含まれると強調した。エンジニアの役割は問題解決から、エージェントが問題を解決できるようにするフィードバックの設計へと進化している。この変化はプロジェクトからの重要な洞察であり、エージェントの成功はその生の能力ではなく、フィードバック基盤の品質に依存する。

再帰的自己改善ループの始まり

唐傑氏は、階層化された検証可能なフィードバック環境には二重の目的があると指摘した。それはエージェントの作業環境であると同時に、次世代モデルのトレーニングデータでもある。完了した各タスクは将来のエージェントの訓練例となる。完全な再帰的自己改善はまだ遠いが、最小の閉ループは既に存在する。すなわち、モデルがシステムを最適化し、システムがモデルを実行する。

達成された性能と規模

GLM-5.3-Flash推論システムは現在、10万台以上の国産AIアクセラレータ上で動作している。初回実行から本番稼働まで2週間未満であり、エンドツーエンドのスループットは3.2倍に向上した。国産チップにおける単一トークンあたりのコストは、主流のNvidia GPUと同等になった。これらの数値は、困難な条件下でのエージェント駆動型最適化アプローチの有効性を示している。

Source posts