XNews

GLM-5.3-Flash、10万基以上の国産アクセラレータ上で自社推論を最適化

GLM-5.3-Flash、10万基以上の国産アクセラレータ上で自社推論を最適化

Z.aiは、GLM-5.3-Flashの全生産推論が10万基以上の国産AIアクセラレータ上で稼働し、2週間以内にスループットを3.2倍向上させたと発表した。この最適化の大部分は、GLM-5.3を搭載したAIエージェントによって実行され、高密度なフィードバック信号を用いて3つの実際のエンジニアリング問題を特定・修正した。

Key insights

制約されたハードウェア条件下でのエージェント駆動最適化

この展開は、国産アクセラレータの限られたメモリと帯域幅、100万トークンのコンテキスト、マルチモーダルリクエスト、未成熟なソフトウェアスタックなど、厳しい制約に直面した。最適化にはトレードオフが伴った:ReplaySSM(計算とメモリの交換)、ノードレベルのテンソル並列処理(通信とメモリの交換)、混合INT8/FP8/BF16キャッシング(精度と容量の交換)、エンコード・プリフィル・デコードの分離(分離とスケジューリング自由度の交換)である。

高密度フィードバック環境:エージェント成功の鍵

Z.aiのソリューションは、暗黙のエンジニアリング専門知識を明示的で階層的な検証インターフェースに変換した。3種類の信号が提供された:正確性(計算は機能するか?)、システム動作(時間はどこに費やされるか?)、パフォーマンス(どのアプローチがどの条件下で勝るか?)。各信号は、局所的で、取得コストが低く、客観的に検証可能であるという3つの基準を満たしていた。これは、エージェントの能力を高めるのではなく、エージェントのための環境を設計することとして説明されている。

エージェントが発見した3つのエンジニアリング問題とその根本原因

エージェントは3つの実際の問題を特定し修正した。第一に、KDAコンテキスト並列処理において、TF32丸め誤差が連鎖的な状態行列マージで蓄積されるため、シーケンス長に伴う精度ドリフトが発生した。第二に、KV転送とDeepEPディスパッチが重複できなかった。これは、ノード内部パスがGILを解放できず、並行性を妨げたためである。第三に、デコーダカーネルがタイル戦略により同じ正規化を4回冗長に計算していた。エージェントは、SGLang、FLA、DeepGEMMのコード読み取りから抽出された最適化スケルトンに基づき、これを再構築して1.71倍の高速化を達成した。

エンジニアの役割変化と再帰的自己改善への道筋

境界は、人間が設定した目標、フィードバック環境の設計、および高リスク変更の人間によるレビューによって定義される。エンジニアの役割は問題解決者からフィードバック設計者へと移行する。CEIのCEOであるTang Jie氏は、階層的検証環境は二重の目的を持つと指摘した:それはエージェントの作業環境であると同時に、次世代モデルのトレーニング資料でもある。同氏は次のように述べている:「再帰的自己改善にはまだほど遠いが、最小の閉ループはすでに存在する。モデルがシステムを最適化し、システムがモデルに奉仕する。」

Source posts