XNews

Z AIのInfra AgentがGLM-5.3-Flashを最適化:2週間でスループット3.2倍

Z AIのInfra AgentがGLM-5.3-Flashを最適化:2週間でスループット3.2倍

Z AIはInfra Agentを用いて、国産アクセラレータ上でGLM-5.3-Flashを最適化し、2週間でスループットを3.2倍に向上させました。このエージェントはReplaySSM、テンソル並列処理、混合精度キャッシュ、エンコード-プリフィル-デコード分離などの手法を適用しました。重要な知見として、ボトルネックはコーディングではなく、密なフィードバック信号を通じて「なぜパフォーマンスが低下したのか」を診断することでした。

Source posts