智譜AI、GLM-5.3駆動のInfra Agentにより2週間でGLM-5.3-Flash推論を最適化

智譜AIは、GLM-5.3-Flash推論が10万基以上の国内アクセラレータ上で動作し、GLM-5.3駆動のInfra Agentにより2週間でスループットが3.2倍に向上したと発表した。最適化には、ReplaySSM、テンソル並列処理、混合キャッシング、パイプライン分離が含まれ、ハードウェアの制限を克服している。
Key insights
GLM-5.3搭載Infra Agent、2週間でスループット3.2倍を達成
GLM-5.3によって駆動されるInfra Agentは、10万基以上の国内AIアクセラレータにわたってGLM-5.3-Flash推論を最適化し、初回実行から本番稼働まで2週間でエンドツーエンドのスループットを3.2倍向上させた。これは、モデル駆動型エージェントがインフラ最適化を大幅に加速できることを示している。
国内ハードウェアの制約による最適化のトレードオフ
厳しいエンジニアリング上の制約には、アクセラレータのメモリと帯域幅の制限、100万トークンのコンテキスト、マルチモーダルリクエスト、未成熟なソフトウェアスタックが含まれていた。各最適化はトレードオフであった:ReplaySSM(メモリのための計算)、ノードレベルのテンソル並列処理(メモリのための通信)、混合INT8/FP8/BF16キャッシュ(容量のための精度)、エンコード-プリフィル-デコード分離(スケジューリング柔軟性のための分離)。
密なフィードバックシステムが階層的な検証信号を提供
エージェントの成功は、3種類の信号からなる密なフィードバックフレームワークに依存している:正確性(正しく計算されているか?)、システム動作(時間はどこに費やされているか?)、パフォーマンス(どのソリューションがどの条件下で勝つか?)。各信号は局所的で、コストが低く、客観的に検証可能であり、エンジニアの役割を問題解決者からフィードバック設計者へと変える。
エージェントが3つの具体的なエンジニアリング問題を特定・修正
エージェントは3つの実際の問題を発見した:(1) KDAコンテキスト並列パスにおけるTF32丸め誤差の蓄積により、シーケンス長に伴う精度のずれが発生。(2) GILがKV転送のオーバーラップをDeepEPディスパッチでブロック。(3) ブロック分割によるデコードカーネル内の重複正規化。各ケースは異なる能力を示している:数値的正確性の帰属、言語横断的なデバッグ、コードベース間のパターン転送。
密なフィードバックは将来のモデルの訓練データにもなる
智譜AIのCEOは、エージェント用に構築された階層的検証環境が次世代モデルの訓練データも生成すると述べた。完了した各タスクは後継の訓練材料となる。これによりデータのフライホイールが生まれる:フィードバック環境はエージェントの作業スペースであると同時に将来のモデルの訓練場でもある。ただし、再帰的な自己改善はまだ遠い。
国内チップのトークンコストが主流のNVIDIA GPUと同等に
最適化後、国内アクセラレータにおけるトークンあたりのコストは主流のNVIDIA GPUと同等になった。これはハードウェアの制限にもかかわらず達成され、アルゴリズムの革新がハードウェアの制約を補い、コストパリティを実現できることを示している。