XNews

GLM-5.3推論システムの自己最適化

GLM-5.3推論システムの自己最適化

Zhipuは、GLM-5.3-Flashモデルが10万台以上の国内AIアクセラレータ上で本番推論を実行し、2週間足らずでスループットを3.2倍に向上させたと発表した。この最適化は、GLM-5.3を搭載したAIエージェントによって実行され、階層型検証システムを用いて、精度ドリフト、並行性ボトルネック、冗長計算という3つの重大な問題を特定・修正した。同社は、人間のエンジニアが依然として目標を定義し、リスクの高い変更をレビューすることを強調した。

Key insights

エージェント主導の最適化がスループット3.2倍を達成

ZhipuのGLM-5.3-Flashモデルは、10万台以上の国内アクセラレータ上で実行され、2週間足らずでエンドツーエンドのスループットを3.2倍に向上させた。この最適化は、人間のエンジニアではなく、GLM-5.3を搭載したAIエージェントによって主導された。主要な技術には、ReplaySSM、ノードレベルのテンソル並列処理、混合INT8/FP8/BF16キャッシュ、エンコード・プリフィル・デコード分離が含まれ、これらはすべて、限られたメモリ、帯域幅、未成熟なソフトウェアスタックという制約の中で機能するように設計されている。

階層型検証システムがクレジット割り当て問題を解決

エージェントの成功は、暗黙のエンジニアリング専門知識を、正確性、システム動作、パフォーマンスという密なフィードバック信号を備えた階層型検証システムに変換したことに依存していた。これにより、スパースな報酬とクレジット割り当て問題(20%のスループット低下が、どの層や仮定が間違っているかを示さない問題)に対処した。このシステムにより、エージェントは、KDAカーネルでのTF32丸め誤差、DeepEPでのGIL競合、デコードカーネルでの冗長正規化など、根本原因を特定できた。

人間の役割は問題解決者からフィードバック設計者へ

ZhipuのCEOである唐傑氏は、エージェントが最適化作業を実行した一方で、人間が依然として目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューすると述べた。これは、エンジニアの役割が問題解決からフィードバックシステムの設計へと移行することを示している。階層型検証環境は、将来のモデルのトレーニングデータとしても機能し、完了した各タスクが次世代のトレーニング例となるデータフライホイールを生み出す。

Source posts