GLM、再帰的自己改善を達成

智譜AIは、GLM-5.3-Flashの本番推論が10万基以上の国産AIアクセラレータ上で稼働しており、GLM-5.3自身を搭載したAIエージェントによりエンドツーエンドのスループットが3.2倍に向上したことを明らかにした。このエージェントは、精度ドリフト、同時実行ボトルネック、冗長計算という3つの実際のエンジニアリング問題を修正した。CEOの唐傑氏は、モデルが自身を実行するシステムを最適化したと述べている。
Key insights
エージェント主導の推論最適化
智譜AIのGLM-5.3-Flashモデルは現在、10万基以上の国産AIアクセラレータ上で本番推論を実行している。初回実行から本番稼働までの最適化プロセス全体は2週間未満で完了し、エンドツーエンドのスループットが3.2倍に向上した。最適化作業はエンジニアではなく、GLM-5.3自身を搭載したAIエージェントによって行われた。
エージェントデバッグのための密なフィードバックシステム
エージェントは、階層化された検証インターフェースを備えた「密なフィードバック」システムを採用した。すなわち、正確性フィードバック、システム動作フィードバック(所要時間)、パフォーマンスフィードバック(条件下での最適解)である。これによりエージェントは3つの実際のエンジニアリング問題を特定し修正した。このシステムは、暗黙的なエンジニアの専門知識を明示的で検証可能なシグナルに変換するために構築された。
エージェントが発見した3つのエンジニアリング修正
エージェントは以下の問題を発見し修正した。1) 長いコンテキストにわたって蓄積されるTF32丸め誤差によるKDAカーネルの精度ドリフト。2) DeepEPでGILが解放されないためKVキャッシュ転送が計算と重複しなかった同時実行ボトルネック。3) 正規化を4回繰り返していたデコードカーネル内の冗長計算。これらの修正により、最後の問題では最大1.71倍のパフォーマンス向上が達成された。
CEOが語る再帰的自己改善への考察
CEOの唐傑氏は、重要な成果は個々の最適化ではなく、エンジニアの役割が問題解決者からフィードバック設計者へと変化したことだと強調した。同氏は、エージェントのタスクが将来のモデルのトレーニングデータとなり、再帰的自己改善の最小限の閉ループを形成できると指摘した。目標設定、フィードバック環境のセットアップ、高リスクな変更のレビューには、人間による監視が引き続き必要である。
AI自己改善レベルに関する研究論文
30人以上の研究者による別の論文では、AI自己改善のための5段階の分類法が提案された。レベル1(人間が改善内容を決定)からレベル5(AIが次世代AIを生成するプロセスを書き換える)までである。491本の論文をレビューした結果、75%がレベル1〜2にとどまり、レベル5に達したのは6%未満であった。この枠組みは、GLMの成果を再帰的改善への初期段階として理解するための基盤を提供する。