XNews

AIエージェントによるGLM-5.3-Flash推論最適化

AIエージェントによるGLM-5.3-Flash推論最適化

智譜AIは、GLM-5.3-Flashの推論が10万台以上の国産アクセラレータ上で稼働しており、GLM-5.3を駆使したAIエージェントがReplaySSM、テンソル並列処理、混合精度キャッシングなどの最適化を実施し、スループットを3.2倍向上させたと発表した。別途、テンセントはRAG、ReActエージェント、自動Wiki生成を統合したエンタープライズ知識プラットフォームWeKnoraをオープンソース化した。

Key insights

国産アクセラレータ上でのAIエージェントによるGLM-5.3-Flash推論最適化

智譜AIのGLM-5.3-Flashモデルは、現在10万台以上の国産AIアクセラレータ上で本番推論を実行している。エンドツーエンドのスループットを3.2倍に向上させた最適化パイプライン全体は、GLM-5.3自身を搭載したAIエージェントによって実行された。エージェントは、ReplaySSM(計算とメモリのトレードオフ)、ノード内テンソル並列処理(通信とメモリのトレードオフ)、混合INT8/FP8/BF16キャッシング(精度と容量のトレードオフ)、エンコード・プリフィル・デコード分離などの手法を適用した。国産チップにおけるトークンあたりのコストは、主要なNVIDIA GPUに匹敵するものとなった。

密なフィードバックメカニズムによりエージェントが3つの重大な問題を診断

AIエージェントは、正確性、システム動作、パフォーマンスに関する密なフィードバックを提供する階層型検証インターフェースに依存していた。これにより、以下の3つの実際のエンジニアリング問題を発見し修正した。(1) TF32丸め誤差の蓄積によるKDAカーネルの精度ドリフト、(2) KV転送とDeepEPディスパッチのオーバーラップを妨げるGIL競合、(3) デコードカーネル内の冗長な正規化計算(1.71倍高速化)。これらの修正はオープンソースプロジェクトに貢献された。

エンジニアの役割:問題解決者からフィードバック設計者へ

智譜AIのCEOである唐杰氏は、最も重要な経験は最適化自体ではなく、エンジニアの役割の変化であると述べた。エンジニアは現在、目標を定義し、フィードバック環境を構築し、リスクの高い変更をレビューする一方、エージェントが最適化ループを実行する。この階層的で検証可能なフィードバック環境は、将来のモデルのトレーニングデータとしても機能し、最小限の再帰的自己改善ループを生み出す。

WeKnora:RAG、ReAct、Wikiモードを備えたエンタープライズ知識プラットフォーム

テンセントのWeChatチームは、散在するドキュメントを3つのアセットに変換するエンタープライズ知識プラットフォームWeKnoraをオープンソース化した。すなわち、クエリ応答のためのRAG知識ベース、多段階推論のためのReActエージェント、自動的に抽出されたWiki知識ベース(可視化とバージョン管理付き)である。BM25、dense、GraphRAGなど複数の検索戦略をサポートし、検索品質のための組み込み評価ツールを備えている。

WeKnoraのエンタープライズ機能:マルチテナンシー、セキュリティ、知識工学

WeKnoraは、4レベルのRBAC(Owner、Admin、Contributor、Viewer)によるマルチテナントサポート、認証情報のAES-256-GCM暗号化、gRPC/RedisのTLS、SSRF対策、サンドボックス実行を含む。知識ベースはコードリポジトリのように扱われ、バージョン管理された変更、自動インデックス作成、ロールバックが可能である。このプラットフォームはWeChatの対話オープンプラットフォームの中核技術であり、本番環境での検証を提供している。

Source posts