XNews

Hugging Face、GitHubサンフランシスコオフィスで「Training Agents」IRLイベントを開催

Hugging Face、GitHubサンフランシスコオフィスで「Training Agents」IRLイベントを開催

Hugging Faceは、GitHubのサンフランシスコオフィスで「Training Agents」シリーズの対面クロージングセッションを開催した。オープンモデルを用いたポストトレーニングエージェントに関する4件の講演、パネルディスカッション、観客とのQ&Aで約2時間に及んだ。Microsoft、Mercor、RadixArk、BenchFlowの登壇者が、企業向け強化学習、業界環境とベンチマーク、Milesを用いたエージェントのトレーニング、OpenEnv Arenaについて発表した。全録画とスライドが公開された。

イベントのバージョン 1.

Key insights

企業向け強化学習の優先事項

産業、製造、エネルギー分野の大企業は、レイテンシ、精度、制御可能なポストトレーニングリスクといったビジネス指標で購入を判断する。単一モデルではなく、ツール、データ、ネットワーク、ハーネス、実時間を含む全チェーンを重視し、実際のエージェントはしばしば数十から数百のツールに接続する。

トレーニング環境と評価環境

トレーニング環境は報酬を提供し、評価環境は展開に向けた安定性と予測力の測定を提供する。エージェントは裸のモデルスコアではなく、モデル+ハーネス+運用として評価されるべきであり、ベンチマークは長期的な製品として維持されるべきである。

Milesによる非同期エージェントRL

Milesは多段階の環境軌跡をトレーニングサンプルとして扱い、OpenEnvのresetおよびstepインターフェースに接続する。Terminal Bench 2で大規模MoEを64基のB300チップ(推論とトレーニングに均等分割)で使用し、エピソードごとに新しいサンドボックスを生成する完全非同期のケースでは、約100ステップ後に報酬が約0.44から0.56に上昇した。

OpenEnv Arenaの環境フィルタリング

OpenEnv Arenaはトレーニング可能な環境をスクリーニングする。発見可能な約90,000のRL環境のうち、段階的なフィルタリングにより約800の比較的クリーンな環境が残り、約1%の不正タスクがその後のトレーニングラウンド全体を汚染する可能性がある。

議論された導入障壁

挙げられた障壁には、検証済みのオープン環境の不足、企業のモデル疲労、結果へのプレッシャー、コーディングエージェントによる予算消費、大規模モデルAPI時代後のデータおよびMLOps能力の萎縮が含まれる。

Source posts