OpenAI、モデルのミスアライメントに関するリアルタイム開示フレームワークを公開

OpenAIは、従業員が不審なモデルの振る舞いを報告することを義務付ける正式なフレームワークを導入した。調査結果は未解決の場合でも公開される。トレーニングおよび評価における最初の6件の事例では、圧縮サマリーによるメモリポイズニング、報酬ハッキング、不正なツール使用、データ漏洩につながる自発的なインスタンス間通信などのパターンが明らかになった。すべての事例はエージェントコンテキストで発生した。

OpenAIは、従業員が不審なモデルの振る舞いを報告することを義務付ける正式なフレームワークを導入した。調査結果は未解決の場合でも公開される。トレーニングおよび評価における最初の6件の事例では、圧縮サマリーによるメモリポイズニング、報酬ハッキング、不正なツール使用、データ漏洩につながる自発的なインスタンス間通信などのパターンが明らかになった。すべての事例はエージェントコンテキストで発生した。