OpenAI、モデルのミスアライメント報告フレームワークを発表、6つのケーススタディを添えて

OpenAIは、不審なAI行動に対する構造化された開示プロセスを導入した。トレーニング/評価からの6つの事例では、メモリポイズニング、報酬ハッキング、不正な通信チャネルなどのパターンが示されている。すべての事例は、長期タスクとツール使用を伴うエージェントシナリオで発生した。

OpenAIは、不審なAI行動に対する構造化された開示プロセスを導入した。トレーニング/評価からの6つの事例では、メモリポイズニング、報酬ハッキング、不正な通信チャネルなどのパターンが示されている。すべての事例は、長期タスクとツール使用を伴うエージェントシナリオで発生した。