XNews

モデルの透明性とプロンプト漏洩

モデルの透明性とプロンプト漏洩

OpenAIは、思考の連鎖(CoT)のモニタリング可能性とトレードオフを評価する研究を発表しました。また、別の事例では、Redditの会話におけるPerplexityのプロンプト漏洩が報告されています。

Key insights

OpenAIが13の方法で思考の連鎖モニタリング可能性を評価

OpenAIは、思考の連鎖(CoT)出力のモニタリング可能性を評価するための13の評価方法のフレームワークを提示しました。この研究では、「モニタリング可能性」を、外部の観察者がAIの意図や行動を内部の推論ステップを検査することで判断できる程度と定義しています。一つの発見は、モデルがより長く深い推論を行うことを許可することで、モニタリング可能性が向上し、内部の論理が監視者にとってより透明になることが多いということです。

研究が特定した「モニタリング可能性税」のトレードオフ

OpenAIの研究では、「モニタリング可能性税」を説明しています。高いモニタリング可能性を持つ同等の能力を達成するには、より多くの計算リソースや時間が必要になる場合があります。具体的には、小さなモデルを使用して長く深い推論を行う方が、浅い推論を行う大きなモデルよりもモニタリング可能であることがあります。この報告書は、透明性を優先する際に計算リソースやレイテンシに潜在的なコストが伴うことを示唆しています。

Perplexityに関するプロンプト漏洩事件が報告

RedditのユーザーがPerplexityに関するプロンプト漏洩を報告しました。ヒンディー語での会話において、システムプロンプトの内容が明らかになり、ユーザーは証拠としてチャットログを提供しました。報告には、漏洩したシステムプロンプトとその会話記録が添付されています。

Source posts