XNews

模型透明度与提示泄露

模型透明度与提示泄露

OpenAI 发布了一项研究,评估了思维链(CoT)的可监控性及其权衡;另一起事件显示在 Reddit 对话中发生了 Perplexity 提示泄露。

Key insights

OpenAI 通过 13 种方法评估思维链可监控性

OpenAI 提出了一个包含 13 种评估方法的框架,用于评估思维链(CoT)输出的可监控性。研究将“可监控性”定义为外部观察者通过检查 AI 的内部推理步骤来判断其意图或行为的程度。一个发现是,允许模型进行更长、更深的推理通常会增加可监控性,使内部逻辑对监督者更加透明。

研究识别出“可监控性税”权衡

OpenAI 的研究描述了一种“可监控性税”:在实现相同能力的同时,较高的可监控性可能需要更多的计算资源或时间。具体而言,使用较小的模型进行更长、更深的推理可能比使用较大的模型进行浅层推理更具可监控性。报告指出,这种权衡意味着在优先考虑透明度时,可能会在计算或延迟上产生潜在成本。

Perplexity 提示泄露事件报告

一位 Reddit 用户报告了涉及 Perplexity 的提示泄露:一段用印地语进行的对话揭示了系统提示内容,用户提供了聊天记录作为证据。报告附有系统提示和展示泄露的对话记录。

Source posts