XNews

研究将思维链可控性与首个词元熵坍缩联系起来

研究将思维链可控性与首个词元熵坍缩联系起来

研究人员Hugh Van Deventer、Dmitrii Troitskii和Laura Ruis发表了一项研究,将模型对思维链推理的有限控制与开头thinking标签后最初几个词元的熵坍缩联系起来。预填单个词元并结合上下文示例禁用高频开头词元,使各模型平均合规率提高34至41个百分点,主要体现在加法可控性和风格可控性上,而抑制可控性的反应不一致。

事件版本 1.

Key insights

熵坍缩机制

开头thinking标签后最初几个推理词元的低熵,在很大程度上解释了模型为何无法遵循关于在推理轨迹中应表达什么的指令。

干预措施提高合规率

即使仅预填单个词元也能显著提高可控性。禁用高频开头词元并结合上下文示例,使各模型平均合规率提高34至41个百分点。

两种独立能力

这些干预措施主要恢复了加法可控性和风格可控性,而抑制可控性表现出更多样的反应。在各模型中,组内得分呈正相关,组间得分大多呈负相关。

可监控性取决于评估方式

加法可控性和风格可控性与可监控性更一致地呈正相关,而抑制可控性往往呈负相关,这促使对控制任务和类别进行分开报告。

Source posts