JSON等结构化输出格式降低LLM响应多样性

一项研究测试了44种语言模型,发现要求使用JSON或XML等结构化输出格式会显著缩小响应的多样性。
Key insights
结构化输出格式在LLM中充当多样性抑制器
对44个模型的研究表明,JSON和XML格式要求引导模型趋向于一组狭窄的高概率令牌。在随机单词任务中,使用JSON时,最常出现的答案‘serendipity’的占比从41%跃升至64%。这表明针对结构化输出的微调引入了一种收敛偏差,削弱了生成多样性,这对于创意或头脑风暴应用是一个关键考量。