大型语言模型幻觉:原因与缓解措施
报告定义了大型语言模型的幻觉,分析了预训练和微调中的原因,并调查了检测和缓解技术。
Key insights
幻觉的定义与分类
这些帖子将幻觉定义为与上下文或外部事实不一致的模型生成内容,并将其分类为上下文幻觉(与提供材料不匹配)和外部幻觉(与现实世界知识相矛盾或未能承认不确定性)。该定义强调“幻觉”作为模型错误的通用术语已被过度使用。
训练数据和微调动态导致幻觉
在大型网络语料库上的预训练使模型暴露于过时和错误的内容;后续的微调可能在模型被迫学习新的、稀疏表示的事实时加剧幻觉。Gekhman等人(2024年)发现模型学习“已知”知识的速度快于新事实,强迫学习新知识会增加幻觉的发生率。
检测技术:检索、原子检查和一致性
检测方法包括检索增强验证(将声明与知识库进行核对)、FactScore原子事实检查、SAFE多步骤证据搜索,以及SelfCheckGPT采样一致性检查,比较多个模型输出以检测不稳定的事实。
缓解措施:RAG、验证链、采样和微调质量
报告的缓解措施包括RAG和RARR(研究后修订)、用于模型驱动检索决策的Self-RAG、通过独立验证问题测试声明的CoVe验证链、减少晚回答错误的事实核采样,以及使用更高事实质量数据和FactScore作为奖励的FLAME风格微调,以减少幻觉。
产品管理必须考虑大型语言模型的限制和幻觉风险
针对AI产品经理的访谈式指导强调评估大型语言模型的能力边界、选择高价值的AI功能、定义AI限制、设计应对幻觉的后备方案(例如,来源验证、人机协作),以及使用指标和监控来诊断和缓解与幻觉相关的用户投诉。