XNews

上下文工程与大型语言模型的泛化限制

上下文工程与大型语言模型的泛化限制

上下文工程技术解决了大型语言模型的推理成本、内存和脆弱性问题。

Key insights

Gemini 3.0 Pro未通过左手书写基准测试,揭示了有限的泛化能力

一项评估报告指出,尽管Gemini 3.0 Pro具有强大的多模态能力,但无法通过“左手书写”基准测试。该帖子指出,左手书写数据在训练分布中几乎缺失,缺乏针对性的训练数据将无法使该能力显现。作者将当前大型语言模型的能力描述为不均衡和“锯齿状”,认为现有模型在文本中学习人类知识分布,但无法在没有特定数据的情况下创造未见的分布。

KV-Cache重用和前缀冻结实现显著的推理速度提升

一篇总结性的Manus文章建议保护KV-Cache,并使用“前缀冻结”策略在请求之间重用静态提示前缀。总结指出,保持提示中不变部分不变可以实现KV-Cache命中,并将推理速度提高10倍或更多。文章警告不要在系统提示的开头放置动态数据(例如时间戳),因为任何变化都会使缓存失效。

显式状态重述对抗“中途遗忘”

Manus建议显式状态重述:在每个输出端强制模型重新生成当前的待办事项列表和状态。文章解释说,Transformer的注意力机制偏向于开始和结束,因此在最新位置反复呈现重要状态可以确保模型在长任务链中保持目标,避免中途的记忆丢失。

将错误上下文保留为负样本以实现运行时学习

Manus总结指出,代理应将完整的错误堆栈和失败的工具输出作为上下文的一部分进行保留,而不是删除它们。这种方法将失败痕迹视为模型可以在上下文中学习的负面示例,从而减少在不重新训练的情况下重复失败路径的可能性。这被呈现为通过上下文包含进行的运行时强化学习。

在示例中引入结构熵以避免模式复制

Manus指导警告称,过于统一的少量示例格式会导致模型陷入机械的模式复制。推荐的解决方案是在样本历史中故意引入异质性或“结构熵”,以迫使模型解读内容,而不是自动完成重复的模板。

Source posts