XNews

DeepSeek 用光学压缩模拟记忆遗忘以扩展上下文

DeepSeek 用光学压缩模拟记忆遗忘以扩展上下文

DeepSeek OCR 提出用分辨率衰减模拟人类记忆遗忘:近期对话用高保真(Gundam 模式 800+ tokens),一周前用中等(Base 256),久远记忆用低保真(Tiny 64),以保留历史信息同时控制token。作者认为遗忘是优化策略,不需无限扩大context window,而是让信息随时间自然衰减;若可行,可能实现理论上无限的上下文感知并改变长上下文问题的理解。

Source posts