XNews

Engram:条件记忆论文及反应

Engram:条件记忆论文及反应

DeepSeek与北京大学发布了Engram条件记忆。

Key insights

Engram将静态知识与动态计算分开

Engram论文认为语言建模分为两个不同的任务:需要深度、动态神经计算的组合推理,以及针对静态实体和模式的知识检索。Engram实现了一个条件记忆模块,通过对本地N-gram的一个大型嵌入表进行O(1)查找,消除了运行时神经计算中的静态模式存储。该模块包括分词器压缩、多头哈希检索和上下文感知门控机制,以抑制冲突哈希值。

分词器压缩和多头哈希驱动存储效率

Engram应用预计算映射将语义等价的标记(例如,'Apple'和'apple')折叠为单一标识符,有效减少词汇量约23%。它使用本地上下文N-gram作为查找键,通过多头哈希检索进入大型嵌入表。该架构在各分支之间共享嵌入和数值投影,同时保持键投影独立,以平衡容量和计算效率。

上下文感知门控减轻哈希冲突噪声

Engram的关键创新是一个门控机制,利用当前层的隐藏状态作为查询,以语义匹配检索到的记忆值;如果检索到的项目与上下文矛盾,门控接近零,从而抑制哈希冲突带来的噪声。该门控机制允许大规模、稀疏的记忆检索,而不损害下游表示。

稀疏分配法则:将Engram与MoE混合以实现最佳扩展

论文在固定参数和计算预算(Iso-FLOPs)下制定了一个稀疏分配问题,并报告了一个U型缩放法则:纯MoE并非最佳,向Engram记忆分配约20-25%的稀疏参数预算可获得最佳模型性能。当记忆预算增加时,验证损失与嵌入槽数量呈对数缩放,表明扩大Engram表的收益是可预测的,而无需额外的计算。

实证收益:Engram提升推理、代码、数学和长文本任务

在27B参数的比较中,Engram-27B在知识任务上超越了MoE基线(MMLU +3.0),在一般推理(BBH +5.0)、代码(HumanEval +3.0)和数学(MATH +2.4)上显示出更大的收益。在长文本检索(Multi-Query NIAH)中,准确率从84.2%提高到97.0%。作者强调,释放局部模式重建的注意力容量改善了全局推理。

机制分析显示更早的预测准备和等效深度收益

LogitLens和CKA分析表明,Engram变体更早达到预测准备状态(较低的早期层KL散度),并产生与MoE基线中更深层相当的浅层表示(例如,Engram第5层与MoE第12层对齐)。这些发现支持Engram在不增加计算负担的情况下提高有效模型深度的说法。

系统工程:预测预取和低主机内存开销

Engram的索引仅依赖于输入标记,使得异步主机内存预取能够隐藏PCIe延迟,这与MoE的运行时路由不同。实验表明,将一个100B参数的表卸载到主机内存中,推理吞吐量减少不到3%,显示出在低运行时成本下的实际可扩展性。

实际框架:'字典查找'带来更好的推理

评论指出,Engram在功能上类似于'字典查找',为静态模式提供近乎无限的记忆,同时减少模型的内存负担,这不仅改善了知识检索,反而通过重新分配神经容量到更深层推理中带来了更大的计算推理收益。

Source posts