XNews

NeurIPS 2025 论文为注意力机制增加了门控,测试了超过30种变体,参数量高达150亿

NeurIPS 2025 论文为注意力机制增加了门控,测试了超过30种变体,参数量高达150亿

NeurIPS 2025 最佳论文在变换器注意力机制中隔离了门控,系统地测试了超过30种门控变体,适用于参数量高达150亿的模型。最佳方法通过从当前标记计算的学习门控乘以每个头的输出(逐元素最佳),提高了训练的稳定性,允许更高的学习率,减少了注意力消耗,并提升了长上下文基准测试的表现。

Source posts