变压器门控研究与微调工具

研究表明,注意力门控提升了性能,Hugging Face推出了微调工具。
Key insights
NeurIPS最佳论文:注意力门控的好处
一篇NeurIPS 2025最佳论文评估了30多种门控变体,发现最佳方法是将每个注意力头的输出乘以一个从当前令牌表示中得出的学习门(逐元素门控)。报告的好处包括在更高学习率下更稳定的训练,减少早期令牌上的'注意力沉没',以及在扩展上下文窗口时在长文本基准上的改进。
Hugging Face发布'hf技能'微调插件
Hugging Face推出了一款插件('hf技能'),支持使用SFT、DPO和GRPO方法进行微调,自动选择HF上的硬件,并提供验证后生成的流程,支持导出到GGUF以便于本地部署。该工具支持直接代码微调管道。