トランスフォーマーゲーティング研究とファインチューニングツール

研究によると、アテンションゲーティングはパフォーマンスを向上させ、Hugging Faceはファインチューニングツールを発表しました。
Key insights
NeurIPSベストペーパー:アテンションゲーティングの利点
NeurIPS 2025のベストペーパーは、30以上のゲーティングバリアントを評価し、最良のアプローチは各アテンションヘッドの出力を現在のトークン表現から導出された学習ゲートで乗算する(要素ごとのゲーティング)ことを発見しました。報告された利点には、高い学習率でのより安定したトレーニング、初期トークンにおける「アテンションシンク」の削減、コンテキストウィンドウを拡張した際の長文ベンチマークでの改善が含まれます。
Hugging Faceが'hf skills'ファインチューニングプラグインを発表
Hugging Faceは、SFT、DPO、GRPOメソッドを用いたファインチューニングを可能にするプラグイン('hf skills')を導入し、HFでの自動ハードウェア選択、検証後の生成フローをGGUFへのエクスポートオプションと共に提供します。このツールは、直接的なコードファインチューニングパイプラインをサポートしています。