XNews

トランスフォーマーゲーティング研究とファインチューニングツール

トランスフォーマーゲーティング研究とファインチューニングツール

研究によると、アテンションゲーティングはパフォーマンスを向上させ、Hugging Faceはファインチューニングツールを発表しました。

Key insights

NeurIPSベストペーパー:アテンションゲーティングの利点

NeurIPS 2025のベストペーパーは、30以上のゲーティングバリアントを評価し、最良のアプローチは各アテンションヘッドの出力を現在のトークン表現から導出された学習ゲートで乗算する(要素ごとのゲーティング)ことを発見しました。報告された利点には、高い学習率でのより安定したトレーニング、初期トークンにおける「アテンションシンク」の削減、コンテキストウィンドウを拡張した際の長文ベンチマークでの改善が含まれます。

Hugging Faceが'hf skills'ファインチューニングプラグインを発表

Hugging Faceは、SFT、DPO、GRPOメソッドを用いたファインチューニングを可能にするプラグイン('hf skills')を導入し、HFでの自動ハードウェア選択、検証後の生成フローをGGUFへのエクスポートオプションと共に提供します。このツールは、直接的なコードファインチューニングパイプラインをサポートしています。

Source posts