XNews

NeurIPS 2025 論文が注意機構にゲーティングを追加し、30以上のバリアントを15Bパラメータまでテスト

NeurIPS 2025 論文が注意機構にゲーティングを追加し、30以上のバリアントを15Bパラメータまでテスト

NeurIPS 2025の最優秀論文は、Transformerの注意機構におけるゲーティングを独立させ、15Bパラメータまでのモデルに対して30以上のゲーティングバリアントを体系的にテストしました。最も優れた手法は、各ヘッドの出力を現在のトークンから計算された学習ゲートで乗算することで(要素ごとの最適)、トレーニングの安定性を向上させ、高い学習率を可能にし、注意の沈下を減少させ、長文コンテキストのベンチマークを向上させます。

Source posts