XNews

PerplexityとNVIDIAがJOLTポストトレーニング手法を開発、5つのベンチマークでGRPOを上回る

PerplexityとNVIDIAがJOLTポストトレーニング手法を開発、5つのベンチマークでGRPOを上回る

PerplexityとNVIDIAは、1つのモデルが教師と生徒の両方の役割を果たすポストトレーニング手法「JOLT」を開発した。教師は結果報酬で訓練され、生徒から乖離するとペナルティを受ける。MATHにおいて、JOLTはGRPOの精度を6.5分の1の訓練トークン数で達成し、JOLT+は数学、コーディング、ツール使用、ターミナルタスクにわたる5つのベンチマークすべてでGRPOを上回り、AppWorldでは9.9ポイントの差をつけた。

イベントのバージョン 1.

Key insights

教師と生徒が1つのモデルを共有

JOLTは、1つのモデルが教師と生徒の両方の役割を果たすポストトレーニング手法である。教師は、生徒が持たない検証済みの解答などの追加情報を受け取る。

教師は結果報酬で訓練される

自己蒸留は生徒のみを訓練し、その教師は生徒が利用できないショートカットを悪用する可能性がある。JOLTはまた、教師を自身の試行からの結果報酬で訓練し、その予測が生徒の予測から乖離した場合にペナルティを与える。

MATHにおけるトークン効率

MATHベンチマークにおいて、JOLTはGRPOの精度を6.5分の1の訓練トークン数で達成した。

JOLT+は5つのベンチマークでGRPOを上回る

JOLT+は、教師の監督信号に加えて生徒モデルに結果ベースの報酬を提供することでJOLTを補完する。数学、コーディング、ツール使用、ターミナルタスクにわたる5つのベンチマークすべてで、JOLT+はGRPOを上回り、AppWorldでは9.9ポイントの差をつけた。

Source posts