XNews

ジャック・レイ(OpenAI)が大規模言語モデルの訓練をロスレス圧縮として位置づけ、ラマ数を引用

この記事では、ジャック・レイの視点が紹介されており、大規模言語モデルの訓練はロスレス圧縮と同等であると述べています。より良い圧縮はより深い理解を意味するという主張がなされており、ソロモノフの定理、中国の部屋の思考実験、ラマ65Bが5.6TBを約400GB(14倍)に圧縮した事例が引用されています。また、モデルの重みを送信する必要はなく、圧縮がスケーリング、アーキテクチャ、ツール、多モーダル融合、AGIの限界に影響を与えるゲーム不可能な訓練目標として位置づけられています。

Source posts