XNews

OpenAI研究者:LLMのトレーニングは本質的にロスレス圧縮である

ジャック・レイはLLMのトレーニングをロスレス圧縮として位置づけ、最小限の実行可能な記述を見つけることがモデルの混乱度を減少させ、一般化を改善すると述べた。投稿では、Llama 65Bが5.6TBのテキストを約400GBの圧縮データ相当まで圧縮する例を挙げており、なぜ大規模モデルが記述の長さにおいて「より単純」になり得るのか、また圧縮がテストセットの汚染を不正戦略として抵抗する理由を説明している。

Source posts