OpenAIの研究者ジャック・レイ:LLMのトレーニングは本質的にロスレス圧縮である
ジャック・レイは、大規模モデルのトレーニングをロスあり/ロスレス圧縮として位置づけた。トークンを予測するモデルはデータセットを効果的に圧縮する。例えば、Llama-65Bは5.6TBのテキストを約400GBの圧縮表現に圧縮できるため、より良い圧縮はより良い一般化を意味する。この見解は、ソロモノフスタイルの最小記述長をスケーリングに結び付け、出現する能力を圧縮の閾値として説明し、高次元データの限界と積極的な探求の必要性を強調している。