XNews

LLMのトレーニングはロスレス圧縮として解釈される;Llama 65Bの例が高い圧縮率を示す

主張:LLMのトレーニングは、ウェブ規模のテキストの実質的なロスレス圧縮である。ソロモノフスタイルの理論を用いると、より優れた圧縮器はより深い理解を意味する。例として、Llama 65Bは5.6TBのトークンを約400GBの圧縮データに圧縮(14倍)し、古典的な圧縮器を上回り、モデルのスケーリングをデータ圧縮と一般化の改善として位置づけている。

Source posts