XNews

OpenAIのジャック・レイがLLMトレーニングをデータのロスレス圧縮として位置づける

ジャック・レイ(OpenAI)は、LLMのトレーニングはロスレス圧縮に相当すると提案した。より優れたモデルはトレーニングコーパスをより厳密に圧縮し、一般化の説明や、なぜ大きなモデルがより「シンプル」になり得るのかを示している。圧縮は、テスト汚染に対して堅牢な評価指標を提供する。この視点は、連続する機械学習のパラダイムシフトを改善された圧縮に結びつけ、有用な知覚の記述長を最小化することをAGIの進展として位置づけている。

Source posts