XNews

OpenAI研究员杰克·雷:训练大型语言模型本质上是无损压缩

杰克·雷将大型模型训练框架视为有损/无损压缩:一个有效预测标记的模型能够压缩数据集——例如,Llama-65B可以将5.6TB的文本压缩到约400GB的压缩表示——因此,更好的压缩意味着更好的泛化能力。这一观点将所罗门诺夫风格的最小描述长度与扩展联系起来,解释了涌现能力作为压缩阈值,并强调了高维数据的局限性以及对主动探索的需求。

Source posts