XNews

OpenAI的Jack Rae将LLM训练视为无损数据压缩

Jack Rae(OpenAI)提出,训练大型语言模型(LLM)等同于无损压缩:更好的模型能够更紧密地压缩训练语料,从而解释了泛化现象,以及为什么更大的模型可以通过产生更小的压缩数据大小而显得“更简单”。压缩提供了一种对测试污染具有强健性的评估指标。这一观点将连续的机器学习范式转变与改进的压缩联系起来,并将通用人工智能(AGI)的进展框架设定为最小化有用感知的描述长度。

Source posts