XNews

将大型语言模型视为无损压缩;Llama 65B示例显示出高压缩率

论点:训练大型语言模型实际上是对网络规模文本的无损压缩。采用Solomonoff风格的理论,更好的压缩器意味着更深的理解。示例:Llama 65B将5.6TB的标记压缩至约400GB的压缩数据(14倍),超越了传统压缩器,将模型扩展框架视为改善数据压缩和泛化能力。

Source posts