Ilya:继续扩展将带来进步,但缺乏某些关键能力
Ilya 澄清访谈要点:继续按当前方法扩展将带来进步,但仍然缺少若干重要能力。
Key insights
Ilya 澄清:当前扩展将继续带来改进
Ilya 在推文中指出,继续沿用目前的方法(增加算力、数据和训练环境)将持续带来模型性能提升,基准测试将继续上升,产品将继续迭代并为公司创造收入;但同时他强调这种路径并不能获得某些“重要东西”。该观点直接来自对其访谈内容的补充与澄清,目的是纠正“当前方法会彻底失效”的误解。
Ilya 指出:有些能力无法靠简单放大获得
Ilya 使用比喻说明:短跑训练能持续提高成绩,但如果目标是“飞”,无论怎么加练都无法实现。他明确写出“有些东西你怎么扩展都得不到”,强调当前扩展路径会缺失某些关键能力,需要不同范式来获得这些能力。
缺失能力为:泛化能力与高效学习
在访谈与补充中,Ilya 指出两类重要缺失:一是“真正的泛化能力”,即能从极少经验快速学到新事物并在新场景稳定应用;二是“高效学习”,指像人类那样少量时间内掌握并投入生产的能力。他用“两名学生”类比说明海量练习与悟性之间的差异。