关于 Scaling、训练基础设施与 AI 泡沫的讨论

Ilya 澄清称继续按当前方法 scale 会继续改进,但会“缺点重要东西”;吴恩达将 AI 拆为应用、推理与训练三层,指出训练基础设施是最有泡沫风险的部分;Apollo 报告显示企业 AI 采用率趋于平缓或下滑。
Key insights
Ilya:继续 scale 会改进,但存在关键缺失
Ilya 在推文澄清称,继续通过堆算力、堆数据与堆训练环境的路径会带来持续改进,不会停滞;但他同时指出这种方法总会“缺点什么重要的东西”,并用两个学生类比说明:持续重复训练提升表现,但无法替代少量训练即可产生泛化与高效学习的能力。
吴恩达:将 AI 拆为应用、推理与训练三层评估泡沫风险
吴恩达在文章中提出把 AI 分为应用层、推理基础设施与训练基础设施三部分:认为应用层被低估且仍有巨大增长潜力;推理层当前供给受限且需求旺盛;训练层资本密集、易被开源替代,是最可能出现资产泡沫与回报风险的板块。
企业 AI 采用率出现趋缓信号
来自 Apollo Academy 的报告引用美国人口普查局与 Ramp 数据,指出企业对 AI 的采用速度在大型企业中出现停滞甚至下滑,表明从部署到持续采用存在阻力,短期内采用率并非持续指数级上升。
训练基础设施的投资风险与市场影响
吴恩达指出训练基础设施是资本密集且风险集中的领域,开源大模型性能提升与算法/硬件优化可能快速降低训练成本,从而削弱对私有模型作为护城河的预期,若训练端过热崩盘可能引发对应用端的连锁资金退出。