智谱GLM-5.3通过后训练提升编程能力50%,基础模型未变
智谱联合创始人唐杰分享称,基于GLM-5.2(743B MoE,约40B活跃参数)的GLM-5.3,通过一个月在长周期环境中的强化学习,编程能力提升了50%。该文区分了总参数(知识)与活跃参数/有效深度(推理),指出安全漏洞发现依赖推理链而非数据库。文章概述了扩展规律:Kaplan等人(2020年)主张参数增长优于数据增长,Chinchilla(2022年)提出等比例扩展,随后转向更小模型更长时间训练(Llama-2-7B 290 tokens/参数,Gemma-2-9B 889 tokens/参数)。模型能力取决于基础规模、预训练数据、前向计算和后训练,后训练仍有巨大潜力。