智譜GLM-5.3、ベースモデル変更なしでポストトレーニングによりコーディング性能を50%向上
智譜の共同創業者である唐杰氏は、GLM-5.2(743B MoE、アクティブパラメータ約40B)をベースとしたGLM-5.3が、長期サイクル環境での1か月間の強化学習を通じて、コーディング能力を50%向上させたと発表した。本記事では、総パラメータ数(知識)とアクティブパラメータ/実効深度(推論)を区別し、セキュリティ脆弱性の発見はデータベースではなく推論チェーンに依存すると指摘。スケーリングの歴史として、Kaplanら(2020年)はパラメータ増加を優先、Chinchilla(2022年)は均等スケーリングを提唱し、その後はより長く学習した小型モデル(Llama-2-7B:290トークン/パラメータ、Gemma-2-9B:889トークン/パラメータ)へのシフトが起こったと概説。モデルの能力はベースサイズ、事前学習データ、前方計算、ポストトレーニングに依存し、ポストトレーニングにはまだ大きな可能性があるとしている。