2025年LLMトレーニングパラダイムとカーパシー年次レビュー

カーパシーは2025年のLLM年次レビューを発表し、6つのパラダイムシフトを特定した。その他の専門家もトレーニング、能力、開発者のワークフローについて振り返った。
Key insights
カーパシー:RLVRと6つのパラダイムシフトが2025年を定義する
カーパシーの2025年LLMレビューは、6つの主要なシフトを特定した:(1) RLVR(検証可能な報酬からの強化学習)が客観的な回答を持つタスクの標準的なトレーニング段階となる;(2) LLMの知能は不均一で(「ギザギザの知能」)、検証可能な領域で急速に向上する;(3) 文脈を整理しモデルを調整するLLMアプリケーションレイヤー(カーソルスタイル)が登場する;(4) クロードコードのようなローカルエージェントがユーザーのマシン上で動作し、プライベートデータを統合する;(5) 「バイブコーディング」が自然言語優先のプログラミングを可能にする;(6) LLMのグラフィカルUI(ナノバナナ)の初期の兆候が、テキストのみのインターフェースを超える動きを示している。カーパシーは、RLフェーズとランタイムの「思考ノブ」への計算リソースの再配分を強調した。
サルバトーレ・サンフィリッポ:LLMは強化され、チェーン・オブ・ス思考が重要、RLが新たな道を開く
サルバトーレ(Redis創設者)は、LLMが専門試験や内部概念の表現に成功していることから「ランダムオウム」批判が衰退していると報告した。彼は、内部表現をサンプリングし、RLと組み合わせて解決策を見つける過小評価されたブレークスルーとしてチェーン・オブ・ス思考(CoT)を強調した。検証可能な報酬がモデルの自己改善を可能にし(例:プログラム実行、定理証明)、これが将来の能力向上を促進すると予測した。彼はプログラマーの態度が変化し、多くがLLMを会話の同僚または自律的なコーディングエージェントとして扱うようになったと述べた。
実務者報告:AI対応のキャリアシフトとツールチェーン
あるエンジニアリング実務者の報告は、2025年を専門的な移行の年と描写した:確立された企業を離れ、AI駆動のスタートアップを設立し、役割をコーダーから「仮想インターンのエンジニアリングマネージャー」に再定義し、新しいツールチェーンを採用する(カーソルからクロードコード、さらにAmpとPiへ移行)。著者は、アウトソーシングではなくAI駆動のSDKジェネレーターを構築したと報告し、歴史的なソフトウェアエンジニアリングのヒューリスティックが新しいエージェント時代において劣化し、開発者がますます「バイブ」によってツールを選択するようになっていることを指摘した。
トレーニング=圧縮の視点:モデルはロスレス圧縮器
理論的な枠組みは、LLMのトレーニングをロスレス圧縮に例えている:65Bのラマは1.4Tトークンでトレーニングされ、5.6TBのテキストを約400GB(14倍)に圧縮でき、従来の圧縮器を上回る。この見解の下では、より良い圧縮は、より簡潔で一般化された表現を発見することを意味し、スケーリングが圧縮を改善し、したがって一般化を促進する。圧縮はテストセットの漏洩に対して堅牢であり、「圧縮後」のデータサイズを削減する方向性(アーキテクチャ、マルチモーダル融合、ツール使用)を示唆していると主張されている。
ナノバナナと画像・テキスト融合が画像上のテキストとGUI信号を改善
報告は、ナノバナナとマルチモーダル「トークンイン・トークンアウト」モデルが画像上のテキストレンダリングと指示の追従において強い向上を示していると述べている。技術的なノートは、テキストをピクセルとして扱う拡散ピクセル空間のノイズ除去モデルと、クロスモーダルトークンを生成するネイティブなマルチモーダルトランスフォーマーを対比させ、画像内の複雑な中国語テキストにおける文字エラー率を低下させ、一貫したマルチモーダル出力をもたらす。これは、出現するLLMの「グラフィカルインターフェース」トレンドの証拠として位置づけられた。
エンジニアリングのギャップ:バージョン管理、コードレビュー、可観測性の再設計が必要
実務者は、エージェント駆動の開発によって引き起こされた4つのインフラギャップを強調した:Gitはエージェントの内部の熟考やプロンプトを記録できない;プルリクエスト/コードレビューのプロセスは人間中心であり、人間とAIのローカルコラボレーションを反映していない;可観測性ツールはAI駆動の分析(例:深いSQL/eBPFの洞察)を表面化する必要がある;オープンソースエコシステムには未検証のAI生成コードが含まれており、新しい社会契約と貢献の規範が必要である。