アンドレイ・カルパティの2025年LLM年次レビュー

カルパティが2025年のLLM年次レビューの概要を発表。
Key insights
RLVRが第四のトレーニングステージに
アンドレイ・カルパティは、2025年に第四のLLMトレーニングフェーズとしてRLVR(検証可能な報酬からの強化学習)が追加されたと述べています。RLVRは、モデルが人間のラベル付けされたデモを模倣するのではなく、解決戦略を実践し自己発見できるように、客観的かつ検証可能な報酬(例:正確な答えを持つ数学問題、実行可能なコード)を持つ環境でモデルを訓練します。カルパティは、このシフトが事前学習から強化学習ステージへの計算リソースの再配分を行い、パラメータ数の大幅な増加なしに推論能力の大きな向上をもたらすと報告しています。彼は、この道のマイルストーンとしてOpenAIのo1およびo3ラインを引用しています。
モデルが新たな段階的推論を発展させる
カルパティは、RLVRがモデルに多段階の問題分解や推論に似た再試行戦略を「発見」させると主張しています。モデルは大きなタスクを小さなステップに分解し、誤った試行からバックトラックします。彼は、RLVRを監視付きファインチューニング/RLHFと対比させ、後者を模倣と説明しています。RLVRは、モデルが人間のデモンストレーターが容易にラベル付けできない戦略を探求できるようにします。彼はまた、推論時により多くの計算リソースを割り当てること—モデルに「より長く考えさせる」こと—が、より長く高品質な推論の連鎖を生み出すと付け加えています。
ジャギッドインテリジェンスとベンチマークへの不信
カルパティは、LLMの知能は「動物」ではなく「幽霊」であるという比喩を用い、ジャギッドインテリジェンスを生み出すと述べています。これは、検証可能な報酬(数学、コード)を持つ領域での非常に強力なパフォーマンスと、常識、社会的、または対立的な設定での明白な失敗を示しています。彼は、この専門化がベンチマークスコアが誤解を招く理由を説明していると指摘しています。なぜなら、ベンチマーク自体がモデルが最適化できる検証可能な環境であり、「ベンチマークの過剰適合」を可能にし、一般的な知能のギャップを残すからです。
LLMアプリケーション層が新たなソフトウェアパラダイムとして登場
カルパティは、CursorをLLMアプリケーション層が新しいソフトウェアカテゴリであることの証拠として強調しています。彼は、これらのアプリがコンテキストエンジニアリングを行い、複数のモデル呼び出しを調整し、人間の介入のための専門的なユーザーインターフェースを公開し、ユーザー制御のための「自律スライダー」を提供すると特徴づけています。彼は、モデル提供者が一般的な能力(「大学卒業生」)を生み出す一方で、LLMアプリケーションはプライベートデータ、センサー、実行インターフェースを使用してそれらの能力を縦の専門的なワークフローに訓練し整理すると述べています。
ローカルエージェントとクロードコードのパラダイムシフト
カルパティは、ローカルで動作するAIエージェントの魅力的なデモンストレーションとしてクロードコードを特筆しています。これはツールを呼び出し、推論と実行をループし、ローカル環境とデータを使用します。彼は、Codex/エージェントを主にクラウドコンテナに移動することを批判し、現在の中間段階—モデルが不均一で密接な人間の協力を必要とする—において、開発者のマシン上で「生きる」ローカルエージェントが開発者のワークフローやプライベートコンテキストと統合するのにより適していると主張しています。
バイブコーディングとLLM GUIのトレンド
カルパティは、自然言語優先のプログラミングを説明するために「バイブコーディング」という言葉を造語し、ユーザーが英語で意図を説明するとモデルがコードを書くことを可能にします。これは、ユーザーがコードの構造を知る必要がなく、プログラミングを民主化し、多くの短命の一時的なスクリプトを経済的にすることを報告しています。彼はまた、GoogleのGemini Nano Bananaを、モデルが純粋なテキストではなく視覚フォーマット(画像、インフォグラフィックス、アニメーション)を出力する新たなLLM GUI時代の証拠として強調し、コマンドラインからグラフィカルGUIへの移行に類似したシフトを予測しています。