アンドレイ・カルパティ 2025年LLMレビューと主要なパラダイムシフト

アンドレイ・カルパティは、モデルのトレーニング、展開、インターフェースにおける6つのパラダイムシフトを特定した2025年のLLMレビューを発表しました。
Key insights
RLVRがLLMトレーニングに検証可能な報酬強化ステップを追加
カルパティは、検証可能な報酬からの強化学習(RLVR)を2025年の重要な開発として強調しています。モデルは、結果が客観的に評価される環境(例:数学、コード)でトレーニングされ、RLVRは計算資源を事前トレーニングから報酬最適化に再配分し、モデルが推論のように見える多段階戦略やエラー修正行動を学ぶことを可能にします。この方法は、パラメータ数を増やすことなく、特定のタスクにおけるパフォーマンスを向上させ、推論時に「長く考える」ことをサポートします。
LLMの能力は不均一:検証可能な領域での優れた性能と他の領域での脆弱性
カルパティは、LLMの知性を「ジャギッド」と表現し、モデルは検証可能な報酬が存在する領域(数学、コード)で「スパイク」を発展させる一方、常識、社会的または創造的なタスクにおけるパフォーマンスは脆弱であると述べています。彼は、ベンチマークが操作可能であり、一般化を保証しない可能性があると主張し、テスト可能なタスクに最適化されたモデルはテスト分布に過剰適合する可能性があると警告しています。この見解は、リーダーボードの向上を実世界の堅牢性に外挿する際の慎重さを促し、単一の数値評価を超えてアプリケーション中心の指標に移行することを支持しています。
開発者のマシン上で動作するローカルエージェントがプライベートでコンテキストに特化したワークフローを解放
カルパティは、ローカルファイル、環境、ツールチェーンにアクセスできる開発者のマシン上で動作するエージェントの魅力的なデモンストレーションとしてClaude Codeを挙げています。ローカル展開はコンテキストの忠実度を向上させ、レイテンシを減少させ、エージェントが開発者と密接に連携してコードや環境特有のタスクに取り組むことを可能にします。彼は、エージェントの「仲間」をデスクトップに配置することが、開発者のワークフローにおいてクラウドコンテナのオーケストレーションよりも実用的であることが多いと主張し、ローカルリソースとの緊密な統合と反復的な開発サイクルを可能にします。
バイブコーディングが障壁を下げる:自然言語が主要なプログラミングインターフェースとして
カルパティは、2025年に「バイブコーディング」の台頭を記録しています。ユーザーは自然言語で意図を説明し、モデルはユーザーがコード構造を管理することなく実行可能なコードを生成します。このトレンドは、非専門家にとってプログラミングを民主化し、専門的な実践を変えます。多くの小さな単発プログラムが生産するのに経済的になるのです。プロのエンジニアにとって、バイブコーディングは摩擦を減少させ、迅速なプロトタイピングを可能にします。カルパティは、これが多くの短命のスクリプトを標準化し、自動化する価値のあるタスクを変える可能性があると指摘しています。
LLMアプリケーションレイヤーが一般モデルを業界ツールに変える
カルパティは、コンテキストエンジニアリング、マルチモデルオーケストレーション、ドメインインターフェース、調整可能な自律性を整理する新しいソフトウェアカテゴリとして「LLMアプリケーション」レイヤー(Cursorによって例示)を特定しています。これらのアプリケーションは、一般的なモデル出力の「トレーニングとオンボーディング」として機能し、モデルの広範な能力を特定の信頼できるワークフローに変換します。カルパティは、このアプリケーションレイヤーは基盤モデルが改善されても持続すると提案しており、ほとんどの展開作業は生のモデル能力ではなく、コンテキスト、統合、ツールに関するものであると述べています。