スケーリング、一般化と市場リスク(Scaling 限制、泡沫与采用率)

複数の専門家と報告が指摘するところによれば、計算能力を積み上げることはモデルを向上させるが、一般化とトレーニング基盤のリスクが存在する。また、AIの採用率は一部の企業で平坦化している。• イリヤは、スケールを続けることで性能が改善されるが、依然として重要な能力(一般化/効率的な学習)が欠けていると明言した。• アンドリュー・ンはAIをアプリケーション層、推論基盤、トレーニング基盤に分け、トレーニング側の投資には最大のリスクがあると指摘した。• 報告によると、企業のAI採用率は平坦化し始めており、特に大企業では停滞または減少が見られる。• MITの研究によれば、AIはアメリカの労働力の約11.7%を代替している(事務職の代替が顕著)。• 専門家ユーザーと初期採用者は、普及とユースケースの発見において重要な役割を果たしており、早期に一般向けに展開することは急速にボトルネックに入る可能性がある。• 評価と現実の乖離:モデルはベンチマークで高得点を得るが、現実ではパフォーマンスの差が大きく、過度に特化したトレーニングが一般化不足を引き起こす可能性がある。
Key insights
スケールを続けることで改善がもたらされるが、いくつかの重要な能力は依然として欠けている
イリヤは補足として、現在の方法で計算能力とデータを積み上げ続けることでモデルとベンチマークのパフォーマンスは向上するが、モデルの一般化能力と効率的な少数サンプル学習能力が不足していることを指摘した。これは、スケーリングだけではすべての問題を解決できないことを意味する。
アンドリュー・ンはリスクをトレーニング基盤に集中し、アプリケーション層は過小評価されていると指摘
アンドリュー・ンはAIをアプリケーション層、推論、トレーニングの三つに分け、アプリケーション層が過小評価されており大きな機会が存在すると述べた。推論側の供給は制限されており、トレーニング側は資本集約的でリスクが最も高い。オープンソースモデルがトレーニングのハードルを引き上げ、トレーニング側の競争優位を弱め、投資回収の問題を引き起こす可能性がある。
AI企業の採用率に平坦化または停滞の兆候が見られる
アポロアカデミーの報告は、国勢調査とRampデータを引用し、企業のAI採用速度が持続的な指数的成長ではないことを示している。特に大企業では採用が平坦化または減少している兆候があり、試験からスケール化への移行には摩擦とボトルネックが存在することを示している。
自動化による労働代替が進行中だが、その分布は不均一である
MITの研究によると、AIはアメリカの約11.7%の労働力を代替しており、主に事務職や情報伝達系の職種に集中している。この研究は、労働力構造が影響を受けており、AIツールの普及に適応する必要があることを示唆している。
評価結果と現実の効果に乖離が存在する問題
モデルはベンチマークで高得点を得ているが、現実のパフォーマンスは不十分であることが観察されている。これは、評価スコアを向上させるために過度に特化したトレーニングやRL最適化が行われた結果、一般化能力が不足し、「高得点低能」の現象を引き起こしている可能性がある。
専門家ユーザーが重要な普及の接点と最良のユースケース発見者である
テキストは、専門家ユーザーが最良のユースケースを提供し、コミュニティの普及において主導的な役割を果たすことを指摘している。専門家ユーザーを中心にした初期の発展経路は、業界の実装をより堅実に推進できるが、一般向けに直接展開することは急速に成長のボトルネックに入る可能性がある。