XNews

Scaling、訓練インフラストラクチャーとAIバブルに関する議論

Scaling、訓練インフラストラクチャーとAIバブルに関する議論

イリヤは、現在の方法でスケールを続けることで改善が続くが、「重要なものが欠ける」と明言した。グーグルのアンドリュー・ングはAIをアプリケーション、推論、訓練の三層に分け、訓練インフラストラクチャーが最もバブルリスクが高い部分であると指摘した。アポロの報告によると、企業のAI採用率は横ばいまたは減少傾向にある。

Key insights

イリヤ:スケールを続けることで改善があるが、重要な欠落が存在する

イリヤはツイートで、計算能力、データ、訓練環境を積み重ねることで持続的な改善が得られるが、停滞はしないと明言した。しかし、彼はこの方法には常に「重要なものが欠ける」と指摘し、二人の学生の例を用いて説明した。持続的な反復訓練はパフォーマンスを向上させるが、少数の訓練で一般化と効率的な学習能力を生み出すことはできない。

アンドリュー・ング:AIをアプリケーション、推論、訓練の三層に分けてバブルリスクを評価

アンドリュー・ングは記事の中でAIをアプリケーション層、推論インフラストラクチャー、訓練インフラストラクチャーの三部分に分け、アプリケーション層は過小評価されており、依然として巨大な成長ポテンシャルがあると述べた。推論層は現在供給が制限されており、需要が旺盛である。訓練層は資本集約的で、オープンソースに取って代わられる可能性が高く、資産バブルとリターンリスクが最も高いセクターである。

企業のAI採用率に鈍化の兆し

アポロアカデミーからの報告は、アメリカ合衆国国勢調査局とRampのデータを引用し、大企業におけるAIの採用速度が停滞または減少していることを指摘している。これは、導入から持続的な採用への抵抗が存在することを示しており、短期的には採用率が持続的に指数関数的に上昇するわけではない。

訓練インフラストラクチャーの投資リスクと市場への影響

アンドリュー・ングは訓練インフラストラクチャーが資本集約的でリスクが集中している分野であると指摘した。オープンソースの大規模モデルの性能向上やアルゴリズム/ハードウェアの最適化が訓練コストを迅速に削減する可能性があり、これによりプライベートモデルが防御壁としての期待が弱まる。訓練側が過熱して崩壊した場合、アプリケーション側への連鎖的な資金退出を引き起こす可能性がある。

Source posts