モデル、ハードウェア、ベンチマーク(数学モデル、文書モデル、TPU/GPUの比較)

複数のモデルとハードウェアの進展が報告されました:DeepSeekが数学モデルを発表しオープンソース化、ハードウェアベンチマークとTPU/GPUエコシステムに関する議論が活発化、Landing AIが軽量文書モデルを発表。
Key insights
DeepSeekMath-V2がオープンソース化と数学コンペティションでの高得点を発表
DeepSeekはDeepSeekMath-V2を発表し、IMO-ProofBenchや2025年IMOの問題で金メダルレベルに近いパフォーマンスを発揮し、Putnam 2024でほぼ満点を獲得したと主張しています。このモデルはApache 2.0ライセンスの下でHugging Faceでオープンソース化され、コミュニティのダウンロードと再現の道を提供しています。
ハードウェア比較が推論コストの顕著な違いを示し、NVIDIAがリード
ベンチマークレポートによれば、30トークン/秒の基準速度で、NVIDIA H100の推論コストは百万トークンあたり$1.06、AMD MI300Xは$2.24、TPU v6eは$5.13であり、H100が推論コストで顕著にリードしていることを示しています。TPU v7は近日中にリリースされる予定ですが、価格は不明です。
TPUとCUDAのモートに関するコミュニティの議論
コミュニティの中には、NVIDIAのCUDAモートは破れないものではないと指摘する人もおり、優れたエンジニアはソフトウェア最適化(例:Triton)を通じて非ネイティブプラットフォームでパフォーマンスの利点を得ることができるとしています。Anthropicなどの組織は長年TPUを使用しており、ハードウェアの利点はシステムエンジニアリングとカーネル最適化の影響を受けることが多いです。
Landing AIが高スループットシナリオ向けの軽量文書解析モデルDPT-2 miniを発表
Landing AIはDPT-2 miniを発表し、英語のデジタルネイティブ文書(請求書や契約書など)を解析するために最適化された小型モデルで、速度と一貫性を強調し、バッチ構造化抽出に適しているが、複雑なレイアウトや手書きのスキャン文書には適していないとしています。また、ADEライブラリを通じて迅速なスタート例を提供しています。
Jeff DeanがAIの急速な発展を促進する複数の技術の重なりを振り返る
Jeff Deanは講演の中で、過去15年間のAIの重要な進展を振り返り、無監督学習による概念の発見、Word2Vecのベクトル意味、TPUの専用ハードウェアの利点、Transformerの自己注意アーキテクチャ、スパースモデル、蒸留、思考チェーンなどの技術が最近のモデル能力の飛躍に寄与していることを強調しました。
チップメーカーとクラウドサービスの戦略的補完性とコミュニケーションの立場
NVIDIAはGoogleの進展に対して賛辞を表しつつ、GPUの汎用性と性能、多機能性における優位性を再確認し、ASIC(TPUなど)は効率的であるが柔軟性が制限されていることを指摘し、エコシステムの協力と競争が共存していることを示しました。