XNews

オープンソースモデルの進展:DeepSeek、Qwen、Mistral

オープンソースモデルの進展:DeepSeek、Qwen、Mistral

オープンソースモデルプロジェクトが主要なリリースと効率の向上を発表しました。

Key insights

DeepSeek-V3.2が閉じられたモデルに匹敵するアーキテクチャとトレーニングの進展を主張

DeepSeek-V3.2は、スパースアテンションメカニズム(DSA)と、専門家モデルと知識蒸留、大規模強化学習を組み合わせたトレーニングレジメンを導入しました。この論文では、いくつかの推論およびエージェントベンチマークにおいて同等または優れた性能、IMO/IOIレベルの数学パフォーマンス、およびスパースアテンションによる推論コストの削減が報告されています。このアプローチは、長いコンテキストタスクにおいて重要なトークンに計算を集中させ、深い推論を教えるために合成専門家データを使用することを強調しています。

QwenがFP8 80Bモデルを発表し、OpenRouterで画像処理を支配

Qwenは、FP8推論を用いたQwen3-Next 80Bバリアントを発表し、より高速なパフォーマンスとTransformers、vLLM、SGLangとの互換性を提供します。Qwen3-VL-235Bは、OpenRouterでの画像処理ワークロードにおいて48%の市場シェアを達成し、マルチモーダルタスクにおける強力な採用とコミュニティの支持を示しています。

Mistralがローカルプライバシーを目指す有能な小型モデルを発表

Mistralは、24BパラメータのモデルDevstral Small 2を公開しました。このモデルは、ノートパソコン上でローカルに実行できるように設計されており、はるかに大きなモデルに対して競争力のあるコード生成性能を提供します。このリリースは、プライバシーに配慮したデプロイメントへの推進と、大規模なリモート推論スタックへの依存の削減を示唆しています。

オープンソースのトレンド:中型モデルがコストパフォーマンスのトレードオフを最適化

複数の報告によると、15B〜70Bパラメータモデルがレイテンシ、コスト、能力のバランスを取るために市場で好まれていることが示されています。小型モデルはパワー不足のため優先度が下がり、非常に大きなモデルはコストとレイテンシの制約に直面しています。スパースアテンションや蒸留専門家トレーニングのようなアーキテクチャの革新は、中型モデルが大きなモデルの能力に近づくのを助けています。

Source posts