XNews

GoogleがGemini 3を発表:モデルの能力、ベンチマーク、実際のフィードバック

GoogleがGemini 3を発表:モデルの能力、ベンチマーク、実際のフィードバック

GoogleはGemini 3を発表し、推論、多モーダル機能、およびエージェント機能において大幅な進展を示しました。

Key insights

Gemini 3の位置付けと能力の飛躍

GoogleはGemini 3の発表を行い、同社の最強の汎用大規模モデルとして位置付けています。主な改善点には、強化された推論能力、優れた多モーダル理解、そして大幅に向上したエージェント機能が含まれます。このモデルは、テキスト、画像、動画、音声、コードをネイティブにサポートし、最大コンテキストウィンドウを1Mトークンに拡張し、複雑な推論を強化するためにDeep Thinkモードを導入しました。リリースノートによると、Gemini 3は複数の主流ベンチマークで最先端の水準に達しているか、またはそれに位置しています。

ベンチマークスコアと具体的な指標

Gemini 3 Proは複数のベンチマークで高い評価を得ています:LMArenaユーザーの好みで1501 Elo、MMMU-Proの多モーダル理解で81%、Video-MMMUの動画理解で87.6%、GPQA Diamondの通常モードで91.9%/Deep Thinkで93.8%、WebDev Arenaで1487 Elo、Terminal-Bench 2.0で54.2%です。ARC-AGI-2ではDeep Think + コード実行モードが45.1%を達成し、Proモードは約31.11%です。これらの数値は公式およびコミュニティテストでのコア性能証明として引用されています。

使いやすさとアクセス経路

Gemini 3はGeminiアプリ(モバイル/ウェブ)で全ユーザーにアップグレードされ、無料で提供されています。Google AI Pro/Ultraのサブスクライバーは、検索のAIモードでより強力な「Thinking」またはDeep Thinkモードを使用できます。開発者や企業はGoogle AI Studio、Vertex AI、Gemini API、Antigravityプラットフォームを通じてアクセスできます。一部の高度な機能(エージェント機能など)は、最初に米国のUltraユーザーに開放されます。リリース当日に検索に統合され、大規模な配信能力を示しています。

エージェントとエンジニアリング/自動化機能のテスト

Gemini 3のエージェント機能は、自律的にエディター、ターミナル、ブラウザにアクセスし、複数のステップタスクを実行し、重要な操作の前にユーザーの確認を求めることができます。コミュニティテストでは、モデルが自動的に受信トレイを管理し、自動販売機の運営をシミュレーションして最適化し、完全なフロントエンドインターフェースやwebOSを迅速に生成し、複雑なエージェントやフロントエンド/3Dアプリケーションを一度に生成できることが示されています。複数のユーザーが、ウェブサイトのクローンから3D教育デモ、スクロールする物語のウェブページ、単一ファイルの3Dゲームまでの実際のケースを示しました。

コード生成とエージェント作成能力

コミュニティの報告では、Gemini 3 Proがコーディングやエージェント構築において優れたパフォーマンスを発揮していることが頻繁に強調されています。このモデルは、エージェントプロセス内で機能するだけでなく、完全なコーディングエージェント、フロントエンドシステム、3Dエディター、実行可能な単一ファイルの例を生成することができます。ユーザーは、ウェブオペレーティングシステムやプレイ可能なスネーク、描画ボード、軽量コードエディターなどを一度に完成させた成果を示しています。初期の比較では、フロントエンド開発タスクにおいてほとんどの競合製品よりも優れていることが示されていますが、最も高性能なコーディングモデルとの比較にはさらなる評価が必要です。

多モーダル動画理解には特定の失敗事例がある

Gemini 3は多モーダルベンチマークで高得点を獲得していますが、コミュニティの例では動画の感情やミームの解釈においてエラーが発生しています。モデルは、テレビシリーズ『ナルコス』からのミームを解析する際に、喜びの表情を孤独と誤解し、異なるミームを混同して感情判断の偏差を引き起こしました。このテストは、ベンチマークの総得点と特定のタスクのパフォーマンスの間の違いを明らかにしています。

トレーニングと安全ガバナンスの説明

リリース資料とコミュニティの議論によると、Gemini 3の性能向上は、事前トレーニングと事後トレーニングの二重最適化に起因しており、アルゴリズムとトレーニング規模に多くのリソースが投入されています。Googleは、このバージョンがこれまでで最も包括的な安全評価を受けており、Frontier Safety Frameworkを採用し、外部のレッドチームや規制機関と協力して、プロンプトの注入や誤用への抵抗力を高めていると述べています。

Source posts