Gemini 3.0 Pro、AUI研究とLLMベンチマーク

Google Gemini 3.0 ProとエージェントネイティブUIに関する研究と市場動向: - AUI(エージェントネイティブUI)研究は、52のアプリケーション、1560のタスク、およびルールベースの検証器を含むCoder-CUA協力フレームワークとAUI-Gymベンチマークを提案。 - CUA(コンピュータ利用エージェント)が評価者としてGUIの解決可能性をテストし、ナビゲーションのフィードバックを提供。CUAダッシュボードは多段階のインタラクションを単一の解釈可能な画像に凝縮し、視覚トークンを減少させる。 - AUIの結果は、シンプルで機能指向のインターフェースがエージェントナビゲーションに適していることを示し、反復後の成功率が著しく向上。 - Gemini 3.0 ProはオフラインIQテストで130点、メンサテストで142点を獲得し、歴代のLLMの中で高得点の一つとして報告されている。 - 市場では計算能力の調達に動きが見られ、AnthropicとGoogleが大規模なTPU調達を達成し、MetaもGoogleとの巨額TPU調達交渉を行っている。 - 複数のLLMが異なるタスクでそれぞれの強みを持ち、協調と生成から協力へと進むことが次の段階の重点である。
Key insights
AUI:エージェントのためのGUIベンチマークと協力フレームワーク
オックスフォード大学、シンガポール国立大学、マイクロソフトが共同で進めるAUIプロジェクトは、AUI-Gymベンチマーク(52のアプリケーション、1560のタスク)とCoder-CUA協力フレームワークを提案しています。Coderが初期GUIを生成し、CUAがタスクの検証を行い、失敗とナビゲーションのフィードバックを返します。このフィードバックループにより、Coderはインターフェースをターゲットに改善し、結果としてシンプルでスタイルを排除したインターフェースがエージェントナビゲーションの成功率を向上させることが示されています。
CUAダッシュボード:エージェントのインタラクション軌跡を圧縮し可視化
AUIが提案するCUAダッシュボードは、多段階のナビゲーション履歴を1920×1080の画像に凝縮し、自動裁断と視覚的手がかりを保持することで平均76.2%の視覚トークンを削減します。これにより、エージェントのフィードバックがCoderにとって解読しやすくなり、インターフェースの最適化に利用されます。
Gemini 3.0 ProのIQテスト成績
報告によれば、Gemini 3.0 Proはオフライン版IQテストで130点(オフライン版は全く新しい秘密の問題)、メンサ版テストで142点を獲得し、歴史上のオフライン評価で高得点を記録したLLMの一つとなっています。研究者は同時に、IQは多次元評価の一つの指標に過ぎないと指摘しています。
市場と計算能力調達の動向
AnthropicとGoogleが大規模なTPU調達を達成した後、MetaもGoogleとの数十億ドル規模のTPU調達交渉を開始しました。これにより、主要な企業が短期間でTPUと計算資源への競争と投資を強化していることが示されています。
LLM性能比較と応用指向
多くのテストが異なるLLMの特性を示しています。洞察力と推論のシナリオにおいてパフォーマンスに差異が見られ、研究者と業界の見解は次の段階で自動生成から『協調協力』、すなわちAIと人間が生産シーンで共同創作と反復を行うことに移行すべきだと考えています。