モデル選択と製品体験:AmpがGeminiからClaudeに戻る

Ampは短期間でデフォルトモデルをGemini 3からClaude Opus 4.5に戻し、Opus 4.5が安定性、応答速度、総コストの面で優れていると述べた。具体的なデータには、正確度、スレッドコスト、失制御コストの割合などの比較が含まれる。
Key insights
Ampがデフォルトモデルを切り替え:GeminiからClaude Opus 4.5に戻る
Ampは1週間以内にClaudeからGemini 3に切り替え、その後再びデフォルトモデルをClaude Opus 4.5に戻した。理由は、Gemini 3が実際の使用において「粗いエッジ」の問題が発生し、コストが高かったためである。Ampの報告によれば、Opus 4.5はGemini 3と同等の能力を持ちながらも、より安定しており、応答速度が速く、実際の使用シーンにおいて全体的なコストが低いという。
詳細な比較データがOpusのコストと失制御率の優位性を示す
Ampが提供した比較データによれば、正確度はOpus 4.5が57.3%、Gemini 3が53.7%であり、平均スレッドコストはOpusが$2.05、Geminiが約$2.04である。失制御コストの割合はOpusが2.4%でGeminiの17.8%を大きく下回っている。速度に関してはOpusが3.5分、Geminiが4.3分であり、これらのデータはOpusに戻る決定を支持している。
製品体験とコスト効率がモデル選択を促進する
記事は、Opusが長い対話(20万トークン以上)や複雑な曖昧なタスクにおいてコストの優位性がより明確であることを指摘している。これには、トークンの使用量が少なく、人的介入が少ないことが含まれ、キャッシュヒット率を向上させ、遅延を低下させることを示している。実際の製品体験と総コストはモデル選択の重要な要因である。