XNews

Google / DeepMind GeminiのリアルタイムマルチモーダルAPIと機能

Google / DeepMind GeminiのリアルタイムマルチモーダルAPIと機能

Google/DeepMindは、リアルタイムオーディオ、TTS制御、開発者エージェント向けのGemini Live APIおよび関連するマルチモーダル機能を発表しました。

Key insights

Gemini Live APIはネイティブで低遅延のマルチモーダルストリーミングを提供

GoogleはGemini 2.5 Flash Native Audioに基づくGemini Live APIを発表し、生のオーディオを取り込み、別々のSTT/TTSステップなしでオーディオ応答を出力する単一WebSocket接続を可能にしました。このAPIは、低遅延のマルチモーダル融合(オーディオ、ビデオ、テキスト)、音声セッション中のツール呼び出し、感情および中断処理、持続的なコンテキスト/メモリ、企業向けの地域的な可用性をサポートします。Googleは、アドバイザー、マルチモーダルカスタマーサポート、ゲームアシスタント向けのクイックスタートテンプレート(Vanilla JS、React)とデモを提供しました。

Google TranslateがGeminiを統合し、リアルタイム音声翻訳を実現

Googleは、連続リスニングと双方向会話の2つのモードでリアルタイム音声翻訳を実現するためにGeminiをGoogle Translateに統合しました。Google TranslateのAndroidベータ版は、選ばれた地域(米国、メキシコ、インド)で70以上の言語をサポートし、任意のヘッドフォンで動作します。iOSおよびより広範な展開は2026年に予定されています。

Gemini TTSはプロンプト駆動の細かな音声制御を提供

Googleは、開発者やクリエイターがスピーカーの属性(性別、トーン、年齢)、特定の単語の発音、スタイルをプロンプト指示を通じて制御できる新しいGemini TTSモデルを導入しました。この機能は、Nano Banana ProビジュアルとTTS駆動のキャラクターボイスを組み合わせたインタラクティブドラマを構築する開発者によって強調されました。

Gemini Deep Research AgentとInteractions APIが厳格な開発者研究ワークフローを対象

DeepMindは、Gemini 3 Proに基づいて自律的なマルチステップ研究計画と証拠に基づく報告のために訓練されたエージェント、Gemini Deep Research Agentを発表しました。Googleは、両方のモデルとエージェントを管理するための統一インターフェースとしてInteractions APIも立ち上げました。このエージェントは、DeepSearchQA、Humanity's Last Exam、BrowseCompのベンチマークで最高の内部スコアを達成しました。開発者はGoogleAIStudioを介して統合し、JSONやテーブルを含むプロンプト定義の出力構造を使用できます。

Nano Bananaによるバーチャル試着機能が単一の自撮りで全身を完成

Googleは、単一の自撮りからリアルなデジタルアバターを生成し、ユーザーの全身画像を自動で補完するNano Bananaモデルによるバーチャル試着機能を導入しました。この機能により、ユーザーはGoogle Shoppingでフォトリアリスティックな照明とスタジオ品質の外観で衣服をバーチャルに試着できます。

開発者ツールとテンプレートが生産マルチモーダルアプリの導入を加速

Googleは、Live APIおよびInteractions APIの導入を加速するために、開発者向けのテンプレート(Vanilla JS、React)と3つのデモシナリオ(リアルタイムコンサルタント、マルチモーダルカスタマーサポート、ゲーム音声アシスタント)を提供しました。これらのツールは、プロダクションの音声およびマルチモーダル体験の統合遅延と複雑さを軽減することを目的としています。

Source posts