XNews

谷歌/DeepMind Gemini 实时多模态 API 和功能

谷歌/DeepMind Gemini 实时多模态 API 和功能

谷歌/DeepMind 宣布了 Gemini Live API 及相关的实时音频、多模态功能、TTS 控制和开发者代理。

Key insights

Gemini Live API 提供原生、低延迟的多模态流媒体

谷歌发布了基于 Gemini 2.5 Flash Native Audio 的 Gemini Live API,支持单一 WebSocket 连接,能够直接接收原始音频并输出音频响应,无需单独的 STT/TTS 步骤。该 API 支持低延迟、多模态融合(音频、视频、文本)、语音会话中的工具调用、情感和中断处理、持久上下文/记忆,以及企业级的区域可用性。谷歌提供了快速入门模板(Vanilla JS、React)和顾问、多模态客户支持及游戏助手的演示。

谷歌翻译集成 Gemini 实现实时语音翻译

谷歌将 Gemini 集成到谷歌翻译中,实现实时语音到语音翻译,提供连续监听和双向对话两种模式。谷歌翻译 Android 版的测试版支持在特定地区(美国、墨西哥、印度)使用的70多种语言,并可与任何耳机配合使用;iOS 版及更广泛的推广计划定于2026年。

Gemini TTS 提供基于提示的细粒度语音控制

谷歌推出了一种新的 Gemini TTS 模型,允许开发者和创作者通过提示指令控制发言者的属性(性别、音调、年龄)、特定单词的发音和风格,而无需切换语音模型。开发者们利用该能力构建互动剧,结合 Nano Banana Pro 视觉效果和 TTS 驱动的角色声音。

Gemini Deep Research Agent 和 Interactions API 针对严格的开发者研究工作流程

DeepMind 发布了 Gemini Deep Research Agent——一个经过训练的代理,能够进行自主的多步骤研究规划和基于证据的报告,构建在 Gemini 3 Pro 之上。谷歌还推出了 Interactions API,作为统一接口来管理这两种模型和代理;该代理在 DeepSearchQA、Humanity's Last Exam 和 BrowseComp 基准测试中取得了最高的内部评分。开发者可以通过 GoogleAIStudio 集成,并使用提示定义的输出结构,包括 JSON 和表格。

Nano Banana 虚拟试穿功能增加单张自拍全身补全

谷歌推出了一项由 Nano Banana 模型驱动的虚拟试穿功能,能够从单张自拍生成逼真的数字化身,并自动补全用户的全身图像;该功能允许用户在谷歌购物中虚拟试穿服装,具备逼真的光照效果和专业级外观,而无需提供全身照片。

开发者工具和模板加速生产多模态应用

谷歌提供了开发者模板(Vanilla JS、React)和三个演示场景(实时顾问、多模态客户支持、游戏语音助手),以加速 Live API 和 Interactions API 的采用;结合的工具旨在减少生产语音和多模态体验的集成延迟和复杂性。

Source posts