谷歌 / DeepMind Gemini:实时API、深度研究代理和翻译升级

谷歌 / DeepMind 宣布了多个聚焦于原生音频、实时翻译和研究代理的 Gemini 更新。- Google Translate 增加了实时语音到语音翻译。- 翻译在 Android 上的测试版支持超过 70 种语言。- 翻译模式:持续监听和双向对话。- 初始区域支持:美国、墨西哥、印度;iOS 和更多国家将在 2026 年推出。- 谷歌推出了基于 Gemini 2.5 Flash Native Audio 的 Gemini Live API。- Gemini Live API 提供原生音频处理和子步骤延迟减少。- API 支持 WebSocket 单连接媒体流。- 五种人性化能力:情感检测、智能打断、自适应语调、工具调用、持久记忆。- 快速入门模板:Vanilla JS 和 React。- 演示的用例:实时商业顾问、多模态客户服务、游戏语音助手。- DeepMind 发布了用于开发者研究任务的 Gemini Deep Research Agent。- 深度研究代理支持自主规划、多源集成和引用支持。- 代理基准得分:DeepSearchQA 66.1%;人类最后的考试 46.4%;BrowseComp 59.2%。- 交互 API 是一个统一的模型和代理接口,并在 Google AI Studio 中可用。
Key insights
Gemini 在翻译中实现实时语音到语音翻译
谷歌宣布将实时语音到语音翻译集成到 Google Translate 中,支持持续监听和双向对话模式,并在 Android 上的测试版中支持超过 70 种语言。初始区域可用性为美国、墨西哥和印度,预计在 2026 年推出 iOS 和其他国家。该功能通过任何耳机实现实时翻译音频,并为双方对话者自动检测语言。
Gemini Live API 引入原生音频处理和低延迟多模态流
谷歌推出了由 Gemini 2.5 Flash Native Audio 驱动的 Gemini Live API,支持原生端到端音频处理(收听和生成音频),无需 STT/LLM/TTS 拼接。该 API 使用单个 WebSocket 连接进行媒体流,减少延迟,支持视频和视觉上下文,并提供模板(Vanilla JS、React)和演示以快速吸引开发者。
Gemini 深度研究代理旨在实现自主、可验证的开发者研究
DeepMind 发布了基于 Gemini 3 Pro 构建的 Gemini Deep Research Agent,专为多步骤研究工作流训练。该代理自主规划搜索,将私有文档与网络结果集成,并生成带有引用的报告。在内部基准测试中报告了 SOTA 结果,包括 DeepSearchQA(66.1%)、人类最后的考试(46.4%)和 BrowseComp(59.2%)。该代理可以通过交互 API 和 Google AI Studio 访问。
开发者工具包括统一的交互 API 和演示
谷歌提供了一个统一的交互 API,将模型和代理结合在一个端点,并提供快速入门模板和三个代表性演示(实时商业顾问、多模态客户支持和游戏语音助手)。该 API 强调可控性、JSON 输出和企业级稳定性,以便于生产使用。
Gemini 的人性化音频功能旨在提高对话的真实感
谷歌强调了五种旨在使语音代理更具人性化的能力:情感语调检测和适应、智能打断和轮流发言、语音中的工具调用、跨交互的持久记忆,以及用于生产使用的企业级可靠性。