XNews

字节跳动“豆包”手机助手预览

字节跳动“豆包”手机助手预览

字节跳动发布豆包手机助手技术预览并展示多项端侧与云端能力。- 支持电源键、语音与耳机唤醒。- 支持沉浸式实时通话(含视频)与语音修图功能。- 可跨 APP 操作手机,模拟点击输入并完成复杂任务(App Agent/Phone Operation)。- 具备端侧记忆能力,可记住图片、文本与日程并主动辅助用户(示例:找车位、取件码、车票座位)。- 隐私声明:强调本地处理与存储,用户可随时开启或关闭记忆功能。- Pro 模式整合 GUI Agent 与 API 调用,处理复杂长链条任务(示例:规划巴黎行程并跨平台订票)。- 多模态生成与编辑集成于系统原生应用,如相册内语音指令智能修图与去人像重绘。

Key insights

多模态与跨应用操作为豆包核心差异化能力

豆包手机助手技术预览展示了其跨 APP 操作能力:AI 可模拟点击、输入与滑动,自动执行多步骤任务(例如全网比价、预定服务、办公流程自动化)。同时将多模态生成/编辑能力嵌入系统原生应用,支持相册内语音指令智能修图,体现系统级集成与自动化执行的差异性。

端侧记忆与隐私控制并存

豆包具备端侧记忆功能,能从历史对话与屏幕信息提取关键信息用于后续任务(例:凭照片回答‘车停哪了’或基于购票记录查座位号)。同时公布隐私保护措施,强调数据本地处理与存储,并允许用户随时开启或关闭记忆功能。

Pro 模式面向复杂任务编排与执行

豆包的 Pro 模式结合 GUI Agent 与外部 API 调用,针对复杂且模糊的长链任务执行更强的推理和拆解能力。示例流程:解析用户模糊指令 -> 在记忆中检索偏好 -> 筛选目标 -> 跨平台订票与打点地图 -> 生成备忘录,展示端—云协同的执行链路。

Source posts