XNews

字節跳動「豆包」スマートフォンアシスタントの技術プレビュー

字節跳動「豆包」スマートフォンアシスタントの技術プレビュー

字節跳動は豆包スマートフォンアシスタントの技術プレビューを発表し、複数の端末側およびクラウド機能を展示しました。

Key insights

多モーダルとアプリ間操作が豆包の核心的な差別化能力

豆包スマートフォンアシスタントの技術プレビューは、そのアプリ間操作能力を示しました。AIはクリック、入力、スワイプを模倣し、複数のステップを自動的に実行します(例:全ネット価格比較、サービス予約、業務プロセスの自動化)。また、多モーダル生成・編集機能をシステムのネイティブアプリに組み込み、アルバム内での音声指示によるスマート修正をサポートし、システムレベルの統合と自動実行の差異を示しています。

端末側記憶とプライバシー制御の共存

豆包は端末側記憶機能を備えており、過去の対話や画面情報から重要な情報を抽出して後続のタスクに利用します(例:写真を基に「車はどこに停まっているか」と答える、または購入履歴に基づいて座席番号を確認する)。同時にプライバシー保護措置を発表し、データのローカル処理と保存を強調し、ユーザーがいつでも記憶機能をオンまたはオフにできるようにしています。

Proモードは複雑なタスクの編成と実行に対応

豆包のProモードはGUIエージェントと外部API呼び出しを組み合わせ、複雑で曖昧な長いタスクに対してより強力な推論と分解能力を発揮します。例のプロセス:ユーザーの曖昧な指示を解析し、記憶から好みを検索し、目標を絞り込み、クロスプラットフォームでの予約と地図の打点を行い、メモを生成します。これにより、端末とクラウドの協調的な実行の流れを示しています。

Source posts