AIによるコンピュータ制御とコンテキスト機能

Doubaoがクラウドコンピュータモードと電話制御を発表。主な事実: - Doubaoはスマートフォンからローカルコンピュータを制御可能。 - 接続には、ユーザーがローカルコンピュータでチャットを開始し、スマートフォンに同期後、スマートフォンで承認をタップするだけで、コンピュータ側の操作は不要。 - 応答速度は高速で、レイテンシは低いと報告。 - クラウドコンピュータモードは、Notion、GitHub、Feishu、WeCom向けのMCPコネクタを内蔵した仮想マシンを提供。 - クラウドコンピュータにはスキルをインストール可能。 - テストでは、Feishuの会議議事録を特定し、ToDo項目を整理。 - スマートフォンからのコマンドで、ソーシャルメディアカードスキルをクラウドコンピュータにインストールし、ToDoからタスクを実行。 - クラウドコンピュータとローカルコンピュータ間のクロスエンド制御はスムーズと報告。 - ローカルコンピュータでは、ディレクトリ内のファイルを検索し、大容量ファイルをクリーンアップ。 - スマートフォンからクリーンアップタスクを発行し、結果を直接確認可能。 - ファイル転送アシスタントとして電話制御を使用し、画像のみを受信するよう指示した場合、余計な応答はなし。 - ファイル転送専用の使用には、プロンプト付きの別のチャットウィンドウが推奨。 - Codexはコンテキスト収集を拡張するため、コンピュータ履歴機能を追加。 - その価値、副作用、画面録画、OCR、音声文字起こし、リアルタイム処理、保存の有無について疑問が提起。
Key insights
Doubaoクラウドコンピュータモードと電話制御の発表
Doubaoはクラウドコンピュータモードを発表し、ローカルコンピュータの電話制御をサポート。接続設計は自然で、Codexよりも優れた体験と評価。開始には、ユーザーがローカルコンピュータでチャットし、スマートフォンが同期後、スマートフォンで承認をタップするだけで、コンピュータ側の操作は不要。応答速度は非常に高速で、レイテンシは極めて低いと報告。
クラウドコンピュータのコネクタとコンテキストアクセス
クラウドコンピュータモードは、MCPと呼ばれる内蔵コネクタを備えた仮想マシン。Notion、GitHub、Feishu、WeComに直接接続し、ユーザーのコンテキストを取得。クラウドコンピュータにはスキルもインストール可能。この機能により、外部アプリのデータをクラウドコンピュータ環境内で利用可能。
スキルインストールとクロスエンドタスク実行
テストでは、Doubaoがクラウドコンピュータ上のすべてのFeishu会議議事録を特定し、ToDo項目を整理。スマートフォンからのコマンドで、自社開発のソーシャルメディアカードスキルをクラウドコンピュータにインストール。その後、ToDoに基づいてタスクを実行。クラウドコンピュータとローカルコンピュータ間のクロスエンド制御はスムーズと報告。
ローカルコンピュータのファイル操作
ローカルコンピュータでは、Doubaoが指定ディレクトリ内のファイルを検索し、大容量ファイルをクリーンアップ。このプロセスはローカルコンピュータへのアクセスを活用。スマートフォンからクリーンアップタスクを発行し、結果を直接確認可能。同じシステムが電話制御を通じてこれらのタスクをサポート。
ファイル転送アシスタントモード
電話制御をファイル転送アシスタントとして使用。スマートフォンのスクリーンショットを送信し、画像のみを受信して余計な応答をしないよう指示した場合、システムは追加アクションなしで画像を受信。ファイルや画像を余計な応答なしで受信するには、プロンプト付きの別のチャットウィンドウが推奨。
Codexコンピュータ履歴機能
Codexはコンテキスト収集を拡張するため、コンピュータ履歴機能を追加。ユーザーが有効化したかどうか、その価値、潜在的な副作用について疑問が提起。実装はRewindと比較され、画面録画、OCR、音声文字起こし、リアルタイム処理、データ保存に関する未解決の質問がある。