XNews

GUI操作をAPIスクリプトに変換してComputer Useのトークンコストを削減する方法

GUI操作をAPIスクリプトに変換してComputer Useのトークンコストを削減する方法

Computer Useは有効だが、繰り返しのスクリーンショットと視覚的推論によりコストが高くなる。SamSokolinのアプローチは、1回のComputer Useセッション中にネットワークリクエストをキャプチャし、再利用可能なスクリプトを生成し、後続の同一タスクをAPI呼び出しで実行する。これにより、視覚処理のためのトークン消費を排除し、タスク時間を数分から数秒に短縮し、ブラウザセッションから既存の認証を再利用する。ワークフローは、リクエストをキャプチャしながらタスクを実行し、Pythonスクリプトを生成し、ルーチンとしてスケジュールする。原則として、視覚的操作は探索のため、コードは実行のためのものである。

Source posts