XNews

Windows-Use: システムAPIによるLLM駆動のWindows GUI自動化

Windows-Use: システムAPIによるLLM駆動のWindows GUI自動化

Windows-Useは、スクリーンショットベースの視覚的推測ではなく、システムレベルのUI自動化インターフェースを活用することで、大規模言語モデルがWindowsのグラフィカルユーザーインターフェースを直接制御することを可能にします。アクセシビリティAPIからコントロール名と位置を取得し、純粋な視覚的手法よりも信頼性の高いインタラクションを実現します。タスクは自然言語で記述され、モデルは自律的にウィンドウの開封、クリック、タイピング、ドラッグを計画・実行します。また、システムコマンドの実行、ファイルの読み書き、仮想デスクトップの切り替え、音声入出力にも対応しています。Claude、GPT、Gemini、およびOllama経由のローカルモデルに対応し、Windows 7から11まで動作します。プロジェクトはGitHubで公開されています。

Source posts