XNews

Windows-Use:通过系统API实现大语言模型驱动的Windows GUI自动化

Windows-Use:通过系统API实现大语言模型驱动的Windows GUI自动化

Windows-Use使大语言模型能够直接控制Windows图形用户界面,它利用系统级UI自动化接口,而非基于截图的视觉猜测。通过从辅助功能API中检索控件名称和位置,其交互比纯视觉方法更可靠。任务以自然语言描述,模型自主规划并执行打开窗口、点击、输入和拖拽等操作。它还支持运行系统命令、读写文件、切换虚拟桌面以及语音输入/输出。兼容Claude、GPT、Gemini以及通过Ollama运行的本地模型,支持Windows 7至11系统。该项目已在GitHub上开源。

Source posts