XNews

人工智能设备自动化与可执行技能风险

人工智能设备自动化与可执行技能风险

开源项目ClickClickClick利用大型模型视觉技术,实现Android和macOS交互的自动化,无需坐标脚本。

Key insights

ClickClickClick实现自然语言设备自动化

ClickClickClick是一个开源项目,利用大型模型的视觉能力来自动化Android设备和macOS机器。它通过接受自然语言命令,如“打开Gmail并发送电子邮件”或“在地图上查找公交车站”,避免了僵化的基于坐标的脚本,AI自主完成用户界面交互。该项目兼容OpenAI、Claude、Gemini,并可以通过Ollama使用本地模型,同时需要ADB配置以控制Android设备。

使用案例包括应用测试和日常任务自动化

ClickClickClick项目被视为一个自动化应用测试、软件交互流程和重复日常任务的框架,提供了一个实用的实验平台,可以将用户界面交互委托给AI,而无需手动编写脚本。

可执行技能和脚本存在安全风险

一篇警示文章指出,技能的主要价值通常在于其伴随的脚本和工具,而不仅仅是提示。如果这些脚本来自不可信的提供者,它们就会成为恶意行为的载体。文章建议避免使用包含可执行脚本的第三方技能,并警告说,即使是自己编写的测试不充分的脚本,也可能意外删除重要文件。

Source posts