🚀 AI Agent 操作电脑,终于不需要依赖截图和像素匹配了!

🚀 AI Agent 操作电脑,终于不需要依赖截图和像素匹配了!

Vercel Labs 开源了 agent-desktop,一个专为 AI Agent 打造的跨平台桌面自动化工具,目前已获得 16.3K Stars!

它通过系统无障碍 API,直接读取 macOS、Windows、Linux 的界面元素,将按钮、窗口、输入框转换成带引用 ID 的 JSON。

AI Agent 只需执行「读取界面 → 点击或输入 → 验证结果」,就能操作桌面应用,无需依赖图像识别,默认也不会抢占鼠标焦点。

项目支持 CLI、MCP 和 C 接口,可以集成 Claude Code 等 Agent 工作流,还提供自动化操作 Skills。

这意味着 AI Agent 可以更直接地理解和操作桌面软件,是 Computer Use 值得关注的开源基础设施!

GitHub:https://github.com/vercel-labs/agent-desktop




分类