Vercel Labs 开源了 agent-desktop,一个专为 AI Agent 打造的跨平台桌面自动化工具,目前已获得 16.3K Stars!
它通过系统无障碍 API,直接读取 macOS、Windows、Linux 的界面元素,将按钮、窗口、输入框转换成带引用 ID 的 JSON。
AI Agent 只需执行「读取界面 → 点击或输入 → 验证结果」,就能操作桌面应用,无需依赖图像识别,默认也不会抢占鼠标焦点。
项目支持 CLI、MCP 和 C 接口,可以集成 Claude Code 等 Agent 工作流,还提供自动化操作 Skills。
这意味着 AI Agent 可以更直接地理解和操作桌面软件,是 Computer Use 值得关注的开源基础设施!
GitHub:https://github.com/vercel-labs/agent-desktop