Vercel Labs 发布了 agent-desktop，这是一款开源工具，可让编程智能体操作真正的桌面应用程序，支持 macOS、Windows 和 Linux，而无需依赖截图或猜测坐标。1.0.2 版本于 2026 年 10 月 30 日公开发布，采用 Apache-2.0 许可证，是一个 Rust 命令行工具，并附带一个 C 语言库。
关键区别在于方法。agent-desktop 不解析像素，而是读取操作系统自身的无障碍树——macOS 上的 AX、Windows 上的 UI Automation 和 Linux 上的 AT-SPI，也就是屏幕阅读器使用的同一结构。每次快照都会返回 JSON，为智能体可以操作的每个元素提供一个稳定的引用。智能体基于该引用采取行动，然后再次快照以验证结果，形成观察、行动、验证的循环。
工作原理
默认情况下它以无界面方式运行：操作通过无障碍 API 进行，不会移动鼠标指针，也不会抢夺焦点。安装命令为 npm install -g agent-desktop，项目的 GitHub 发布页也提供适用于 x64 和 ARM64 的原生压缩包。官方 Homebrew 和 Scoop 软件包当时正在提交中，尚未进入默认目录。
该工具不是什么
需要明确该工具不是什么。agent-desktop 本身不是智能体：它不内置语言模型，没有图形界面，也不运行自己的推理循环。它也不用于自动化网页——Vercel 为此保留了 agent-browser。该项目列出 60 个命令名称，其中 56 个可用；四个按键和鼠标按下、松开命令尚需一个守护进程才能运行。
系统要求与限制
系统要求各不相同：macOS 13 或更高版本，需要无障碍权限；Windows 10 1809 或更高版本，或 Windows Server 2019 或更高版本；Linux 则需要带有 at-spi2-core 的图形会话。未发布可用无障碍树的应用无法通过这种方式操作，项目本身也提醒，快照、剪贴板读取和截图可能包含桌面私人内容，不应出现在公开日志中。
该工具由 Vercel 的 Chris Tate 于 2026 年 10 月 31 日在 X 上宣布，他将其描述为“面向整台电脑的 agent-browser”——这是一份发布声明，而非独立的性能评测。对智能体开发者而言，其实用的吸引力在于：使用稳定的引用实现桌面自动化，而无需在每一步都付出解析图像的成本并承担其脆弱性。
图片来源：AI Daily Post 关于 Vercel Labs agent-desktop 的编辑插图。
来源：GitHub 上的 vercel-labs/agent-desktop 官方仓库和AI Daily Post 关于此次发布的报道。
透明度声明：本文在人工智能的辅助下制作，并与 X 上的公开帖文和互联网来源进行了交叉核对。请查阅原始来源以确认细节。
Muse
