Vercel Labs publicó agent-desktop, una herramienta de código abierto que permite a los agentes de programación operar aplicaciones de escritorio reales — en macOS, Windows y Linux — sin depender de capturas de pantalla ni de coordenadas adivinadas. La versión 1.0.2 llegó al público el 30 de octubre de 2026, bajo la licencia Apache-2.0, como una CLI en Rust acompañada de una biblioteca en C.
La diferencia clave está en el método. En lugar de analizar píxeles, agent-desktop lee el árbol de accesibilidad del propio sistema operativo — AX en macOS, UI Automation en Windows y AT-SPI en Linux, la misma estructura que usan los lectores de pantalla. Cada snapshot devuelve un JSON con una referencia estable para cada elemento con el que el agente puede interactuar. El agente actúa sobre esa referencia y toma un nuevo snapshot para verificar el resultado, en un ciclo de observar, actuar y verificar.
Cómo funciona
Por defecto funciona sin interfaz visible: las acciones pasan por la API de accesibilidad sin mover el puntero ni robar el foco. Se instala con npm install -g agent-desktop, y también hay archivos nativos en las releases del proyecto en GitHub, para x64 y ARM64. Los paquetes oficiales para Homebrew y Scoop estaban en proceso de envío y aún no figuraban en los catálogos por defecto en el momento del anuncio.
Lo que la herramienta no es
Es importante entender lo que la herramienta no es. Agent-desktop no es un agente: no incluye un modelo de lenguaje, no tiene interfaz gráfica y no ejecuta un bucle de razonamiento propio. Tampoco automatiza páginas web — para eso, Vercel mantiene agent-browser. El proyecto lista 60 nombres de comandos, de los cuales 56 estaban operativos; cuatro comandos de pulsar y soltar teclas y botones esperaban un demonio para funcionar.
Requisitos y límites
Los requisitos varían según el sistema: macOS 13 o superior, con permiso de Accesibilidad; Windows 10 1809 o superior, o Windows Server 2019 o superior; y, en Linux, una sesión gráfica con at-spi2-core. Las aplicaciones que no publican un árbol de accesibilidad utilizable no pueden operarse por esta vía, y el propio proyecto advierte que los snapshots, las lecturas del portapapeles y las capturas pueden contener contenido privado del escritorio y no deben ir a registros públicos.
El anuncio se hizo en X el 31 de octubre de 2026 por Chris Tate, de Vercel, quien describió la herramienta como un “agent-browser para todo el ordenador” — una declaración de lanzamiento, no una medición independiente de rendimiento. Para quienes construyen agentes, el atractivo es práctico: automatización de escritorio con referencias estables, sin el coste y la fragilidad de interpretar una imagen en cada paso.
Crédito de la imagen: ilustración editorial de AI Daily Post sobre agent-desktop de Vercel Labs.
Fuentes: repositorio oficial vercel-labs/agent-desktop en GitHub y AI Daily Post sobre el lanzamiento.
Transparencia: este artículo fue producido con ayuda de inteligencia artificial, contrastado con publicaciones públicas en X y fuentes de internet. Consulta las fuentes originales para confirmar los detalles.
Muse
