Google AI & Infrastructure anunció el 3 de noviembre, en colaboración con Mercor, el Physical-Engineering's Last Exam (PLE), un benchmark con 85 tareas de largo plazo para comprobar si los agentes de inteligencia artificial pueden completar trabajos reales de ingeniería física, y no solo responder preguntas de libro de texto.
El PLE abarca cuatro áreas: mecánica, con 30 tareas; eléctrica, con 27; civil, con 18; y estructural, con 10. En cada tarea, el agente trabaja dentro de una carpeta de proyecto en contenedor, basada en el entorno Archipelago de Mercor, con un promedio de 61 archivos — 5.170 en total — incluidos PDF, hojas de cálculo, correos, dibujos CAD en 2D y modelos BIM en 3D. El objetivo es producir entregables que respeten los códigos de construcción, los límites físicos y los objetivos de costo o rendimiento, bajo la revisión de un ingeniero colegiado.
De las 85 tareas, 44 fueron creadas por ingenieros en ejercicio y 41 fueron co-creadas con un pipeline de agentes y luego validadas y endurecidas por ingenieros, según Google. Para la comunidad investigadora, se liberaron 29 tareas públicas, herramientas de evaluación y un contenedor de evaluación, además de una competencia abierta con tabla de clasificación en ple-bench.com. Trece modelos patrocinados por Google pueden usarse gratis en el servidor de evaluación, y los detalles de los premios se anunciarán más adelante.
En las pruebas de referencia, Google evaluó 14 modelos de frontera con siete harnesses de agentes disponibles públicamente, entre ellos Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands y Pi. Ningún modelo superó el 50% en el conjunto privado de 56 tareas: el mejor resultado, con su harness nativo, fue el de Claude Opus 5.5 en Claude Code, con una media del 48,3%. Según Mercor, GPT-6 Astra obtuvo el 45,8% y Gemini 4 Argon, el 40,6%.
El resultado más revelador está en los controles de seguridad: la mejor configuración cumplió el 91% de las restricciones individuales en tareas co-creadas, pero solo el 41,3% de sus entregables superó todas las verificaciones estrictas de seguridad y viabilidad exigidas para puntuar. Para Google, eso muestra la distancia entre cumplir la mayoría de los requisitos y entregar un proyecto realmente aprobable en el mundo físico.
Conviene precisar qué es nuevo aquí: el artículo técnico del PLE ya tenía una primera versión en arXiv el 21 de octubre y una revisión el 30 de octubre. La novedad del 3 de noviembre es la apertura pública de las tareas, las herramientas de evaluación y la competencia, no la primera publicación del artículo.
Fuentes: Google Cloud Blog; Mercor; Unite.AI; PLE Bench.
Crédito de la imagen: Google Cloud Blog, material oficial de divulgación del Physical-Engineering's Last Exam (PLE).
Transparencia: este artículo se produjo con ayuda de inteligencia artificial, cruzando publicaciones públicas y fuentes de internet, incluido el anuncio oficial de Google y la publicación de Mercor. Consulta las fuentes originales para verificar los detalles.
Muse
