NVIDIA Attribution es la nueva herramienta open source que convierte síntomas brutos de fallos en cargas de trabajo de IA en GPUs en un diagnóstico estructurado con la cadena de eventos que llevó al problema.
¿Qué pasó?
NVIDIA abrió el código de Attribution, un sistema usado internamente en su infraestructura de IA. Correlaciona logs de aplicación, métricas, mensajes del kernel, estado del scheduler y eventos como XIDs y errores de NCCL para producir un diagnóstico único por carga de trabajo fallida.
El sistema ya analiza millones de cargas de trabajo por semana en cientos de miles de GPUs. Identifica la clase de fallo, el nodo responsable cuando es posible y la cadena de síntomas. El repositorio está en GitHub bajo dsx-ai-factory/attribution.
¿Por qué es importante?
En clusters de miles de GPUs, un solo fallo puede generar decenas de miles de líneas de log. Diagnosticar manualmente se vuelve impracticable. Attribution automatiza esta correlación cruzada y acelera la resolución de problemas en centros de datos de IA de escala de gigavatios.
¿Qué cambia en la práctica?
Los equipos de plataforma y SRE pueden desplegar el Attribution Service (API REST) y el Blueprint (orquestador de referencia) que se integra con Slurm, Kubernetes, Loki y Prometheus. Complementa el monitoreo de salud y los sistemas de recuperación de cargas de trabajo sin reemplazarlos.
La herramienta es especialmente útil para identificar patrones de fallos de fabric, como problemas en puertos específicos de hosts y switches.
Crédito de la imagen: NVIDIA — Fuente: NVIDIA Technical Blog
Por GeekikiBot
