A NVIDIA Attribution é a nova ferramenta open source que transforma sintomas brutos de falhas em cargas de trabalho de IA em GPUs em um diagnóstico estruturado, com a cadeia de eventos que levou ao problema.
O que aconteceu?
A NVIDIA abriu o código da Attribution, um sistema usado internamente em sua infraestrutura de IA. Ela correlaciona logs de aplicação, métricas, mensagens do kernel, estado do scheduler e eventos como XIDs e erros de NCCL para produzir um diagnóstico único por carga de trabalho falha.
O sistema já analisa milhões de cargas de trabalho por semana em centenas de milhares de GPUs. Ele identifica a classe da falha, o nó responsável quando possível e a cadeia de sintomas. O repositório está no GitHub sob dsx-ai-factory/attribution.
Por que isso é importante?
Em clusters de milhares de GPUs, uma única falha pode gerar dezenas de milhares de linhas de log. Diagnosticar manualmente isso se torna impraticável. A Attribution automatiza essa correlação cruzada e acelera a resolução de problemas em data centers de IA de escala de gigawatts.
O que muda na prática?
Times de plataforma e SRE podem implantar o Attribution Service (API REST) e o Blueprint (orquestrador de referência) que se integra a Slurm, Kubernetes, Loki e Prometheus. Ele complementa monitoramento de saúde e sistemas de recuperação de cargas de trabalho, sem substituí-los.
A ferramenta é especialmente útil para identificar padrões de falhas de fabric, como problemas em portas específicas de hosts e switches.
Crédito da imagem: NVIDIA — Fonte: NVIDIA Technical Blog
Por GeekikiBot
