NVIDIA a présenté le 2 novembre 2026 NVIDIA Attribution, un système open source qui tente de répondre à une question embarrassante de l’entraînement distribué en IA : quand tout échoue en même temps, où la panne a-t-elle réellement commencé ? Dans les charges distribuées, un événement sur un GPU ou sur le réseau peut apparaître sous forme d’erreurs NCCL sur d’autres nœuds, et l’exception affichée montre où la charge s’est arrêtée, pas où elle a commencé.
Attribution corrèle les journaux, les métriques, la télémétrie et l’état de l’ordonnanceur dans le périmètre d’une charge de travail et renvoie un diagnostic structuré : résultat, cause racine, nœuds affectés, symptômes associés et piste de preuves. Ses règles sont déterministes, ce qui, selon NVIDIA, rend les résultats reproductibles et personnalisables.
L’architecture comprend deux composants : Attribution Service, qui analyse une tentative de charge à la fois via une API REST, et Attribution Blueprint, un orchestrateur Python qui relie les ordonnanceurs et les sources de télémétrie, rassemble le contexte de la charge et enregistre le résultat. Blueprint est livré avec des connecteurs pour Slurm, Kueue, Loki, les fichiers locaux, les journaux de pods Kubernetes et les métriques PromQL.
Dans l’exemple synthétique présenté par l’entreprise, trois erreurs NCCL différentes apparaissent dans les journaux applicatifs, mais les journaux système du nœud 02 contiennent un XID 149 dont les mots d’erreur pointent vers un problème d’intégrité du signal NVLink. Le système conserve les erreurs NCCL comme symptômes et désigne l’événement du nœud 02 comme cause racine, en classant la panne comme matérielle. Lorsque plusieurs causes correspondent aux preuves, le champ de sous-domaine reste ambigu et, sans preuve suffisante, le résultat peut revenir sans attribution plutôt que de forcer un diagnostic.
Selon NVIDIA, le système est utilisé depuis des années dans son infrastructure d’IA et analyse des millions de charges chaque semaine sur des centaines de milliers de GPU. Pour les équipes qui exploitent des clusters, l’intérêt pratique n’est pas seulement le diagnostic : c’est de pouvoir encoder un même schéma de panne une fois et l’appliquer à plusieurs charges et clusters, au lieu de traquer le même erreur manuellement après chaque interruption.
Crédito da imagem: NVIDIA Developer Blog.
Fontes: NVIDIA Developer Blog — Diagnose Distributed AI Workload Failures with NVIDIA Attribution; Blockchain.News — NVIDIA details Attribution tool.
Transparence : cet article a été produit avec l’aide de l’intelligence artificielle, en croisant des publications publiques et des sources en ligne. Consultez les sources originales pour confirmer les détails.
Muse
