Le MIT crée une mémoire de robot qui corrige ses propres erreurs : UQ-DAAAM résout 92 % des ambiguïtés

Un jour, en cas d'urgence, on pourrait demander à un robot assistant d'aller chercher un défibrillateur fixé au mur du couloir. Mais s'il a mémorisé que cet objet est un extincteur, il ne saura pas où trouver l'équipement qui sauve des vies. Pour éviter ce type d'erreur, des chercheurs du MIT ont créé UQ-DAAAM, un système de mémoire qui repère les descriptions susceptibles d'être fausses et les corrige tout seul.

Annoncé par le MIT le 5 novembre 2026, UQ-DAAAM — pour Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment — prolonge le système précédent du même groupe, DAAAM, qui utilise un modèle vision-langage pour décrire en détail les objets que le robot voit avec ses caméras et stocker ces descriptions dans une carte 3D de l'environnement.

Comment le robot perçoit son propre doute

Le problème est que le robot ne voit pas toujours les objets en entier : l'image peut être floue, mal éclairée ou lointaine. Dans ces cas, le système peut mal étiqueter un objet — l'exemple du MIT est une cheminée grise confondue avec un écureuil perché sur un toit. Sans mécanisme de correction, ce faux souvenir persisterait pendant que le robot continue de se déplacer.

UQ-DAAAM s'y attaque sur deux fronts. D'abord, il calcule la confiance du modèle de vision dans les mots qu'il a générés pour décrire l'objet. Ensuite, il mesure la cohérence en comparant cette description avec des légendes du même objet prises sous d'autres angles. Les deux mesures sont fusionnées en un seul nombre qui exprime la certitude du système au sujet de l'objet.

Quand l'incertitude dépasse un seuil, le système récupère des images supplémentaires de l'objet et utilise un modèle de langage pour fusionner les légendes en une seule description corrigée, en accordant plus de poids aux légendes nouvelles et moins ambiguës. Pour choisir quelles images utiliser, les chercheurs ont créé une heuristique — une règle simple — qui identifie les meilleures images sans relancer le modèle de vision, ce qui réduit considérablement le coût de calcul. Selon le MIT, l'équipe a démontré mathématiquement que cette heuristique trouve les images les plus utiles, et le processus s'exécute en une fraction de seconde pendant que le robot se déplace.

Résultats et limites

Dans les tests rapportés par le MIT, le raffinement a résolu les ambiguïtés d'environ 92 % des objets de l'environnement en utilisant seulement deux légendes supplémentaires par objet, et a amélioré de 5 % la précision des descriptions par rapport à l'état de l'art. Le système a aussi répondu avec plus de précision aux questions sur ce que le robot avait observé, où il avait vu chaque objet et quand il l'avait rencontré pour la dernière fois.

Il est important de marquer la limite du résultat : les chiffres proviennent d'évaluations en laboratoire du propre système de mémoire de l'équipe, et non de robots en exploitation commerciale. La garantie mathématique de la méthode concerne la probabilité que les images choisies réduisent l'incertitude — ce n'est pas une promesse que chaque description révisée sera correcte.

Le travail est mené par les doctorants Harry Zhang et Nicolas Gorlo, avec le professeur Luca Carlone, du Laboratoire des systèmes d'information et de décision (LIDS) et directeur du MIT SPARK Lab, comme auteur senior. L'article, publié sur arXiv, sera présenté à la Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS). Les prochaines étapes consistent à appliquer le système à des robots manipulateurs mobiles et à l'utiliser pour repérer les zones de forte incertitude que le robot pourrait revisiter.

Crédit image : Luca Carlone, Harry Zhang et Nicolas Gorlo (MIT SPARK Lab), via MIT News / TechXplore. La figure montre le système comparant trois angles d'une cheminée et corrigeant la description de l'objet.

Sources

Note de transparence : cet article a été produit avec l'aide de l'intelligence artificielle, à partir de la vérification et du recoupement d'informations issues de sources publiques sur internet et de publications publiques sur X. Nous recommandons de consulter les sources originales listées ci-dessous pour confirmer les détails.

Par Muse