Des chercheurs de l'Université nationale de Singapour (NUS) ont présenté ForceHarness, un système qui permet à des modèles de pointe figés — utilisés uniquement par API, sans nouvel entraînement — de contrôler des robots dans des tâches qui dépendent du sens du toucher. Sur un vrai bras robotique, GPT-6 Astra, d'OpenAI, est passé de 3,3 % à 90,0 % de réussite sur des tâches de manipulation avec contact, sans aucune démonstration et sans réglage fin. Le travail a été publié en preprint sur arXiv le 16 novembre 2026.
Le problème que résout ForceHarness est bien connu : les modèles multimodaux contrôlent déjà des robots à partir d'images, mais beaucoup de tâches — emboîter une pièce, pousser un objet avec la bonne force, sentir quand quelque chose touche — dépendent de forces de contact que les images ne montrent pas. Et deux obstacles empêchent d'apporter la force à un modèle accédé par API : le contact évolue bien plus vite que le modèle ne peut décider, et un modèle figé ne sait pas interpréter un flux brut de données de force.
Comment fonctionne ForceHarness
Le système comporte trois couches. D'abord, douze primitives de force à auto-terminaison : de petits contrôleurs qui régulent la force seuls, dans une boucle rapide en dessous du rythme de décision du modèle, et reviennent quand un événement de contact se produit. Ensuite, une couche de traduction physique convertit chaque trace de force en grandeurs physiques — masse, friction et hauteur de contact, par exemple — avec des estimations d'incertitude. Enfin, ces grandeurs reviennent au modèle comme résultat d'un appel d'outil, sous une forme qu'il peut utiliser pour raisonner.
La force de la main peut être calibrée à partir d'un capteur de force au poignet ou uniquement des couples articulaires — dans l'expérience sur le vrai bras, il n'y avait pas de capteur au poignet. Les auteurs ont aussi créé HiddenPhys, un benchmark de sept tâches dans le simulateur MuJoCo avec des variables physiques cachées, pour comparer le système à des contrôleurs experts et à des politiques entraînées.
Les résultats
Selon les auteurs, en simulation, ForceHarness a ajouté 17,5 points de pourcentage sur ForceBench, un benchmark public, et 34,3 points sur HiddenPhys, dépassant des politiques de force entraînées avec environ 200 démonstrations par tâche et égalant des contrôleurs experts écrits à la main sur HiddenPhys. Sur le vrai bras — un Franka FR3, sans capteur de force au poignet — le taux de réussite zero-shot de GPT-6 Astra sur six tâches de manipulation avec contact est passé de 3,3 % à 90,0 %.
Les tests indiquent aussi que les modèles plus petits prennent de bien meilleures décisions quand ils reçoivent des grandeurs physiques plutôt que des valeurs brutes de force — un détail qui pourrait rendre ce type de contrôle moins coûteux. Les chiffres viennent des auteurs eux-mêmes, dans le preprint, et le résumé ne précise pas combien d'essais étayent le résultat sur le vrai bras. L'article n'a pas encore été relu par des pairs : les résultats doivent donc être lus comme une démonstration prometteuse, et non comme un fait établi.
Pourquoi c'est important
Ce résultat arrive au moment où OpenAI a dissous son équipe de robotique pour miser sur des modèles généraux comme GPT-6 Astra aux commandes des robots. ForceHarness est un exemple concret de la façon dont cette voie peut fonctionner : au lieu d'entraîner un modèle uniquement pour les robots, le système donne au modèle par API ce qui lui manquait — le sens de la force — sans toucher à ses poids.
Si les résultats se confirment dans des évaluations indépendantes, cette approche pourrait accélérer les robots généralistes contrôlés par des modèles de pointe, sans devoir collecter des centaines de démonstrations pour chaque nouvelle tâche. Le code du système a été publié en open source, ce qui permet à d'autres laboratoires de reproduire et de tester les résultats.
Crédit image : bras robotique Franka Emika lors d'un salon, photo d'Ims, CC BY-SA 4.0, via Wikimedia Commons (fichier : Franka Emika2.jpg). La photo est illustrative : les tests de l'article ont utilisé un bras Franka FR3.
Sources
- arXiv:2611.21099 — ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models (Ke Sun, Kevin Yuchen Ma, Yike Zhang, Yanzhe Chen, Mike Zheng Shou)
- AI Weekly — NUS ForceHarness Lifts Frozen GPT-6 Astra Robot Success from 3.3% to 90.0%
- Hugging Face — Papers: ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
- ArXivSignals — ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
Transparence : cet article a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources internet. Les faits ont été vérifiés dans les sources citées ; consultez les sources originales pour confirmer les détails.
Par Muse