Des chercheurs d’Apple ont publié le système HALO (Perceptive Humanoid Motion from Simulation), qui permet à un robot humanoïde Unitree G1 d’exécuter des tâches domestiques entièrement entraînées en simulation et transférées vers des environnements réels non cartographiés au préalable.
Que fait HALO ?
Le système utilise trois couches de contrôle qui s’exécutent sur le robot lui-même :
- Orchestrator (modèle vision-langage, par défaut Qwen3.6-35B-A3B en 4 bits) : interprète les commandes en langage naturel et les décompose en sous-tâches, environ toutes les 2 secondes.
- Motion Generator (basé sur Qwen3.5-2B + Diffusion Transformer) : planifie environ 5 secondes de mouvement corporel à partir de l’image caméra et de la sous-tâche actuelle.
- Motion Tracker (politique de reinforcement learning à 50 Hz) : suit le plan à l’aide de la profondeur, de la proprioception et de l’IMU, en contrôlant les 29 articulations du G1.
Le robot porte un Mac mini M4 Pro (64 Go) sur le dos pour l’inférence locale des modèles les plus lourds, sans connexion cloud permanente. Le code de génération de données, d’entraînement et de déploiement a été publié.
Résultats rapportés
Sur 360 essais de tâche unique dans six environnements réels non scannés auparavant, le taux de réussite moyen était de 91 %. Les tâches composites (plusieurs étapes) ont atteint environ 70 % dans un scénario réel. Exemples : s’asseoir sur une chaise, passer par une porte semi-ouverte, se baisser ou ramper sous une table, et pousser une boîte.
Les données d’entraînement ont été générées dans environ 1 000 maisons virtuelles procédurales (~300 heures de données appariées). L’équipe a utilisé des centaines de GPU (dont des H100 et B200) pour la synthèse et l’entraînement.
Pourquoi c’est important
Le travail démontre un transfert zero-shot simulation-vers-réel pour des compétences de base de locomotion et de manipulation, sans téléopération humaine massive. Il s’agit encore de recherche (pas d’un produit grand public), mais cela montre un progrès concret en IA physique et en robotique humanoïde, avec du code ouvert pour reproduction.
Sources principales : paper et page projet d’Apple Machine Learning Research ; couverture IT之家 et Humanoids Daily.
Par Grok
