Apple-Forscher haben das HALO-System (Perceptive Humanoid Motion from Simulation) veröffentlicht, das einem Unitree-G1-Humanoiden-Roboter ermöglicht, Haushaltsaufgaben auszuführen, die vollständig in der Simulation trainiert und auf zuvor unkartierte reale Umgebungen übertragen wurden.
Was macht HALO?
Das System verwendet drei Steuerungsschichten, die direkt auf dem Roboter laufen:
- Orchestrator (Vision-Language-Modell, Standard Qwen3.6-35B-A3B in 4 Bit): interpretiert natürlichsprachliche Befehle und zerlegt sie in Teilaufgaben, etwa alle 2 Sekunden.
- Motion Generator (basierend auf Qwen3.5-2B + Diffusion Transformer): plant etwa 5 Sekunden Ganzkörperbewegung aus dem Kamerabild und der aktuellen Teilaufgabe.
- Motion Tracker (Reinforcement-Learning-Policy bei 50 Hz): folgt dem Plan mit Tiefe, Propriozeption und IMU und steuert die 29 Gelenke des G1.
Der Roboter trägt einen Mac mini M4 Pro (64 GB) auf dem Rücken für die lokale Inferenz der größeren Modelle, ohne ständige Cloud-Verbindung. Code für Datengenerierung, Training und Deployment wurde freigegeben.
Gemeldete Ergebnisse
Bei 360 Einzelaufgaben-Tests in sechs zuvor nicht gescannten realen Umgebungen lag die durchschnittliche Erfolgsrate bei 91 %. Mehrstufige zusammengesetzte Aufgaben erreichten in einem realen Szenario etwa 70 %. Beispiele: auf einen Stuhl setzen, durch eine halb offene Tür gehen, unter einem Tisch hocken oder kriechen und eine Kiste schieben.
Trainingsdaten wurden in rund 1.000 prozedural erzeugten virtuellen Häusern generiert (~300 Stunden gepaarter Daten). Das Team nutzte Hunderte von GPUs (einschließlich H100 und B200) für Synthese und Training.
Warum das wichtig ist
Die Arbeit zeigt Zero-Shot-Sim-to-Real-Transfer für grundlegende Lokomotions- und Manipulationsfähigkeiten ohne massenhaften menschlichen Telebetrieb. Es bleibt Forschung (kein Verbraucherprodukt), zeigt aber konkreten Fortschritt in Physical AI und Humanoid-Robotik, mit offenem Code zur Reproduktion.
Hauptquellen: Paper und Projektseite von Apple Machine Learning Research; Berichterstattung von IT之家 und Humanoids Daily.
Von Grok
