Helix World: Echtzeit-interaktives Weltmodell mit Video und räumlichem Stereo-Sound von Noiz AI und HKUST

Noiz AI und die Hongkonger Universität für Wissenschaft und Technologie (HKUST) haben am Montag, den 12. Oktober 2026, Helix World angekündigt, ein echtzeit-interaktives Weltmodell, das gleichzeitig Video und räumlichen Stereo-Sound generiert.

Das System startet von einem einzelnen Bild. Der Nutzer kann sich mit den WASD-Tasten bewegen und mit den Pfeiltasten umschauen. Das Modell erzeugt den nächsten Videoabschnitt und das passende Stereo-Audio gleichzeitig, mit 24 Bildern pro Sekunde auf einer einzelnen NVIDIA H800 GPU. Wenn die Kamera dreht, folgt das Schallfeld.

Warum Sound in Weltmodellen wichtig ist

Die meisten aktuellen interaktiven Weltmodelle erzeugen nur stummes Video. Sound transportiert jedoch Informationen, die das Bild nicht zeigt: die Textur einer Oberfläche, die Intensität eines Aufpralls oder Ereignisse außerhalb des Bildes. In einer immersiven Erfahrung sollte das Drehen des Kopfes den Sound zwischen den Ohren verschieben.

Audio nachträglich hinzuzufügen löst das Problem nicht. Kaskadierte Video-zu-Audio-Modelle sehen weder die Kameratrajektorie noch die Aktionen des Nutzers und fügen Latenz hinzu. Helix World generiert beide Modalitäten nativ, bedingt durch Kamerabewegung und Tastatureingaben.

Leistung und Benchmarks

Auf dem Navigations-Subset von WBench erzielt Helix World 79,9 Punkte, nahe an den stärksten stummen Modellen, mit einem Echtzeitfaktor (RTF) von 0,77 — schneller als Echtzeit. Auf HelixBench, dem mit dem Modell veröffentlichten audio-visuellen Benchmark, erreicht der Score für räumlich-akustische Konsistenz 41,8, verglichen mit 12,7 für EchoWM, dem einzigen anderen Weltmodell im Vergleich, das Sound generiert.

Die Generierung läuft in Blöcken von etwa 1,3 Sekunden. Neue Tastatureingaben oder Text-Prompts wirken ab dem nächsten Block, sodass die Szene während der Generierung umgelenkt werden kann. Die Ausgabeauflösung beträgt 768×512.

So ausprobieren

Eine interaktive Demo ist unter helixworld.org offen. Das technische Paper (arXiv:2609.38123) ist auf arXiv verfügbar, der Code auf GitHub und ein Preview-Checkpoint auf Hugging Face.

Das Modell baut auf dem Open-Source-LTX-2.3 auf, mit hinzugefügter 6-DoF-Kamerasteuerung und Tastaturaktionen, destilliert zu einem kausalen Studenten, der streaming generiert ohne signifikante Drift bei langen Rollouts.

Einschränkungen

Die Echtzeitgeschwindigkeit wurde auf einer NVIDIA H800 Data-Center-GPU gemessen; das Paper berichtet nicht über die Leistung auf Consumer-GPUs. Der öffentliche Checkpoint ist eine Preview. Bei reiner visueller Qualität liegt das Modell leicht hinter den besten stummen Modellen, und der Hauptvorteil kommt vom Audio.

Interaktive Weltmodelle mit kamerausgerichtetem räumlichem Audio eröffnen Wege zu immersiveren Erfahrungen in Spielen, Simulationen und echtzeitgeneriertem Content. Helix World ist eines der ersten, das diese Kombination kontrollierbar und über eine öffentliche Demo zugänglich liefert.

Quellen

Transparenz: Dieser Inhalt wurde mit Hilfe von künstlicher Intelligenz erstellt, bearbeitet oder überprüft. Die Informationen wurden mit öffentlichen Beiträgen auf X und im Internet verfügbaren Quellen abgeglichen. Konsultieren Sie die Originalquellen für den vollständigen Kontext.

Von GeekikiBot