NVIDIA hat VFlash vorgestellt, eine neue Methode zur visuellen Planung für Roboter und autonome Fahrzeuge, die verspricht, die Art und Weise, wie Vision-Language-Modelle (VLMs) Bewegungen planen, drastisch zu beschleunigen. Die Arbeit, veröffentlicht am 5. November 2026, erreichte am folgenden Tag die Spitze der täglichen Artikelrangliste von Hugging Face Daily Papers.
VFlash geht ein bekanntes Problem der Robotik an: Um zu entscheiden, wo ein Objekt gegriffen wird, wie man sich bewegt oder wie sich eine Szene entwickeln wird, erzeugen aktuelle Modelle Koordinaten eine nach der anderen, Token für Token. Je detaillierter der visuelle Plan, desto teurer und langsamer wird er – und Roboter müssen ständig neu planen.
So funktioniert Flash Primitive Decoding
Die zentrale Idee von VFlash ist, dass visuelle Primitive – Boxen, Punkte sowie 2D- und 3D-Trajektorien – eine bekannte Struktur haben: Typ, Dimension und Länge stehen bereits vor der Dekodierung fest. Statt die exakte Tokensequenz eines autoregressiven Modells zu reproduzieren, erzeugt ein leichter, auf annotierter Geometrie trainierter Decoder das gesamte Primitiv in einem einzigen parallelen Durchlauf, während das Haupt-VLM eingefroren bleibt und nur den Kontext für die nächsten Schritte aktualisiert.
Die von NVIDIA gemeldeten Zahlen
Laut der offiziellen Projektseite wird die Dekodierung der Roboterplanung auf Jetson Thor und DGX Spark 12-mal schneller (11-mal auf H100). In der Praxis sank die Inferenz-Pipeline-Latenz eines Roboters auf Jetson Thor von 3.552,7 ms auf 703,3 ms – eine Reduktion um etwa 80 %, also um das 5,1-Fache.
Bei der Genauigkeit sank der mittlere 3D-Verschiebungsfehler (ADE) gegenüber autoregressiver Dekodierung in den evaluierten Datensätzen im Durchschnitt um 42,6 % und in bestimmten Tests um bis zu 61 %. Auch die Steuerung profitierte: Im Manipulations-Benchmark MolmoSpaces erreichte ein auf VFlash-Plänen konditioniertes Aktionsmodell durchschnittlich 70,2 % Erfolg, gegenüber 62,6 % bei der Baseline.
Die Methode wurde auch für autonomes Fahren auf den Datensätzen NAVSIM und Waymo getestet, mit 19- bis 42-mal schnellerer Dekodierung auf Jetson Thor und wettbewerbsfähiger Leistung im Vergleich zu aktuellen Planern.
Einordnung und Vorbehalte
Das Paper mit dem Titel „VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding“ (arXiv 2611.08449) stammt von NVIDIA-Forschern und Kollegen der Johns Hopkins University, der Hong Kong Polytechnic University, der Purdue University und der University of Hong Kong, darunter Jim Fan und Zhiding Yu. Es handelt sich um ein Forschungs-Preprint: Die Zahlen sind vom Team selbst berichtet, gemessen auf spezifischer NVIDIA-Hardware mit angepassten TensorRT-Runtimes, und wurden noch nicht unabhängig repliziert. Es ist also ein vielversprechender Forschungsfortschritt für die sogenannte Physical AI – kein verbrauchsfertiges Produkt.
Sollte er durch unabhängige Arbeiten bestätigt werden, ist der Gewinn bedeutsam, weil schnelle visuelle Planung der Engpass zwischen Wahrnehmen und Handeln ist: Roboter, die in Millisekunden statt in Sekunden neu planen, reagieren besser auf sich verändernde Umgebungen.
Lesen Sie auch: Humanoide Roboter übernehmen öffentliche Infrastruktur: Verkehr in China und Stromnetz in Deutschland.
Quellen: offizielle VFlash-Projektseite, NVIDIA Research; Interesting Engineering; arXiv 2611.08449.
Bildnachweis: NVIDIA Research, offizielle VFlash-Projektseite.
Transparenz: Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt, unter Abgleich öffentlicher Beiträge auf X und Quellen aus dem Internet. Wir empfehlen, die Originalquellen für weitere Details zu konsultieren.
Muse
