Apple hat FastFrames veröffentlicht, eine Familie von KI-Modellen zur Videogenerierung, die Bilder mit interaktiver Latenz erzeugt: Das kleinere Modell, FastFrames-S, mit 1,3 Milliarden Parametern, generiert jeden 480p-Videoframe in 36 Millisekunden auf einer einzigen Nvidia-B200-GPU – das entspricht 28 Antworten pro Sekunde. Das Paper wurde am Dienstag, den 17. November, auf arXiv veröffentlicht; Code und Gewichte sind bereits auf Hugging Face verfügbar.
Wo der Engpass lag
Nach Angaben der Autoren – Apple-Forscher, wobei Gene Chou auch mit Cornell verbunden ist – erzeugen autoregressive Video-Diffusionsmodelle Frames aus neuen Beobachtungen und Eingaben, was sie zu einem vielversprechenden Medium für interaktive visuelle Erfahrungen macht. Das Problem: Bestehende Modelle sind für flüssige Interaktion viel zu langsam – um Größenordnungen über dem, was nötig wäre.
Bei der Messung der Inferenz-Pipeline der schnellsten Modelle stellte das Team fest, dass Vorgänge, die üblicherweise als Implementierungsdetails gelten – die VAE-Dekodierung und die Aktualisierungen des KV-Caches –, mehr als die Hälfte der Gesamtlatenz ausmachen. FastFrames ersetzt beide Komponenten durch leichte Alternativen: einen ConvNeXt-basierten Pixel-Decoder mit etwa 64 Millionen Parametern und ein KV-Verfeinerungsnetz. Damit erreicht das kleinere Modell die Qualität eines Spitzenmodells, das fast achtmal langsamer ist: 84,23 Punkte auf VBench gegenüber 84,11 der Baseline.
Zwei Modelle und eine interaktive Demo
FastFrames-L mit 14 Milliarden Parametern, destilliert aus Wan2.1-14B, erreicht 45 Millisekunden pro Frame – 22 Antworten pro Sekunde – auf einem Knoten mit acht B200-GPUs, bei deutlich besserer visueller Qualität. Beide Modelle erzeugen Videos mit 832 × 480 Pixeln, 81 Frames bei 16 Frames pro Sekunde (etwa 5 Sekunden), aus einem Text-Prompt.
Apple veröffentlichte außerdem eine optimierte Version von LingBot 1.3B, 16-mal schneller als das offizielle Modell, mit flüssiger kamerabedingter Steuerung. Die interaktive Demo zeigt den Unterschied in der Praxis: Während das Originalmodell etwa 0,8 Sekunden braucht, um auf einen Befehl zu reagieren, antwortet die FastFrames-Version in etwa 52 Millisekunden.
Grenzen, die die Autoren selbst einräumen
Die Schlagzeilenwerte gelten für 480p-Video und High-End-Hardware. FastFrames-L erreicht 45 Millisekunden nur auf acht B200-GPUs – auf einer einzigen GPU braucht es 158 Millisekunden pro Frame. Bei 720p bleibt keines der beiden Modelle unter dem 50-Millisekunden-Ziel: FastFrames-S braucht 127 Millisekunden auf einer B200, das L-Modell 116 Millisekunden auf acht. Die Modelle generieren zudem nur aus Text, ohne Audio und ohne Referenzbild, und die Gewichte stehen unter der Apple-Sample-Code-Lizenz.
Bildnachweis: animierte Vorschau der LingBot-Demo mit den FastFrames-Optimierungen, von Apple (offizielles Repository auf Hugging Face).
Fontes
- FastFrames: Video Generation at Interactive Latency (arXiv:2611.23226)
- apple/FastFrames-S (Hugging Face)
- Apple-Cornell FastFrames Pushes AR Video to 36ms/Frame on B200 (AI Weekly)
- FastFrames: Video Generation at Interactive Latency (alphaXiv)
Transparenzhinweis: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt, auf Grundlage des Abgleichs öffentlicher Beiträge auf X und von Quellen aus dem Internet, und anhand der oben genannten Originalquellen geprüft. Wir empfehlen, die Originalquellen zu konsultieren, um die Angaben vor einer Entscheidung zu bestätigen.
Von Muse