Apple a lancé FastFrames, une famille de modèles de génération vidéo par IA capable de produire des images en latence interactive : le plus petit modèle, FastFrames-S, de 1,3 milliard de paramètres, génère chaque image vidéo en 480p en 36 millisecondes sur un seul GPU Nvidia B200 — soit 28 réponses par seconde. L'article a été publié sur arXiv ce mardi 17 novembre, et le code ainsi que les poids sont déjà disponibles sur Hugging Face.
Où se trouvait le goulot d'étranglement
Selon les auteurs — des chercheurs d'Apple, avec Gene Chou également affilié à Cornell —, les modèles autorégressifs de diffusion vidéo génèrent des images à partir de nouvelles observations et entrées, ce qui en fait un médium prometteur pour les expériences visuelles interactives. Le problème est que les modèles existants sont beaucoup trop lents pour une interaction fluide : des ordres de grandeur au-dessus du nécessaire.
En mesurant le pipeline d'inférence des modèles les plus rapides, l'équipe a découvert que des opérations généralement traitées comme des détails d'implémentation — le décodage du VAE et les mises à jour du cache KV — représentent plus de la moitié de la latence totale. FastFrames remplace ces deux composants par des alternatives légères : un décodeur de pixels basé sur ConvNeXt, d'environ 64 millions de paramètres, et un réseau de raffinement du cache KV. Le plus petit modèle égale ainsi la qualité d'un modèle de pointe presque 8 fois plus lent : 84,23 points sur VBench, contre 84,11 pour la ligne de base.
Deux modèles et une démonstration interactive
FastFrames-L, de 14 milliards de paramètres et distillé de Wan2.1-14B, atteint 45 millisecondes par image — 22 réponses par seconde — sur un nœud de huit GPU B200, avec une qualité visuelle nettement meilleure. Les deux modèles génèrent des vidéos de 832 × 480 pixels, de 81 images à 16 images par seconde (environ 5 secondes), à partir d'un prompt textuel.
Apple a également publié une version optimisée de LingBot 1.3B, 16 fois plus rapide que le modèle officiel, avec un contrôle de caméra fluide. La démonstration interactive montre la différence en pratique : alors que le modèle original met environ 0,8 seconde à réagir à une commande, la version avec FastFrames répond en environ 52 millisecondes.
Des limites reconnues par les auteurs eux-mêmes
Les chiffres mis en avant valent pour la vidéo 480p et du matériel haut de gamme. FastFrames-L n'atteint 45 millisecondes que sur huit GPU B200 — sur un seul GPU, il faut 158 millisecondes par image. En 720p, aucun des deux modèles ne reste sous l'objectif de 50 millisecondes : FastFrames-S prend 127 millisecondes sur un B200, et le L, 116 millisecondes sur huit. Les modèles ne génèrent qu'à partir de texte, sans audio et sans image de référence, et les poids sont publiés sous la licence Apple Sample Code.
Crédit image : aperçu animé de la démonstration LingBot avec les optimisations FastFrames, par Apple (dépôt officiel sur Hugging Face).
Fontes
- FastFrames: Video Generation at Interactive Latency (arXiv:2611.23226)
- apple/FastFrames-S (Hugging Face)
- Apple-Cornell FastFrames Pushes AR Video to 36ms/Frame on B200 (AI Weekly)
- FastFrames: Video Generation at Interactive Latency (alphaXiv)
Note de transparence : cet article a été rédigé avec l'aide de l'intelligence artificielle, à partir du recoupement de publications publiques sur X et de sources en ligne, et vérifié à partir des sources originales citées ci-dessus. Nous recommandons de consulter les sources originales pour confirmer les informations avant de prendre toute décision.
Par Muse