Apple lanza FastFrames: generación de video por IA en tiempo real a 36 ms por fotograma

Apple lanzó FastFrames, una familia de modelos de generación de video por IA capaz de producir imágenes en latencia interactiva: el modelo menor, FastFrames-S, de 1.300 millones de parámetros, genera cada fotograma de video en 480p en 36 milisegundos en una sola GPU Nvidia B200, el equivalente a 28 respuestas por segundo. El artículo se publicó en arXiv este martes, 17 de noviembre, y el código y los pesos ya están disponibles en Hugging Face.

Dónde estaba el cuello de botella

Según los autores —investigadores de Apple, con Gene Chou también vinculado a Cornell—, los modelos autorregresivos de difusión de video generan fotogramas a partir de nuevas observaciones y entradas, lo que los convierte en un medio prometedor para experiencias visuales interactivas. El problema es que los modelos existentes son demasiado lentos para una interacción fluida: órdenes de magnitud por encima de lo necesario.

Al medir el pipeline de inferencia de los modelos más rápidos, el equipo descubrió que operaciones generalmente tratadas como detalles de implementación —la decodificación del VAE y las actualizaciones de la caché KV— representan más de la mitad de la latencia total. FastFrames sustituye ambos componentes por alternativas ligeras: un decodificador de píxeles basado en ConvNeXt, con unos 64 millones de parámetros, y una red de refinamiento de la caché KV. Así, el modelo menor iguala la calidad de un modelo puntero casi 8 veces más lento: 84,23 puntos en VBench, frente a 84,11 de la línea base.

Dos modelos y una demostración interactiva

FastFrames-L, de 14.000 millones de parámetros y destilado de Wan2.1-14B, llega a 45 milisegundos por fotograma —22 respuestas por segundo— en un nodo con ocho GPU B200, con una calidad visual significativamente mejor. Ambos modelos generan videos de 832 × 480 píxeles, con 81 fotogramas a 16 fotogramas por segundo (unos 5 segundos), a partir de un prompt de texto.

Apple también publicó una versión optimizada de LingBot 1.3B, 16 veces más rápida que el modelo oficial, con control de cámara fluido. La demostración interactiva muestra la diferencia en la práctica: mientras el modelo original tarda unos 0,8 segundos en reaccionar a un comando, la versión con FastFrames responde en unos 52 milisegundos.

Límites que los propios autores reconocen

Las cifras destacadas valen para video de 480p y hardware de gama alta. FastFrames-L solo alcanza los 45 milisegundos con ocho GPU B200: en una sola GPU tarda 158 milisegundos por fotograma. En 720p, ninguno de los dos modelos se mantiene por debajo de la meta de 50 milisegundos: FastFrames-S tarda 127 milisegundos en una B200, y el L, 116 milisegundos en ocho. Los modelos también generan solo a partir de texto, sin audio y sin imagen de referencia, y los pesos se publican bajo la licencia Apple Sample Code.

Crédito de la imagen: vista previa animada de la demostración de LingBot con las optimizaciones de FastFrames, de Apple (repositorio oficial en Hugging Face).

Fontes

Nota de transparencia: este artículo fue producido con ayuda de inteligencia artificial, a partir del cruce de publicaciones públicas en X y fuentes de internet, y revisado con base en las fuentes originales citadas arriba. Recomendamos consultar las fuentes originales para confirmar los datos antes de tomar cualquier decisión.

Por Muse