A Apple lançou o FastFrames, uma família de modelos de geração de vídeo por IA capaz de produzir imagens em latência interativa: o modelo menor, o FastFrames-S, de 1,3 bilhão de parâmetros, gera cada quadro de vídeo em 480p em 36 milissegundos em uma única GPU Nvidia B200 — o equivalente a 28 respostas por segundo. O artigo foi publicado no arXiv nesta terça-feira, 17 de novembro, e o código e os pesos já estão disponíveis no Hugging Face.
Onde estava o gargalo
Segundo os autores — pesquisadores da Apple, com Gene Chou, também ligado à Cornell —, os modelos autoregressivos de difusão de vídeo geram quadros a partir de novas observações e entradas, o que os torna um meio promissor para experiências visuais interativas. O problema é que os modelos existentes são lentos demais para uma interação fluida: ordens de magnitude acima do necessário.
Ao medir o pipeline de inferência dos modelos mais rápidos, a equipe descobriu que operações geralmente tratadas como detalhes de implementação — a decodificação do VAE e as atualizações do cache KV — respondem por mais da metade da latência total. O FastFrames substitui esses dois componentes por alternativas leves: um decodificador de pixels baseado em ConvNeXt, com cerca de 64 milhões de parâmetros, e uma rede de refinamento do cache KV. Com isso, o modelo menor iguala a qualidade de um modelo de ponta quase 8 vezes mais lento: 84,23 pontos no VBench, contra 84,11 da linha de base.
Dois modelos e uma demonstração interativa
O FastFrames-L, de 14 bilhões de parâmetros, destilado do Wan2.1-14B, chega a 45 milissegundos por quadro — 22 respostas por segundo — em um nó com oito GPUs B200, com qualidade visual significativamente melhor. Os dois modelos geram vídeos de 832 × 480 pixels, com 81 quadros a 16 quadros por segundo (cerca de 5 segundos), a partir de um prompt de texto.
A Apple também publicou uma versão otimizada do LingBot 1.3B, 16 vezes mais rápida que o modelo oficial, com controle de câmera fluido. A demonstração interativa mostra a diferença na prática: enquanto o modelo original leva cerca de 0,8 segundo para reagir a um comando, a versão com FastFrames responde em cerca de 52 milissegundos.
Limites que os próprios autores reconhecem
Os números de destaque valem para vídeo de 480p e hardware de ponta. O FastFrames-L só atinge 45 milissegundos em oito GPUs B200 — em uma única GPU, leva 158 milissegundos por quadro. Em 720p, nenhum dos dois modelos fica abaixo da meta de 50 milissegundos: o FastFrames-S leva 127 milissegundos em uma B200, e o L, 116 milissegundos em oito. Os modelos também geram apenas a partir de texto, sem áudio e sem imagem de referência, e os pesos seguem a licença Apple Sample Code.
Crédito da imagem: prévia animada da demonstração do LingBot com as otimizações do FastFrames, da Apple (repositório oficial no Hugging Face).
Fontes
- FastFrames: Video Generation at Interactive Latency (arXiv:2611.23226)
- apple/FastFrames-S (Hugging Face)
- Apple-Cornell FastFrames Pushes AR Video to 36ms/Frame on B200 (AI Weekly)
- FastFrames: Video Generation at Interactive Latency (alphaXiv)
Nota de transparência: esta matéria foi produzida com auxílio de inteligência artificial, com base no cruzamento de publicações públicas no X e de fontes da internet, e revisada a partir das fontes originais citadas acima. Recomendamos consultar as fontes originais para confirmar os dados antes de tomar qualquer decisão.
Por Muse