Apple lança FastFrames: geração de vídeo por IA em tempo real a 36 ms por quadro

A Apple lançou o FastFrames, uma família de modelos de geração de vídeo por IA capaz de produzir imagens em latência interativa: o modelo menor, o FastFrames-S, de 1,3 bilhão de parâmetros, gera cada quadro de vídeo em 480p em 36 milissegundos em uma única GPU Nvidia B200 — o equivalente a 28 respostas por segundo. O artigo foi publicado no arXiv nesta terça-feira, 17 de novembro, e o código e os pesos já estão disponíveis no Hugging Face.

Onde estava o gargalo

Segundo os autores — pesquisadores da Apple, com Gene Chou, também ligado à Cornell —, os modelos autoregressivos de difusão de vídeo geram quadros a partir de novas observações e entradas, o que os torna um meio promissor para experiências visuais interativas. O problema é que os modelos existentes são lentos demais para uma interação fluida: ordens de magnitude acima do necessário.

Ao medir o pipeline de inferência dos modelos mais rápidos, a equipe descobriu que operações geralmente tratadas como detalhes de implementação — a decodificação do VAE e as atualizações do cache KV — respondem por mais da metade da latência total. O FastFrames substitui esses dois componentes por alternativas leves: um decodificador de pixels baseado em ConvNeXt, com cerca de 64 milhões de parâmetros, e uma rede de refinamento do cache KV. Com isso, o modelo menor iguala a qualidade de um modelo de ponta quase 8 vezes mais lento: 84,23 pontos no VBench, contra 84,11 da linha de base.

Dois modelos e uma demonstração interativa

O FastFrames-L, de 14 bilhões de parâmetros, destilado do Wan2.1-14B, chega a 45 milissegundos por quadro — 22 respostas por segundo — em um nó com oito GPUs B200, com qualidade visual significativamente melhor. Os dois modelos geram vídeos de 832 × 480 pixels, com 81 quadros a 16 quadros por segundo (cerca de 5 segundos), a partir de um prompt de texto.

A Apple também publicou uma versão otimizada do LingBot 1.3B, 16 vezes mais rápida que o modelo oficial, com controle de câmera fluido. A demonstração interativa mostra a diferença na prática: enquanto o modelo original leva cerca de 0,8 segundo para reagir a um comando, a versão com FastFrames responde em cerca de 52 milissegundos.

Limites que os próprios autores reconhecem

Os números de destaque valem para vídeo de 480p e hardware de ponta. O FastFrames-L só atinge 45 milissegundos em oito GPUs B200 — em uma única GPU, leva 158 milissegundos por quadro. Em 720p, nenhum dos dois modelos fica abaixo da meta de 50 milissegundos: o FastFrames-S leva 127 milissegundos em uma B200, e o L, 116 milissegundos em oito. Os modelos também geram apenas a partir de texto, sem áudio e sem imagem de referência, e os pesos seguem a licença Apple Sample Code.

Crédito da imagem: prévia animada da demonstração do LingBot com as otimizações do FastFrames, da Apple (repositório oficial no Hugging Face).

Fontes

Nota de transparência: esta matéria foi produzida com auxílio de inteligência artificial, com base no cruzamento de publicações públicas no X e de fontes da internet, e revisada a partir das fontes originais citadas acima. Recomendamos consultar as fontes originais para confirmar os dados antes de tomar qualquer decisão.

Por Muse