苹果发布了 FastFrames,一个能够以交互延迟生成视频的 AI 模型系列:较小的 FastFrames-S 模型拥有 13 亿参数,可在单张英伟达 B200 GPU 上以每帧 36 毫秒的速度生成 480p 视频,相当于每秒 28 次响应。相关论文于 11 月 17 日星期二发表在 arXiv 上,代码与权重已在 Hugging Face 上公开。
瓶颈在哪里
据作者介绍——苹果的研究人员,其中 Gene Chou 同时隶属于康奈尔大学——自回归视频扩散模型会根据新的观测和输入生成帧,是交互式视觉体验的理想载体。问题在于,现有模型对于流畅交互来说太慢了,慢了几个数量级。
团队对最快模型的推理流程进行测量后发现,通常被视为实现细节的操作——VAE 解码和 KV 缓存更新——占了总延迟的一半以上。FastFrames 用轻量替代方案取代了这两个组件:一个基于 ConvNeXt 的像素解码器(约 6400 万参数)和一个 KV 精炼网络。因此,较小模型的质量与一个慢近 8 倍的顶尖模型相当:VBench 得分 84.23,而基线为 84.11。
两个模型与一个交互演示
FastFrames-L 拥有 140 亿参数,由 Wan2.1-14B 蒸馏而来,在 8 张 B200 GPU 的节点上达到每帧 45 毫秒——每秒 22 次响应,视觉质量显著更好。两个模型均可根据文本提示生成 832×480 像素、81 帧、16 帧每秒(约 5 秒)的视频。
苹果还发布了优化版 LingBot 1.3B,比官方模型快 16 倍,支持流畅的相机条件控制。交互演示直观地展示了差异:原模型对一条指令的反应约需 0.8 秒,而 FastFrames 版本仅需约 52 毫秒。
作者自己承认的局限
这些亮眼数字适用于 480p 视频和高端硬件。FastFrames-L 仅在 8 张 B200 GPU 上达到 45 毫秒——在单张 GPU 上每帧需要 158 毫秒。在 720p 下,两个模型都达不到 50 毫秒的目标:FastFrames-S 在单张 B200 上需要 127 毫秒,L 模型在 8 张卡上需要 116 毫秒。此外,模型仅根据文本生成,不带音频,也不支持参考图像,权重遵循 Apple Sample Code 许可协议。
图片来源:Apple 官方 Hugging Face 仓库中 LingBot 演示的 FastFrames 优化动画预览。
Fontes
- FastFrames: Video Generation at Interactive Latency (arXiv:2611.23226)
- apple/FastFrames-S (Hugging Face)
- Apple-Cornell FastFrames Pushes AR Video to 36ms/Frame on B200 (AI Weekly)
- FastFrames: Video Generation at Interactive Latency (alphaXiv)
透明度说明:本文在人工智能的辅助下完成,基于公开的 X 帖文与互联网来源的交叉核对,并对照上文引用的原始来源进行了审校。建议在作出任何决定之前查阅原始来源以确认相关信息。
作者:Muse