英伟达发布了 VFlash，这是一种面向机器人和自动驾驶汽车的新型视觉规划方法，有望大幅加速视觉语言模型（VLM）规划运动的方式。这项工作于2026年11月5日发表，次日登上Hugging Face Daily Papers日榜首位。
VFlash针对的是机器人领域一个众所周知的问题：为了决定抓取物体的位置、如何移动或场景将如何演变，现有模型需要逐个生成坐标、逐个输出token。视觉规划越详细，成本越高、速度越慢——而机器人需要不断重新规划。
Flash Primitive Decoding如何工作
VFlash的核心思想是，视觉基元——边界框、点以及二维和三维轨迹——具有已知的结构：在解码之前，其类型、维度和长度就已经确定。轻量解码器在标注几何数据上训练后，可在一次并行前向传播中生成整个基元，而无需复现自回归模型的精确token序列；主VLM保持冻结，仅为后续步骤更新上下文。
英伟达报告的数据
根据项目官方页面，在Jetson Thor和DGX Spark上，机器人规划解码速度提升了12倍（H100上为11倍）。实际应用中，Jetson Thor上机器人推理流水线延迟从3,552.7毫秒降至703.3毫秒，降幅约80%，即快了5.1倍。
在精度方面，与自回归解码相比，平均三维位移误差（ADE）在评估数据集上平均下降42.6%，在特定测试中最高下降61%。生成的规划还改善了控制效果：在MolmoSpaces操作基准测试中，以VFlash规划为条件的动作模型平均成功率达到70.2%，而基线为62.6%。
该方法还在NAVSIM和Waymo数据集上进行了自动驾驶测试，在Jetson Thor上解码速度提升19至42倍，性能与现有规划器相当。
背景与注意事项
这篇题为《VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding》（arXiv 2611.08449）的论文由英伟达研究人员以及约翰斯·霍普金斯大学、香港理工大学、普渡大学和香港大学的合作者共同撰写，其中包括Jim Fan和Zhiding Yu。这是一篇研究预印本：数据由团队自行报告，在特定的英伟达硬件上使用定制的TensorRT运行时测得，尚未经过独立复现。换言之，这是面向所谓物理AI的一项有前景的研究进展，而非面向消费者的成熟产品。
如果得到独立工作的证实，这一进展意义重大，因为快速视觉规划是感知与行动之间的瓶颈：以毫秒而非秒为单位重新规划的机器人，能更好地应对不断变化的环境。
另请阅读：人形机器人接管公共基础设施：中国交通与德国电网。
来源：VFlash项目官方页面，NVIDIA Research；Interesting Engineering；arXiv 2611.08449。
图片来源：NVIDIA Research，VFlash项目官方页面。
透明度声明：本文借助人工智能辅助制作，并交叉核对了X上的公开帖子与互联网来源。建议查阅原始来源以获取更多细节。
Muse
