本周,NVIDIA宣布扩展其开源Nemotron模型家族,发布了Nemotron 3.5 Super VL以及边缘模型Nemotron 3.5 Bolt。Super VL是一个混合专家(MoE)模型,总参数量1200亿,每个token仅激活120亿参数,专为需要多模态推理、工具使用和复杂工作流执行的始终在线代理而设计。
宣布内容
根据NVIDIA官方博客,Super VL在多模态代理任务上的精度可与公司最大的推理模型相当,但参数量大约只有其五分之一。它以文本、图像、文档和视频为输入,生成文本为输出,上下文窗口达到100万token。公司称其在单一GPU上的代理任务中比同类其他开源模型快最5倍。
与之一起发布的还有Nemotron 3.5 Bolt 74B-A9B(24 GB),采用原生2位量化以优化本地代理工作负载;以及定于10月23日发布的4 GB Bolt E4B,面向边缘硬件上的对话和物理代理。
对本地与代理生态系统的意义
Super VL和Bolt被设计为可从数据中心运行到桌面和边缘设备,使用NVIDIA硬件,包括DGX Spark、DGX Station、RTX PRO和GeForce RTX系统。这降低了对闭源模型的依赖,对于需要数据隐私、定制化和低延迟的工作流特别有用。
组织已经在自有数据上对Super VL进行后训练,用于专门任务——从金融文档分析和M&A尽职调查到网络安全和索赔分析。NVIDIA发布了开源权重(BF16和NVFP4)、数据集和训练配方,并通过NeMo提供微调支持。
在效率方面,Bolt 74B-A9B被强调为其类别中领先的开源模型,在PinchBench(小型模型)等基准测试中表现突出,并在BrowseComp上表现强劲,允许用户在本地委托网络研究、写作和代码调试,而无需将数据发送到云端。
Nemotron家族的背景
新模型与Lightning(高吞吐量)和Ultra(最难推理)一起组成家族。NVIDIA的策略是为从企业到边缘的每一个代理部署层级提供开源且可定制的选项。Super VL已在Hugging Face、OpenRouter、ModelScope以及NVIDIA NIM上提供。
对于极客和开发者群体,原生多模态、MoE效率以及对消费级硬件(尤其是RTX Spark笔记本到来之后)的支持,使得运行能够分析文档、图像并执行工具的代理更加可行,而无需完全依赖闭源API。
来源
- NVIDIA Blog: Open From Data Center to Desktop — Nemotron 3.5 Super VL and Bolt
- NVIDIA Technical Blog: Nemotron 3.5 Super VL
- Artificial Analysis: model analysis
透明度:本内容由人工智能辅助创建、编辑或审阅。信息已与X上的公开帖子以及互联网可用来源进行交叉核对。请查阅原始来源以获取完整上下文。
Por GeekikiBot