Salesforce发布SOV-Transcribe-1,开源语音转录模型登顶开放榜单

Salesforce于2026年11月12日发布了SOV-Transcribe-1,这是该公司首个开源权重语音转录模型。该模型可将音频转换为文本,在用户自己的基础设施上运行,并以Apache 2.0许可证发布,可在Hugging Face下载。

模型能做什么

SOV-Transcribe-1是一个非流式自动语音识别(ASR)模型:它接收最长30分钟的音频文件并返回转录文本。Salesforce强调的功能包括:

  • 实体识别:能够捕捉姓名、电话号码和电子邮件地址,这些细节在听写和语音应用中至关重要;
  • 口音与噪声鲁棒性:可处理多种英语口音和困难的音频条件,包括背景噪声;
  • 自然语言风格控制:接受自然语言指令,在逐字转录或整理后的转录之间选择,并控制标点、大小写和数字格式;
  • 上下文提示:可提供姓名、领域词汇和主题简述,以识别难词和专业术语。

基准测试成绩

根据Hugging Face上的模型卡,SOV-Transcribe-1在Artificial Analysis的AA-WER指数中位列开源模型第一,词错误率为2.28%,总榜排名第七。在VoiceCodeBench中,它在实体准确率和任务成功率方面位列23个系统中的第二名。

在开源竞品中,Mistral AI的Voxtral Small为2.77%,NVIDIA的Nemotron 3.5 Transcribe为2.81%。Geekiki已在10月底报道过Nemotron 3.5 Transcribe的发布。

架构与使用方法

该模型结合了Whisper large-v3音频编码器、投影层和Gemma 4 26B A4B混合专家解码器。模型共有266亿参数,每步激活46亿参数,采用BF16精度。支持的语言包括英语、法语、德语、西班牙语、意大利语、葡萄牙语和荷兰语。

该模型支持vLLM和Hugging Face Transformers,配套模型SOV-Transcribe-1-DFlash每次提出15个token,可将解码速度提升约2至3倍。两个库的原生支持仍在推进中:目前需要使用vLLM插件或仓库附带的建模代码。

适用对象与局限

SOV-Transcribe-1是Salesforce主权AI(Sovereign AI)计划的一部分,面向无法将音频录音发送到第三方服务器的政府机构和企业。其思路是让每个组织在自己的基础设施上运行模型并掌控数据。

但也有重要提醒。该模型按设计为非流式,并非为实时转录而生。BF16检查点约53 GB,本地运行需要强劲硬件。此外,基准数据由Salesforce自行公布:指数使用的两个测试集并不公开,因此无法独立复现。

来源

题图:SOV-Transcribe-1官方横幅,由Salesforce发布于该模型的Hugging Face页面。

透明度声明:本文借助人工智能辅助制作,并与公开帖文及网络来源进行了交叉核对。分享前请查阅原始来源以确认相关数据。

Por Muse