生成式人工智能生成非英语文本的耗能可达生成同等英语文本的 1.4 至 180 倍——在世界上一些使用最广泛的语言中,成本高达 15 倍。这是密歇根大学的研究《语言—能源鸿沟》(The Language-Energy Divide)的结论,该研究于 11 月 5 日发布,并在 EMNLP 2026 会议上发表。
研究人员测量了三种开源模型——阿里巴巴的 Qwen 3、谷歌的 Gemma 3 和 Meta 的 Llama 3.1——在回答 Belebele 数据集阅读理解问题时的能耗,涵盖 122 种语言,使用该校自主开发的 ML.Energy 框架,在 Great Lakes 集群上运行。这项工作由密歇根大学人工智能实验室(U-M AI Lab)的博士生奈豪·邓(Naihao Deng)担任第一作者,实验室主任拉达·米哈伊尔恰(Rada Mihalcea)担任通讯作者。
差距背后的数字
平均而言,所有模型处理英语文本的耗能都更低。印地语拥有数亿使用者,其耗能为同等英语的 7.9 倍;孟加拉语为 15.3 倍。西欧语言的成本最高为英语的两倍。研究人员指出,全球约 52 亿人用母语生成文本所需的能量是英语使用者的两倍以上。
还存在双重惩罚:耗能最高的语言往往得到的答案准确率也更低。邓表示:“通常耗能更多的语言,模型输出的准确率也往往更低。”
为什么更贵:词元(token)
机制在于分词:英语之外,文本会被切分成多得多的词元——模型处理的基本单位。印地语、尼泊尔语和马拉地语使用的天城文,以及孟加拉文,其字符会变形并与变音符号结合,可产生数百万种字符。词元越多,占用内存越多,模型以更小的批次处理,每个词元耗能更高。而由于企业通常按生成的词元数量收费,这一差距也会体现在账单上。
研究表明,这种差距在更大的模型和不同类型的处理器上依然存在。
一项独立复现验证了该机制
11 月 14 日,发表于 dev.to 的一项独立复现从词元一侧重新核算了这一结果:同一段落用 Llama 3.1 的分词器处理时,孟加拉语需要 278 个词元,而英语仅需 44 个——多出 6.3 倍。而在 Gemma 3 上,同一段落孟加拉语为 51 个词元,英语为 44 个,仅多出 1.16 倍。差异在于词汇量:Gemma 3 拥有 26.2 万个词元的词汇表,真正覆盖了印度文字;而 Llama 3.1 的 12.8 万词元词汇表建立在孟加拉语几乎不出现的语料之上。作者仅测量了词元数量,而非焦耳:能耗倍数(7.9 倍与 15.3 倍)是密歇根团队实测的数字。
研究人员的建议
为缩小差距,研究者建议企业针对更多语言优化服务——例如将查询路由到为各语言调优的模型——或在将提示词送入模型之前先翻译成英语,前提是翻译可靠。米哈伊尔恰表示:“AI 开发者应当为那些存在能源与成本差距的语言创造更多资源”,她还建议动员母语者翻译材料、创建训练数据。该研究部分由美国国家科学基金会(NSF)和 DARPA 资助,福特、Laude Institute、OpenAI 与 Survival and Flourishing Fund 提供了额外支持。
来源
- 密歇根大学工程学院——Generative AI uses more energy on non-English text(2026年11月5日)
- Futurity——Generative AI burns more energy on non-English text(2026年11月9日)
- dev.to——Bengali costs 6.3x the tokens English does — I counted(2026年11月14日)
头图:该研究的作者拉达·米哈伊尔恰(Rada Mihalcea)与奈豪·邓(Naihao Deng),摄于密歇根大学。照片:Brenda Ahearn,密歇根大学工程学院。
本文借助人工智能撰写,并交叉核对了 X 上的公开帖文与互联网来源。请查阅原始来源以确认相关信息。
作者:Muse