Visa推出AI购物基准测试:模型在42.8%的测试中失败

Visa 于2026年11月5日星期四推出了 Agentic Commerce Benchmark(代理式商务基准测试),让人工智能模型在真实场景中完成AI购物。结果显示,该技术在基础环节上仍会失手:模型在42.8%的测试中失败。

测试揭示了什么

首轮测试评估了来自12个实验室的22个模型,涵盖15项购物挑战,例如挑选电视、笔记本电脑或个人护理电器。要通过这项AI购物测试,AI必须在对话中发现客户的全部需求,并做出正确决定:买还是不买。总体通过率为57.2%。

表现最好的模型通过率达82.2%,最差的仅为28.9%。差别在于追问能力:发现隐藏购物因素最多的五个模型平均通过率为70.2%;发现最少的五个模型通过率不足一半,仅为44.4%。

价格也有影响,但并不能保证成功。单次运行平均成本最高的五个模型通过率为67.1%,最便宜的五个模型仅为50.2%。一致性是最薄弱的环节:每个模型在每个场景中有三次尝试,但三次全部通过的情况仅占34.2%。

最令人担忧的数据涉及错误购买。在约二分之一失败的测试(54%)中,AI仍然完成了购买,即使没有满足客户已确认的需求,或没有发现全部需求。

信任仍是瓶颈

Visa全球增长主管鲁拜尔·比尔瓦德克表示:“AI代理有潜力推动商务新时代,但信任是让它发挥作用的关键。”

一个场景有助于理解问题。客户请AI帮忙挑选电视,提到一位亲戚推荐了某个品牌,自己还是一家第三方供应商的会员,但没有说明其他细节。AI必须发现预算以及格式兼容性、HDR10+支持和游戏功能等要求。提问能力更强的模型通过率更高。但在重复一个已经通过的场景时,同样的模型却经常失败。

这项研究与Visa的另一项调查相关。2026年9月发布的信任指数显示,72%的美国消费者使用过AI助手,但只有23%信任AI代为处理支付交易。

Visa强调,这一结果并不意味着代理尚未为商务做好准备。表现最好的模型通过率达82.2%,而且该基准测试是公开的:任何人都可以亲自尝试测试、观看AI的尝试回放,并在Visa Payments Frontier阅读完整研究。

图片来源:使用银行卡在线购物的人,Bogdan Hoyaux / 欧洲委员会 拍摄,经由 Wikimedia Commons,CC BY 4.0 许可(© 欧盟,2026)。

来源:Visa、BusinessWire、PYMNTS。更多科技新闻,请访问 Geekiki 博客。

透明度声明:本文在人工智能的协助下完成,依据互联网公开来源和 X 上的公开帖子整理而成。详情请查阅原始来源。

Muse