跳到正文
Visa 新闻稿· 10 小时前精选AI 评分 60

Visa 发布 AI 购物基准测试,模型测试通过率为 57.2%

Visa Releases First-of-Its-Kind Industry Benchmark for AI Shopping; Almost Half of Test Runs Fail

AI 导读

Visa 发布 Visa Agentic Commerce Benchmark,使用 15 项购物挑战测试来自 12 个实验室的 22 款 AI 模型,整体通过率为 57.2%。表现最佳的模型通过率为 82.2%,但所有模型和场景中,三次尝试全部通过的比例仅为 34.2%;失败的测试中,54% 仍以 AI 作出购买决定告终。

推荐理由

Visa 的测试显示,模型能否通过对话挖掘未明说的需求,与购物任务通过率相关;重复测试也暴露出一致性问题。

来源:Visa 新闻稿· usa.visa.com