为企业销售、营销、财务和运营场景构建AI智能体的Pyra公司,在其Prime AI Visibility平台上推出一项新功能Prime AI Visibility Benchmark,用于帮助营销和营收团队识别AI在买家调研场景中描述品牌时出现的事实错误与信息偏差。该工具的核心价值在于:当买家在访问企业官网之前先向AI询问应该选择哪家供应商时,企业能够看到AI给出了哪些可能歪曲品牌形象、指向过时产品或服务的回答。
Pyra联合创始人兼首席AI官Alex Mannine表示,买家在接触企业网站之前就已经通过AI完成供应商筛选,而这一基准工具可以展示那些可能错误描述品牌、或指向过时产品和服务的AI回答。对于企业而言,实际意义在于明确应当调查哪些问题、改进哪些内容。该平台通过保存选定买家问题的AI回答及来源链接,使团队能够审查品牌呈现方式、确定页面更新优先级,并在后续检查中进行对比。
Pyra利用Prime AI Visibility Benchmark开展的一项研究发现,在1821条可核查声明中,有183条存在矛盾,其中约十分之一的声明与品牌自身网站的早期快照相冲突,包括列出过时产品方案的AI回答。错误率因品类和模型配置而异,电商平台达到25.7%,CRM软件达到26.2%。在一份记录在案的回答中,关闭网络搜索功能的OpenAI GPT-6 Sol将BigCommerce的方案列为Standard、Plus、Pro和Enterprise,而该基准10月23日的事实表依据BigCommerce自身定价页面记录的是Core、Growth、Scale和Performance。
Mannine指出,定价页面可能保持最新,但AI回答仍在描述旧方案,团队需要了解潜在客户可能被告知的产品信息。Prime提供保存的回答和来源供团队审查,以便决定改进内容并再次核查回答。这一发现揭示了企业品牌信息在AI渠道中失真的具体机制:企业官网内容与AI模型训练数据或检索结果之间存在时间差,导致AI在回答采购咨询时输出过时信息。
在引用来源的可信度方面,该基准同样给出了可量化的评估。在四种启用搜索的模型配置中,经核查的引用链接能够解析到有效页面且支持所附声明的比例,从通过OpenRouter访问的Perplexity Sonar的37.1%到Claude Sonnet 5.5的91.4%不等。死链和不支持声明的引用计入失败率,无法验证的链接被排除在外。数据显示,仅有引用来源并不足以证明回答得到支持。在本次样本中,三个同时测试启用和禁用搜索的模型,在启用搜索时整体事实错误率均有所降低。已发布的结果还显示出品类差异,为团队核查与自身产品相关的问题提供了依据。
在品牌可见度方面,不同AI回答之间存在明显差异。在63条项目管理类发现性回答中,Asana出现在全部63条回答中。这一结果说明,同一品类内不同品牌被AI提及的频率可能存在显著差距,而这种差距直接影响买家在调研阶段的品牌认知。
随着越来越多买家将AI作为采购调研的起点,品牌在AI回答中的准确性和可见度正在成为营销技术领域的新课题。Pyra此次推出的基准工具,将AI回答中的事实错误从难以察觉的问题转化为可量化、可追踪的指标,为营销团队提供了审查和优化品牌内容的依据。这类工具的出现,也反映出企业服务市场对AI渠道品牌管理的需求正在从概念走向具体产品。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。