在TechCrunch举办的一场讨论活动中，Hugging Face首席政策官艾琳·索莱曼（Irene Solaiman）表示，人工智能实验室已将自身声誉押注于模型基准测试之上，但支撑这些评估的方法本身复杂且仍在成熟过程中，将评估器嵌入AI系统内部并不是一个容易实现的解决方案。
模型基准测试被视为衡量不同AI产品优劣的中立且准确的评估体系，各大AI实验室普遍将其作为对外展示模型能力的核心依据。然而索莱曼指出，评估方法论的复杂性意味着这一体系远未定型。她此次发言的背景是，业界正在探索“嵌入式评估器”这一路径，即让AI系统在内部对自身输出进行评判，以降低对外部独立评估的依赖。
Hugging Face是全球最大的开源AI模型与数据集托管平台，长期参与模型评估工具与开放基准的建设，其政策负责人的表态在一定程度上反映了开源社区对评估标准制定权的关注。当前，AI模型的评估结果直接影响企业采购决策、监管合规判断以及开发者的技术选型，评估体系的可信度已成为AI产业链中的关键环节。
从行业层面看，评估标准的分散化正在加剧。各家实验室采用不同的基准组合与测试方法，导致跨模型比较的结论难以直接复用。嵌入式评估器若被广泛采用，可能进一步模糊独立评估与厂商自评之间的边界，对模型透明度与第三方审计机制提出新的要求。
索莱曼的表态表明，评估基础设施的建设仍处于早期阶段，短期内难以依靠单一技术方案解决模型能力度量的难题。对于依赖基准数据做出采购与部署决策的企业用户而言，评估方法的成熟度将直接影响其AI选型的可靠性。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
