OpenAI发布LifeVal基准,评估AI完成日常事务的实操能力

与传统基准不同,LifeVal更关注任务是否能被推进到“可执行、可交付”的状态。

OpenAI于11月2日发布名为LifeVal的新基准,用于衡量AI模型能否真正帮助普通人完成日常事务。该公司表示,这一评估旨在让通用AI更贴近“对人类最有用的日常帮助”。与此前侧重学术能力或推理题目的基准不同,LifeVal将评测对象转向照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等生活场景。

在任务设计上,OpenAI首先参考了美国的“美国人时间使用调查”和跨国“多国时间使用调查”,随后对3995名具有人口代表性的受访者开展调查,询问他们最希望个人AI助手在哪些事务上提供帮助。基于上述数据,LifeVal构建了覆盖多类高频生活需求的评测集。典型任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。

与传统基准的差异体现在评分取向上。LifeVal更关注任务是否能被推进到“可执行、可交付”的状态,而非仅考察模型能否给出方向性建议。例如,在幼儿园选择任务中,AI不只是列出名单,而要结合地点、预算、通勤和家庭需求进行筛选;在处理财务事务时,模型需要兼顾账单、收入与风险因素。OpenAI表示,完成这类任务可能要求模型理解聊天记录、浏览网页、整合多方信息,并给出符合个人处境的建议。

OpenAI称,过去一年已将LifeVal用于追踪和推动模型在日常任务上的改进。公开示例显示,部分任务表现较高:为孩子找幼儿园得分93.1%,组织防洪志愿者为98.0%,为糖尿病家长准备膳食计划为90.4%。这些数据反映出模型在结构化信息整合与多约束条件筛选方面已具备一定能力,但任务得分之间的差异也说明不同场景的难度并不均衡。

值得注意的是,LifeVal目前仍主要是OpenAI的内部评估。外界尚未获得完整任务集、评分代码、误差范围或可独立复现的排行榜,因此其结果仍需谨慎解读。基准的封闭性意味着第三方研究者无法验证任务设计的覆盖度与评分标准的合理性,也难以横向比较不同厂商模型在同一标准下的表现。

从行业角度看,AI评测正从单一能力维度向真实使用场景迁移。过去一年,多家厂商和研究机构相继推出面向实际工作流与生活决策的评测集,试图回答模型能否稳定交付结果这一问题。LifeVal的发布延续了这一趋势,其以时间使用调查和人口代表性样本为依据的任务构建方法,也为生活类基准的设计提供了可参考的路径。若OpenAI后续开放任务集与评分细则,该基准有望成为衡量AI实用性的公共参照之一。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
Meta:Quest 2 与 Quest Pro 头显将于 2027 年 3 月收获最终操作系统更新
上一篇 1小时前
MIT CSAIL提出权重空间编程方法,GPT-6 Astra修改0.016%权重使Qwen3.5-0.8B数学成绩提升至6倍
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部