谷歌与数据标注与评估服务商Mercor近日联合发布Physical-Engineering’s Last Exam（简称PLE）基准，用于衡量AI Agent在机械、电气、土木与结构工程任务中的实际交付能力。该基准包含85项工程任务，其中56项为隐藏测试。测试结果显示，Claude Opus 5.5搭配Claude Code在隐藏测试中得分48.3％；在41项人机共同创作任务中，该组合平均满足91％的单项约束，但仅有41.3％的交付设计项通过全部硬性安全与可行性要求。
这一数据揭示出工程Agent当前面临的核心矛盾：局部计算能力的提升并不等同于完整方案的交付能力。PLE的评测设计针对的正是这一落差。此前多数Agent评测采用逐项累积计分方式，完成的要求越多得分越高，这种方式适合衡量知识理解与单点执行能力，却会掩盖工程设计中的一类关键失败——模型可能满足绝大多数要求，但剩余一条恰好决定方案能否投入使用。例如在机房场景中，一条电缆桥架与消防管线发生空间冲突，即便载流量、电压降与设备选型均计算正确，整套方案仍无法交付。
为量化这一能力缺口，PLE在41项共同创作任务中的37项采用约束评分机制。评分空间中40％取决于单项检查通过比例，60％与成本或性能优化相关，但优化部分设有前提：全部硬性安全与可行性约束必须通过。研究团队将这一机制称为硬约束门控（Hard-Constraint Gating）。在该机制下，即使方案能够显著降低材料费用，只要违反一项硬约束，成本优化部分即不得分。系统仍记录已完成的检查项，但不允许经济收益抵消工程缺陷。同时，PLE设置了合规但未经充分优化的基线方案与合规成本下界，前者用于判断Agent是否产生实际优化收益，后者为成本改善提供衡量尺度，从而避免模型通过选用过量设备轻松满足规范，或靠牺牲可行性换取成本数字。
约束之间的耦合关系是工程Agent的另一道门槛。以冷却系统设计为例，管径决定水力阻力，水力阻力影响水泵工作点，实际流量又决定换热能力。若Agent仅依据材料成本缩小管径，后续可能需要更高扬程的水泵，节省的费用转移至设备与运行能耗。工程上将所有约束同时成立的设计范围称为可行域，其中既包含连续变化参数，也受设备型号、标准尺寸等离散条件限制。模型每修改一个变量，其他参数的可用范围便可能变化。PLE并未向Agent提供可行域搜索算法，但硬约束门控使这一能力缺口变得可测量：91％的单项约束满足率说明模型已能处理大部分局部要求，剩余困难集中在多条件同时成立以及满足条件后的持续优化。
当设计从单次求解进入多轮修改，问题进一步演变为状态一致性管理。PLE的85项任务累计包含5170份文件，平均每项约61份，涉及PDF、电子表格、邮件、CAD与BIM模型，其中混有已作废的设计版本。Agent需在材料中确认当前生效的参数与规范，再用于计算与交付。由于工程文件之间存在大量引用关系，设备表修改容量后计算书可能仍沿用旧值，设计图更新布局后材料清单未必同步调整，模型即使能准确读取每份文件，也可能将不同版本的信息组合使用。在一项三维机电协调任务中，Agent需为包含128个设备机柜的机房布置电缆桥架、母线、冷冻水管与消防喷淋，从平面图获取位置、从设备表读取尺寸、依据剖面确定标高，最终输出通过碰撞与净距检查的三维模型。调整一处桥架路径会改变线路长度，进而使原有压降计算失效，每一步操作都会改变下一步使用的设计条件。
PLE的实验还显示，同一模型在相同环境下对同一任务运行3次，单任务得分的平均跨度达到15.4个百分点。研究未将波动归因于单一错误类型，但结果表明执行路径会显著影响交付质量，仅扩大上下文或增加工具调用并不能自动解决设计版本与计算结果的同步问题。在验证机制上，PLE采用两条任务构建路径：44项任务由专业工程师直接编写并按专家评分标准检查交付成果，另外41项采用Creator–Solver机制，由Creator Agent根据实际工作需求生成任务文件、参考交付物与可执行验证程序，独立的Solver Agent在隔离环境中求解，无法查看参考答案与评分程序。
PLE的评测结果表明，工程Agent的能力评估正从单点计算正确率转向完整交付可行性。在局部能力已足够强的背景下，可行域搜索、带依赖关系的设计状态维护以及独立验证机制，正在成为工程Agent能否进入实际生产流程的关键条件。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
