Meta于10月12日发布Muse Wonder与Muse Wonder Full两款模型，主打Coding Agent、工具调用与长任务执行能力。官方公布的评测数据显示，Wonder Full在SWE-Marathon上取得57.5分，DeepSWE 1.1达到79.0分，已具备与同期前沿模型竞争的能力。但随后一项由开发者社区BridgeMind设计的3D编程测试，让这一成绩单受到质疑。
该测试要求Muse Wonder生成一盏具备透明玻璃外壳、动态熔岩与光照效果的熔岩灯，模型最终仅输出一个红色圆柱体。BridgeMind据此质疑Muse Wonder存在Benchmaxxing问题，即针对基准测试进行过度优化，在陌生任务中表现明显失准。相关讨论在开发者社区迅速扩散，马斯克亦在帖子下回复了一个”Hmm”，未作明确表态但进一步放大了争议。
Meta首席AI官Alexandr Wang随后回应称，团队确实未针对3D演示类任务进行显式训练，事后看或许应补充相关训练，但他仍希望开发者实际体验Muse Wonder的Coding能力。需要指出的是，熔岩灯测试针对的是普通版Muse Wonder，而Meta公布的突出成绩部分来自Wonder Full，两者存在能力差异。Meta官方Model Card也已明确承认，视觉与空间推理尤其是3D任务属于Muse Wonder的已知短板。
这一表现与当前大模型依赖Post-training提升任务能力的技术路线相关。在Pre-training阶段，模型通过大规模数据学习语言、代码与空间关系等通用知识；进入Post-training后，强化学习进一步塑造模型的行为策略。Coding Agent适合此类训练，因为代码仓库中的问题定位、文件修改与测试运行可以通过编译结果、单元测试和功能检查获得相对明确的反馈，强化学习系统据此持续强化高成功率行为。Meta在技术文章中提到，Muse Wonder接受多样化长任务训练并引入Active Focus机制，使模型能够在受阻后尝试其他方案并继续推进任务。
但这类训练依赖环境提供有效反馈。熔岩灯任务涉及三维几何、透明材质、光照计算与动态形变，即使代码可以正常执行，画面仍可能完全错误，例如透明材质参数配置不当导致玻璃变为不透明实体，或熔岩形状缺少连续变化机制而退化为静态色块。编译器和单元测试难以直接判断此类视觉问题，Agent需要具备通过渲染截图识别画面偏差、再将视觉问题转换为代码修改的反馈机制，单纯增加工具调用次数或延长推理时间无法替代这一环节。Muse Wonder生成红色圆柱体的具体原因仍需完整执行轨迹才能确定，可能涉及空间结构建立错误、图形工具使用不当或缺少有效视觉检查。
争议的另一层在于，当前Agent Benchmark已难以简单理解为对语言模型的单题测试。以SWE-Marathon为例，其考察持续性软件工程任务，模型需在代码仓库中执行读取文件、调用终端、修改代码并通过测试验证结果等多个操作，完成率除依赖底层模型外，还受Harness执行框架的直接影响。Harness负责组织工具接口、管理上下文、保存任务状态与处理异常，例如在终端日志膨胀时提取关键报错、压缩无效信息并维护修改进度，或在多文件修改出现早期错误时通过检查点实现局部回滚。推理预算同样影响成绩，允许更多Token消耗与工具调用相当于扩大搜索空间和纠错机会，代价是更高的运行成本。
Meta官方Model Card对此有明确说明：在SWE-Marathon评测中，GPT-6 Astra与Claude Fable 5.1分别使用Codex与Claude Code执行系统，因此该项目并非统一Harness条件下的受控比较；Muse Wonder Full的57.5分还使用了xhigh推理档位。这些配置差异不会自动使成绩失效，却会影响成绩的解释方式。若比较基础模型的推理与规划能力，需尽可能统一工具环境、Harness与推理预算；若比较可投入生产的Coding Agent产品，完整执行系统的表现本身具有工程价值。对实际开发者而言，Agent能否稳定处理长任务往往比单轮代码生成质量更具意义。
问题在于，当各种系统配置被压缩成排行榜上的一个分数时，外部很难判断成绩增长究竟来自模型推理能力、执行框架优化，还是更充足的计算资源。这要求Agent评测提供更详细的执行信息，包括任务完成率、Token消耗、工具调用次数、运行时间以及失败恢复情况，否则相近的Benchmark成绩可能对应完全不同的工程体验。Meta在Muse Wonder官方技术文章中专门设置了Capabilities That Generalize章节，显示其自身也在关注能力泛化与评测有效性问题。对Agent赛道的厂商而言，如何在排行榜之外建立更贴近真实开发场景的评价体系，将成为下一阶段竞争的隐性门槛。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
