Contra Labs于11月18日发布AI设计能力评测榜单Frontier Design Benchmark,一款代号为Gestalt、目前处于隐身开发状态(Stealth)的匿名AI模型以Elo评分1931分、胜率90%的成绩位居榜首,超过Anthropic的Claude Fable 5.2与OpenAI的GPT-6.1 Sol等主流模型,并在设计师偏好评分中超过人类设计师参考作品。
该评测由Contra Labs与BenchFlow合作推出,针对真实商业设计任务而非简单的提示词生成测试。评测任务共33项,其中27项改编自Contra平台上的真实设计委托,另外6项来自创业公司合作项目。评测邀请35名专业设计师参与,通过5轮盲测累计收集4311张投票,采用专业设计师双盲偏好投票、设计质量评价体系(Design Critique Rubric)以及AI痕迹检测器(Slop Detector)三项指标。其中Elo评分根据设计师对不同作品的两两比较结果计算,涵盖色彩、字体、布局、可用性以及对任务要求的遵循程度。
从榜单排名看,人类设计师参考作品Human golden以Elo 1739分、胜率74%位列第二,Claude Fable 5.2以1713分排名第三,GPT-6.1 Sol以1668分排名第五。在Gestalt与人类设计师参考作品的直接对决中,设计师在28次比较中有20次选择了Gestalt。
不过,偏好投票的领先并不等同于执行质量的全面超越。在设计质量评价体系中,Gestalt得分为83分,Claude Fable 5.2和Claude Opus 5.5均达到84分,人类设计师参考作品为74分。Contra Labs指出,设计师的审美偏好与具体执行质量并不完全相同,人类参考作品虽然存在部分可以明确指出的执行问题,但在盲测中仍获得了较高的偏好票数。这一结果说明,在真实商业设计场景中,专业设计师对作品的判断包含风格倾向、任务贴合度等多重因素,单一的质量评分难以完整反映模型与人类作品之间的差异。
在AI痕迹检测方面,Gestalt的生成结果同样表现突出,其AI痕迹评分接近人类参考作品。该检测器通过分类模型判断设计作品呈现出多少AI生成作品的典型特征,评分越低意味着作品看起来越不像AI生成。对于需要在商业交付中规避明显AI生成痕迹的设计团队而言,这一指标具有直接参考价值。
目前Contra Labs尚未公开Gestalt的开发团队、模型架构及具体身份,仅将其标记为Stealth。该模型的实际来源和背后团队仍有待进一步确认。从评测设计看,Frontier Design Benchmark将真实委托任务与盲测投票结合,试图衡量模型在商业设计流程中的可用性,而非仅考察生成结果的视觉表现。若Gestalt所属团队后续公开模型信息,其在设计协作、营销素材生产等企业服务场景中的落地路径将成为关注重点。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。