10月22日，哈佛大学两位研究人员发表题为《AI审稿意见全面胜过高水平人类同行评审》的论文，基于124篇学术论文和134份付费人类审稿意见的对比测试显示，AI在七个评价维度上全面领先人类专家。研究使用Anthropic的Claude Opus 4.8生成审稿意见，由OpenAI的GPT-5.5在不知撰写者身份的情况下担任评审，134组对比中AI全部获胜；在开放联网并使用优化提示词后，132组明确判AI胜出，其余2组结果不确定。
研究采用的人类审稿意见来自哈佛大学定量社会科学研究所旗下rapidPeer服务，审稿人由领域专家挑选、来自不同研究机构并获得付费报酬。在74位受访论文作者中，88％认为收到的审稿意见质量很高，60％给出最高档评价。为排除AI互评的偏袒嫌疑，研究人员另请三位曾担任重要学术期刊主编的专家进行30次盲评，其中26次选择AI审稿意见。在事实准确性方面，AI审稿意见的错误比例为5.5％，人类为15.9％。
分维度看，AI在补充参考文献、发现论文弱点和研究方法三个维度胜率达100％，在理论创新、论述框架、表达质量等方面胜率均超过90％。研究人员核查了AI引用的651个带DOI或arXiv编号的参考文献，确认全部真实存在。实验中将Claude Opus 4.8推理强度调至最高，AI平均每审一篇论文进行12.4次联网搜索；在不联网、使用普通审稿指南的情况下，AI在补充参考文献维度的胜率为62％，开放联网后提升至100％。
该研究发布之际，学术界正就AI在同行评审中的角色展开讨论。9月11日，陶哲轩等25位菲尔兹奖得主联名批评AI公司急于宣布数学突破而缺乏验证；10月7日，名为“人类数学协会”的组织明确要求成员不得发表AI生成的论文、评论及审稿报告。10月23日，斯坦福大学政治学副教授徐轶青公开表示，人类专家仍有必要参与审稿，但已无需亲自撰写动辄1500字的长篇审稿意见，禁止使用AI审稿的期刊应重新审视相关规定。研究作者亦提出，学术期刊可考虑由AI承担大部分审查工作，人类编辑负责最终决定。
需要注意的是，该研究主要覆盖社会科学论文，尚不能证明AI具备独立审查复杂数学证明的能力。但对比今年4月《Organization Science》基于一万多份审稿意见得出的“AI审稿报告更难读、讨论问题更狭窄”结论，半年内AI在审稿任务上的表现已出现明显变化。若相关结论在更多学科得到验证，学术出版机构的同行评审流程与人力配置或将面临调整。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
