ARTICLE / 资讯中心

30次盲评26次选AI,人类审稿人输在哪

资讯中心 5493
30次盲评26次选AI,人类审稿人输在哪
30次盲评26次选AI,人类审稿人输在哪

AI审稿比人类专家更强,这事已经有实验数据了。10月22日,哈佛大学两位研究人员发表论文,题为《AI审稿意见全面胜过高水平人类同行评审》,对比了134组AI与人类撰写的审稿意见。结论很直接:AI在七个评价维度上全面领先。 先看人类这一边的阵容。研究用了124篇学术论文,人类审稿意见来自哈佛大学定量社会科学研究所旗下rapidPeer服务——这是一项付费的专业审稿服务,审稿人由领域专家挑选,来自不同研究机构,报酬不低。他们的表现原本也不差:74位受访论文作者中,88%认为收到的审稿意见质量很高,60%给出最高档评价。 但对比结果是这样的: 三位曾任重要学术期刊主编的专家进行盲评,30次比较中有26次认为AI的审稿意见更好; 在具体论断核查中,AI审稿意见的事实错误比例为5.5%,人类为15.9%; 不允许AI联网、只给同样的审稿指南,134组对比中GPT-5.5全部选择AI; 换用优化提示词并开放联网后,134组中有132组明确判AI获胜,剩下两组不确定,人类没有取得任何胜利。 分维度看差距更明显。在补充参考文献、发现论文弱点、研究方法三个维度上,AI胜率达到100%;理论创新、论述框架、表达质量等方面,胜率也都超过90%。研究人员还检查了AI引用的651个带有DOI或arXiv编号的参考文献,全部真实存在,没有一条是编造的。 有人会问:AI审稿、AI当评委,会不会偏袒同类?研究请来的三位前主编盲评,正是为了回应这个疑问。30次比较中,人类评委有26次站到了AI那边。 AI赢在不会累 AI到底怎么把人类审稿人比下去的?答案可能很简单——它压根不会累。审稿需要通读论文,检查研究方法、数据、图表和论证,还得寻找作者可能遗漏的相关文献。论文作者甚至在介绍实验时顺手吐槽了一些传统期刊审稿人:有人论文才看到第三页,就开始寻找足以否定论文的致命缺陷,好让自己不用继续读下去。 AI没有急着下班的需求。实验中,研究人员把Claude Opus 4.8的推理强度调到最高,专门设计了一套审稿提示词,允许联网查找资料。结果AI平均每审一篇论文要进行12.4次联网搜索。效果也直接体现在数据上:不联网、用普通审稿指南时,AI在补充参考文献方面的胜率为62%;换用优化提示词并开放联网后,胜率提高到100%。 认真过头也有副作用。论文作者举例,AI有时会吹毛求疵到荒唐的程度:明明知道2+2=4是正确的,却还要指出作者没有定义加号是什么意思。人类审稿人可能嫌论文毛病太多,AI倒可能找茬成瘾,没毛病也给挑点错出来。 这个结果放在半年前还很难想象。今年4月,学术期刊《Organization Science》的编辑团队分析了过去几年收到的一万多份审稿意见,发现大量使用AI的审稿报告反而更难读,讨论的问题也更狭窄,当时研究人员认为AI生成的审稿意见还没达到人类水平。不到半年,哈佛拿出了另一份成绩单。 数学家还在给AI立规矩 审稿这件事被AI攻下,对最近忙着跟AI公司较劲的数学家来说,多少有些尴尬。9月11日,陶哲轩等首批25位菲尔兹奖得主联名发声,批评AI公司把破解数学难题当成模型能力竞赛,急着宣布重大突破,却没有给数学界留下足够时间验证、理解和讨论。9月29日,数学与AI咨询小组(AGMAI)发布指南,强调已被人类数学家充分理解的AI研究成果,应按传统学术规范发布论文,接受期刊同行评审。 还有一部分数学家连审稿人的椅子都不想让人碰。10月7日,一个名叫“人类数学协会”(AHM)的组织公开批评OpenAI一次性发布700多份数学研究文件,认为这更像在展示力量,而非认真做学术。该组织明确要求成员不得发表AI生成的数学论文、评论,连审稿报告都不行。 就在数学家努力给AI立规矩的时候,哈佛的两位研究人员把人类和AI审稿人一起送上了考场。论文发布后,斯坦福大学政治学副教授徐轶青公开表示,学术界应该重新考虑人类专家在审稿中的角色。在他看来,人类专家仍然需要参与,但已经没必要继续亲自撰写动辄1500字的长篇审稿意见。就连那些禁止使用AI审稿的期刊,也到了该重新审视自身规定的时候。 需要说明的是,哈佛这项研究涉及的主要是社会科学论文,尚且无法证明AI已经能够独立审查复杂的数学证明,数学家要求严格验证本身也没什么错。但数学家还在强调AI不能绕过人类同行评审这道门槛,AI却已经开始研究,能不能把守门的人也换掉。 特别

about image
KEEP READING / 02

相关阅读

查看全部
韩旭:十二年磨一剑!未来还有很多冠军要拿

韩旭:十二年磨一剑!未来还有很多冠军要拿

北京时间7月2日消息,2023年女篮亚洲杯决赛,中国女篮73-71击败日本女篮,时隔12年再次夺得亚洲杯冠军。 韩旭在决赛中发挥出色,她出战34分钟,投篮17中12,三分2中2,贡献26分10个篮板2次助攻2次盖帽。赛后,韩旭被评为本届女篮亚洲杯的决赛MVP和赛会MVP。 赛后,韩旭在发布会上表示:“这次比赛非常艰苦,我们磨合的时间非常短。而且半决赛和决赛之间间隔不到24小时,但大家都非常职业,教

英媒:破咒之夜!热刺客场2-0切尔西,德泽尔比重塑球队信念

英媒:破咒之夜!热刺客场2-0切尔西,德泽尔比重塑球队信念

直播吧10月26日讯 在周六英超联赛热刺客场2-0惊艳击败切尔西后,伦敦足球网也发文进行了点评。 文章写道,这是一个属于热刺和主帅德泽尔比的完美之夜。魔咒就此打破,信念得以重塑。 当特尔的致命一击洞穿球网时,德泽尔比沿着边线狂奔,向欢呼雀跃的热刺远征军挥舞双拳。这正是他对球员们的全部期望:97分钟的全情投入,以及回馈给球迷的梦想之夜。 切尔西的主场对热刺而言从来都不是什么避风港。做客此地时,热刺往

53岁女星素颜现身活动,驼背苍老被吐槽!曾陷婚外恋独自抚养女儿

53岁女星素颜现身活动,驼背苍老被吐槽!曾陷婚外恋独自抚养女儿

10月20号,53岁的吴绮莉在香港露面。 没化妆,白头发没遮,背驼着,衣服随便穿了一身就出来了。 她的人生确实被一句话总结过太多次了——亚姐冠军,遇上成龙,生下“小龙女”,从此一手好牌打烂。 这个版本讲起来顺口,听起来省事,但用它来解释一个人五十多年的日子,实在太便宜了。 她不是“沦落”到素颜驼背,她是把“被看”这件事的优先级,调到了自己舒服的后面。 今年中秋她开直播,面前一碗泡面,一杯水里沉着蒜