科学界苦同行评议久矣？如何改革？-资讯-知识分子

科学界苦同行评议久矣？如何改革？

2022/11/14

导读

11.14

知识分子

The Intellectual

科学界苦同行评议久矣？| 图源：istockphoto.com,MaksimYremenko

导读

10月底，国际著名生物学综合期刊eLife宣布，所有经过同行评审的文章，编辑部都不会作出接受/拒绝的决定，而是和评审意见一起作为 “已评审预印本” 在网站上发布。eLife这次的改革，主要着力于同行评议环节。作为学术界的基本游戏规则，同行评议存在什么弊端，反映出什么更深层次的问题，是值得深入剖析的。

撰文 | 张天祁

责编 | 钱炜

● 　● 　●

同行评议出了什么问题？

长期以来，同行评议是学术出版不可或缺的一环，也是受到科学界高度认可的一种文化。调查显示，绝大多数人（85%）同意 “同行评审极大地帮助科学交流”，甚至更多人（约90%）表示他们自己最近发表的论文通过同行评审得到了改进 [1]。

随着科学竞争日渐激烈、需要审核的文章数量暴增，同行评议速度慢、成本高、检测错误能力差、无法防范欺诈、抑制创新等等问题逐渐暴露，科学家对同行评议的批评和抱怨也与日俱增。

对同行评议效力质疑同时，对审稿人的抱怨也已经成了学术界的一种流行文化。“第二审稿人”（Reviewer2）成为刻薄审稿人的代名词，甚至成了网络热词。在国外社交媒体上 “Reviewer #2 Must Be Stopped” 群组已经有超过10万名的成员。所谓 “第二审稿人”，意思是这些人常常并不是期刊编辑邀请审稿人时的首选人，因此能力往往比第一审稿人要差。

严格的同行评议是必要的，但很多审稿人的评论非常刻薄。一项基于同行评议语料库的研究发现，通常认为审稿人评论的是数据、论证、研究方法，然而审稿人对作者个人能力的批评占到了语料库的24.5% [2]。

“我觉得我在看一部恐怖电影……” “我想象不出，是什么让作者相信他们的论文有足够有趣到提交发表。” “作者读得太多，理解得太少” “该稿件的作者是完全荒谬的，似乎认为他们可以通过射电天文学解决贫困问题。”这类近乎人身攻击的批评在同行评议里并不少见。辛辛苦苦写出的论文收到这样的评价，科研人员感觉 “泄气、被贬低和恼怒” 也是自然的 [3]。

这绝不是个别现象，不专业和刻薄的评论在学术界广泛存在。PeerJ上的一项研究调查了来自46个国家和14个学科的1106名科学家。超过一半的受访者报告说至少收到了一次 “不专业” 的评论，其中大多数人表示他们收到了多条有问题的评论。从结果上看，这些刻薄评论会伤害到科研人员的产出，尤其是更容易自我怀疑的弱势群体 [4]。

如果说刻薄的评论对论文作者造成了精神伤害，过长的评议过程则威胁到了科研人员的生计。调查发现，科研人员对同行评议最不满的地方是周期太长。如果能在30日内接收，则有67％受访者表示满意；若延至3个月至6个月时，10％受访者满意；超出6个月则仅有9％受访者满意 [5]。

在科学竞争日渐激烈的今天，如果一篇论文被拒被迫转投其他期刊，甚至只是延迟发表，科研人员都要付出很高的成本。在审稿人最终决定前，作者不知道论文是否能够通过同行评议，只能按照专家的要求去改动文章。

eLife的审稿编辑、中科院遗传发育所研究员钱文峰表示，“相信很多作者都有这样的经历：认为一个数据的补充并不重要，但迫于同行评审的压力，花了时间精力补充数据，同时让文章变得繁琐冗长。”

eLife的改革实际如何？

钱文峰解释说，eLife一直努力让科学评价变回归科学本身，而非由发表的期刊来决定科学的价值。在该期刊的编辑团队看来，以期刊为中心的学术出版体系是前互联网时代的遗留。过去，由于载体的限制不能大量出版论文，必须由编辑和审稿人把控每期期刊的内容，这使得期刊从交流科学的工具变成了筛选内容的看门人，也助长了科学界追逐高影响力期刊的风气。

同行评议在现有的学术出版体系中发挥着把关作用，一般来说一篇论文必须通过同行评议，甚至三位审稿人一致同意才能出版。编辑也是期刊的把关人之一，但相当多的期刊仍然依赖审稿人的意见。钱文峰解释说，学术期刊的编辑有专职编辑和学术编辑两种，学术编辑往往由科学家兼职。学术编辑往往不能覆盖全部研究方向，尤其是编辑人数少的期刊，会更依靠审稿人的意见做判断。

eLife团队认为，同行评议本来是用于纠正作者的方法、数据和推理中缺陷的，但现在学术出版的需要已经扭曲了这一功能，单纯把同行评议作为接收/拒绝论文的审核工具。

这种制度下，同行评议原本提供的学术建议变成了期刊的发表要求，作者则被迫增加没必要的实验和数据，或者修改自己的观点争取发表。过长的审核时间也使得很多新研究成果推迟发布，阻碍了科学交流 [6]。

钱文峰支持这种看法，“同行评议专家本应是帮助作者提高和改进的角色，应该由作者决定自己的著作是否发表，修改到什么程度发表，时间和读者会对文章进行评判。现在常常有点本末倒置，评审专家反客为主，文章花了很长时间修改之后反而似驴非马。从这个意义上讲，eLife的改革方向其实是对的。”

eLife的同道、ScienceOpen平台首席执行官斯蒂芬妮-道森（Stephanie Dawson）的态度更为明确。她认为，由于论文数量爆炸性增长，传统的出版前同行评议会越来越难以为继。而同行评议的作用也远不止审核文章，它本身是科学交流的工具，告诉科学家哪些论文值得讨论，邀请科学家参与讨论过程 [7]。

eLife这次改革的关键点，就是让同行评议不再为期刊发表把关，回归过去学术交流的角色，并且把决定是否出版的权利交给作者。具体来说，论文只要送交同行评议就视作发表，作者后续可以撤稿。

Bio-protocol的联合创始人及岀版人何芳莲评价，“这次改革是学术岀版界的一个革新，最重要的是让有意义的科学进展和发现能更快被同行看到、认可和参考，以加速整个科学发现的进程。之前其他机构有做类似的尝试，但是eLife 这次做得更彻底。”

中科院上海生命科学研究院研究员、Cell Research主编李党生也表示，这一次eLife的改革相比以前更加激进，是一次颠覆。

不过这只是eLife长期改革方案的一部分。eLife的这次改革属于“蓄谋已久”，早在2018年6月到8月，eLife就已经试行过现在的改革方案。

eLife当时的主编就解释说，改革的思路是来自eLife董事、霍华德休斯医学研究所（HHMI）成员的一篇文章。这篇文章不仅提供了这次改革的方案，还提供了进一步的路线图 [8]。

按照这篇文章的方案，生命科学领域的出版可以分为三个阶段，第一阶段是传统出版模式，编辑负责分流和出版文章，同行评议到出版决定之间的过程对外保密。第二阶段是期刊由作者驱动的出版模式，编辑仍然负责分流，但是作者决定是否发表及何时发表，同行评议内容会一同发表。第三阶段，期刊会变成出版平台，完全由作者主导发表，审稿人则由作者自行寻找或者由学术社区提供 [9]。

本次eLife的改革处在路线图第二阶段，将论文把关的权力从审稿人手中集中到了编辑手中，这离来者不拒还有相当大的距离，尤其是在eLife的初审退稿率非常高的情况下。

钱文峰表示，“eLife的送审本来就有着广泛征求意见的严谨程序，一般是三个学术编辑讨论七八轮才会最终决定一篇文章是否送审。估计在改革之后，这个过程只会更加严格。”

在2018年试行改革期间，eLife按常规方法评审了665篇投稿，按新方法评审了331篇。在常规评审的稿件里，编辑的初审通过率为29.6%，最终接受率约15%。而在按新规审的文章里，初审的通过率降到了22%上下，最终的接受率接近20%。可以看出，改革后eLife文章的接受率仍然不高。另外，算上同行评议的时间，改革后整个的发表周期甚至比过去还长 [10]。

图1 elife试验的统计数据，左侧为传统方式审稿右侧为新方式审稿。蓝色代表接收论文，红色代表初审拒稿论文，橙色代表同行评议拒稿论文

从这个结果来看，eLife这次改革仍有局限。李党生怀疑，过去决定期刊收录有编辑和审稿人两道环节，现在只有编辑一道环节的情况下，论文的质量是否能得到保证。“质量控制的工作还要做，而且是在没有同行评审意见下做的，这会是一个更加好的系统吗？”李党生说。

eLife本次的改革措施也产生了一些有待解决的问题。比如，eLife发布的文章仍然是 “审查过的预印本”，这在评价学术成果时如何计算，现在还没有先例和明确的解释。

同行评议改革之难

此次改革之前，eLife曾经多次尝试从流程上改善同行评议。

钱文峰介绍，过去，eLife只送审放到预印本网站的文章，并要求评审人（可选择匿名）提供一段公开评审意见（public review）全面评价文章的优缺点。无论文章是否接收，这个公开意见最终将会公布，以反映eLife邀请的部分同行对这篇文章的综合意见。而这些意见本身也在等待着时间的检验。

实行类似尝试的还有Biology Direct、F1000 Research和BMC Medicine 等，它们都选择公开评审意见，这种改革方向被称为开放式同行评议（Open Peer Review）。

不过，开放式同行评议往往要求审稿人公开身份，这一点大部分审稿人都不能接受。一项对2010至2017年5种期刊上公开发布的同行评议意见的研究发现，只有8.1%的审稿人愿意在公开的评审报告上署上自己的姓名[11]。

eLife则在公开评审报告时允许审稿人匿名，这种尝试方向也被称为透明同行评议（Transparent peer review）。从2016年起，Nature Communications 决定长期采用透明同行评议，除非作者要求，不然编辑会把评审意见和文章一同发布 [12]。

进行透明评审时，审稿人会在线讨论审稿人报告中提出的问题，最终编辑根据所有审稿意见和专家间的留言交流，决定拒稿还是建议修改，最后编辑会把编辑和审稿人的意见整合成一份不超过5条建议的评审报告 [13]。

这种审核过程要比三个审稿人各自为战快得多，而且通过交流，审稿人之间的分歧也不会那么大，这种特点让作者非常满意。一项调查发现，95%的审稿人认为eLife的审稿过程给作者提供了可理解和统一的反馈。

不过在李党生看来，这些对同行评议具体环节的改良措施影响力始终有限。他表示，特定的期刊，再怎么改革只在期刊范围内，影响不到不向这些期刊投稿的人。另外，这种措施并没有为eLife吸收更多好文章，做出重要工作的科学家不会仅仅因为流程上的方便而选择eLife。

尽管作者和审稿人的满意度很高，eLife对同行评议流程的改良措施没有得到大规模的模仿和响应。根据Publons2017年的分析，当时在其数据库中具有同行评审政策的约3700种期刊中，只有约2%允许公开评审内容。“我是觉得一个体系如果做得好，大家都会拥抱这个体系，毫无疑问大家应该就会去学的。” 李党生说 [14]。

有些措施在改善了旧问题的同时产生了新问题。例如，公开评审意见有诸多好处，但从审稿人的角度出发，钱文峰认为公开发表的文字更需要字斟句酌，也意味着更耗费时间精力，因此，公开评审意见可能导致编辑团队更难找到审稿人。

Nature Communications 决定公开评审意见时也有部分审稿人拒绝审稿，因为他们身处小领域，同行很容易通过公开的报告看出他们是谁 [15]。

针对同行评议的改革措施仍然有着局限性，可能是意识到了这种局限，eLife的改革路线图提出了在未来彻底改革同行评议和学术出版的方案：从期刊转向出版平台，由作者自由发布内容，编辑团队只提供同行评议服务。

然而这种方案如果实现，就意味着学术出版的定义本身就已经被改写。除非彻底颠覆现有的以期刊为中心的学术出版制度，塑造新的学术出版标准，不然改革的影响力仍然有限。对于仍然要追求发表的科研人员来说，那样的改革是远水解不了近渴。

另外，现在同行评议被人诟病的问题，并不都来自同行评议流程的不合理和学术出版系统的弊病。李党生表示，不能把所有问题都归结成系统问题，有些问题的产生是有相应的客观因素。

他解释说，比如，现在同行评议的时间过长问题，就与投稿论文数量和信息量增加的大背景分不开。“现在一篇文章里包含的信息量可能是20年前的5倍10倍都不止，对专家来说，评审一篇文章的工作量也是越来越大的。因为文章很复杂，往往一个专家不足够，这也就是为什么需要三个审稿人，因为每个审稿人有时只能看到文章的一个方面。”

李党生认为，同行评议出现的一些弊端，实际上是生态系统健康运行的问题。在一个比较复杂系统里有各种个体参与，永远不能排除一些个体的行为和系统不匹配，或者不按规则办事的行为。这些问题可能大到影响学者的整个职业生涯，但如何修复这些问题，没有一个简单的答案。

李党生还表示，广义上讲，现在同行评议还是科学共同体自身在控制。审稿人本身就是科学家，这次被人审稿，下次就可能审别人。共同体的文化仍然是让整个系统健康运行的重要因素。

“我们要营造一个好的文化氛围，让同行评议做到公平公正。这个责任可能是多方都要承担，不能仅仅是一个肩膀挑起来。好的期刊、优秀的科学编辑如果能起好的作用，会塑造一个健康的生态文化生态环境和生态文化。” 李党生说。

在钱文峰看来，现在对同行评议的很多不满，本质上不在于同行评议环节上出了什么问题，问题出在以期刊为中心的学术出版制度。

“不是同行评议的问题，而是大家对于发表文章的期刊过于看重的问题。”钱文峰说，“太想投中的时候，同行评议才成为一个问题。比如一定要发CNS，好像能发一篇CNS就怎么样了。”

钱文峰解释，如果期刊的等级没有那么重要，当发现同行评议专家的意见有误，完全可以转投更合适的期刊。自己的研究方向最适合什么期刊，科研人员一般来说是非常清楚的。但如果一定要投高影响力期刊，评审员有不合适的意见也只能接受。

根据钱文峰的回忆，过去，科研人员发文章只要是主流期刊就可以，并没有特别追求顶刊，评价一个学者的成就更多还是看文章内容本身。在他看来，这些年对所谓 “顶刊” 的崇拜越来越厉害，“文章也不读，连做的是什么也说不清，就看谁发了篇nature之类的期刊，这种学风也不太正。”

现行的科研评价体系是造成不看内容、只看期刊影响因子的原因之一。钱文峰表示，评审项目或者基金时，研究方向关系更近的小同行往往会更清楚研究内容，国外一般是小同行评审。但在国内，由于担心小同行利益相关，往往采用大同行评审，而大同行往往对内容不够理解，只能参考期刊影响因子。

随着学术竞争日渐激烈，这种以刊评文甚至评人的风气日渐增长。在钱文峰看来，这对学术创新是有害的。同行评议有时候会抑制创新。钱文峰总结道，“我们也大概知道什么文章好发，太创新了文章就发不好，有一定程度创新的文章才好发。最好的文章都不太好发，同行没那么容易接受，他们的思想得慢慢地转变过来。”但这些，恐怕不是一家期刊或学术出版界的改革能改变的问题了。

参考文献：（上下滑动可浏览）

1.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5437951/#ref-77

2.https://research-portal.uea.ac.uk/en/publications/this-work-is-antithetical-to-the-spirit-of-research-an-anatomy-of

3.https://link.springer.com/article/10.1007/s40037-021-00670-z

4.https://peerj.com/articles/8247/

5.http://rdbk1.ynlib.cn:6251/Qw/Paper/632065

6.https://elifesciences.org/articles/83889

7.https://www.editage.com/insights/scienceopen-inviting-researchers-to-openly-participate-in-the-process-of-research-communication

8.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6019064/

9.https://asapbio.org/digital-age

10.https://elifesciences.org/inside-elife/262c4c71/peer-review-first-results-from-a-trial-at-elife#:~:text=New%20approach%20to%20peer%20review,%2D%20and%20mid%2Dcareer%20colleagues.

11.https://www.nature.com/articles/s41467-018-08250-2

12.https://www.nature.com/articles/ncomms10277

13.https://eLifesciences.org/articles/32012

14.https://publons.com/blog/who-is-using-open-peer-review/

15.https://www.nature.com/articles/ncomms13626

制版编辑 | 姜丝鸭

参与讨论

0 条评论

暂无评论内容

科学界苦同行评议久矣？如何改革？

德才皆倍（北京）科技有限公司

相关阅读

细推物理须行乐：李政道的科学人生

用13年，抵达量子模拟无人区

游戏刚刚开始：中国科大实现光子分数量子霍尔态

订阅Newsletter