业内信息

科技期刊实施开放式同行评议策略研究

2018-11-27 来源:《中国科技期刊研究》
  【关键词】开放式同行评议;开放审稿;科技期刊;调查研究
 
  【作 者】彭琳:中国科学院文献情报中心《数据智能(英文)》编辑部;杜杏叶:中国科学院文献情报中心《图书情报工作》杂志社
 
  【摘 要】[目的] 调研国内外科技期刊实施开放式同行评议(Open Peer Review,OPR)的策略,并对其进行比较分析,以期为OPR相关理论和实践研究提供参考。[方法] 通过在30种科技期刊官方网站收集数据,总结OPR期刊的特点,比较各期刊在采取审稿模式、公开审稿人身份、公开审稿意见和给审稿人认可等方面采取的不同策略。[结果] 所调研期刊中绝大多数是出版集团拥有的开放获取期刊,其中50%是生物医学类期刊。在所调查的3种OPR模式中,70%期刊采取模式2,即公开评审结果模式;23%采用模式1,即审稿中增加公众评议环节;7%采用非主流模式3,即通过出版“同行评议书”的方式公开稿件评审过程。即使采用同一种OPR模式的期刊,其具体做法也不尽相同。71%的期刊采取自愿署名或匿名审稿政策,只有29%的期刊要求审稿人实名审稿。小部分期刊采取给评审报告添加DOI方式激励审稿人审稿。[结论] 当前国内外科技期刊对OPR的研究和实践还处在初级阶段,实施OPR的期刊总体数量偏少,今后还需要各期刊根据自己的特点探索适合自己实施OPR的策略。
 
  同行评议是国际上学术期刊稿件评审的基本制度。但在实际操作过程中,随着学术造假等一些不端行为被揭露出来,传统同行评议的弊端,例如审稿时间太长,缺乏公平性、客观性、透明性以及有失伦理也被有关学者揭露出来,并对同行评议的变革提出了建议,同时国内外学者对开放式同行评议(Open Peer Review,OPR)的实践进行了探索,发现实施OPR可提升审稿质量,促进知识交流,减少学术不端行为发生的概率。目前的相关研究中,仅发现Vrana对科技期刊实施OPR的情况进行了调研,该文对世界排名前100的科技期刊出版社进行调研后,发现仅有7个出版社的12种期刊在实施OPR,从而得出只有少数出版社实施OPR的结论,但该文作者并未调查期刊实施OPR的具体做法。目前的研究缺乏对国内外期刊现阶段OPR实践的全面调查、总结与深度分析,而这样的全面调查对OPR可行性研究具有重要作用,是国内期刊编辑部实施OPR决策的关键。基于此,本文在对相关研究进行分析的基础上,对现阶段国内外期刊OPR实践进行了全面调查、总结与分析,以期为科技期刊实施OPR提供参考。
 
  1  文献综述
 
  目前,国内外对OPR的研究还处于理论探讨阶段。Ross-Hellauer详细梳理了文献中出现的122种OPR定义,提议OPR的定义应至少包括公开审稿人和作者信息、公开审稿意见以及让公众参与审稿过程。刘丽萍等总结了OPR的核心思想是开放作者和审稿人身份、开放评议流程和开放评语。Ford和Ross-Hellauer都将公开作者与审稿人信息为首要特征,强调审稿专家和普通公众参与。刘丽萍等介绍了不同的OPR模式,从不同模式来分析“开放”内容,可归纳为审稿人身份的开放、评议结果的开放和公众可参与的评议过程的开放。本研究将OPR主流模式归纳为2种:(1)公众评议和传统同行评审相结合的模式;(2)公开评审结果的模式,包括公开审稿人身份、审稿意见、作者回复和修改稿等发表前记录。在期刊实际操作中,一些采取第2种模式的期刊在论文发表后,也会增加公众评议功能,但此时的公众评议对稿件录用没有影响,而第1种模式中公众评议结果对稿件录用有影响。
 
  在对OPR的讨论方面,Tennant总结了研究者主要讨论的4个问题:(1)审稿应该是在论文发表前还是发表后;(2)是否应该公开审稿人身份;(3)是否应该公开审稿意见;(4)审稿人是否应该得到认可?怎样给予审稿人认可。这4个问题中,第4个问题和第2个问题相关,公开审稿人身份就是对审稿人的认可。其研究同时指出,有期刊给予审稿意见DOI号码,使之可以被引用,以此作为对审稿人的认可。尽管大多数期刊还是实行发表前OPR,以F1000为代表的期刊主张实行出版后OPR。尽管OPR概念提出伊始就是强调公开审稿人身份,但还是有研究者认为不公开审稿人身份有助于保护审稿人,让他们敢于提出批评意见。
 
  为评估期刊实施OPR的可行性,国外大型出版集团如Nature开展试验检测OPR的效果。也有研究者对单刊审稿专家进行调查,以评估OPR实施的可能性。国外实证研究主要利用调查问卷的方式调查作者和审稿人对于OPR的认知、实施OPR的态度以及进行案例期刊调研。国内研究侧重理论探讨和案例调查。张稢圻对国外科技期刊OPR中参与者积极性进行研究,发现公众评论的积极性不高。常唯等指出单纯依靠公众评议很难获得足够结果来判断稿件质量。有学者提出不同的审稿方式适合不同类型的学术期刊。李军纪等指出OPR适合于综合性和普及性学术期刊。常唯等发现开放获取(Open Access,OA)期刊实施OPR较多,对透明性要求较高的领域,如医学领域期刊使用OPR较多。
 
  2  研究方法与数据来源
 
  2.1  OPR的定义
 
  目前,国内外并没有形成统一的OPR概念,在实践中,OPR的定义也很复杂,因为它可以指评审过程中各个阶段的开放性。本研究认为OPR是一个开放式的审稿过程,相比传统的封闭式同行评议,它公开审稿人身份、审稿过程、审稿意见、作者修改答复和修改稿等出版前记录。
 
  2.2  OPR的3种模式
 
  目前OPR有3种模式,其中模式1和模式2是主流模式。
 
  模式1是以Atmospheric Chemistryand Physics(ACP)为代表的公众评议与同行评审相结合的模式,其特点是包括公众评议环节。通过初审的稿件在讨论区发布,期刊指定的审稿专家在线审稿,审稿意见在线公开,同时其他有兴趣的人也可以参加在线审稿,但必须注册发表评论。模式1通过专家和公众参与评审的方式公开稿件评审过程。
 
  模式2是以Bio Med Central(BMC)系列医学杂志为代表的公开评审结果模式。这种模式的特点是公开审稿人身份和审稿意见、作者的修改稿和修改答复等发表前记录。模式2区别于模式1的显著特点是没有公众参与审稿,但是通过公开审稿意见、作者回复、作者修改稿等信息,公开稿件评审过程。
 
  模式3是非主流模式,以Behavioral and Brain Sciences(BBS)为代表。BBS期刊一般一期只发表2-3篇“目标论文”。本期其他文章则是这些目标论文的“同行评论书”,其中不仅包括审稿意见,而且包括对目标论文进行的实质性评议、阐释及补充材料。模式3是通过出版“同行评议书”的方式公开稿件评审过程。
 
  2.3 数据来源选择
 
  虽然有些文献将以PLoSONE为代表的出版后公众评议也算作OPR,但因为文章发表后的评议并不会影响文章的录用决定,所以本研究的调查只限于在文章发表前实施OPR的期刊。
 
  从20世纪90年代开始,国外著名出版集团就开始探索OPR。本研究首先调查Vrana和Amsen调研过的期刊。为使样本能包括更多不同出版单位和不同领域的期刊,若是出版集团旗下期刊,则每个集团每种模式最多选择两种不同学科领域的期刊。王凤产调研发现实施OPR的医学期刊比较多,所以若出版集团旗下期刊中既包括医学期刊,又包括非医学期刊,则优先选择非医学期刊进行调研。确定样本选择原则并对出版集团的期刊进行遴选后,笔者又在互联网上以“开放式同行评议”“公开审稿”“开放审稿”“openpeerreview”“openreview”等关键词搜索实施OPR的期刊。本次调研共收集样本期刊30种(表1)。
 
表1  30种样本期刊OPR的调查结果
 
序号 出版集团 期刊名称 是否OA 领域 模式 审稿人身份 评审结果 审稿报告DOI 其他特点
1 BMC BMC Infectious Diseases 医学 2 实名 公开 公开论文评审里程记录
2 BMC Biology Direct 医学 2 实名 公开 公开论文评审里程记录
3 BMJ BMJ Open 医学 2 实名 公开 公开论文评审里程记录
4 BMJ The BMJ 医学 2 实名 公开 聘请患者评议论文内容,审稿专家和患者的意见在线公开
5 BPG World Journal of Gastroenterology 医学 2 匿名 公开 公开审稿人代号、国籍和评审时间,公开编辑姓名
6 BPG 世界华人消化杂志 医学 2 匿名 公开审稿意见,无作者回复 公开审稿人代号和来自地区,公开编辑姓名
7 Cambridge University Press Behavioral and Brain Sciences 社会科学/生命科学 3 实名 N/A N/A 需要申请账号才能阅读全文
8 Copernicus Publications ACP 地球科学 1 自愿 公开 不干预,公众自由参加评议,但公众评议员需注册实名发表评论
9 Copernicus Publications Earth System Science Data 地球科学 1 自愿 公开 不干预,公众自由参加评议,但公众评议员需注册实名发表评论,数据期刊
10 eLife eLife 生物 2 匿名 依作者允许公开 作者回复也有单独的DOI,可被引用,公开编辑身份,和Publons合作给予审稿人认可
11 Elsevier Engineering Fracture Mechanics 物理 2 自愿 公开审稿意见,无作者回复  
12 Elsevier Annals of Medicine and Surgery 医学 2 自愿 公开审稿意见,无作者回复  
13 Elsevier Physics of Life Reviews 生物 3 实名 N/A N/A 审稿意见编辑成“同行评论书”,随评审文章和作者对评审意见的回复一同发表
14 EMBO The EMBO Journal 生物 2 匿名 公开 N/A 需注册账号才能阅读全文、评审意见和作者回复
15 Frontiers Frontiers in Psychology 心理学 2 实名 不公开 N/A 只公开编辑和审稿人身份,审稿人在审稿期间可以和作者在论坛里进行互动交流
16 Frontiers Frontiers in Neuroinformatics 医学 2 实名 不公开 N/A 只公开编辑和审稿人身份,审稿人在审稿期间可以和作者在论坛里进行互动交流
17 IOS Press Data Science 信息科学 1 自愿 公开 数据期刊
18 IOS Press Semantic Web Journal 信息科学 1 自愿 公开 被拒稿作者可请求把文章和审稿意见从网站上撤回
19 JMIR Publications JMIR 医学 1 实名 不公开 N/A 公开审稿人和编辑身份,审稿人和作者不允许直接交流
20 Kiel and the ZBW Economics 经济学 1 自愿 公开 编辑部邀请感兴趣读者参加公评,读者可匿名发表评论
21 MDPI Life 生命科学 2 自愿 在作者允许下公开 公开编辑姓名
22 Nature Nature Communications 综合 2 自愿 在作者允许下公开  
23 Oxford University Press GigaScience 综合 2 实名 公开 数据期刊,和Publons合作给予审稿人认可
24 Pensoft Biodiversity Data Journal 生物 2 自愿 不公开
公开审稿人身份
N/A
 
数据期刊,审稿除了邀请审稿人,还邀请公众评议人,但文章出版时只公开编辑的身份,不
 
25 Pensoft Metabarcoding and Metagenomics 生物 2 自愿 不公开
公开审稿人身份
N/A
 
数据期刊,审稿除了邀请审稿人,还邀请公众评议人,但文章出版时只公开编辑的身份,不
 
26 PeerJ PeerJ 生物 2 自愿 在作者允许下公开  
27 Royal Society Royal Society Open Science 综合 2 自愿 在作者允许下公开 和Publons合作给予审稿人认可
28 Royal Society Proceedings A 综合 2 自愿 在作者允许下公开 和Publons合作给予审稿人认可
29 科学出版 社 心理学报 心理学 2 匿名 公开 审稿意见和作者回复被做成可下载的PDF文件
30 N/A 中国科学数据 综合 1 匿名 公开 公开责任编辑的审稿意见,公开论文评审里程记录
 
  笔者首先通过调查期刊的官方网站比较期刊特点,如是否为OA期刊(阅读全文没有任何限制视为OA期刊),单刊还是集团下属期刊,期刊所在学科领域;然后调查期刊审稿指南里是否有OPR模式的介绍、是否公开审稿人身份、是否公开审稿意见、是否给予审稿人认可等。对于OPR模式的认定,笔者采取的原则是,如果包括公众评议,就算作该期刊采用了模式1;如果公开审稿人身份或者公开审稿意见,出现其中一个特点,就视为该期刊采用了模式2。给审稿人认可方面,除了调查期刊审稿指南,笔者还调查了期刊的评审报告是否有DOI号码。
 
  3  调查结果
 
  3.1  样本期刊的特点
 
  30种期刊调查结果见表1。其中29种期刊是出版集团下属期刊,只有一种期刊是单刊。30种期刊中,有25种是OA期刊,占83%;有4种是数据期刊,占13%;有15种是生物医学类期刊,占全部样本的50%。
 
  笔者对国内外期刊进行比较,发现国外期刊实行OPR的总体数量多,而且多是出版集团制定统一政策。样本中仅有3种中文期刊在实行OPR,其中《世界华人消化杂志》和《心理学报》是出版集团下属期刊,仅有《中国科学数据》是单刊,且实行OPR。
 
  3.2  OPR模式的选择
 
  21种期刊(占样本的70%)选择模式2,所以模式2是最普遍采用的OPR模式。每种模式里期刊的具体做法灵活多样。比如模式1包括公众评议环节,但具体到公众参与的方式不尽相同,如ACP采取不干预措施,公众自由参加,而Economics是编辑邀请感兴趣读者参加公众评议。再比如模式2,开放程度最低的做法是仅公开编辑名字,具体审稿意见和作者回复都不公开;而开放程度较高的做法包括公开实名审稿意见、作者的修改回复意见和历次稿件版本。模式1和模式2的一个区别是模式1公开被拒稿件和未决稿件的审稿记录。此外,采用模式2的医学期刊的做法带有学科特点:不仅评审专家要对稿件进行评审,患者也要参加评审。目前采用模式3的期刊只有两种,且都是侧重理论研究的期刊。
 
  3.3  公开审稿意见
 
  采用模式1和模式2的28种期刊中,有23种公开审稿意见,包括6种依作者允许公开的期刊。在这23种期刊中,14种公开审稿意见和作者回复,3种公开审稿意见但不公开作者回复。所以实行OPR的期刊中,公开审稿意见是普遍的做法。依作者允许公开的期刊实行OPR的同时,也保持传统的同行评议制度,但作者可以选择实施OPR。有5种期刊既不公开审稿意见,也不公开作者回复,比如Pensoft旗下期刊只公开组织审稿编辑的身份,Frontiers旗下期刊和JournalofMedicalInternetResearch(JMIR)只公开编辑和审稿人的身份,不公开审稿意见和作者答复。
 
  3.4  公开审稿人身份
 
  采用模式1和模式2的28种期刊中,14种允许审稿人选择实名还是匿名审稿,8种要求实名,6种要求匿名。也就是说,71%期刊采取自愿署名或匿名审稿政策,只有29%期刊要求实名审稿。Baishideng Publishing Group(BPG)旗下的期刊实行匿名审稿,但公开审稿人代号、国籍和所属地区,在一定程度上透露了审稿人信息。
 
  3.5  给审稿人认可
 
  在采用模式1和模式2的28种期刊中,能查到期刊评审报告的有22种,其中只有6种给评审报告添加DOI,这说明通过给评审报告添加DOI来给审稿人认可的做法并不普遍。此外,有部分期刊和Publons合作,给审稿人记录审稿经历,这些记录可供审稿人用来申请期刊编委或作为资历证明材料。
 
  4  讨论和分析
 
  相比Vrana的调查,本研究发现更多的期刊开始尝试OPR,这说明出版商愿意尝试实施OPR,以改进传统的同行评议系统。但是数量增长缓慢也说明出版商对于如何实施OPR还持谨慎的态度。
 
  本研究发现实施OPR的期刊具有一些相同的特点。(1)OA期刊多。开放审稿的目的就是增加传统同行评议的透明度,期刊文章OA是公开评议的基础,此发现和常唯等的研究结果一致。(2)生物医学领域期刊多。这可能是因为BMC和BMJ都出版生物医学类期刊,此发现也和常唯等的观察一致。(3)数据期刊多。本文样本中包括了4种数据期刊。
 
  国内外采用OPR的期刊总体数量上偏少,今后还需要更多数据加以验证是否OA期刊、数据期刊和医学领域的期刊适合实施OPR。同时,出版商们需要更多的期刊实践结果来证明实施OPR的益处,需要更多的实验数据来决定采用哪种模式、哪些具体的实施办法。
 
  4.1  OPR模式的选择
 
  大多数期刊选择模式2,可能是因为模式2是实施OPR最简单的方式。对于想实施OPR而人手不足的期刊来说,这种方式也是最初实施OPR的最佳方式。采取模式2的期刊只公开发表文章的审稿意见,原因可能是公开拒稿文章的审稿意见会让作者脸上无光,而且被公开的拒稿也算已经“发表”,作者无法再投其他刊物。ACP执行主编Pồschl认为模式2的缺点是没有利用社群力量,对文章感兴趣的人没有机会对文章修改提出建议。此外,拒稿文章可能是有争议的创新性研究,或者是研究有缺陷,但因为拒稿没有向公众开放,公众也就失去了了解这些文章的机会。笔者注意到Pensoft旗下采取模式2的期刊在邀请审稿人的时候,除了审稿专家,还会邀请公众评论人,公众评论人只需给出评论,并不要求提交审稿报告,期刊的这种做法可能也是借鉴模式1邀请公众评议方式的优点。
 
  只有小部分样本期刊选择模式1,这可能和模式1的组织公众评议困难和公众评议效果不理想有关。比如Nature进行的实验证明一般公众对实名注册评议论文缺乏积极性,导致文章很少有评论或根本没有人评论;公众评议员可能数量多,但学术水平参差不齐,导致其中的审稿意见质量普遍不高,所以Nature下属期刊在实施OPR时不包括公评环节。另外,如果增加公评环节,需要建立技术平台,这对于单刊来说也很困难。但Pồschl分析Nature实验失败而ACP模式成功的原因,是在公众评议阶段应有指定审稿人参加公开审稿,审稿人的评论有时也会带动公众评议。一般情况下,有争议的稿件才会引起公众评议的兴趣,所以实施模式1时,讨论阶段的文章没有公众评议也属正常。
 
  当前关于模式1和模式2到底孰优孰劣还有争议。模式1和模式2都使得同行评议的过程更加“透明”“开放”,但模式1还强调让更多公众参与评议过程。组织实施模式1需要有技术平台,需要增加组织人员,还需要强大审稿人团队的支持。比如ACP编委会最初只有70人,但后来发展到130人。这些来自各个领域的专家为ACP实施开放审稿提供了强有力的支持。但是各刊实际情况不尽相同。所以,尽管ACP采用模式1取得了成功,但是笔者的调查显示,大多数期刊还是采用模式2。具体到国内期刊,《中国科学数据》和《心理学报》分别采用模式1和模式2,这说明各刊都在探索适合自己的模式。
 
  有研究指出期刊在OPR实践过程中存在多样性特征。笔者调研的期刊里,剑桥大学出版社的BBS采用的模式3方式非常独特,这种非主流方式的存在也说明了不同期刊对于实施OPR的方式也是灵活多样的。
 
  4.2  公开审稿意见
 
  采用模式1和模式2的28种期刊中,23种公开审稿意见,这说明绝大多数期刊认为实施OPR应该公开审稿意见。在这23种期刊中,14种公开审稿意见和作者回复,这说明同时公开审稿意见和作者回复是多数期刊的策略。此外,公开审稿意见可以让读者对审稿意见进行检查,有助于加强期刊稿件的质量控制,这也是绝大多数期刊在实施OPR时公开审稿意见的一个原因。
 
  4.3  公开审稿人身份
 
  虽然OPR将公开作者与审稿人身份作为首要特征,但调查显示公开审稿意见比公开审稿人身份更重要。本文调查显示30种期刊中只有8种要求实名评审,有14种是自愿,6种匿名。在两种主流模中,期刊对于是否公开审稿人身份都采取了灵活的政策,例如Elsevier旗下期刊的理念是期刊审稿的重点应该是科学研究而不是参与审稿过程中的个人,所以Elsevier旗下OPR期刊实行匿名评审。根据2016年欧盟资助的一项调查显示,3062名接受调查的人员(包括编辑、出版人和作者)中有一多半人员(60.3%)认为匿名评审的方式更好。因为匿名审稿有助于保护提出批评意见的审稿人,所以期刊应鼓励而不是强制审稿人公开身份。笔者认为相比强制公开审稿人身份的要求,自愿公开或者公开审稿人代号的方式更能有助于吸引审稿人审稿。
 
  4.4  给予审稿人认可
 
  调查发现,通过给评审报告添加DOI来给予审稿人认可的做法并不普遍,大多数期刊的审稿报告只是文本文件,不能被引用,只是作为公开审稿过程的“证据”,没有发挥激励审稿人的作用。在6种给审稿报告添加DOI的期刊中,2种期刊采用模式1,4种期刊采用模式2,这说明采用模式2的期刊更重视利用公开审稿报告吸引审稿人为期刊服务。
 
  5  开放式同行评议的建议与启示
 
  5.1  推进实施OPR需要多方努力
 
  国内外采用OPR的期刊总体数量上偏少,OPR并没有被世界主要期刊出版社广泛接受并实施,所以还需要通过多方共同努力去研究和宣传采取OPR对科研活动和科技信息传播的重要作用,推进OPR在我国的实施。笔者建议国家可出台相关政策,鼓励和支持科学家与科技期刊参与OPR的实验。科技期刊研究学会可鼓励研究人员积极进行OPR相关理论研究,鼓励期刊出版机构积极探索实施OPR的方案。OPR理论上的丰富是实施OPR技术完善的前提。对OPR理论上的研究,可加速OPR平台技术的研发,为实施OPR奠定技术基础。
 
  5.2  鼓励出版集团利用自己的优势试验OPR
 
  国内大型学术期刊出版集团,例如科学出版社,技术力量雄厚,有实力解决实施OPR的实际难题,如OPR系统的开发、在线组织审稿的方式、网络技术问题等。科学出版社旗下的《心理学报》已经开始实施OPR,如果科学出版社尝试让更多期刊实施OPR,公开实验结果,会带动更多出版集团开始尝试实施OPR,共同探索适合国内期刊的OPR模式。
 
  5.3  鼓励单刊对OPR的探索
 
  相比国外,我国期刊集团化程度还不高,所以当前国家也应鼓励单刊对OPR方式进行积极探索。单刊编辑部无论在技术力量和人员力量上都非常有限,采取模式2可能是一个很好的选择。对于单刊来讲,如果允许用户通过网上投稿系统查看每篇文章各阶段的审稿意见,可能给系统带来大量访问,导致网络不畅。《心理学报》的做法值得借鉴,他们把审稿意见和作者回复做成PDF文件,链接在每篇文章的网络版后,以此减轻网络访问压力。
 
  6  结语
 
  本研究以30种期刊为样本,调查了国内外期刊实施OPR的策略,发现目前OPR主流模式是公开评审结果,期刊普遍采取自愿署名或匿名评审的政策,少部分期刊通过给审稿报告添加DOI方式激励审稿人审稿。本研究的调查为国内期刊今后实施OPR提供了有益的参考。但因为当前对OPR研究和实践都还处在初级阶段,实施OPR的期刊总体数量偏少,今后还需要各期刊根据自己的特点探索适合自己的OPR的策略。本文没有涉及若在OPR中增加公众评议环节,应如何构建实施OPR的技术平台,如何调动公众评议的积极性等问题,笔者将在以后的研究中进一步深入探讨。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

国家广播电视总局 | 湖北省人民政府 | 中国邮政集团公司 | 武汉市人民政府 | 中国期刊协会 | 中国图书进出口(集团)总公司 | 中国邮政集团公司报刊发行局 | 湖北省广播电视局 | 湖北日报传媒集团 | 长江广电传媒集团 | 长江日报报业集团 | 知音传媒集团 | | 湖北中图长江文化传媒有限公司 | 决策信息网 | 湖北新闻出版广电传媒周

copyright(c) 2013 湖北省新闻出版局 版权所有 技术支持

鄂ICP备19004605号-4  鄂公网安备 42010602004016号