同行评议_同行评议专家遴选的科学计量方法与实证研究

  [摘要]将科学评价中的同行评议专家认定问题转化为科学共同体的认定与辨识问题,通过科学计量学领域本体和共词分析等方法,找寻具有相同科学语境和科学概念体系的科学共同体,保证同行评议专家遴选的科学性。
  [关键词]科学评价 同行评议 专家遴选 科学计量
  [分类号]C939
  1 引言
  同行评议方法的本质是科学共同体对研究成果的价值进行主观评判,而科学共同体是由具有相同科学范式、是非标准和道德要求的科学家所组成的,其通常的任务之一是开展常规科学的研究活动。科学系统中的同行评议,实际上是某一“科学共同体”内的科学家采用同一“范式”对该科学共同体内的新理论、新发现进行评价与选择,可以说,同行评议就是一种“科学共同体内部的民主决策的科学评价方式”。显然,同行评议中的“同行”就是“科学共同体”,这样,同行评议专家的遴选问题则转变为科学共同体的认定问题。由此可知,同行评议专家的来源选择和遴选过程对评议结果的质量与公平起到至关重要的作用。如何去认定科学评价中同行评议专家是“懂行”的专家,己是摆在科研管理工作者面前的重要课题。
  2 国内外研究综述
  不同国家同行评议专家遴选制度不同,评审专家资格认定的标准不同。对中国国家自然科学基金委员会(NSFC)与美国国家科学基金会(NSF)在保证评议人的学术性方面进行对比后,可以发现NSFC和NSF都要求评议人具有较高的学术水平、敏锐的科学洞察力和较强的学术判断能力;熟悉被评项目的研究内容及相关研究领域的国内外发展情况,并且近年实际从事研究工作。英国同行评议调查组给英国研究理事会咨询委员会的报告提出可以使用自然和社会科学索引为同行评议专家的选择提供评价依据。
  挑选专家应看是否仍在科研一线工作,要注意选择不同观点的评审专家,保证专家评审组长的学术权威性。美国《科学引文索引》数据库(scI)所提供的论文收录数量及影响因子(IF)等数据可以为评价科研工作提供重要线索,解决同行评议专家学术质量、权威的认定问题。在SC1期刊上发表论文的数量及其被引用情况可以在一定程度上反映科研工作的质量。从管理的角度看,评价标准的客观性、公正性和透明性非常重要。在理论上,只有“小”同行才能对科学项目的学术质量做出准确的判断,解决同行评议中专家判断差异导致的“非共识”问题。
  3 研究思路
  现在通常所使用的同行评议专家的推选方法,一般是在专家推荐表所填的学科研究领域中找寻相同或相近的专家,这样遴选出来的评审专家只是大同行,同时也是一种被动的选择过程。同行评议本身追求的就是专家能够掌握有关专业的语言、方法和动态,并且熟悉相关的资料文献,有能力对评价对象的价值做出公允的判断。美国学术界对同行评议专家素质的普遍看法是:“他们应该是正活跃在第一线从事研究工作的科学家,他们应该不是政府部门的雇员,他们必须要有从事研究工作的丰富经验,并在研究工作中卓有成效”,因为“只有具备了这些条件,他们才有能力对研究项目申请书的科学价值做出客观的分析和判断”。因此,同行评议专家应该是其所在专业领域内目前正在从事研究工作的科学家或学者,这样他们才可能对本专业的研究机构、人员和成果的科研实力、学术水平、科学价值、技术难度等做出客观、准确的判断。这就要求在同行评议专家遴选过程中应特别强调“懂行”专家的选择,“懂行”专家即是库恩所认定的真正的“科学共同体”,如何选择真正的“科学共同体”就成为同行评议专家遴选问题的关键。
  4 科学共同体的本质特性
  在大的学科中存在持有不同学术观点的小的科学共同体,由于专业方向的不一致、研究侧重点和视角的不同、概念体系的差异、科学思维方式的不同,导致这样的现象:小科学共同体之间的科学交流不畅或有障碍,而小科学共同体内的内部交流则非常充分。造成这种现象的主要原因有以下两点:
  
  4.1 具有相同的科学语境背景
  从“小”科学共同体成员很大程度上会引用相同的科学文献这一现象,可以发现,小科学共同体成员在自己的头脑中已经形成了彼此大致相同的科学语境背景,并且正是由于这些相同的科学语境背景,才把小科学共同体成员结合在一起的。同行评议专家本身就是科学共同体成员,所以,“小”同行评议专家或者说“懂行”的评议专家,正是具有相同的科学语境背景而聚拢到一起的科学共同体。
  4.2 具有相同的科学概念体系
  通过观察,可以看到小科学共同体具有高度统一的科学概念体系,这是因为科学语境背景的差别主要是通过概念体系得到反映的。或者说,某个学科一套独特的概念体系或概念群,往往是一个科学共同体的存在标志,同时也是这个科学共同体研究问题的种类和性质的标志。同行评议专家本身就是一个小科学共同体,由于科学共同体是具有相同的科学语境的团体,所以同行评议专家头脑中的科学概念体系也会较为统一。科学概念和科学语境的相同赋义,反过来也促使同行评议专家科学观、方法论、思维模式产生近似性,最终保证了科学共同体内部的稳定性。
  5 科学语境在科学评价中的重要作用
  5.1 科学语境是科学共同体的基础
  属于某一科学语言共同体的同行评议专家们,由于具有大致相同的科学语境背景,因而,在他们去研究某一问题时,在他们去观察某一研究对象时,在他们用科学语言去描述某一现象或事件时:在他们进行科学评价时,绝不会是不受限制、随意地进行的。他们的科学语境已经先天地限定了他们会问什么问题、能问什么问题、能观察什么、能看到什么、能说什么、能描述什么、怎样描述等。语境情境决定了科学共同体可能的世界和“视界”,而语境背景则决定了科学共同体的现实的世界和“视界”。
  科学语境限定了科学共同体的“视界”,限定了科学共同体的语言世界的边界。科学语境是科学共同体的立足点。这个立足点的位置,决定了伸展在它面前的地平线的边界。它的“眼界”只能达到这个地平线范围以内的地方,若想超越这个地平线,看到或观察更远的地方,就只有变换立足点,站到更高的地方,也就是说,必须建构新的科学语境。
  5.2 科学语境是选择真正同行的判断依据
  高质量的同行评议依赖于同行评审专家的正确选择,只有“懂行”的专家才是真正的同行,才有能力进行相应的科学评价活动。而“懂行”专家的选择必须建立在具有相同的科学语境的基础上,因为,同行评议专家所形成的科学共同体,由于实质上是科学语言共同体,它的科学语言必然遵循着自己的语言规则。一个真正的同行评议专家的科学语言共同体,首先必须是正确掌握了这种科学独特的概念群和语言语法规则的人,因为只有在这个基础上,他才能做到正确地为其科学语言赋义。因此,可以以科学语言、主题概念等词汇的使用来作为判断是否是真正同行的标准。
  
  6 解决方案:领域本体概念网
  6.1 本体
  本体(ontology)最早是一个哲学范畴,意思是研究 “存在的理论”,指的是客观存在的一个系统的解释和说明。本体论。是一种概念化的说明,是对客观存在的概念及其关系的一种描述。它关心的是客观现实的抽象本质,是领域知识的形式化说明,通常由概念、概念之间的关系、公理和规则组成。
  6.2 领域本体
  所谓的领域本体(domain-specific ontology)就是对某一特定学科概念的一种描述,包括学科中的概念、概念的属性、概念间的关系以及属性和关系的约束。领域本体针对特定的应用领域,抽象领域知识的结构和内容,包括各种领域知识的类型、术语和概念,并对领域知识的结构和内容加以约束,形成描述特定领域中具体知识的基础。
  6.3 概念网
  利用本体的思想,构建领域知识概念网络,分析领域知识的关联,建立联想推理规则,对于实现领域本体知识的可视化是十分重要的。虽然在知识网络中,知识间的关系纷繁多样,但每个特定的领域本体,其知识网络是具有一定结构的。如:在科技领域,学科知识都具有一定的层次结构性和网络结构性。由此,可用概念网模型来表示领域本体知识及其关联。概念网即网中节点表示概念,网的关联边表示概念与概念的关联,概念与概念间的关联程度用关联度来表示,关联度越大,概念联系越紧密。
  7 实例:利用共词分析建立领域本体概念网,辨别“懂行”专家
  7.1 共词分析方法简介
  共词分析法利用文献集中词汇对或名词短语的共现,来确定该文献所代表学科中各主题之间的关系。一般认为词汇在同一篇文献中出现的次数越多,则代表这两个主题的关系越密切。由此,统计一组文献的主题词两两之间在同一篇文献出现的频率,便可形成由这些词对关联所组成的共词网络,网络内节点之间的远近便可以反映主题内容的亲疏关系。共词分析就是以此为原理,将文献主题词作为分析对象,利用聚类分析等多种统计分析方法,把众多分析对象之间错综复杂的共词网状关系简化为数值、图形直观地表示出来。
  
  7.2 数据来源及过程说明
  国际科学计量学权威期刊《科学计量学》(Scientometrics)创刊于1978年,该刊一直站在科学计量学研究与发展的最前沿,报道与世界发展相关的各个国际议题以及全部主要的科学计量学领域的国际会议,为所有定量化的科学发展评价研究提供舞台。此刊很好地反映了科学计量学领域的发展,所以用它作为数据来源期刊。全部数据来源于SCI数据库中Scientometrics1978-2008年的期刊论文。利用下载的附加关键词(keyword-plus)等数据绘制科学计量专业领域专家的学术范式网络图和科学计量学热点研究主题网络图,在专家学术范式网络图中,确定不同的科学共同体,观察每个科学共同体研究主题的差异,从而证实不同科学共同体具有不同的科学语境,说明同行评议专家的遴选应充分注意其研究论文的科学语境。
  7.3 结果分析
  图1是根据《科学计量学》高频附加关键词数据绘制出来的科学计量学热点研究主题三维网络:
  附加关键词一般都会揭示论文所研究的主题内容,因此所使用的附加关键词频次越高,代表某方面的学科领域主题内容越被关注,并逐渐成为这个学科所研究的焦点或热点问题。从图1可以看到科学计量学热点研究的主题内容包括:SCIENCE、INDICATOR、CITATION、COLLABORATION、PERFORMANCE、BIBLIOMETRICS、COCITATION、SCIENTIST等,每个点代表一个研究主题,有向线段代表主题之间的关联,线段边上的数字代表主题相互的关联程度。不同研究主题之间其差异度也有所不同,研究主题与研究主题之问的连线密度都有很大差异,这是科学语言的丰富性、科学研究方法的等同性、科学研究视角的共同性等多方面原因所造成的,使得每个研究主题或多或少都与其他主题相关。
  从图2上,可以看出科学计量学各学术分支的相互交叉融合的网络关系,图中黑点表示科学计量学高频被引的同行评议专家;学术关系由科学计量学各学科分支的代表人物之间的有向线段相连;有向线段的箭头代表影响;并且用有向线段上标示的数字作为代表人物学术思想和观点以及所持学术范式之间的差异程度。
  在图2中选择两个小科学共同体BRAUN T和SCHUBERT A以及INGWERSEN P和THELWALL M,观察两个科学共同体之间所使用科学语言的差异度。从SCI数据库中下载4位学者论文所使用的附加关键词,分别统计两个科学共同体所使用的附加关键词数据(见表1),并分别绘制出每个科学共同体的科学语境网络图。附加关键词描述科学研究论文的主题,具有揭示同行评议专家研究方向和研究内容的功能,从表1和图3、图4中我们可以看出4位专家虽然都处于一个大学科内,但是他们所形成的小科学共同体的研究主题、兴趣点差异度很大。
  8 结论与启示
  高质量的同行评议应该是指由真正的同行对其他同行进行的科学评价活动,同行之间应该非常熟悉彼此所研究的学科领域,并且使用相同的科学语言,具有大致相同的科学语境,对本学科领域内科学概念、定理有相同的理解,对科学研究的对象以大致相同的思维去思考。只有这样,才能真正地判断出科学评价项目的价值,得到高质量的同行评议结果。科学计量方法在认定同行评议专家真实的专业研究内容方面具有重要的辨识作用。
  8.1 准确判定同行评议专家擅长的研究领域和主题
  采用共词分析等科学计量的方法,通过确定某一学科中同行评议专家在核心期刊上发表论文所使用的关键词、附加关键词或主题词等反映科学论文实质内容的词汇使用频次情况,掌握同行评议专家所研究的真实科研内容及其研究的发展动态。这样从真实的、客观的科学研究论文内容的视角出发,挖掘同行评议专家真正熟悉的学科研究领域,从而帮助科学评价管理者准确判定同行评议专家所擅长的研究领域和主题,选择出真正的同行作为科学评价活动的评审者。同时,可以根据科学论文使用的科学主题、概念、语词等反映相关学科领域研究内容的信息,构建一个学科的主要研究领域主题三维网络图,即领域本体网络图,为科研管理者观察分析学科结构的发展变化趋势提供科学合理的凭据。
  8.2 为同行评议专家推荐表的科研信息提供准确的佐证资料
  传统的同行评议专家推荐表中所填的擅长研究领域并没有可信的佐证材料的支撑。同行评议专家推荐表中所有填写的内容都是专家、学者本人自己填写,而所填研究领域、研究内容、研究方向的真实程度、客观性、熟悉程度,科学评价管理者无从知晓。采用共词分析等科学计量等方法,能够帮助科学评价管理者了解同行评议专家的真实科研情况以及科研水平,选择真正的同行专家去评议他们所熟知的科学领域内的科学研究项目,并为传统的同行评议专家推荐表中的科研信息提供准确的佐证资料。
  8.3 为同行评议专家遴选系统的智能筛选提供科学合理的凭据
  同行评议专家系统智能筛选是专家遴选系统自动化的一个关键,是建立评审专家公开、公正、公平的遴选模式,同时也是尽量减少人为干预遴选的一种较为科学的手段。根据被评审项目所提供的主题词,在三维网络图中自动找到相应主题或词语及其与评审项目主题语义最近似的其他主题或词语。自动遴选系统按照确定的所有相应主题或词语自动寻找其论文著者群,再将找寻到的论文著者群与同行评议专家信息系统相连,确定符合相应职称、学术水平的评审专家。采用领域本体、共词分析等科学计量学方法为实现同行评议专家遴选系统智能选择提供了科学合理的依据。
  

推荐访问:遴选 评议 计量 同行