TOP期刊评价方法的改进及实证研究

陈振英

[摘要]结合学科TOP期刊评定的特定需求，提出结合定性评价、定量评价和事实数据评价的综合评价方法，期望能够更公正、客观、全面地为期刊评定决策提供科学依据。该方法在传统期刊评定的定量指标基础上，引入定性评价及基于事实数据的情报学评价方法——“同行趋向法”，作为一种创新评价方法通过统计学分析得到了可行性印证。

[关键词]期刊评价TOP期刊 定性评价 定量评价 情报学评价 同行趋向法

1 引言

期刊评价方法因目的不同而有区分。无论是一般性的过关评价，还是分级评价，抑或是淘汰性的精品评价，均应有不同的评价标准[1]。目前中文期刊的评定中应用比较多的评价体系包括：北京大学研制的《中文核心期刊要目总览》、南京大学中国社会科学研究评价中心研制的《中国社会科学研究计量指标体系》、中国社科院研制的《中国人文社会科学核心期刊要览》、中国科学院文献情报中心发布的《中国科学计量指标：期刊引证报告》、中国科学技术信息研究所按年度发布的《中国科技期刊引证报告》等。这些指标评价体系既综合考虑了期刊评定的多种定量指标，又结合了中文期刊的评定的一些本土化特征，无疑在很大程度上引导着科技期刊的评估。

期刊评价的初衷是有助于更科学的管理和改进期刊质量。近年来越来越多的绩效考核部门将期刊评价结果引入考核依据。当期刊的评价被移植到这一新领域时势必面临许多新的问题：传统的期刊评定方法是否适用？如何处理交叉学科期刊的评定；如何将国外TOP期刊甄选并分区？

目前代表性的TOP期刊评定方法当属中科院的期刊四分区法，其主要对SCI期刊按照影响因子大小进行分区考核[2]。该方法曾为华东地区主要高校进行量化考核和决策评估的主要依据，但由于其衡量指标单薄，对于交叉学科没有慎重考虑，应用过程中引起较大争议。正如Polonsky[3]所说：“单一方法来评价期刊过于单薄”。Johns[4]也呼吁：期刊的评价工作应当有一个综合了客观的引文分析法，主观的同行评价法，以及更多标准的方法。

2 方法建立

TOP期刊评定因为直接用于各学科教师和科研人员绩效评价的实践应用，学科特征鲜明且对每个学科的TOP期刊都有严格要求，既不能有重要遗漏也不能将普通期刊混入TOP行列。因此，TOP期刊评定首先考虑的是学科方向期刊的映射，然后在学科范畴内综合运用定性与定量等多种评价方法甄选专业TOP期刊进行。下面将详细阐述本文提出的TOP期刊评定方法。

2.1 学科期刊分类

TOP期刊评估的前提就是将期刊按学科分类，学科分得过宽或过细都会对备选期刊的数量产生影响。国内的期刊评价机构多是采用《中国图书馆分类法》为学科分类基础，其学科体系有些部分已经滞后于科学技术的发展和学科自身的发展，所以我们在评价外文TOP期刊时采用了汤森路透公司的《期刊引证报告》（JCR）中的学科分类方法，共有227个学科分类。

2.2 TOP期刊评定

国内外期刊评价指标体系中应用最为普遍、不可或缺的当属以引文为依据的科学计量评价指标——影响因子和总被引次数等。尽管其具有受期刊的出版周期和发表时滞影响、受引用行为的不确定性影响、易被操纵性等不足，但其在期刊评价指标中始终瑕不掩瑜，核心地位从未改变。笔者也毫无例外地将传统的引文指标法作为TOP期刊评定的基本方法，具体做法是：当一种期刊的当年影响因子、最近两年平均影响因子、总被引次数三个指标任一指标在其所在学科相关JCR领域指标排名位于学科期刊总数的前10%（四舍五入法，如该领域共有235种期刊入选JCR，那么前10%取24种）都可以入选基本TOP期刊集合。此方法核心要素为基于影响因子和总被引次数对期刊指标值做学科内排序，目前采用类似方法评定TOP期刊的为以中科院为主的若干家单位。

同行评议法也是期刊评定较为常用的方法之一，但其在具体学科TOP期刊制定过程中鲜有人用。因为同行评议法要调动更多范围的专家参与才更有效，往往需要投入较多的精力并在业内有相当的影响。所以我们尝试了在单位内部遴选学科专家进行同行评议。其评价优势是专家代替了科学外行拥有了对学术问题的决策权。

科技情报研究方法之一是以事实型数据为基础，综合集成“事实型数据+专用方法工具+专家智慧”[5]。这种方法论的基本思路是，在建立和累积、更新事实型数据库的基础上，针对某些科技问题，组织研究队伍，采用各种定量与定性相结合的系统集成方法，对事实型数据进行深入分析，从中发现某种现象、规律，继而通过专家智慧，提炼出可指导实践的政策建议[6]。事实数据评定方法提供的依据更客观，减少了主观性[7]。

本文在TOP期刊评价中引入基于事实数据的情报学评价方法——“同行趋向法”，以期找到一种适合学科期刊评定的新方法。不难发现，顶级期刊的发文单位往往集中在知名大学或科研机构中。由此可以推理，领域内知名大学的热点发文（即发文比较集中）期刊基本为领域内领先的期刊。“同行趋向法”就是依据本学科的TOP机构在Web of Science的相应学科发文为事实数据评价的基本依据来评定期刊的，TOP期刊选择标准由发文量占该刊载文量的百分比决定，百分比取值依据不同学科的期刊基数而灵活确定。

以上三种方法都不是对期刊质量进行评定的唯一标准，任何方法都不可能十全十美。如：定量评价评定出的期刊也许仅仅是指标偏高，但与本校的学科主流方向背道而驰，而不适合列于学科TOP期刊目录当中；定性评价也难免因部分专家自律不严或不是所有研究方向都有足够的专家参与评议，所选专家仅限于本机构内的同行等而存在一些问题。所以，每种评价方法都有其存在的必要性，实际运用时切忌割裂使用，而应作为一个评价整体综合使用。

3 方法实证

任何一种新方法都要经过实践验证，以下将把三种期刊评定方法运用于计算机学科TOP期刊评定，并对对评价结果进行统计学分析，对分析结果展开讨论。

3.1 数据获取

由计算机学院专家将JCR的学科领域与本校的计算机学科研究方向相映射得到十个领域，分别为：计算机，人工智能（Computer Science, Artificial Intelligence）；计算机，硬件与结构（Computer Science, Hardware & Architecturer）；计算机，信息系统（Computer Science, Information Systems）；计算机，交叉学科应用（Computer Science, Interdisciplinary Applications）；计算机，软件工程（Computer Science, Software Engineering）；计算机，理论与方法（Computer Science, Theory & Methods）；应用数学（Mathematics, Applied）；数学在多学科的应用（Mathematics, Interdisciplinary Applications）；机器人（Robotics）。根据引文指标法（下称方法一），在JCR数据库中将此十个领域的期刊分别按照当年影响因子、最近两年平均影响因子、总被引次数三个指标排序，排名位于学科期刊总数的前10%的为则列为备选TOP期刊，共有56种期刊入选。

我们邀请了本校计算机学科各相关领域的专家参与同行评议，他们均具有副高以上的专业职称，较高的学术造诣，了解本学科国际领域前沿的发展动态。此方法（下称方法二）筛出备选TOP期刊34种。

依据“同行趋向法”（下称方法三），首先由学科专家从“2009年世界大学与科研机构分22个学科的科研竞争力排行榜”[8]中选出与本校计算机研究方向接近的前五所TOP高校（Massachusetts Institute of Technology、University of Illinois-Urbana-Champaign、Stanford University、University of California—Berkeley、Carnegie Mellon University）作为目标学校。对上述五所目标学校近五年中在十个计算机相关JCR领域中的Web of Science发文做期刊分析，然后取在某刊的发文量占该刊载文量的百分比。在此，针对计算机学科期刊基数特点，取百分比大于等于5%的期刊进入备选TOP期刊集合（n=24）。

用以上三种方法得出了三个期刊集合，经去重后共有期刊101种；其中方法三与方法一和方法二所得期刊集合中各有6种期刊重合，还有12种未与方法一或方法二中的任意期刊重合，方法二与方法一仅有一种重合（各种方法甄选出的共同TOP期刊及其主要差异参见附录）。采集各组期刊的JCR2009数据库中的全部期刊评价指标数据（包括总被引次数、影响因子、即年指标、载文量、引证半衰期、特征因子、论文影响分值）作为统计分析数据源。

3.2 统计学分析

运用SPSS13.0软件对三组期刊的各指标值进行统计学分析。为进行几组数据之间的差异比较，统计学方法采用秩和检验（Kruskal Wallis Test），计量资料采用均数（最小值，最大值）[M（min, max）]表示。

统计结果（如表1）显示：除总被引次数、载文量、特征因子三个指标外，其余几项指标（2009年IF、5年IF、即年指标、引证半衰期、论文影响分值）的组间差异均无统计学意义（P＞0.05）。载文量指标具有组间差异无可厚非；总被引次数指标由于受载文量影响会产生组间差异也较易理解；但引起特征因子组间差异的原因还不能草率判定为由载文量引起。

为进一步判定总被引次数和特征因子在评定TOP期刊中是否受载文量影响，对三组期刊的载文量、总被引次数和特征因子指标再次进行统计分析。统计方法采用一般线性模型，做协方差分析（以载文量作为协变量）。结果如表2所示：总被引次数与特征因子的模型拟合度非常好（P＜0.01）；协变量的差异均具有统计学意义（P＜0.01）；总被引频次的组间差异无统计学意义（P＞0.05），特征因子的组间差异具有统计学意义（P＜0.05）。

3.3 结果与讨论

（1）三种方法筛选所得期刊组的影响因子指标没有统计学差异，这说明同行评议法与同行趋向法在评定TOP期刊时具有同传统的引文指标法相同的区分度和有效性，可以将TOP期刊有效的甄别出来。

（2）有学者认为特征因子受期刊载文量影响，载文量小的期刊不会得到较高的特征因子分值；特征因子值高的期刊一般都具有较多的平均论文数[9][10]；本文统计结果表明：特征因子虽然受载文量影响，但载文量大小最终不会影响TOP期刊整体的特征因子水平。由此可见，特征因子是一个可以用于甄选TOP期刊的有效指标。

（3）同样作为TOP期刊评选方法，三种方法间也存在差异。我们知道特征因子间微小的差别就能区分期刊之间的差距[11]。由表1可知，三种期刊评定方法确定的期刊组中，特征因子值具有统计学差异；特征因子从高到低分别为：“同行趋向”组、“同行评议”组、“引文指标”组。根据特征因子的定义可知，其值越高代表期刊的影响力越强，一般来说质量也越高。所以，可以认为同行趋向法不仅可以作为评定TOP期刊的有效方法，而且具有比其他两种方法区分度更强的优点。

（4）对于方法一来说，国内外学科映射是前提也是关键。本实证为计算机学科，属于一个中等大小学科，在与JCR学科映射时比较理想。然而并不是所有学科都能成功的实现学科映射，以下三种情况需要引起注意。一、对于一些大的交叉学科万万不可将所有期刊涉及的JCR领域都选入内。如：化工学科的主要期刊共对应31个JCR领域，但事实上只有18个领域是主流领域，另外13个领域如农业工程、电化学等仅仅只有个别期刊属于与化工学科交叉，不应作为主流领域放入，否则会引入诸多的不相关期刊。二、对于一些交叉学科，即使JCR领域内排名较差也不能武断地认为该刊不能列为TOP刊。如：制药工程学科没有专门的JCR领域向对应，只能选择最为接近的工程，化工和农业工程作为主流JCR领域，但将这两个领域内排名前10%的期刊作为制药工程学科的TOP期刊显然不尽合理，因为真正制药工程学科领域内公认的TOP期刊很可能在工程，化工和农业工程两个领域都排不上前10%。三、对于一些小的学科，任一JCR领域都已经超过其对应范围。如：电力电子学科映射到JCR领域为工程，电气电子，而这个JCR领域主要对应的有三个学科，即电气工程，电力电子、电子，故也不能将电力电子学科强行映射为工程，电气电子JCR领域。

根据本文的实证研究，同行趋向法是一种不受JCR领域映射影响且效果等同的一种TOP期刊选定方法。因此，上述三种情况的学科TOP期刊确定可以用国外TOP学校相应院系的发文，即同行趋向法来确定学科TOP期刊。

（5）本实证以计算学科为例，但没有将五年影响因子同时作为评价指标引入，因为计算机学科知识更新非常迅速，但评估被引用周期很长的特定领域期刊（如：人文社科期刊）时五年影响因子也应作为一个重要的评价指标。

（6）同行趋向法在使用时应灵活运用。如果某刊在各机构的发文比较分散，就会存在按发文占载文量百分比方法筛选期刊也有遗漏的情况，作为弥补可以根据该学科期刊基数适当放宽百分比的限定，甚至也可以采用按发文量排序筛选期刊的方法两者结合使用。

说明基于Web of Science的同行发文趋向的期刊评价结果是对引文指标评价结果和专家评议方法的有效补充。

4 结语

TOP期刊的评定关键在于结合不同专业的特点进行综合评价，所以学科不同，方法亦可有所变化，万不可千篇一律，对应用过程中遇到各种问题都应区别对待。本文提出了一种结合定性评价、定量评价的期刊评价创新方法，并进行了实证研究，期望弥补传统的TOP期刊定量评价方法对于交叉学科期刊评定的不足。当然，本文的定量评价方法都是基于以基础学科数据为主的Web of Science和JCR两个数据源，故不一定适用于工程、建筑等应用性学科的评估。

参考文献

[1]叶继元．学术期刊质量评价与核心期刊评价之异同．图书情报工作，2009,53（18）:5—16

[2]王凌峰，陈松青．基于中国科学院SCI期刊分区的科研管理量化考核标准研究．现代情报，2007,4:52—55

[3] Polonsky M J.Journal Rankings:Dose One Size Fit All? Australasian Marketing Journal,2004,12（2）:64

[4]Jones M J, Brinn T, Pendlebury M.Journal Evaluation Methodologies:A balanced Response.Omega,1996,24（5）:607—612

[5]贺德方．事实型数据：科技情报研究工作的基石．情报学报，2010,29（5）:771—776

[6]贺德方．基于事实型数据的科技情报研究工作思考．情报学报，2009,28（5）:764—770

[7]Porter A L.QTIP:Quick Technology Intelligence Processes.EU-US Seminar:New Technology Foresight.Forecasting&Assessment Methods,2004:13—14

[8]邱均平．2009年世界一流大学与科研机构学科竞争力评价研究报告．北京：科学出版社，2009:34

[9]窦曦骞，祁延莉．特征因子与论文影响力指标初探．大学图书馆学报，2009（6）:57—62

[10]米佳，濮德敏．特征因子原理及实证研究．大学图书馆学报，2009（6）:63—68

[11]任胜利．特征因子（E）igenfactor：基于引证网络分析期刊和论文的重要性．中国科技期刊研究，2009,20（3）:415—418

[12]刘金芝．利用图书馆学科优势正确认识和利用SCI．图书馆工作与研究，2010（7）:91—93

附录 计算机科学备选TOP期刊集