新型代理指标评估与传统引文分析动态结合的学术评价方法构建模式研究及实证分析

Many pioneers of traditional citation analysis such as Garfield, Small, etc. have contributed greatly to the advancement of the method first proposed by Gross et al. in 1927. It has been criticized frequently that the inherited limitation of citation analysis as a retrospective measurement is the time lags. The advent of the Internet and the Web 2.0 participatory platform created a new digital information environment, in which, many new potential, powerful measurements were born. The indicators of a Web object's influence can be captured as comments, bookmarks, readers, mentions, downloads, and article factor. As a contrast to the traditional citation-based measurements, the dominant feature of the alt-metrics is quick action, which can provide the alternative, or a timely assessment. However, are these alternative new measurements valid and meaningful assessments of scholars' influences in comparison with the widely-accepted traditional retrospective measurements? If some of these measurements do provide reliable assessments, how can we integrate them with the well-established citation analysis to derive at a better assessment model? These problems are very intersting and the study on them are in the ascendant. This proposed research aims to analyze multiple data sources to investigate the validity and applicability of these alternative measurements and those traditional evaluations based on citation, and to derive a new multi-dimensional model of scholarly assessments with annual dynamic weight in the digital age. We should set forth its theoretical soudness. Specifically, data will be pulled from multiple sources, such as Web of Science, CNKI, CSCD, CSSCI, PLoS, Faulty1000, etc. This data-intensive project is challenging but will have implications for dynamically selecting meaningful alternative measurements as an integral part of assessments of academic influences. Further, the special methods proposed by this research, such as dynamic weight model, academic evaluation based on top scholars, hybrid citations of multi-version articles and so on, will promote the growth and development of the knowledge of citation analysis.

传统引文分析方法自1927年由Gross等学者提出后，经Garfield、Small等大批先驱的不懈努力获得了飞速发展，但始终无法摆脱滞后性的缺陷。随着网络时代的来临，一些新型代理指标，如评论数、书签数、读者数、关注数、下载量、论文因子值等应运而生，它们的最大特点是即时性，可以弥补传统引文分析的不足。因此，如何有效地将两者结合起来进行学术评估是一个很有研究价值的新问题，国内外在此方面的探索方兴未艾。本课题将在对比分析新型代理指标、传统引文指标特点的基础上，建立年度动态权重模型研究不同指标多种结合模式在理论上的合理性，并借助于Web of Science、CNKI、CSCD、CSSCI、PLoS、Faulty1000等资料库中的大量数据研究动态结合模式的应用价值。本课题提出的动态权重构建模式、权威学者评价方法、多版本论文引用次数合并算法等都是较为独特的分析手段，必将促进该领域相关知识的发展。

本课题在深入探讨新型代理指标和传统引文指标特点的基础上，建立动态权重模型研究了不同指标多种结合模式在理论上的合理性，并借助于Web of Science、Google Scholar、PLOS、Faulty1000等资料库中的大量数据研究各种评价模式和评价行为的应用价值，同时还与同行评议方式进行了对比分析。本课题取得的进展与初步成果主要是：（1）提出“混合代”、“纯代”、“非纯代”引用的概念进而定义了29个评价指标，对单篇论文的影响力进行了系统研究，发现不同的指标表现出不同的特点。据此我们还提出了判断指标好坏的新思路。（2）提出引用个人展示和引用认可的概念，并对此问题进行了深入研究，发现整体而言学者在个人主页上展示引用信息的比例不是很高，国家之间、高校之间、学科之间均存在着明显的差异，而且这种展示行为受到学术年龄、学术身份、发表状况等多种因素的影响。（3）将代理指标与引文指标结合起来进行多角度研究。研究发现基于代理指标设计出的Altmetrics关注值还存在着一定的问题，例如权重设计缺乏理论和实践的指导，给出的数值是武断的。因此，必须设计出更加合理的评价方法，我们提出了新型代理指标和传统引文指标动态结合的评价方式。（4）使用引文评价指标对高校工商学科进行学术评估，并与教育部学位中心的学科评估结果进行对比分析，发现虽然能够通过相关性检验，但针对具体排名而言依然存在较大差异。（5）对学术发表的开放同行评审问题进行了探讨。研究发现开放同行评审作为一种新型评价方式在不同刊物中表现出不同的特点。（6）对经济学与商学ESI十年高被引论文从多角度进行综合分析。研究结果表明经济学和商学研究实力最强的是美国。中国虽然经济学与商学起步较晚，但已经有了巨大的进步。（7）以JASIST最佳论文为例对比分析同行评议结果与论文引用次数评价结果。研究结果表明JASIST最佳论文在引用次数方面的表现不尽人意，仅部分论文表现良好。我们从获奖论文所属学科、国家和机构以及论文数增长量等多方面探索产生这种结果的原因，得到了一些有价值的结论。本课题一定程度上弥补了以往研究的不足，不仅提出了一些在学术评估领域颇具创新性的概念和方法，而且对相关问题进行了多角度分析，对学术影响力的测算提出了新的研究思路，拓展了学术评价领域的研究主题和内容，推进了学术评估理论和实践的完善和发展。