第一章 转载学术论文指数排名的研制说明
第一节 研制方法与研制步骤
一、研制方法
我们采用转载分析法作为研制转载排名的基本方法。转载分析法也称摘转法，指通过一次文献被著名学术文摘全文转载、摘要、索引的数量、比例等数据，分析期刊和科研机构的影响力、学科或专业分布规律等状况的定量研究方法。这些转载期刊的专家顾问和学科编辑构成了一个学术共同体，他们精选出新出现、价值大、反映学科前沿的论文报道出来，服务学术研究活动，这个过程实际上也是同行专家对论文质量的再次认定过程。因此，这一方法有助于便捷且较快地了解期刊及科研机构的发展水平和状况。
转载分析法在本质上是以专家对论文的同行评议结果为基础的。在当前中国人文社科学术成果评价中，引文计量、核心期刊等方法占据主导地位的情况下，利用转载分析法开展成果评价具有鲜明的特色，也符合教育部《教育部关于进一步改进高等学校哲学社会科学研究评价的意见》强调的“合理使用引文索引工具、加强同行评议作用”的基本精神。在本成果的研制过程中，复印报刊资料的专家顾问和学科编辑依据论文评估标准精选论文的过程，实际上就是成果评价过程。与引用行为相比，同行专家对论文的评价行为更为直接，评价目的更为明确，更有利于确保评价的针对性和精确度。
二、研制步骤
转载排名的研制工作主要包括整理和规范基础数据、组织专家在线论文评分、制作排名数据表并核查数据和撰写转载排名研究报告四个步骤：
（一）整理和规范基础数据
需要整理和规范的数据包括如下四类（数据处理规则详见本节第二部分）：
（1）复印报刊资料学术专题刊数据。整理和规范复印报刊资料专题，确定复印报刊资料系列期刊中哪些为学术专题期刊。只有被学术专题期刊全文转载的论文才计入转载排名的转载量中。
（2）论文基本信息。整理和规范被复印报刊资料转载论文的主标题、副标题、作者、作者机构、原发期刊及其版别、原发刊期、转载专题号、转载专题名称等信息，确保其规范化和标准化。
（3）作者机构数据。修改、规范与补充复印报刊资料转载论文作者的机构信息（一级单位和所属院所），确保作者机构信息的完整性、准确性、规范性和标准化。
（4）报刊基本信息。整理和规范被复印报刊资料转载论文涉及的原发报刊名称、版别、国际刊号、国内刊号、报刊品种、是否核心期刊、是否重点期刊、报刊出版地、发文数、主办单位及其所属系统，特色院校等信息，确保这些报刊的基本信息完整、准确、规范和标准化。
（二）组织专家在线论文评分
在整理和规范数据后，依据评价研究中心研制的“人文社科论文质量评估指标体系实施方案”
，组织复印报刊资料编辑和顾问等同行专家，在“人文社科论文质量评估系统”中，对每篇论文的学术创新程度、论证完备程度、社会价值、难易程度四个方面进行评分，指标的含义与评估内容见表1-1。
表1-1 同行评议指标的含义与评估内容
除以上四个主要指标外，同行评议指标还包括课题立项和发表载体两个辅助指标，这两个指标与论文质量密切相关，体现了论文形成和发表过程中同行专家的评估意见。其得分由评估系统按客观数据直接赋分。
课题立项是指资助单位所处的层级，包括国家级（21分）、省部级（14分）、其他立项（8分）、无立项（1分）四种。国际、横向和商业项目，将由评委根据实际情况，确定相应等级。由于国际项目较少，不再单独设置细分等级，根据国际资助机构层级，归入国家级、省部级或其他立项；高等院校研究基金资助项目，统一归入“其他立项”。
发表载体是指论文发表当年被认定的报刊分级结果，包括核心报刊（21分）和非核心报刊（11分）。2016年度转载排名的“核心报刊”指以下“四大评估体系”中任何一个体系所认定的报刊：（1）北京大学《核心期刊要目总览》（2011）；（2）南京大学CSSCI来源期刊（2014—2015）；（3）《中国人文社会科学核心期刊要览》（2013）；（4）复印报刊资料重要转载来源期刊（2014）。
在“人文社科论文质量评估系统”中，论文的刊载报刊信息、所属学科、作者机构名称、评价指标权重等已实现了标准化的元数据管理，还可以通过统计算法辅助评委了解评分分布情况，修正不同评委的不合理评分，完成论文总分的合成计算，自动计算形成每篇论文各项指标的得分和总分。
（三）制作排名数据表并核查数据
“人文社科论文质量评估系统”不仅提供了所有被转载论文的按指标得分，还自动统计了期刊和作者机构的转载量、转载率、篇均得分、综合指数等数据。我们按照一系列数据处理规则和制表要求（详见本节第二部分），从“人文社科论文质量评估系统”中导出数据用以制作排名发布的基础数据表。经过对基础数据表进行反复核查，并提供给熟知相关领域学术期刊和机构发展状况的复印报刊资料编辑和顾问审议，最后分别形成期刊或作者机构的转载量排名表、转载率排名表和综合指数排名表。
（四）撰写转载排名研究报告
通过对转载数据的统计分析，确定每年转载排名报告的主题，撰写复印报刊资料转载系列年度研究报告，探讨当年中国人文社会科学期刊和学术机构学术布局、学术创新态势、竞争合作状况等呈现出的新特征，为人文社会科学的研究和发展提供参考。2016年的研究报告利用复印报刊资料转载论文数据，分析作者合著情况，揭示作者合著规律，探讨合著的意义及与研究质量的关系。
注释
[1]由中国人民大学人文社会科学学术成果评价研究中心研制的《人文社会科学论文质量评估指标体系及实施方案》，详见：http：//old.zlzx.org/files/otherFiles/2011rssi.pdf.