世界大学排名浅析•Scimago篇
发布日期：2020/11/7 16:26:19
浏览：808
返回上级
Scimago Lab是一家西班牙数据分析公司，由西班牙高等科学研究理事会（Consejo Superior de Investigaciones Científicas）研究教授Félix de Moya Anegón建立，于2009年发布其世界研究机构排名。该公司还有学术出版物（涵盖期刊、会议、丛书等）和国家研究水平排名，并提供面向高校提供学术水平的调查和咨询服务，属直接利益相关方。
虽然知名度不高，但Scimago及其排名的性质几乎和上海软科与ARWU相同，均是国字号研究团队的商业延伸和国家层面研究成果。
其计算方法如下：
标准化影响因子（Normalized Impact，13%）：基于瑞典卡罗林斯卡学院算法对平均每篇期刊论文影响力的评估，与机构规模无关。
论文数（Ouput，8%）：数据来自Elsevier的Scopus数据库，“论文”涵盖普通期刊论文与综述、会议等文章类型，下同。
主要贡献论文数（Excellence with Leadership，5%）：“主要贡献“定义详见其论文。
非本单位刊物论文数（Not Own Journals Output，3%）：发表在非本单位出版刊物的论文数，刊物包括期刊和会议论文集；该指标于2019年度榜单引入。
本单位刊物数（Own Journals，3%）：注意此处指刊物数；该指标于2019年度榜单引入。
国际合著论文数（International Collaboration，2%）：含外国单位作者的论文数。
一区刊物论文数（High Quality Publications，2%）：发表在位列Scimago期刊排名各领域前25%刊物的论文数。
高被引论文数（Excellence，2%）：引用量处于各领域前10%的论文数。
主要贡献高被引论文数（Excellence with Leadership，8%）：“主要贡献“和“高被引”定义见上。
开放获取论文占比（Open Access，2%）：发表在Open Acess期刊或Unpaywall数据库上的论文占发表总数的比例；该指标于2019年度榜单引入，与机构规模无关。
有产作者数（Scientific Talent Pool，2%）：特定时间段内发表所有论文的本校作者数。
受专利引用论文数/占比（Innovative Knowledge/Technological Impact，各10%）：引用数据来自PATSTAT (http://www.epo.org)，后者与机构规模无关，分母为特定领域受专利引用的论文数，下同。
专利申请数（Patents，10%）：数据来源同上。
社会关注分（Altmetrics，10%）：标准化影响因子位于前10%的论文根据PlumX Metrics分析在Twitter、Facebook、博客、新闻或评论（Reddit、Slideshare、Vimeo或YouTube）中有至少一次提及（7%）或在Mendeley有至少一次阅读（3%）的篇数；该指标于2019年度榜单引入。
反向链接数（Number of Backlinks，5%）：链接指向该机构网页的网络数，数据来自ahrefs数据库（https://ahrefs.com）。
网页数（Web Size，5%）：该机构URL下网页数，以Google为准。
Scimago有三个突出特点：
•指标最多样，分为研究、创新、社会三大项累计16个指标，其中多为全新概念：
1.针对研究有多达10个指标，仅次于US News，不仅同样对高水平成果特殊考虑，还引入“主要贡献”、“有产作者”、“非本单位刊物”等概念，以区分实际产出所受不同因素的影响。
2.在期刊和会议论文的基础上，纳入了对专利的统计，用于衡量知识转移和创新水平。
3.尝试从网络角度反映与大众的关联，没有忽略研究机构的社会角色。
•大部分指标有本团队理论研究支持：
1.对影响因子、期刊排名的定义基于定向研究成果，理论上更精确。
2.其中10个指标的设计基于Scimago的24篇论文，均可查阅，相较没有明示设计依据的榜单更可靠。
3.其研究和统计价值都远远胜于ARWU对现成数据所做的低端二次处理。
•唯一涵盖了医院、国家、企业等其它研究机构，为跨机构对比提供了可能：
1.医院、医学中心、医科大学虽然研究类型不广、但产出的质与量均不容忽视（尤其考虑到生命科学研究是当前主流）。
2.中国科学院、法国国家科学研究中心、德国马克斯•普朗克研究所、俄罗斯科学院等国家研究机构的水平凌驾于许多大学之上，不仅提供博士训练机会，也是许多研究人员梦寐以求的地方，没理由排除在学术排行榜之外。
3.相比大学，企业提供的研发岗位要多得多，也是众多研究生毕业的好去处。对企业研究水平的衡量以及与大学的横向对比，都是对就职有一定价值的参考。2020年度排名上，Facebook、Google、Microsoft、Samsung、Deepmind、IBM等企业都有至少一个研究机构位列全机构前50，提供了新的视角。
由于是世界研究机构排的世界大学排名，对教学和就业没有任何体现。其它方面的不足也同样突出：
•分值设定激进：即便承认大学社会角色的重要性，对其“创新”和“社会”两大项的评价指标予以积极评价，但二者是否值得占据50%的分值亟待商议。特别是两个“网页类”数据与数据库、搜索引擎、网页语言有极大相关性，在统计上易出现误差，而其分值却合计10%，仅这两项便会引起较大排名波动。同理，专利数据的统计依靠单一数据库亦存在偏差，而30%的分值设定则会进一步放大。虽然是客观导向，但其数据的准确性、整体代表性和问卷调查一样存疑。
•得分与规模高度正相关：除了“标准化影响因子”、“开放获取论文占比”、“受专利引用论文占比”之外，其余13个指标合计75%的分值均为“数量”类指标，与机构规模正相关。在US News一章中提到，其数据计算区分量、比，通过标准化以降低大学规模、地域等因素的影响。Scimago如此单一指标类型导致了对大型研究机构的严重偏袒——2020年度榜单上，以“小尖精”闻名的加州理工学院在大学排名中竟接近百位，与教员数6倍于其的“高校航母”吉林大学处于同段位。
•有效数据受控风险大：“社会”评价的三个指标定位在大众可接触到的领域，虽然可能反映出研究成果与大众的关联程度，但同时也决定了大众可对其造成直接影响：例如自动批量生产无价值的评论、链接和网页提升分值（高达20%，可操控范围极大）。
最主要的是，世界大学排名中可能出现的最低级的失误却由Scimago独揽——它对并列排名只计一次，违背了“排名”的基本原理。例如，华中科技大学和曼切斯特大学同为大学榜58、全机构榜101名，而紧随其后的伊利诺伊大学香槟分校居然算作大学榜59、全机构榜102名。如此一来，随着并列名次增多，整体名次大幅前移——2020年度7052个研究机构对应区区892个名次，荒谬至极。于是也出现了十分有趣的新闻：
1.泰国孔敬大学去年宣布进入全球大学前1000，然而事实是在它之前有2752所大学（KKU flies high on world university ranking by SIR as a Thai's top three）。
2.俄罗斯阿尔泰州立大学去年则宣布位列全俄创新大学前25（实为35名），然而尽管使用的截图包含了两个21名，校方仍没发现自己位列“22名”的错误（ASU entered the TOP-25 innovative universities of Russia in SCImago Institutions Rankings）。
3.俄罗斯托木斯克国立控制系统与无线电大学注意到了国内大学排名中并列名次仅计一次，将其2017年度国内排名修正为46名，但没想到世界大学排名亦有同样错误，仍列为685名（TUSUR position in university rankings）。
Scimago世界大学排名也是纯数据统计分析，可是其指标则大多基于理论研究，由客观理论制定客观指标。还犯了很低级的错误——将并列排名记成一次。充分说明了排名也只能是个参考，而不是值得迷信的权威。
大学排名归根结底也只是所谓“科学学（Science of Science）”的一部分，有专业研讨会与文献。尽管各大排行榜依靠媒体占据了公众的目光，它们只是很薄的一层糖衣。除开极有限的参考价值，排名对于个人最多是大众饭后的谈资、同学校友的调侃，切不可太过放在心上。