ISI Report-负责任的科研社会影响力评估框架 2024

InstituteforscientiCInformationDmytroFilchenko,DavidPendlebury,NanditaQuaderi,JonathanAdams加入科睿唯安，任科学信息研究所TM研究与分析高级总监。他在乌克兰取得了数学建模与计算博士学位，在学术界和企业界积累了超过15年的工作经验。他有着丰富的领导经历，曾任苏梅国立大学他还曾是一位企业创始人。加入科睿唯安之前，他曾在QSQuacquarelli学排名以及一系列其他教育技术和究所的研究分析主管。自1983年以来，他一直致力于使用WebofScience™数据来探寻科学研究的结构和动态。他与ISI创始人Eugene共同开发了WebofScienceEssentialNanditaQuaderi博士是科究与分析副总裁兼WebofScience部、科学信息研究所以及Research编辑策略、WebofScience内容选择以及期刊引证报告™（JCR™)的Nandita在加入科睿唯安时已经是一位科研背景深厚的出版业务资深高管。此前，她曾在BMC和Springer王学院的首席研究员。Nandita拥有牛津大学化学学士学位和帝国理工学院分子遗传学博士学位。Webof院政策研究所的客座教授。由于在高等教育和政策研究领域的卓越贡献，JonathanAdams在2017年被埃克塞特大学授予荣誉理学博士学位。ORCiD：0000-0002-0325-4431。Web半个多世纪以来一直引领着全球科研信息的收集和整理。如今，ISI积极ISI当下依然致力于推动科研诚信，同时改善科学信息的检索、解释和ISI负责维护公司知识库，这是WebofScience™引文数据库及其相关信发表的分析和报告，请访问https://12345673本报告概述了科研社会影响力评估框架的开发工作，我们会将该框架整合到即将推出的WebofScience科研资讯（WebofScienceResearchIntelligence™)平台中。研究与实验发展（简称“研发”）活动能够促进创新、提高生产力、解决社会挑战，因而是推动经济增长的关键力量。随着全球研发支出不断增长，如何证实科研确实为社会带来基金资助机构、政府和科研机构当前面临的一大挑战就是如何确保研发投资能够在卫生、气候变化和技术进步等众多领域产生可被衡量的效益。然而，全世界都一直缺少一个科研社会需求的多样性、平衡定量和定性方法以及科研成果产生真正社会影响力所需要的漫长我们创建的评估框架衍生于一种增强的PESTLE模型，其有效的社会影响力评估需要基于更广泛的信息源，既要囊括传统学术研究产出，又要考虑开展一项科研活动，到其结果能够产生明显的社会效益，往往要经过非常长的一段时间。为此，我们在评估框架中设置了滞后指标和先导指标（表3和表4）。滞后指标主要针对过去的研究成果和活动进行回顾性分析，这些成果和活动已有充足的时间发挥影响；而先导指标则更加“向前看”，通过分析近期相关信号来预判研究成果和活动未来产生社会影该评估框架中的每组指标都包含多个单独指标。我们将以推动负责任的评估的形式提供数每个社会层面的总体表现将在社会影响力全貌（SocietalImpactProfile™)中呈现，并由底研发活动是经济增长的催化剂—此类活动能促进创新、提高生产力、创造新的产业和就业机会。通过开发新技术、新工艺和新产品，研发活动推动着经济活力和竞争力的提升，使各个国家能够应对复杂挑战并保持全球竞联合国（UN）1表示，大幅增加研发开支和全球研发队伍是一项要在2030年前实现的战略目标。随着科研人员（当前为880万人）3和学术机构的数量不断增加，全球研发支出预计将达到1.7万亿美元2。研发资源尽管一直增长但数量终究有限，因此合理有效的资源分配就成为政府、高等教育和科研机构、商业公司及私有非营利尽管企业研发投入在大多数发达经济体都是研发支出中占比最大的一项（有些情况下高达5但政府仍然是资助基础研究或“蓝天”研究的关键力量。企业通常更重视能够产生直接商业效益的研究，而更广泛的科研社会影响力可能并不是他们关注的重点。因此，政府投资在私人研发投资较为匮乏的产业部门和地区显得尤为重要，对于应对一些未必能益增加，公众越发期望科研影响力能够以可衡量、易理解的方式得到体现和传播。全球基金资助机构也由此产生了更高的期望：他们希望能从多个角度，负责任地评估其科研投资尽管质量低劣的研究在任何情况下都没有什么价值，但科研评估的着眼点已然转变—从5英国发起了世界上第一个国家级科研影响力评估行动。2014年，基于RAE，经过进一步），用以评量更广泛的科研影响。REF要求研究人员提交陈述材料或“影响力案例研究”来说明其研究工作的广泛影响6。这套评估方法自此在国际上推广开来，例如，澳大利亚将称ERA）7，香港大学教育资助委员会也将影响力案例研究纳入其2020年研究评审工作德国也是以“整体资金拨付”的模式向科研机构提供资助，但并未实行常态化的全国性评在美国，国家科学基金会（NSF）和国立卫生院（NIH）之类的机构通过影响力案例研究来定性评估科研活动的社会效益。此类评估往往突出强调对政策、产业界或公共福利具有尽管科研评估方法不尽相同、体制之间差异甚多，但上文提及的国家以及ISI报告《科研他国家在过去四十年都实现了相对科研绩效的不断提升—至少从文献计量指标来看的确如此。然而，目前却没有一套成熟的框架来综合判断科研学术影响力的提升是否同时伴科学信息研究所开发了一套评估框架，用于衡量科研成果的社会影响力。我们长期支持全球各类科研评估框架的开发，对这些框架的完善贡献颇多，从中积累的经验也为我们开6评估科研活动的社会影响力并不是什么新想法，但如何定义和体现这种影响却一直较为困难。如今，有效评估科研社会影响力已成为日益增长的全球普遍需求。那么，我们如何才社会需求是复杂的，涵盖广泛多样的领域，例如：改善健康状况、加强疾病控制、实施更有效的自然资源分配战略、更高效的工业过程、实现更安全且更清洁的能源生产，以及促进历史、文学和音乐等文化领域的繁荣发展。满足这些需求所带来的益处是共同提高生活质量—但捕捉并量化如此纷繁多样的影响却是一大挑战。大相径庭。因此，全面反映并传播科研社会影响力的工作便难上加难。例如，反映技术影要想全面评估社会影响力，就必须考虑这些差异并灵活调整适应，以体现科研活动在各领过去人们以为，一项研究如果学术影响力高（以引文衡量其社会影响力必然也高。这传统文献计量分析在这方面有其局限性，难以提供明确代表社会影响力的信号。因此，任何一种科研社会影响力评估框架都必须引入附加指标来反映更加多样的产出和活动，而不寻找恰当的评估方法还面临一项挑战。总体上，评估方法可以分为定性和定量两大量方法（比如传统的科学计量法）是很有价值的，因为它们能提供客观的评估视角。然而，对社会影响评估而言，这种方法缺乏深度，难以具体反映社会影响的各个侧面。例如，成熟有效的传统引文指标只能衡量论文产出，而无法反映观点（正7科学发现的步伐以及科学知识转化为实际应用的漫长过程往往与基金资助机构的期望相去甚远。一个江河日下的行业或许能通过技术投资重获新生，但这种影响可终止很久之后才能显现。20世纪80年代的相关研究显示，科学发现与商业应用之间的时尽管存在上述重大挑战，我们仍需找到规范的结构化方法来评估社会影响力，以强化科研“……平衡定量和定性方法对于实现负责且全面的科研社会影响力评估具有至关重要的意义。”8分类法入手。为开展更全面的分析，我们对这一现有分类法做出改进，将“社会”因素划政治与政策对于有效政治体系和决策机构的需求。法律与治理对于有效解释政治和政策决定并将其转化为立法的需求。经济对于改善或加快经济发展和财富创造的需求。人力资本对于持续发展人力资本的需求，发展途径包括从学前教育到在职专业培训对人口健康的需求。社会与文化对于多元、平等、包容（DEI）以及安全、文化和精神建设的需求。技术对于借助技术进步为医疗卫生、能源消费及信息获取等各个领域带来切实环境对于应对气候变化以及保护和修复环境的需求。），部分，因为只要观察一下高影响力研究就能立即发现，许多研究项目都影响到多如前文所述，有效的社会影响力评估需要基于更广泛的信息源，既要囊括传出，又要考虑其他的有形产出和活动。我们的评估框架中使用了科睿唯安拥有的丰—除了期刊、专著、会议论文和预印本，我们还将在必要时使用外部数据源，包括以下9表2研究专业出版物包括非同行评议材料，例如主要针对专业受众而非学术受众的杂志、博客和网络媒体。这些材料是将科研信息传递给广大受众的重要媒介；在某些领域，它们有时甚至可以替代传统的学术产出。数据集包括存放在世界各地存储库中的研究数据、软件或代码片段、文件和图像。艺术与文化产出包括视觉艺术、表演、设计和建筑方案。教育教材包括讲座、演示、线上课程以及其他学习对象，如创新的虚拟现实或增强现实学位论文和毕业论文作为研究生学习的主要产出，这两类论文是研发与教育之间的又一重要纽带。知识转移*专利与专利申请专利申请和专利授权是知识产权的成果。对政策文件的贡献研发人员还可以通过作为共同作者直接参与政策文件的编写或者政府、非政府组织以及智库机构编制或使用的文件中引用其成果做出间接贡献来体现其科研医疗卫生文件包括来自制药公司和医疗卫生研究机构的医学指南、临床试验和新闻声明。*知识转移常被称为科研机构除研发和知识传播（教学）之外的“第三除了体现为有形成果，研发、教育和知识转移还可以是各种形式的活动。例如，对学生的指导或辅导就是一种超越传统学术产出范畴的个人或机构活动，这些学生毕业后将在相关滞后指标主要针对过去的研究成果和活动进行回顾性分析，这些成果和活动已有充足的时间发挥影响。此类指标能够揭示既往研究工作如何助推了社会成果先导指标则更加注重“向前看”，通过分析近期相关信号来预判研究成果和活动未判断团队构成是否合适、是否正在从事最具前景的研究，可能有助于修正研究方向或调整以下是我们初步列举的滞后和先导指标组，这生的影响。鉴于社会需求的多样性，每个指标组中的具体量化指标在各个社会层面之间必表3在学术界以外的研发活动中的利用情况该指标显示了学术界以外的利益相关方如何使用、引入或依托科研机构的产出或活动来开展自己的研发工作。通过解构传统文献计量方法并分析引用作者的所属单位，我们可以就科研活动的广泛影响得出宝贵洞见。例如，基于制药公司合著研究的引用指标能够反映科研活动在医疗层面的影响。在非研发活动中的利用情况该指标显示了利益相关方如何在诸如专利、政策文件、行业标准、临床试验以及其他非研发活动中对科研机构产出的应用。例如，专利对科研文献的引用能够有力表明科研成果如何从实验室转移到现实应用中。媒体报道研究成果及其作者和作者所属单位在知名媒体上的非正式提及表明了该研究得到的社会认可。尽管媒体平台可以提供补充性信息来源，但对这些来源要慎重考量，因为它们缺乏学术出版物那样的致谢惯例，可能并不可靠。表彰通过高关注度的表彰机制认可个人和/或组织开展的活动，此类机制包括独立市场报告（如“社会影响力”排名）和调查，这种认可也反映了科研活动在学术界以外产生的影响。例如，当某个科研人员或科研团体凭借其对人权的贡献获得国际知名奖项时，这表明他们的科研活动得到了更广泛的社会认可。培养个人或组织对其他个人给予培训、支持和指导，使接受培养的个人日后得以贡因为很少有其他来源能培养出可服务于社会各层面的具备解决问题和风险管理技能的人力资本。表4实用性机构产出或活动对于具体社会需求的适用性是科研工作展现出未来社会影响力的前提条件。全球社会需求在联合国“可持续发展目标”中得到定义，而区域、国家或社区层面的需求则可通过其他框架和来源（包括定性研究）来确定。参与交流学术人员与其他利益相关方（包括非政府组织、政府组织和企业）的交流是了合作研究人员与其他利益相关方的合作，从而促成正式的伙伴关系（如合著关系）。对合著作者所属单位—包括政府机构、企业、医疗卫生组织和非营利组织—的分析可作为识别科研可能影响的社会层面的一项指标基础。传播通过有效渠道传播科研成果对于科研至关重要，这关乎科研能否触及更广大的受众并在未来得到实际应用。科研成果的有效传播可以通过各种贴近广大受众的学术渠道（如开放获取期刊）或者知名媒体、讲座和会议报告来实现。可转移性旨在解决具体社会问题的机构科研产出或活动的可转移性可以通过学术界以外的知识转移成果来衡量，如专利申请、政策文件、行业标准和临床试验。关注度近期发表的研究论文获得了多少关注也能表明它的未来社会影响力。关注度信尤其是从具体受众的视角进行分析时。例如，在医疗卫生组织使用的某个参考文献管理应用程序中，论文被收藏的频率可能预示着它在“医疗”社会层面的我们评估框架中的每组指标都包含多个单独指标，但使用者可能希望按指标组或社会层面来考察整体表现。这实现起来往往颇有难度，因为以有意义的方式将各个指标组合或聚合到一起并不简单。科睿唯安已经提供了一系列旨在促进全局决策方式的工具，采用的数据我们在此基础上更进一步，让单项指标能够在一个给定的社会层面中聚合起来。我们会将这一框架纳入即将推出的全新WebofScience科研资讯平台。该平台将支持用的方式聚合各项指标，从而配合使用者的评估需求。我们将针对各个社会层面为用户提供总体表现将以“社会影响力全貌”的形式呈现。我们也可以提供全貌背后的具体指标，以这些数据必须清晰透明地反映类型多样、程度各异的有影响力的活动，同时支持及时的决本节中，我们将通过代表性示例来总体说明社会影响力将如何显示在即将推出的Webof某个机构的社会影响力将用雷达图来直观显示，图中包含八个坐标轴，每个坐标轴都代表上述八个社会层面中的一个。为便于有效比较，“社会影响力全貌”上的每个点都代表一面有两个点，其中一个点是用滞后指标组中的指标计算得出，另一个点是用先导指标组中图1显示了某综合性机构极为领先的“社会影响力全貌”。以其“影响力全貌（Impact也十分亮眼—该机构在八个层面中有七个的表现都远高于中位数水平（以内圈线表示）。不出所料，该机构的科研社会影响力在“医疗”层面表现出色，在其他层面则表现平平。然而，该机构的滞后指标表明，它在医学领域的跨学科研究对“技术”和“人力资本”层面产生了切实的外溢影响，而它在“环境”层面中的先导指标又显示，该机构有望对在某一给定层面中，如果一家机构的“社会影响力全貌”显示其先导指标与滞后指标在影如果先导指标的表现优于滞后指标的表现，则表明这家机构未来在该层面中的影响力有望如果先导指标的表现不及滞后指标的表现，则表明该机构当前的能力可能不及以往，这或者是由于内部原因—例如预算削减、某些研究计划不受重视等等，或者是归于外部因素—例如政治或经济不稳定。要想保持以往的影响力水平，该机构可能需要修正研究上面的雷达图尽管是从机构角度出发，但也能用于提供资助机构层面的观察视角。从资助机构视角出发时，对滞后指标的分析将揭示资助机构既往资助的科研活动产生了怎样的社会影响力。相反，先导指标则预示着资助机构近期资助的科研活动将产生怎样的未来各机构需要将自己的表现与其他机构进行对标比较。了解自身相对于同行机构的竞争优势-Z机构，中东地区一所历史较短的大学，Y机构与该校争夺研究生生源，特别学研究生生源。展示研究和教学成果所创造的现提升幅度最小的则是“人力资本”和“经济”层面，该机构在这两个层面滞后指标很高，总体来看，先导指标表明Y机构有潜力成为世界一流大学，分析X机构的基础指标和数据点能让我们从更细微的信号中了解X机构的成功动因，这将有助指导Y机构的长期发法律与治理法律与治理法律与治理法律与治理然而，两家机构在“社会与文化”和“医疗”层面却表现相近，而后一层面正是双方的关我们正在探索最适宜的数据聚合方式来创建雷达图，以实现社会影响力可视化，并在国家我们正在开发一个新的社会影响力综合评估框架，而本报告是一系列相关文献中的首部作品。正如我们在引言中所述，公众越发期待科研的社会影我们正在完善评估框架，以实现更多功能，如预测能力；的数据源来构建一整套综合全面的指标。我们承诺提供健康的指标、工具和分析我们将随时分享工作进展，并欢迎任何与框架本身及其应用相关的反馈意见。这见对我们构建和完善本评估框架非常重要。我们期待打造出同时能为当下需求服1.UnitedNations(2023).Goal9.5|DepartmentofEconomicandSocialAffairs.[Online].Availableat:/goals/goal9#targets_and_indicators2.UNESCOInstitutionforStatistics(2024).HowmuchdoesyourcountryinvestinR&D?[Online].Availableat:/apps/visualisations/research-and-development-spending/3.UNESCO(2021).Statisticsandresources|2021ScienceReport.[Online].Availableat:/reports/science/2021/en/statistics4.UNESCO(2024).Glossary.[Online].Availableat:/en/glossary5.Rogers,G.(2024).G20Scorecard&ResearchPerformanceReport2024.[Online]ClAvailableat:/the-institute-for-scientific-information/2024-g20-scorecard/6.ResearchExcellenceFramework(2014).REhttps://impact.ref.ac.uk/casestudies/7.AustralianResearchCouncil(2023).EngagementandImpactAssessment|AustralianResearchCouncil.[Online]Availableat:.au/evaluating-research/ei-assessment8.UniversityGrantsCommittee(2020).ResearchAssessmentExercise2020HongKong.Avail.hk/eng/ugc/activity/research/rae/rae2020.html9.Griliches,Z.(1986).Productivity,R&D,andbasicresearchatthefirmlevelinthe1970s.AmericanEconomicReview,76,141-154.Availableat:/stable/180413210.Mansfield,E.(1990).Academicresearchandindustrialinnovation.ResearchPolicy,20,1-12.Availableat:/science/article/abs/pii/004873339190080A11.King'sCollegeLondon(2015).Thenature,scaleandbeneficiariesofresearchimp