信息资源共享系统绩效评估指标体系的构建.doc

信息资源共享系统绩效评估指标体系的构建张璇/肖希明2013-2-26 14:44:38来源：图书情报工作(京)2009年19期【英文标题】Constructing Performance Evaluation Index System of InformationResource Sharing System【作者简介】张璇，女，1983年生，硕士，发表论文6篇。中山大学图书馆广州510275肖希明，男，1955年生，教授，博士生导师，发表论文110余篇。武汉大学信息管理学院武汉430072【内容提要】 在分析现有的信息资源共享系统绩效评估指标体系研究的基础上，探讨信息资源共享系统绩效评估的要素、评估指标选取的原则，设计评估指标体系并明确其指标内涵。最后通过对NSTL的实证分析，对评估指标体系的科学性和可行性进行验证。Based on analyzing the existing research on performance evaluation index system of information resource sharing system, the paper discusses the influencing factors and the principles of selecting indicators of performance evaluation of information resource sharing system, designs the evaluation index system and analyses the connotation of each indicator. By the empirical study on performance evaluation of NSTL, the paper verifies the scientificity and feasibility of the index system. 【关 键 词】信息资源共享系统/绩效评估/指标体系Information resource sharing system/Performance evaluation/Index system1 引言信息资源共享系统绩效评估即依照一定标准对信息资源共享系统在一段时期的成绩和效益进行科学地分析和评价1，其核心问题是评估指标体系的构建。国外学者很早就开始研究信息资源共享绩效评估指标体系问题。1982年美国学者William B. Rouse定义了图书馆资源共享网络的性能指标，提出了可靠性、弹性、可获得性、可用性、可接受性、效率、效力及质量控制8个评价指标2。近年来，有的国外学者进行了网络服务绩效评估研究，确定绩效评估指标包括用户、成本、网络流量、使用、服务和支持6个方面3；国外一些专业机构，如ARL(Association of Research Libraries)统计和评价委员会，对图书馆的电子资源、服务质量和网络对服务的影响等进行专门的评价，制定了一系列相关的评价指标体系，有效地推动了对信息资源共享系统运行、信息资源保障能力、信息资源利用情况以及用户满意度等要素的绩效评估4。在我国，有学者对信息资源共享过程中的效率和效益进行分析，提出以资源本身结构、信息资源传输和用户可视化为要素的信息资源共享效度评价模式5；有的把信息资源共享率、信息输出、输入率和信息资源贡献率作为评价和改进资源共享工作的主要评价指标6；有的从地区需求满足状况、技术条件和标准化评估、管理运行评估、政策法规建设评估4个方面构建了以地区需求为导向的信息资源共享系统评估指标体系7。这些研究，从不同角度对信息资源共享的绩效评估进行了有益的探索。但从整体上看，研究文献数量还不多，且主要侧重于对共享系统某一方面进行评估，整体性、综合性比较薄弱。本文试图从多层次对我国信息资源共享系统的绩效评估问题进行综合研究，并尝试构建一个既符合数字环境下信息资源共享规律、又切实可行的绩效评估体系。2 信息资源共享系统绩效评估的要素目前国内外建立起来的信息资源共享系统尽管有不同的运行模式，但其评估都会涉及如下要素：2.1 资源因素资源因素涉及：数量因素，主要是指资源的规模效应8。衡量资源的数量，除了绝对数量之外，还有类型、品种、学科、语种等结构数量布局。资源数量越丰富，越能促进用户对资源的利用。质量因素，包括所收录资源的学术性、权威价值；对资源内容的揭示深度和组织程度；资源内容的时效性和资源更新周期等。从资源利用的角度分析，资源质量涉及资源的可知晓性、可获取性、获取便利性3个方面，其中有关资源本身的因素包括资源的结构分布、资源的组织和揭示、资源的存储格式等。2.2 服务因素服务是连接资源和用户的纽带，也是制约绩效的重要因素，它包括：量的因素，主要体现在服务覆盖的范围、服务的数量、服务响应时间等方面。一般来说，服务覆盖范围广，服务量大，服务响应时间快，则绩效越好。质的因素，主要体现在服务的内容和形式、网络服务系统的质量、服务满意度等方面。对服务的内容和形式而言，各种不同服务形式投入不尽相同，带来的绩效也有所不同。服务满意度作为服务效果的直接反馈无疑是衡量共享系统绩效的重要因子，在整个共享系统中都有着较高的关注度。2.3 人力因素人力因素主要是指服务人员和用户人员两者的专业能力和信息素质。共享系统的服务人员，他们对共享系统资源的了解程度和信息服务能力直接影响着共享系统能否发挥和在多大程度上发挥其应有的效用，他们对本专业领域的知识水平决定其在提供服务的过程中能否向用户提供最准确的信息。共享系统所服务的对象即最终用户，他们的信息检索和利用能力以及阅读外文资料的水平和利用计算机的能力等都影响着对共享系统的利用程度。2.4 成本因素信息资源共享系统运行中的成本主要分为资源采集成本、系统运行成本、人力成本和用户等待时间成本。由于信息资源共享系统的构建和运作目标主要是避免和节省资源建设的重复投入，使资源配置达到最优化，因此，在对信息资源共享系统进行绩效评估时，不仅要考虑成本投入，更重要的是评估其成本节省程度。由于信息资源共享系统通常是由多个图书情报机构，为达到资源互补和共享的目的而形成的责任共担的合作活动和项目，因此，不仅要对系统自身进行效益评价，还应对利用系统资源提供增值服务的机构或个人所提供的服务及其效益进行评价，包括成员单位直接利用系统资源提供服务产生的效益；成员单位和其他机构由于系统的资源或服务的支持，维持同等保障水平时减少投入带来的效益；成员单位和其他机构利用系统的资源、服务、技术所开发衍生的资源或延伸服务所产生的新的效益等9。3 信息资源共享系统绩效评估指标选择的原则3.1 操作性原则在选择评估指标时，一方面应注意指标的实用性、操作方式的简洁性和工作速度的高效性，另一方面要确保与指标对应的数据易于收集，其准确性、可靠性易于保证，避免过于复杂的计算10。3.2 定性与定量指标相结合原则在进行指标设定时，选择适当的定量评价指标，可以保证评价结果的科学准确。当然，针对不可量化和难以量化的因素进行评价，也需要设定部分定性指标。在进行定性指标评价时，可以选择适当的评价方法将反映基本特点的定性指标定量化、规范化。考虑到信息资源共享系统绩效形式的多样性，在设计指标体系时，应采用定性与定量相结合的评估方法。3.3 筹兼顾原则原则上应将与共享系统自身、成员单位、用户等相关的指标都纳入进来，以保证评估的全面性和可信度。但是，也要避免指标体系过于庞杂，并统筹整体与个体、定性与定量的关系，最终统一到追求共享系统运作效率最优化上。3.4 开放性原则随着国家信息化建设的迅速发展，对信息需求的不断变化，加之信息载体的转变、科学技术的发展等，信息资源共享系统的功能定位、发展目标都将产生一定的变化，因而共享系统的绩效评估指标也会随之不断发展。同时，不同的共享系统其运作方式和目标也不尽相同，因此评估指标体系的确定应考虑到指标选择的可变通性和灵活性。4 各项评估指标及其内涵遵循评估指标选择的原则，选取有意义的绩效评估要素，分层解析，即可构建出一个层次清晰的三级评估指标体系，如表1所示。第一层由资源建设和资源利用效率、直接服务效益和延伸服务效益、减负效益和社会效益6个一级指标组成。第二层由18个二级指标组成。第三层由40个三级指标组成。4.1 A1资源建设4.1.1 B1资源保障率即从数量角度分析共享系统的资源对用户信息需求的满足能力。可用两个指标来评价：C1资源覆盖率，即共享系统所收录的文献资源数量占该领域文献总数的比例；C2全文保障率，即共享系统所收录的全文文献占所有资源数量的比例。一般而言，用户对资源的利用多倾向于全文文献，资源总量中全文文献比例越高，越能满足用户的资源利用需求。4.1.2 B2资源结构和布局具体可以从C3学科分布、C4类型分布、C5语种分布、C6年代分布等方面来评价，分别指共享系统收录的资源覆盖的学科范围、资源类型范围、语种范围和年代范围。对学科分布进行评估，通常以现有的学科划分为标准，也可以共享系统本身所规定的资源建设政策为标准；资源类型如学术期刊、会议论文、学位论文、专利技术、科技成果等；语种和年代也是反映资源结构和布局的指标。4.1.3 B3资源质量即从资源内容的权威性、学术性等角度来反映资源的建设情况。可用3个指标来评价：C7资料来源，指所收录资源是否出自知名出版机构或权威网站，或者资源的提供者是否是同际或国内知名机构；C8学术性，指从所收录资源的影响因子或者被引用和转载的情况等角度来判断资源的质量；C9同行评议，指某种资源被相关专业领域专家的评价情况，通常而言，同行专家评议较高的信息资源具有较高的权威性和质量11。4.1.4 B4资源组织、检索和存取对资源进行多种形式的分类和揭示，便于用户查找和检索，是资源有效利用的保证，也是反映资源建设质量的重要指标。它包括4个指标：C10分类与揭示。对资源进行多层次分类，对其内容进行标准规范的揭示，有利于用户分类浏览和查找所需的资源。C11检索功能。向用户提供检索平台，运用多途径和多形式的检索方法，满足不同用户的资源检索需求。对这一指标进行评价，主要考察其检索平台的友好性、易用性、智能性等方面。C12检索效果。它反映了检索系统的能力，主要从查全率和查准率这两个数据来评价检索效果。通常查全率与查准率是不可能达到100%的，两者存在着一种互逆关系12。一般来说，对检索效果采用定性评价，这两个数据在用户可接受范围内就可以认为检索效果不错。C13易存取性。反映数据资源系统输出的方便性，即提供文献资源的格式，如纯文本或超文本格式、PDF格式或使用专用阅读器。纯文本或超文本格式一般由电脑系统自带，比较方便；PDF格式符合国际标准，可阅读各种数据库提供的资源；而需要专用阅读器读取的数据格式对用户利用会造成一定的不便。4.1.5 B5时效性任何资源都有时效性，虽然资源的质量不完全由其新颖程度决定，但通常来说，资源更新越快，越能保证其质量。可用C14更新频率来衡量，即系统中资源的更新速度，如果所收录的资源都是最新、最及时的资源，其数据质量会不断提高，资源利用率也会相应增加。4.2 A2资源利用效率4.2.1 B6资源利用情况指一定时间段内用户对资源利用的实际数据，这是一个定量指标。可从3个方面来评价：C15登录次数、C16查询检索次数、C17全文下载次数，分别为用户在一定时间段内登录资源共享系统、查询和检索以及下载资源的次数，它们在一定程度上反映了共享系统被关注程度和利用程度。4.2.2 B7资源辅助程度指共享系统自身的资源对其成员单位和用户单位起到多大的辅助和补充作用。包括C18对成员单位的资源辅助程度、C19对用户单位的资源辅助程度两个指标。成员单位和用户单位既是资源的利用者，也是提供资源的服务者，因此，利用共享系统的资源提供服务也体现了共享系统的资源利用效率。特别是对成员单位而言，得到共享系统的资源采集支持，不仅保障了部分直接需求资源的获取，而且降低了资源建设的成本投入。4.3 A3直接服务效益指共享系统利用自身资源向用户，包括成员单位、注册用户单位、个人用户等提供各种信息服务的效益。可从5个方面的指标进行评价。4.3.1 B8服务范围服务覆盖的地理范围反映了共享系统发挥效益的范围，是衡量其效益的重要方面。它包括C20成员单位、镜像站、服务站的覆盖范围和C21用户群地理覆盖范围。两者是服务提供者和实际享受服务者地理覆盖的反映。4.3.2 B9服务内容指共享系统直接提供服务的形式，其评价指标为C22直接服务形式和内容。常见形式有文献协调采购服务、联机联合编目、文献检索、馆际互借和文献传递服务、参考咨询服务、电子资源导航、门户信息服务等。评价其服务形式即考察对象是否提供了多种形式的服务，更好地满足用户的信息需求。4.3.3 B10直接服务量即共享系统在时间段内直接提供服务的数量，包括C23文献传递服务量、C24参考咨询服务量。对这两个指标进行定量分析，可以从共享系统提供的文献传递服务和参考咨询服务数量分别占用户单位所有文献传递数量和参考咨询问题数量的比例来进行考察。4.3.4 B11服务响应时间指从提出服务请求到获得服务所经历的时间，包括C25文献传递服务从申请到获得文献时间、C26参考咨询服务从咨询到回复时间、C27检索系统响应时间。服务响应时间本质上是用户所服务的时间成本，时间越短，服务效率越高，对用户越有利。4.3.5 B12服务满意率这里设计了三个满意度指标：C28文献传递服务满意度，包括对文献传递服务时间、价格、服务态度、服务效果的综合满意度；C29参考咨询服务满意度，包括对参考咨询服务时间、服务态度、服务效果的综合满意度；C30检索系统满意度，包括对检索系统的响应时间、检索功能和效果的综合满意度。4.4 A4延伸服务效益指借助共享系统的资源、技术和服务等优势提高成员单位和其他单位的服务能力或拓展服务内容而产生的效益。4.4.1 B13延伸服务形式指成员单位和其他单位借助共享系统的资源优势，自主开展服务的形式。通过C31成员单位利用共享系统的资源而延伸提供的服务形式这个指标来衡量。常见的服务形式有原文传递、代查代检、决策咨询等。4.4.2 B14延伸服务效果即成员单位和其他单位提供延伸服务的实际状态。可用C32服务次数、C33服务满意度来评价。这两个指标将定量和定性评价相结合。4.5 A5减负效益指通过成本和投入的节省来衡量共享系统运行所带来的实惠，即从经济角度分析共享系统的运作效率。4.5.1 B15采购成本降低率即资源建设费用的节省程度。从成员单位和用户单位两个角度分析，可分为：C34联合采购对成员单位经费降低率，是指共享系统对成员单位的资源采集经费支持率；C35资源辅助对其他单位经费降低率，指由于共享系统的资源辅助，对其他单位这部分资源采集经费的节省程度。4.5.2 B16运营成本降低率主要是指人力运行、管理和技术支撑等方面为成员单位和其他单位费用的节省程度。从两个指标进行评价：C36技术支持成本，有些单位利用共享系统的服务界面直接（链接或嵌入）作为自己的服务系统或在此基础上开发服务系统而节省的技术方面的成本；C37人力成本，指有些单位在人力资源和管理等方面节省的成本。4.6 A6社会效益即从人文角度衡量共享系统对社会信息化发展的影响程度。这是很难定量评估的，因此主要采用定性指标来衡量。4.6.1 B17社会活动考核共享系统开展了哪些社会活动，分为两个指标：C38与其他机构合作活动，C39培训活动。合作和培训等活动可以体现共享系统在社会上的活动能力和影响力，主要从是否开展这些活动、是否定期开展等方面进行评价。4.6.2 B18社会影响即共享系统所产生的长久的社会公众反响，可用C40对资源共享人文环境的影响来衡量。表现为国际和国内社会、公众对共享系统的认可程度以及共享系统通过制定、支持相关的信息政策和信息活动而营造和改善的信息共享环境等。由于不同的指标对共享系统绩效的影响是不一样的，因此，一套科学和有效的评估指标体系必须对所选指标进行权重分析，并得出权重集。笔者采用层次分析法（AHP方法），通过专家调查法向专业学者、各界图书馆工作者以及在校博士生等收集数据，用定量与定性相结合的方法对指标进行打分，运用统计学的方法得出评价结果，最终确立了信息资源共享系统绩效评估指标体系表。5 实证研究以NSTL为例为验证指标体系的科学性和可行性，笔者选择了国家科技图书文献中心(NSTL)进行验证性的评估。NSTL是一个基于网络环境的、公益性的、面向全国的科技文献信息服务机构，是目前正在运行的一个重要的信息资源共享系统。笔者首先针对40个三级指标设定详细的评分规则和标准，确立指标分值计算方法。为收集NSTL绩效评估所需要的数据，笔者通过实地走访、与专家交谈、电话采访和发放成员单位调查问卷等多种形式，最终得到40个指标中28个指标的实际得分。由于种种原因，有些数据无法得到，但根据已得到的部分指标的得分情况，可以大体反映出NSTL的绩效状况。NSTL的优势主要体现在3个方面：资源组织。NSTL对资源的分类、揭示做得很好，揭示层次达到文摘级，且著录详细、规范，对数字资源建设起到了示范作用。对成员单位的支持力度。七个成员单位的资源采集绝大部分来自于NSTL的经费支持，对各成员单位的馆藏发展起到了关键性作用。文献传递服务。NSTL的外文科技文献资源优势明显，为用户提供的文献传递服务主要以外文科技期刊为主，且服务量逐年增加。然而，从绩效得分中也可以看出NSTL目前所存在的一些不足：资源总量和布局。NSTL的资源建设目标是建立外文文献的全面保障，虽然NSTL外文科技期刊、会议录、科技报告等资源的订购数均已占国内订购品种数的60%以上，但相对于国外文献资源庞大的基数，其覆盖率还是较低；在布局方面，有些学科的资源比较薄弱，订购率较低，语种方面也不均衡。NSTL的资源影响力。虽然NSTL目前的镜像站、服务站覆盖多个地方，注册用户也遍布全国各地，但是由于NSTL成员单位集中在北京，是一种中心模式的共享系统，其资源影响力分布不均；并且由于NSTL主要依靠自己的网站提供服务，对终极个人用户而言，其影响力远不及本机构图书馆的门户网站。【参考文献】 1刘彦丽，梁南燕.服务绩效评估促进信息资源共建共享的可持续发展.图书情报工作.2008,52(