数字图书馆评价指标体系

数字图书馆评价指标体系

数字图书馆作为基于网络环境的一种新的信息资源组织与服务方式，自20世纪90年代以来，在世界一些主要发达国家，乃至发展中国家都取得了长足发展。我国的数字图书馆当前也正处于快速发展阶段，一些重要的国家级数字图书馆，如国家数字图书馆、国家科学数字图书馆、中国高等教育数字图书馆、中共中央党校数字图书馆、中国农业数字图书馆等，都正在建设或服务过程中。在建或服务中的行业性、地区性数字图书馆项目更是如雨后春笋。尽管各国政府都对数字图书馆投入大量人力、物力和财力，但是数字图书馆在很大程度上仍然无法满足用户的信息需求。数字图书馆建设者、开发者及数字图书馆服务提供者与用户之间存在着认知和理解的差异，这种差异造成用户在使用数字图书馆时无法获得有效服务，导致数字图书馆的效用受到制约。数字图书馆评价提供了这样一种方法、手段和机会，使数字图书馆的设计者、操作者和用户能通过评价来达到有效的沟通，以取得对数字图书馆理解的相对一致性，使数字图书馆具有更强的可用性，能更好地为用户服务，提高数字图书馆有效性。对数字图书馆评价的研究可以为数字图书馆系统工程的开发和部署提供决策参考，有助于检验一个数字图书馆为其用户提供的服务效用如何，从而引导数字图书馆的建设及其健康发展。1国内外数字图书馆评价项目及其评价指标与数字图书馆建设实践相比，数字图书馆评价方面的研究与实践还不够成熟。从目前现状来看，对数字图书馆进行全面系统的综合评价研究的项目并不多，大多是从电子馆藏、电子资源使用、电子资源服务等方面对数字图书馆建设的某一领域进行评价研究及实践。1.1国外项目及评价指标国外数字图书馆评价方面的成果主要集中在研究项目和标准规范两大方面。研究项目方面具有代表性的主要有以电子资源及其使用评价为主的E-Metrics项目、以数字图书馆服务质量评价为主的DigiQUAL项目、以电子服务绩效评价及评价工具为主的EQUINOX项目等；标准规范主要有ISO2789﹕2006《信息与文献国际图书馆统计》(其中附件A是电子图书馆服务使用评价)以及COUNTER网络电子资源在线使用统计等。(1)E-Metrics项目E-Metrics项目，即电子图书馆评价项目，是2000年美国研究图书馆学会(简称ARL)启动的，旨在建立一套研究图书馆的电子资源及其使用的科学测度指标体系。E-Metrics项目的评价指标分为5类，共设置20个评价指标，其中包括17个统计指标和3个绩效指标。见表1[1]。(2)DigiQUAL项目DigiQUAL项目是在SERVQUAL、LibQUAL+的基础上发展起来的。SERVQUAL是一套应用于各类服务性机构的用户满意度测评体系，包括指标和方法；LibQUAL+是ARL对SERVQUAL进行“图书馆化”修正研究而形成的对于传统图书馆服务质量进行评价的体系方法；而DigiQUAL是ARL为评价美国国家科学数字图书馆(简称NSDL)而开展的对数字图书馆服务质量评价进行研究的项目。该项目经过试验确定了评价数字图书馆服务质量的3个维度12个主题。3个维度是服务效果(effectofservice)、信息控制(informationcontrol)、数字图书馆环境(libraryasplace)；12个主题是可获取性(accessibility)、导航性(navigability)、互操作性(interoperability)、馆藏建设(collectionbuilding)、资源使用(resourceuse)、评价馆藏(evaluatingcollections)、数字图书馆用户社区(DLascommunityforusers)、数字图书馆开发者社区(DLascommunityfordevelopers)、数字图书馆评论者社区(DLascommunityforreviewers)、版权(copyright)、联邦作用(roleoffederations)、数字图书馆可持续性(DLsustainability)[2]。(3)EQUINOX项目EQUINOX项目，即欧洲图书馆绩效评价和质量管理系统项目，是针对欧洲图书馆发展和利用新的网络及电子资源的现状，基于传统评价，在质量管理的框架内开展的研究工作，项目包括两部分内容：一部分是设计一套用于普通复合图书馆电子服务绩效评价的指标体系：另一部分是设计一个用于质量管理与绩效评价的软件工具，图书馆可以将有关实际绩效和操作的原始数据输入系统，该系统利用这些数据可以计算出图书馆的绩效指标及预定目标的完成情况。EQUINOX项目的图书馆电子服务绩效评价指标的设计目的是为了加强和完善ISO11620《信息与文献图书馆绩效指标》中传统图书馆服务的评价指标体系，以适应网络环境下图书馆对电子服务绩效评价的要求。项目最初形成的图书馆电子服务绩效评价指标体系包括34个指标，进一步的研究讨论认识到这些指标中的一部分归入ISO11620标准中定义的传统指标更合理，还有的一些指标由于可获取性很差也被去掉了，最后于2000年12月形成了由14个指标组成的图书馆电子服务绩效评价指标体系。见表2[3]。(4)ISO2789：2006附件AISO2789：2006《信息与文献国际图书馆统计》附件A：电子图书馆服务使用评价，主要是针对图书馆传统服务以外的电子服务的统计及评价，定义了电子图书馆服务的各种形式、电子信息资源的各种形式、电子服务利用的各种形式。内容包括电子馆藏的评估(Measuringtheelectroniccollection)、利用评估(Measuringuse)、电子服务(Electronicservices)、电子服务利用(Useofelectronicservices)、数据调查(Surveydata)等几大方面。(5)COUNTER网络电子资源在线使用统计COUNTER网络电子资源在线使用统计是由图书馆界、出版界和中间商共同发起的研究项目，其目的在于为在线信息服务商和用户提供可靠的、一致的、兼容的使用统计标准和方案。COUNTER目前已先后发布了“期刊和数据库实施规范”及“图书和参考资料实施规范”。《COUNTER期刊和数据库实施规范》(第二版)规定了期刊的4个使用报告及数据库的3个使用报告。即期刊报告1：每月、每种期刊成功的全文请求量：期刊报告2：每月、每种期刊被拒绝的全文请求量；期刊报告3：每月、每种期刊、每种页面类型的各项请求与被拒绝量；期刊报告4：每月、每个集合的总的检索次数，包括被保存的、被修改的，以及检索结果为零的检索次数；数据库报告1：每月、每种数据库的总的检索及会话量；数据库报告2：每月、每种数据库的被拒绝请求量；数据库报告3：每月、每个集合的总的检索及会话量。《COUNTER图书和参考资料实施规范》(第一版)规定了出版商必须提交的6个使用报告，即图书报告1：每月、每个题名成功题名请求量；图书报告2：每月、每个题名成功章节请求量；图书报告3：每月、每个题名拒绝请求量：图书报告4：每月、每种资源拒绝请求量；图书报告5：每月、每个题名总检索和访问量；图书报告6：每月、每种资源总检索和访问量[4]。从以上几个研究项目及标准规范设置的评价指标可以看出，国外比较注重资源及其服务方面的评价，大多数评价项目及其指标都是基于此来设计考虑的。各项目或标准的评价指标设计比较实用，不只是理论上的探讨或是理想化的设计，定量与定性评价相结合，有些项目已充分考虑了数据的获取和分析，具有很强的操作性。1.2国内项目及评价指标国内学者对数字图书馆评价的研究近年来也取得了一些成果，分别提出了一些评价标准及指标体系，但大多还局限在理论研究层面，进入可操作层面的研究成果较少，尤其是缺乏系统的对大型数字图书馆建设的综合评价以及对多个数字图书馆建设的比较评价研究。国内研究成果的评价指标设置一般较为全面，但对指标获取、数据分析等方面研究不够，这也导致了评价指标缺乏可操作性。王海娟在《数字图书馆评价指标体系初探》一文中提出了将数字图书馆评价指标体系分为馆藏、技术、服务、管理四个方面，并提出了具体的评价要素和指标。馆藏评价包括馆藏自身情况(丰富性、可靠性、持久性、适用性、特色化)、馆藏组织情况(组织方式多样化、组织工具多样化、元数据的标准化、元数据的详尽程度)、馆藏管理情况(更新速度、资源整合能力、可持续发展能力)；技术评价包括系统技术(网络通信能力、安全性、互操作性)、信息检索技术(检索性能、检索技巧)、用户服务技术(用户操作技术的全面性、多语言支持能力、个性化服务能力)、界面设计(美感度、友好程度、导航功能)；服务评价包括服务范围、服务质量(信息检索效果、参考服务水平、服务的可获取性)：管理评价包括版权管理、标准化管理、合作与共享管理、经济效益管理、人员管理[5]。常春在《数字图书馆项目评价研究》一文中提出了从用户角度、资源角度、系统角度、管理角度的数字图书馆项目评价的主要内容。从用户角度评价内容包括用户服务偏好、用户资源偏好、用户查询信息目的、网站日志分析、用户满意度、用户对评价的数字图书馆的认知度、目标用户使用率、用户动摇率、用户培训投入、多语言支持能力等；从资源角度评价内容包括资源规模、资源采购的经济性、资源对领域的覆盖率、资源质量、更新速度、知识挖掘深度、知识组织整合与揭示、资源的实用性等、数据格式的标准性、资源平均使用率、资源发展投入；从系统角度评价内容包括用户界面的易用性和美感度、系统的互操作性、系统响应时间、同类网站比较、系统实现和维护的标准化程度、系统运行的安全性、资源的保存技术、资源的检索技术、虚拟参考咨询运行情况、馆际互借实现情况、联合目录查询功能、系统服务器等硬件设备评价、系统设备投入、资源灾害保护等；从管理角度评价内容包括项目人员设置、知识产权的使用和保护、标准规范的遵循与建立、合作与共享的规划、用户人均服务成本、用户培训计划和实施、用户意见反馈机制、管理档案是否规范、管理成本投入、经费管理等[6]。刘炜等人在《数字图书馆评估研究》一文中提出了“数字图书馆评估指标体系大纲(一、二级)”，按照数字资源、服务、管理和用户感知四方面的测度，给出了一、二两级指标的简单说明。数字资源方面的一、二级指标包括二次文献数据库数量(自建二次文献数据库数量、二次文献数据库保有量)、全文数据库数量(自建全文数据库数量、全文数据库保有量)、多媒体数据库数量(自建多媒体数字资源数量)、自建数字资源总量；服务方面的一二级指标包括供读者使用的计算机数量(供读者使用的上网计算机数量、无线上网服务)、网上参考工作提问数量(网上参考工作回答满意度)、网页/资源访问数(网页/资源访问用户数、资源查询数量)、注册用户数(注册用户占目标用户比例、注册用户使用率)、资源下载数(人均资源下载数)；管理方面的一二级指标包括电子资源总支出(电子资源支出占总资源支出的比例、资源使用单位成本、资源使用单位时间、电脑使用率)、资源使用的用户培训数量(受训人数所占比例)、工作人员培训情况；用户感知方面的指标包括满意度[7]。吴建华设计的“211大学数字图书馆评价指标体系”经过多次咨询征集专家意见，设置了5个一级指标，24个二级指标。一级指标包括基础设施、资源配置、资源组织、资源利用、服务功能。其中基础设施包括5个二级指标，即网络带宽/出口速度、无线上网总量最大并发用户数、服务器数量、存储总容量、读者用计算机数量；资源配置包括4个二级指标，即综合数据库配置率、专业数据库对学科的覆盖率、数据库经费占图书经费的比例、电子图书及参考资料的数量；资源组织包括5个二级指标，即大学馆藏资源目录上网比例、电子资源整合入OPAC的比例、电子期刊导航、数据库导航、自建数字资源；资源利用包括5个二级指标，即图书馆网站访问量、数据库访问量、数字资源下载量、文献传递传入量、文献传递传出量；服务功能包括5个二级指标，即用户在校外资源的可访问性、统一检索、虚拟参考咨询台、个人数字图书馆、网上读者培训课程[8]。2评价指标体系构建目的及原则2.1目的图书馆评价与评估，最初主要是借鉴企业管理的经验，将其引入图书馆科学管理。国外图书馆评价与评估的理论与方法的应用始于20世纪40年代，在我国则始于20世纪80年代。图书馆评价与评估，是通过统一的标准与规范，对图书馆整体工作效果与效率进行考量与评价，最终达到衡量图书馆服务“产品”的质量，把握图书馆自身存在的社会价值，为提高图书馆科学管理决策提供依据。图书馆在不同历史时期的评价指标的内容，可以反映出某一个时期的图书馆工作的内涵，进而促进图书馆建设与发展。借鉴传统图书馆评价与评估理念、方法，并将其应用到数字图书馆领域，建立一套数字图书馆评价指标体系，从而为数字图书馆确定规范、科学、统一的评价标准，制定系统、全面、易获取、易量化的评价指标，并按照科学的评价方法对数字图书馆进行评价。数字图书馆评价将有助于提高数字图书馆管理与决策水平，改进数字图书馆业务工作，改善数字图书馆服务，促进数字图书馆的发展。数字图书馆的发展与网络和新技术的发展紧密相连，发展速度比较快。在数字图书馆的建设与发展过程中，就对其进行评价与评估理论与指标体系的研究，对于数字图书馆的发展将起到很好的推动作用。2.2原则数字图书馆是一个复杂的信息系统，其建设主体、建设内容、用户群体均较为复杂，并且随着技术的发展、理念的更新，其资源、服务、技术、管理等各方面也在不断发展完善之中，对其进行系统评价具有一定的难度，是一项颇具挑战性的工作。作者认为，数字图书馆评价指标体系构建要遵循以下几大原则：(1)科学性原则科学性是评价指标体系构建最基本的原则，数字图书馆评价指标体系要在充分调研、试验、修正的基础上确定，要能真实、客观、科学地反映数字图书馆发展的状况。(2)系统性原则数字图书馆评价指标体系要具有系统性，全面地反映一个数字图书馆系统的各个方面，并要考虑到数字图书馆的建设者、使用者、管理者等各种群体的不同视角。(3)可行性原则数字图书馆评价指标体系要具有可行性，评价指标数据应易于获取且尽可能地易于量化，评价指标不要过于复杂、求全，可操作性的评价指标才具有现实意义。(4)可扩展原则数字图书馆是在不断发展中的，其评价指标体系亦应是在不断完善中的，在体系最初构建时即应考虑到未来扩展的问题。(5)模块化原则对数字图书馆进行整体综合的评价是一项非常复杂的工作。在实践应用中，有些评价项目或实践可能只侧重不同的方面，如专门针对数字资源的评价或专门针对某一类服务的评价，在评价指标体系构建时要充分考虑到不同的应用需求，以模块化的方式，尽可能使评价指标能够灵活运用。3评价指标体系框架在对国内外关于数字图书馆的评价指标进行调研的基础上，结合我国数字图书馆建设实践，尤其是国家数字图书馆工程的建设，本研究初步建立了一套评价指标体系框架。该框架首先考虑了数字图书馆的四个核心要素，即馆藏、服务、技术、管理。此外，以图书馆等公益性文化机构为建设主体的数字图书馆快速发展，这些数字图书馆系统主要由政府投资，面向社会公众提供公共服务，对于这些数字图书馆系统而言，其综合效益的评价也日显重要。为此，本课题建立了包括馆藏、服务、技术、管理、综合效益五个维度的数字图书馆评价指标体系，每个维度由若干一级、二级和三级指标构成该维度的评价指标体系(见表3)。希望能够以此为基础，对国家数字图书馆等数字图书馆系统进行科学评价，从而促进我国数字图书馆建设的进一步发展与完善。3.1馆藏评价指标馆藏评价指标以数字图书馆馆藏为评价对象，共包括4个一级指标、24个二级指标和若干三级指标。一级指标主要包括数字馆藏数量、数字馆藏质量、数字馆藏结构、数字馆藏效益。其中数字馆藏数量包括4个二级指标，即数字馆藏总量、数字馆藏年度增量、数字资源发布量和数字馆藏年度发布增量；数字馆藏质量包括7个二级指标，即学科保障率、核心资源率、资源重复率、资源完整率、馆藏时效性、资源规范性和资源功能性；数字馆藏结构包括8个二级指标，即来源结构、类型结构、发布结构、载体结构、学科结构、馆藏级别结构、语种结构和时间结构；数字馆藏效益包括5个二级指标，即资源保障率、资源利用率、人均拥有数字馆藏数量、并发用户数和使用成本。3.2服务评价指标服务评价指标以数字图书馆服务为评价对象，共包括4个一级指标、17个二级指标和若干三级指标。一级指标主要包括服务能力、服务内容、服务成本和服务效果。其中服务能力包括6个二级指标，即服务范围、可访问数字资源、专门从事数字图书馆服务的人员、软硬件支持、服务方式、响应速度；服务内容包括3个二级指标，即个性化服务、用户培训、服务指南与宣传；服务成本包括2个二级指标，即图书馆成本支出和用户成本支出；服务效果包括6个二级指标，即服务公知度、用户比例、使用频率、访问时长、用户满意度和用户再次访问意愿。3.3技术评价指标技术评价指标以数字图书馆技术为评价对象，共包括5个一级指标、21个二级指标和若干三级指标。一级指标主要包括基础环境、网络支撑、应用系统、系统安全和综合性能。其中基础环境包括4个二级指标，即终端服务计算机、服务器及服务器集群、存储和设备机房；网络支撑包括5个二级指标，即网络总体设计、综合布线、网络设备、网络系统性能和网络应用服务；应用系统包括3个二级指标，即数据库管理系统、操作系统和业务应用系统；系统安全包括6个二级指标，即安全体系、物理安全、网络系统安全、应用系统安全、应急预案与处理和备份与恢复；综合性能包括3个二级指标，即系统完整性与稳定性、系统健壮性与安全性、技术标准体系。3.4管理评价指标管理评价指标以数字图书馆管理为评价对象，共包括6个一级指标、47个二级指标和若干三级指标。一级指标主要包括经费管理、人员管理、数字资源管理、用户服务、设备设施管理和综合评价。其中经费管理包括9个二级指标，即总经费预算(年度)、数字图书馆专项经费预算与维护经费预算、数字图书馆不同专项经费比率(年度)、数字资源采购/采集专项经费预算(年度)、数字资源知识产权经费预算(年度)、数字图书馆设备专项经费预算(年度)、数字图书馆服务专项经费预算(年度)、数字图书馆用户管理专项经费预算(年度)、数字图书馆建设中员工继续教育经费预算(年度)；人员管理包括6个二级指标，即全馆总人员配置(年度)、员工基本情况、从事数字图书馆业务人员与技术人员比例(年度)、从事数字图书馆业务正式人员与非正式人员比例(年度)、员工绩效评定与考核、从事数字图书馆专业人员培训；数字资源管理包括9个二级指标，即数字资源建设规划制定与实施、数字资源建设标准应用比例、数字资源采集与印本文献采集的重复率、数字资源内容学科分布比例、数字资源加工与整合单位内容成本、数字资源保存单位内容成本、长期保存与使用的数字资源比率、数字资源管理规章制度、在互联网发布数字资源与馆藏拥有比率；用户服务包括8个二级指标，即用户使用数字资源与印本文献用户数比率、用户使用数字资源的单位成本、用户使用数字资源的用户覆盖国家和地区、用户使用数字资源的品种覆盖率、对用户培训的数量占总用户的比率(年度)、用户使用数字资源的满意度、数字图书馆服务规范、数字图书馆宣传推广效率：设备设施管理包括9个二级指标，即数字图书馆使用设备设施总量(年度)、馆内计算机终端使用率(年度)、网络与系统正常运行时间(365*24)、网络与系统中断次数与时间(365*24)、硬件系统性能、网络服务能力、软件应用系统、系统安全与保障、设备设施管理与维护规章制度；综合评价包括6个二级指标，即数字图书馆建设目标设定、数字图书馆标准规范体系建立、数字图书馆可持续发展能力、数字图书馆可共享服务能力、知识产权保护体系的构建、数字图书馆资金利用率。3.5综合效益评价指标综合效益评价指标以数字图书馆综合效益为评价对象，共包括6个一级指标、25个二级指标和若干三级指标。一级指标主要包括物质投入、人力投入、经费投入、利用程度、用户评价和社会效益，其中前三个指标是投入评价指标，后三个指标是产出评价指标。物质投入包括4个二级指标，即年人均新购电子文献量、年人均电子图书量、年人均电子期刊量、年购置数据库量；人力投入包括7个二级指标，即专业技术人员数量所占比率、管理人员所占比率、后勤人员所占比率、具有本科学历所占比率、具有研究生以上学历所占比率、中级职称所占比率、副高以上职称所占比率；经费投入包括4个二级指标，即年电子文献资源购置经费、年设备购置费、年维修费(网络资源维护、设备设施维护费等)、其他费用(办公费、资源共享费及通讯费)；利用程度包括3个二级指标，即人均电子资源点击下载量、年文献传递量、年虚拟参考咨询量；用户评价包括