数字图书馆的评估研究

1 / 7 数字图书馆的评估研究 【内容提要】文章总结了过去 10 年来的许多研究成果，从数字图书馆评估的基本问题、一般方法、主要内容和数据收集等方面进行了探讨。 【摘 要 题】实践研究 【关 键 词】数字图书馆 /评估 /系统评估 /用户评估 /评估内容 /评估方法 /数据收集 【 正 文】 数字图书馆建设是一个庞大的系统工程，建立和发展数字图书馆必须首先进行先进、可靠的工程设计。当数字图书馆建设进入实质性的设计方案选定和具体实施、执行阶段后，为了确保工程质量，必须进行及时、可信的中前期系统评估和用户评估 。当数字图书馆建成或基本建成以后，仍然需要进行全面的后期评估。只有在数字图书馆建设的每个阶段都进行了有效的评估，才能最终保证工程建设的质量和水平。国内外的实践与研究表明，数字知识管理系统的工程设计和评估研究同样重要 1-2。本文着重对数字图书馆评估研究的基本问题、一般方法、主要内容和数据收集等方面进行了探讨。 1 数字图书馆评估的基本问题 传统图书馆和现代信息检索系统、人 -机交互系统、2 / 7 知识管理系统、知识仓库相比，数字图书馆的组成要素和结构与后一类的相同性更为明显，因为数字图书馆是一个大 量应用现代计算机技术、网络通讯技术、多媒体数字技术的复杂人 -机资源系统。数字图书馆评估不同于传统图书馆（包括自动化图书馆）评估，它以数字图书馆的定义、要素、结构为基础，对其主要指标、内容按照一定的方法从功能性和可用性角度进行全面地评价研究。 Saracevic 在数字图书馆评估：关于概念的发展一文中认为，评估应该满足某种要求，包括以下最基本的相关选择和决策 3： （ 1）评估体系的构建。即评估什么？数字图书馆的实际含义是什么？它包含的内容是什么？评估内容包含什么元素（成分、部分、程序）？ （ 2） 评估标准的选择。即评估的目标、框架、观点和标准的选择。评估的标准是什么？选择评估标准的关键是什么？最后，选择某个标准有什么目的？ （ 3）相应的选择目标所反映的性能标准。即性能参数集中在哪一点？评估有什么尺度或特征？ （ 4）测度反映记录性能的选择标准。即使用假定标准专门测度什么？ （ 5）实际评估的方法。即用于测度的工具是什么？样本是什么？数据的收集使用什么程序？怎样分析数据？ 只要我们对上述每一点都给予关注，我们就可以进一3 / 7 步开展数字图书馆的评估。遗憾的是，数字图书馆评估的这些基本问题， 国内图书馆界至今没有进行过研究和实践。经过近 10 年的发展，国外数字图书馆的评估理论体系已经初具雏形，值得我们借鉴参考。 国外学者根据评估的规范性、约束性及其深度和广度 ， 一 般 将 数 字 图 书 馆 评 估 分 为 正 式 评 估（ Formal Evaluation ）和非正式评估（ Informal Evaluation）。正式评估复杂、可靠，但却耗费太多人力、财力，让人望而生畏。非正式评估简单、有效但却容易使评估迷失方向，使人们产生数字图书馆认识的某些错误感觉和期望。为了数字图书馆的更好发展，必须根据数字图书馆建设的各个时期， 选择其中一种或两者结合起来使用。 根据评估采用的方法不同，数字图书馆评估主要有系统评估（ System Evaluation ） 和 用 户 评 估（ User Evaluation）。目前，国外大多数数字图书馆工程主要采用用户评估，或将这两种评估方法同时并用但以用户评估为主的双重评估。此外，在数字图书馆的评估研究中还 广 泛 采 用 其 它 一 些 方 法 ， 如 ： 社 会 学 方 法（ Sociological Approach ） 、 经 济 学 方 法（ Economic Ap proach ） 、 政 治 学 方 法（ Political pproach ） 、 民 族 地 理 方 法4 / 7 （ Ethnographic Approach），但这些方法不是数字图书馆评估的主要方法。 除此之外，一些研究人员还专门进行了比较评估（ Comparing Evaluation）和跨馆服务质量评估工具研究。 4-5根据数字图书馆工程设计、实施、执行和验收的各个阶段，还可以分为前期评估、中期评估和后期评估。所有这些研究，对于数字图书馆评估理论的发展，指导数字图书馆建设实践，都有十分重要的意义。 2 数字图书馆评估的一般方法 尽管数字图书馆评估的方法有各种各样，但始终不能偏离系统和用户这两个一般性范畴。因为数字图书馆系统功能的实现和用户使用的满意程度，已经能够代表对数字图书馆评估的主流。数字图书馆是在传统图书馆基础上发展起来的复杂人 机系统，系统和用户是数字图书馆的两个最根本的构成要素。国外数字图书馆的评估研究，从方法角度看主要也集中在系统评估和用户评估这两个方面。只不过有的研究专门使用其中的一种，有的将这两种结合起来使用。 系统评估是设计人员或其相关技术人员根据数字图书馆工程中的设计目标方案、软硬件技术和规范标准对其 功能进行的评估。其目的是检查（验）系统设计目标是否完成，硬件是否符合工程需要，软件性能怎样，以及系统的技术标准化程度。由于系统评估是一项专业性很强的功能评估，一5 / 7 般只能由从事数字图书馆工程设计、实施、执行和管理方面的专业人员来完成。此外，由于技术垄断需要，其系统核心设计技术的评估，一般不允许机构外的人员参加。 2002 年 11 月，数字图书馆杂志发表了一篇题为数字图书馆的交互性设计与评估的文章，比较全面的反映了数字图书馆的系统评估研究 1。作者以美国科学基金会（ NSF）资助的一个 GORW 交互式数字 图书馆工程作为研究对象，对 GORW 数字图书馆的开发目标（包括跨学科藏书、终身学习者资源、时钟循环访问、交互式学习目标和用于学习的信息），交互性及其 GROW 概念框架（包括互惠、反馈、直接、关联、同步、选择、沉浸、演示、流动、多维性和控制），GORW 的各种交互性（包括 GROW 资源的交互性、 GORW 资源选择的交互性、 GROW 元数据的交互性描述、 GROW 界面的交互性）都进行了研究和评估，从这项评估研究中我们看到，一个有效的交互式数字图书馆本身是一个复杂的人 机系统，其交互性技术要求涉及到各种社会的行为、组织、管理联 系。可见，在很多情况下，数字图书馆的系统评估不能回答技术之外的各种社会问题。然而，用户评估在很大程度上可以弥补系统评估的这种不足。 用户评估是系统设计者或用户根据数字图书馆的目标任务完成、行为模式和资源组织、发布对系统可用性进行的评估。其目的是检查（验）数字图书馆完成了哪些数字化6 / 7 任务，满足了用户的何种行为模式，以及知识信息资源的收集、再现、挖掘、组织、存储、管理和发布效果。任何一项数字图书馆工程建设都必须开展反 复多次的用户评估，才能使数字图书馆建设满足用户的需要，因此它目前已成 为探讨和实行数字图书馆评估的一种流行方式。当然，由于参加评估的用户在构成、组织形式上的不同，可用性评估结果及其权威性也完全不一样。 早在 1989 年，美国一个由 101 个会员组成的研究图书馆协会和 51 个州图书馆参加的咨询调查 “数字图书馆用户”（前期评估），帮助发起了具有历史意义的“美国回忆 ”（ American Memory ）数字图书馆试验计划（ 1990-1995）。 1992-1993 年，美国国会图书馆又组织完成了有 44 个学院、大学和公共图书馆参加的终端用户评估（后期评估），最终促成了现在仍在实施的“ 数字图书馆倡议”（ DLI-1， 1994-1998； DLI-2， 1999-xx） 6。 1996 年， VanHouse等人发表文章阐述了加州大学伯克利数字图书馆工程以用户为中心的设计方法。他们在对用户的各种需求进行反复评价、评估过程中，不断改进设计。 2002 年 4 月至 6 月，美国科学基金会（ NSF）资助的国家科学数字图书馆（ NSDL）用户评估工作组，花了整整 3 个月时间进行反复评估研究 7。该工作组由那些对数字图书馆设计和评估感兴趣的志愿者7 / 7 组成，其任务就是从用户角度提出和回答各种问题。 综合采用两种方法但以用 户评估为主进行数字图书馆评估的典型例子是美国科学基金会（ NSF）资助的亚历山大数字图书馆（ ADL