数字图书馆的评估研究

1、数字图书馆的评估研究【内容提要】文章总结了过去10年来的许多研究成果，从数字图书馆评估的根本问题、一般方法、主要内容和数据搜集等方面进展了讨论。【摘要题】理论研究【关键词】数字图书馆/评估/系统评估/用户评估/评估内容/评估方法/数据搜集【正文】数字图书馆建立是一个庞大的系统工程，建立和开展数字图书馆必须首先进展先进、可靠的工程设计。当数字图书馆建立进入本质性的设计方案选定和详细施行、执行阶段后，为了确保工程质量，必须进展及时、可信的中前期系统评估和用户评估。当数字图书馆建成或根本建成以后，仍然需要进展全面的后期评估。只有在数字图书馆建立的每个阶段都进展了有效的评估，才能最终保证工程建立的质量

2、和程度。国内外的理论与研究说明，数字知识管理系统的工程设计和评估研究同样重要1-2。本文着重对数字图书馆评估研究的根本问题、一般方法、主要内容和数据搜集等方面进展了讨论。1数字图书馆评估的根本问题传统图书馆和现代信息检索系统、人-机交互系统、知识管理系统、知识仓库相比，数字图书馆的组成要素和构造与后一类的一样性更为明显，因为数字图书馆是一个大量应用现代计算机技术、网络通讯技术、多媒体数字技术的复杂人-机资源系统。数字图书馆评估不同于传统图书馆包括自动化图书馆评估，它以数字图书馆的定义、要素、构造为根底，对其主要指标、内容按照一定的方法从功能性和可用性角度进展全面地评价研究。Saraevi在?数

3、字图书馆评估：关于概念的开展?一文中认为，评估应该满足某种要求，包括以下最根本的相关选择和决策3：1评估体系的构建。即评估什么？数字图书馆的实际含义是什么？它包含的内容是什么？评估内容包含什么元素成分、部分、程序？2评估标准的选择。即评估的目的、框架、观点和标准的选择。评估的标准是什么？选择评估标准的关键是什么？最后，选择某个标准有什么目的？3相应的选择目的所反映的性能标准。即性能参数集中在哪一点？评估有什么尺度或特征？4测度反映记录性能的选择标准。即使用假定标准专门测度什么？5实际评估的方法。即用于测度的工具是什么？样本是什么？数据的搜集使用什么程序？怎样分析数据？只要我们对上述每一点都给予

4、关注，我们就可以进一步开展数字图书馆的评估。遗憾的是，数字图书馆评估的这些根本问题，国内图书馆界至今没有进展过研究和理论。经过近10年的开展，国外数字图书馆的评估理论体系已经初具雏形，值得我们借鉴参考。国外学者根据评估的标准性、约束性及其深度和广度，一般将数字图书馆评估分为正式评估FralEvaluatin和非正式评估InfralEvaluatin。正式评估复杂、可靠，但却消耗太多人力、财力，让人望而生畏。非正式评估简单、有效但却容易使评估迷失方向，使人们产生数字图书馆认识的某些错误感觉和期望。为了数字图书馆的更好开展，必须根据数字图书馆建立的各个时期，选择其中一种或两者结合起来使用。根据评估

5、采用的方法不同，数字图书馆评估主要有系统评估SysteEvaluatin和用户评估UserEvaluatin。目前，国外大多数数字图书馆工程主要采用用户评估，或将这两种评估方法同时并用但以用户评估为主的双重评估。此外，在数字图书馆的评估研究中还广泛采用其它一些方法，如：社会学方法SilgialApprah、经济学方法EniApprah、政治学方法Plitialpprah、民族地理方法EthngraphiApprah，但这些方法不是数字图书馆评估的主要方法。除此之外，一些研究人员还专门进展了比拟评估paringEvaluatin和跨馆效劳质量评估工具研究。4-5根据数字图书馆工程设计、施行、执行

6、和验收的各个阶段，还可以分为前期评估、中期评估和后期评估。所有这些研究，对于数字图书馆评估理论的开展，指导数字图书馆建立理论，都有非常重要的意义。2数字图书馆评估的一般方法尽管数字图书馆评估的方法有各种各样，但始终不能偏离系统和用户这两个一般性范畴。因为数字图书馆系统功能的实现和用户使用的满意程度，已经可以代表对数字图书馆评估的主流。数字图书馆是在传统图书馆根底上开展起来的复杂人机系统，系统和用户是数字图书馆的两个最根本的构成要素。国外数字图书馆的评估研究，从方法角度看主要也集中在系统评估和用户评估这两个方面。只不过有的研究专门使用其中的一种，有的将这两种结合起来使用。系统评估是设计人员或其相

7、关技术人员根据数字图书馆工程中的设计目的方案、软硬件技术和标准标准对其功能进展的评估。其目的是检查验系统设计目的是否完成，硬件是否符合工程需要，软件性能怎样，以及系统的技术标准化程度。由于系统评估是一项专业性很强的功能评估，一般只能由从事数字图书馆工程设计、施行、执行和管理方面的专业人员来完成。此外，由于技术垄断需要，其系统核心设计技术的评估，一般不允许机构外的人员参加。2002年11月，?数字图书馆杂志?发表了一篇题为?数字图书馆的交互性设计与评估?的文章，比拟全面的反映了数字图书馆的系统评估研究1。作者以美国科学基金会NSF资助的一个GR交互式数字图书馆工程作为研究对象，对GR数字图书馆的

8、开发目的包括跨学科藏书、终身学习者资源、时钟循环访问、交互式学习目的和用于学习的信息，交互性及其GR概念框架包括互惠、反愧直接、关联、同步、选择、沉浸、演示、流动、多维性和控制，GR的各种交互性包括GR资源的交互性、GR资源选择的交互性、GR元数据的交互性描绘、GR界面的交互性都进展了研究和评估，从这项评估研究中我们看到，一个有效的交互式数字图书馆本身是一个复杂的人机系统，其交互性技术要求涉及到各种社会的行为、组织、管理联络。可见，在很多情况下，数字图书馆的系统评估不能答复技术之外的各种社会问题。然而，用户评估在很大程度上可以弥补系统评估的这种缺乏。用户评估是系统设计者或用户根据数字图书馆的目

9、的任务完成、行为形式和资源组织、发布对系统可用性进展的评估。其目的是检查验数字图书馆完成了哪些数字化任务，满足了用户的何种行为形式，以及知识信息资源的搜集、再现、挖掘、组织、存储、管理和发布效果。任何一项数字图书馆工程建立都必须开展反复屡次的用户评估，才能使数字图书馆建立满足用户的需要，因此它目前已成为讨论和实行数字图书馆评估的一种流行方式。当然，由于参加评估的用户在构成、组织形式上的不同，可用性评估结果及其权威性也完全不一样。早在1989年，美国一个由101个会员组成的研究图书馆协会和51个州图书馆参加的咨询调查“数字图书馆用户前期评估，帮助发起了具有历史意义的“美国回忆Aerianery数

10、字图书馆试验方案1990-1995。1992-1993年，美国国会图书馆又组织完成了有44个学院、大学和公共图书馆参加的终端用户评估后期评估，最终促成了如今仍在施行的“数字图书馆建议DLI-1，1994-1998；DLI-2，1999-20226。1996年，VanHuse等人发表文章阐述了加州大学伯克利数字图书馆工程以用户为中心的设计方法。他们在对用户的各种需求进展反复评价、评估过程中，不断改良设计。2002年4月至6月，美国科学基金会NSF资助的国家科学数字图书馆NSDL用户评估工作组，花了整整3个月时间进展反复评估研究7。该工作组由那些对数字图书馆设计和评估感兴趣的志愿者组成，其任务就是

11、从用户角度提出和答复各种问题。综合采用两种方法但以用户评估为主进展数字图书馆评估的典型例子是美国科学基金会NSF资助的亚历山大数字图书馆ADL工程评估8。ADL评估组既进展系统设计，又进展用户评估。评估组的工作重点在用户使用，为此他们先后开发了3个不同的用户界面，并建立了相应的试验台进展用户评估。在系统评估层面上，一方面对系统和界面设计进展了大量中间发布，由包括加州大学、科罗拉多州大学研究人员在内的评估工作组进展评估，不断的将当前的Java根底界面和支持系统反响给系统设计者；另一方面，他们又对设计、施行阶段进展了交互评估。这样，用户的功能性要求和施行修改设计的过程变成一个公式化的评估周期，不断

12、的指导系统评估，理解用户的潜在使用。在用户评估层面上，ADL评估组一方面使用ADL用户和潜在用户反愧恳求和分析的多种方法，包括联机调查、图形观察、目的用户组、界面设计内部评估、大学教室ADL使用分析，进展全面评估；另一方面，他们邀请外部用户评估专家，召开了3个与用户评估有关的会议，然后综合他们的评估意见和要求进展系统设计。ADL用户评估组提出的结果非常有用，它涉及下述相关问题：1对于我们的用户，我们理解多少？2对于评估和用户研究方法，我们理解什么？3对ADL界面，我们理解哪些方面的内容？4对于ADL的功能性和内容，我们理解什么？这些问题看似简单，实际上却涉及到数字图书馆建立中的几个核心问题。3

13、数字图书馆评估的主要内容人们对数字图书馆的认识和定义有各种各样，因此对数字图书馆评估内容的认识和界定也各不一样。Saraevi将数字图书馆评估的构造或元素划分为21个大类50个小项3；周欣平提出一个数字图书馆评估的体系，包括馆藏资源的数量和质量、网络及数字化程度、多元化的信息管理和效劳、全球范围内信息资源的获取和利用、提供远间隔 学习和教育之环境、馆员素质6个方面9；Hill等人那么将数字图书馆评估的主要内容划分为馆藏、元数据、搜索、检索和用户工作空间、帮助支持、系统支持、子系统7大类38个小项8。尽管人们对数字图书馆评估的内容有不同的认识和界定，但对其主要内容或根本内容的认识和界定应该是大致

14、一样的。只是由于评估者评估的目的、对象、范围不同，评估的内容才会有所不同。例如，对于以改良系统设计为目的的评估者来说，他可能更侧重技术方面的系统评估；对于一个以地理图像或多媒体为主要馆藏对象的数字图书馆来说，评估者可能更侧重于资源易用性的用户评估。相对而言，一个以交互式学习、研究为目的的大学图书馆和一个以面向群众平等获取数字资源为目的的公共图书馆，评估者选择的评估内容肯定各有侧重10-12。一般地讲，目前数字图书馆主要从以下几个方面进展评估。1技术性能与程度评估，主要内容有：数字图书馆系统的功能构造及其完善程度；数据平安、共享的实现形式；分布式异构数据库的互操作性；海量多媒体数字信息的生成、存

15、储技术及其网络传播、检索的无障碍性；人机交互式学习、研究技术及其实时、同步控制程度。2数字资源量评估。主要内容有：本馆数字化资源总量；外购数字化资源总量；数字资源的完好性、系统性、及时性和连续性；数字资源的加工质量分辨率、压缩比等。数字图书馆的数字资源量目前按TB1012，万亿计算。3易用性评估。主要内容有：分类、标引、索引和检索手段的完备性；多种资源格式的转换、统一与知识挖掘性能；跨网、跨库、跨系统、跨平台、跨语言的操作与检索应用；界面的友好程度；检索、阅读、下载数字信息资源的效率与时间。4数字化效劳评估。主要内容有：在线数字信息资源效劳；网上实时搜集、传递、推送、发布效劳；专门化、个性化效

16、劳；数字图书馆馆员素质；用户反响意见时间、错误率、用户个人满意度、用户组综合意见。5数字化管理评估。主要内容有：数字化管理的观念、方法、制度；数字化图书馆设计、施行、执行、开展的过程管理与日志管理；数字化图书馆的要素、构造、功能的全面管理；管理的标准化与国际、国家标准化程度。数字图书馆的评估内容不是一成不变的，它允许评估者有自己的选择。例如，有的研究者就把经济、社会因素作为一项重要的评估内容。在他们看来，评估的最终问题是，数字图书馆怎样改变人们的研究、教育、学习和生活。更重要的是，这些内容的评估本身需要一套完备的标准，而这些内容与标准确实立会因人、因地、因时的不同而不同。4数字图书馆评估的数据搜集方式确定数字图书馆评估的方法、内容体系是获得评估成功的关键，但其前提是获得真实、全面的评估数据。因此，数字图书馆评估的数据搜集与分析的重要性不容无视。当然，就数字图书馆评估而言，数字图书馆的测度、统计数据搜集与测度标准并不是评估本身，不属于评估范畴，因为数据本身只是一种定性或定量的描绘和观察。断定用户需要本身也不是评估，然而这些与评估相关，它们联络到某些特定性能，包括前述Saraevi提出的5个要求。正确的认识、区分