（中国近现代史专业论文）数字档案馆存储研究.pdf

数：一档案馆存储研究 中立提蟹 数字档案馆存储研究 中文提要 本文的研究对象为档案学界过去很少研究的数字化档案信息的存储问题。这是一 个在信息化时代才出现的新课题，它与传统载体档案的保存有着本质的区别，是一个 需要深入研究的重要课题。 本文从四个方面详细论述该问题。首先，对比了数字档案馆与传统档案馆存储的 区别并讨论了数字档案馆的信息资源建设。其次，详细叙述了数字档案馆的数据库建 设。第三，介绍了目前流行的数据存储与备份技术及其对数字档案馆的适用性。最后， 简要介绍了数字化档案信息的长期存取问题。 关键词：数字档案馆存储数据库 作者：毕建新 指导教师：张照余教授 a b s t r a c t s t u d y o i ls t o r a g eo f d i g i t a la r c h i v e s a b s t r a c t f h i st h e s i st a k e ss t o r a g eo fd i g i t a la r c h i v e sa sr e s e a r c ho b j e c t s t o r a g eo fd i g i t a l a r c h i v e si san e w p r o b l e m ，i t sd i f f e r e n tf r o ms m r a g e o f t r a d i t i o n a la r c h i v e s t h i st h e s i si sd i v i d e di n t of o u rp a r t s f i r s t l y , d i f f e r e n c e sb e t w e e ns t o r a g eo fd i g i t a l a r c h i v e sa n dt r a d i t i o n a la r c h i v e s ，a n dr e s o u r c e sc o n s t r u c t i o no fd i g i t a la r c h i v e s s e c o n d l y , d a t a b a s ec o n s t r u c t i o no fd i g i t a la r c h i v e s t h i r d l y , s t o r a g ea n db a c k u pt e c h n i q u e so fd i g i t a l a r c h i v e s l a s t l y ，t e c h n i q u e s f o r l o n g t e r mp r e s e r v a t i o n a n da c c e s so fd i g i t a la r c h i v e s i n f o r m a t i o n k e yw o r d s ：d i g i t a la r c h i v e ss t o r a g e d m a b a s e w r i t t e n b y ： s u p e r v i s e db y ： b i j i a n x i n z h a n gz h a o y u z 妒64 g 0 8 5 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学化论文是本人在导师的指导下，独立进行研究工作所 墩得的成果。除文中已经注胡引用的内容外，本论文不含其他个人或集体已经发表或 撰写过的研究成果，也 ：含为获得苏州大学或其它教育机构的学位证书而使用过的材 刳。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承 担奉卢叫的法律责f 【。 研究生签名日期：如伊妒函 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国 社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采 用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论义外，允许论文被查阅和借阅，可以公布( 包括刊登) 论 文的全部或部分内容。论文的公粕( 包括刊登) 授权苏州大学学位办办埋。 研究生签名：燃日期：巫芝竖：丝 导师签名：刍睁f 1 期：脚。 融 数字档案馆存储研究序言 序言 无论数字档案馆采取何种建设模式、何种技术框架、何种管理方式，它最重要的 一个目的就是为用户提供数字化档案信息的利用。若想提供信息的利用，首先必须解 决信息的存储问题。本文讨论的即数字化档案信息的存储问题。 不论是数字图书馆还是数字档案馆，其数字资源的存储都是整个系统中最基础、 最核心的部分。没有数字化资源的存储和管理，就谈不上信息资源的检索和利用。目 前在图书馆学界、情报学界以及档案学界对于数字化信息资源存储研究的文章比较 多，但内容分散，且重复较多，少有系统的研究。本文即针对此问题做一系统的考察。 二十一世纪是信息化的世纪。信息技术正在以前所未有的速度广泛应用于社会经 济生活的各个领域。随着人们对网络的需求和网络自身的发展，互联网上的信息类型 变的越来越丰富。计算机、网络和通信的发展使生产、处理、传播数字信息的能力大 为加强，而且数字信息在存储、传输和处理时比其它存储形式的信息更为方便，加之 在过去的几十年中产生了海量的数字信息资源，所以需要一种系统技术来管理数字信 息资源。因此，互联网技术领域面临一系列问题：怎样合理有效地对各类海量数字信 息资源进行组织、检索、访问和利用? 怎样有效利用互联网的优势向用户提供海量数 字信息服务? 针对这些问题，美国科学家在9 0 年代初提出了数字图书馆( d i g i t a l li b r a r y ) 这一概念，力图为高速宽带互联网做好应用准备。 近些年，“数字档案馆”的概念也被提出并成为档案界研究的一大热点，数字档 案馆作为国家信息基础设施的重要组成部分，由各种数字化档案信息作为底层，以分 布式海量资源库群为支撑。以智能检索技术为手段，以网络为传输信道，向用户提供 丰富的数字化档案信息，它是一种新的基础设施和无形的提供档案信息组织利用的知 识环境。数字化档案信息资源，同样面临着全球信息化趋势的冲击。如果缺乏完善的 数字化档案信息管理方案和基础设施，未来的档案工作就会和社会发展脱节，与之相 关的各个领域的信息化都要受到影响和制约。 不论是数字图书馆还是数字档案馆，都存在一个数字化信息资源的存储问题，随 着研究和实践的的深入。都对数字化信息资源的存储提出了多方面的要求，包括： 第一，对于数字化档案信息资源本身，要尽最大可能保存原件的所有信息。传统 载体的档案信息数字化过程本身就损失了很多信息，在其存储管理阶段就更需要维护 敞f 档案馆存储研究 序言 其原来的真实面貌。数字档案馆并非简单地拥有信息对象，还应维护馆藏数字化档案 信息之间存在的复杂关系，这些档案信息皆与一定的人物、地点、活动和事件相关。 如元数据在记录、维护这些关系以及显示数字化档案信息的真实性、结构完整性的过 程中发挥着重要的作用。 第二，对于数字档案馆而言，传统的档案信息资源数字化后，一般都需要永久保存。 第三，对于用户而言，数字化档案信息要便于查阅。数字档案馆的最终目的是为 用户提供高质量档案信息服务，数字化档案信息要能够满足用户查看原件、实现全文 检索等要求。 第四，为了数字化档案信息能够方便地移交和传阅，数字化档案信息应便于网络 传输。 第五，对于数字档案馆的存储而言，数字化档案信息应尽可能占用最小空问。数 字化档案信息是海量的，不仅包括传统载体档寨数字化后形成的数字化档案信息，还 包括移交的电子文件、档案信息网内的档案信息资源、其它信息网内的档案信息资源 等，其媒体形式包括文本类、图像类、音频类和视频类等。即使是本着优先将利用率 高、珍贵的档案数字化的原则，数字化档案信息的数量也是极其庞大的。 第六对于各成员档案馆而言，为保证海量的数字化档案信息能够共享并且具有 最大限度的互操作性，必须制定一定的存储规范和标准。 以上几点是目前对敷字档案馆存储研究所提出的要求，当然，在存储实践中也出 现了不少问题。主要有如下几点： 第一，磁介质和光学介质的不稳定性，使其有效保存期远不及纸介质和缩微胶片 介质。纵观历史，存储介质越是先进，存储容量越大；可是与此同时，介质的寿命却 越是短暂。纸张和缩微胶片仍然是文献保存的最佳介质，而光盘和磁盘的存储寿命， 只能以一位数和微弱的两位数的年限来计算。数字化档案信息的存储介质使用寿命短 暂这一缺陷，是数字档案馆发展的一个严重制约。 第二，数字信息存储技术迅速更新，使人们用以存储数字化档案信息的各种存储 设备及软件迅速过时。 第三，数字档案馆是分布式存储的，因此，数字化档案信息往往是相互链接的、 动态的。这给存储和确认数字化档案信息造成了很大困难。 第四，数字化档案信息的存储决不仅仅是硬件问题，更是软件问题。其中最重要 的就是档案信息全文数据库的建设问题。档案界在这方面的研究还很少n 数字档案馆存储研究 第一章数字档囊馆与传统档案馆存储的区别及数字档案馆资濒建设 第一章数字档案馆与传统档案馆存储的区别 及数字档案馆资源建设 一、数字档案馆与传统档案馆存储的区别 要研究数字档案馆的存储问题，首先要清楚传统档案馆和数字档案馆在档案信息 的存储方面有何区别。二者最大的变化就是从实体馆藏到虚拟馆藏的转变。馆藏是传 统档案馆赖以存在的基本物质前提，馆藏量的多少体现了一个档案馆的规模与实力， 档案馆的大部分日常工作都围绕着馆藏的收集、加工、保存与利用而进行，但是在数 字档案馆时代，这种情况将有根本性的改变。 其区别主要表现在以下几方面： ( 一) 馆藏形式不同。在馆藏的形式上，传统档案馆以“自己接收，自己占有，自己 积累，自己利用”为主要形式。形成独立而又封闭的馆藏模式。数字档案馆的馆藏有若干 部分构成，包括：自身的丰富馆藏、移交的电子文件、档案信息网内的档案信息资源、其 它信息网内的档案信息资源等。网上资源是开放的、共享的、不能独自占有，即数字档案 馆以联机馆藏为主，形成“虚拟馆藏”，突破了个体线性馆藏的范围。传统档案馆的馆藏 以线性的、静态的实体馆藏为主。数字档案馆的馆藏则以动态的联机网络资源为主。 ( 二) 馆藏载体不同。在馆藏载体形式上，传统档案馆以物理实体馆藏为主，包 括纸质载体、缩微胶片、录音磁带、录像带等，而数字档案馆则以数字化档案信息为 主。其载体包括磁盘、光盘、磁带机等，具有许多传统档案载体无法比拟的优点。 ( 三) 档案文献来源不同。在馆藏文献的来源上，传统档案馆基本上以接收的一次档 案文献为主，而数字档案馆的馆藏主要包括：传统载体档案通过数字化而得到的数字化档 案信息、移交的电子文件，还可以是通过档案信息网、其它的信息网等渠道，获取的大量 与馆藏档案相关的信息。另外，在档案文献收集方式上传统档案馆以直接接收为主，而数 字档案馆则包括多种方式，如将原有的传统载体档案数字化、直接接收电子文件、复制其 它信息网上的相关档案信息等，然后经过加工处理按照统一豹标准载入档案信息数据库。 ( 四) 对馆藏质量的评价不同。在馆藏质量的评价上，传统档案馆的馆藏质量往 往是用馆藏的数量、结构、重点等指标来衡量，而数字档案馆则不应以拥有多少馆藏 作为评价标准，而应以数字档案馆能够提供多少高质量的数字化档案信息资源上网供 用户查询为评价标准。所以对数字档案馆来说，检索质量与收藏质量同样重要。 二、数字档案馆资源建设 塑兰堂茎堕堡些婴塞 塑= 童塾! 塑墨堕兰堡竺塑墨堕壁堕塑垦型丝塾兰塑薹堕塞堡壁丝 数字档案馆作为国家信息基础设施的重要组成部分，由各种数字化档案信息作为底层 以分布式海量资源库群为支撑，以智能检索技术为手段，以网络为传输信道，向用户提供丰 富的数字化档案信息。数字档案馆作为种新的基础设旌和无形的提供档案信息组织利用的 知识环境，其资源建设显的尤为重要。从国外的信息化进程看，往往是三分信息技术，七分 信息设备，十二分的信息资源。对于依赖网络生存的数字档案馆而言，档案信息资源建设 是其核心内容。倘若档案信息资源不足，则数字档案馆就成了“无本之木，无源之水”了。 数字档案馆的信息资源主要包括以下一些方面： ( ) 自身的丰富馆藏。传统档案馆是建设数字档案馆的基础。这体现在四个方面， 即传统档案馆为数字档案馆提供用户基础、人员基础、基础设旋和丰富的传统载体的馆 藏档案。档案馆通过数字化加工，将这些沉睡在档案库房中的社会记忆变为能够“流动” 的信息与知识。所以，数字档案馆目前最大的也是最主要的信息资源来源就是其自身的 丰富馆藏档案。这是现阶段数字档案馆信息资源建设的重点和主要工作。 ( 二) 移交的电子文件。由于信息技术的发展，加之政府机构、企业单位提高运行效 率的目的，电子文件大量出现，网络归档应运而生。各组织、机构直接将在活动过程中形 成的电子文件通过网络移交给档案保管部门。这些直接移交的电子文件便成为数字档案馆 档案信息资源的另一重要来源。因此，数字档案馆信息资源建设的一大内容就是面对电子 文件的接收和管理。对电子文件进行有效的前端控制便成为一项非常重要的工作。只有对 电子文件进行前端控制，才可以使数字档案馆接收到丰富而有用的档案信息资源。 ( 三) 档案信息网内的档案信息资源。数字档案馆的个最重要的特征便是它的网 络化存取特性。它必须依附于网络而存在，并且其对内的业务组织和对外盼服务都必须 以网络为载体。倘若数字化档案信息不能够上网提供利用，则数字档案馆充其量只能算 一个“单机版”的检索工具，只能提供某一个档案馆馆藏档案信息的查询。而数字档案 馆，是以分布式海量数据库群为支撑的，应当是一张“档案信息网”。使不同档案馆信 息网实现馆际互联、资源共享。因此，其它档案馆的上网档案信息资源也应成为本数字 档案馆档案信息资源的重要来源，即实现档案信息数据库的跨库无缝联接。 ( 四) 其它信息网内的信息资源。仅仅档案信息网联网是不够的，分布式海置数据库 群决定了数字档案馆建设决不是档案馆能够单独完成的。它是需要档案馆、图书馆、博物 馆、文化艺术、新闻出版、音像影视等单位部门共同完成的庞大复杂的系统工程。从宏观 角度看，中国国家信息基础设施c n i i 包括多方面内容，数字档案馆只是其中的小部分。 在图、情、档管理一体化的思路下，我们应考虑网上的档案、图书、情报等信息资源的馆 际互联与共享。数字档案馆的“馆藏”决不应该仅仅局限于档案信息资源。事实上，数字 图书馆、数字档案馆等信息服务机构的服务在总的趋势上是在走向融合的，即形成一张“网 数字档案馆存储研究第一章数字档案馆与传统档案馆存储的区别及数字档案馆资源建设 络的网络”。从国际上数字图书馆的实例来看，其馆藏也已扩大了很多，包括数据集、网 页、教学材料、软件、试验数据以及整个电子出版界的产品都在应征之列，其来源远不止 现有已出版的资料数字化。数字图书馆的做法是非常值得数字档案馆工程借鉴的。 对自身馆藏进行资源建设，是现阶段的主要任务。但现有馆藏档案终究是要全部完 成数字化并上网提供利用的。而大量的电子文件不断的补充到档案馆来，使电子文件成 为平时档案信息资源建设的另一主要对象。除此之外，就不可避免地要面对未来资源从 何而来的问题。数字档案馆信息资源建设决不是到此就走到尽头了。上述后两点便是数 字档案馆信息资源建设的延伸。就如加拿大著名档案学者特里库克所说“我们必须停 止扮演实体保管的角色，而成为概念、知识的提供者。”数字档案馆的工作人员应以信 息管理人员和知识提供者的眼光始终关注于档案信息资源的建设，不断的延伸和扩展自 己的思路和工作范围，不要仅仅局限于档案信息服务的圆圆之中，而应当树立一种“知 识服务”的观念。即不但能够提供海量分布的档案信息资源的利用，还可以提供数字档 案信息资源以外的信息资源利用。这种观念在数字图书馆工程当中已经体现出来了。 ( 五) 其它的档案信息资源。以上谈到的只是狭义的档案信息资源的建设，我们应该 以广义的档案信息资源的概念来进行数字档案馆的信息资源建设。即档案信息资源不仅包 括信息内容本身，还包括数字档案馆中的信息人员、数字档案馆工程当中的信息技术、信 息系统等。这些都是数字档案馆中重要的信息资源。人是最重要的因素，没有了信息人员， 就谈不上对信息内容本身的建设。信息技术、信息系统是实现数字档案馆资源建设的条件 和手段。在对信息内容本身进行建设的同时，藐们应以同等的态度对待信息人员、信息技 术、信息系统的建设。只有这样，才能全面提高我国档案信息化的整体水平。 在数字档案馆信息资源建设过程中，还存在一些问题，在此提出相应的对策。 ( 一) 数字档案馆档案信息资源建设要注重质量建设，而非一味地追求信息资源 的数量。较低水平的信息资源建设己严重影响到国家信息化建设进程，制约了信息服 务业的发展，浪费了大量基础设施资源，也无法满足广大用户日益增长的信息需求。 以综合档案馆为例，过去档案馆馆藏以文书档案居多，专门档案、科技档案较少；党 政机关档案居多，基层企事业单位档案较少；行政管理档案居多，经济建设、科研档 案较少：公务活动档案居多，私人档案、家族档案较少。 档案馆在进行资源建设的时候应当注意根据用户的需求以平衡不同种类档案的 数量。在进行馆藏档案的数字化时，档案馆应当根据档案馆的功能类型、服务对象、 服务特色等各种因素确定数字化的目标和任务。一般丽言，有以下几方面：第一，将 有较高价值的档案信息数字化。这些有较高价值的档案包括具有经济、科技、文化价 值的档案；具有保存价值的珍贵档案；具有长远使用价值的档案。第二，将有特色的 数字档案馆存储研究第一章数字档案馆与传统档案馆存储的区别及数字梢案馆资源建设 档案信息数字化。档案馆一般都有自己的特色馆藏，这些反映某一地区历史和现状的 具有地域特色的档案，应当成为数字化的首选对象。第三，将利用率高、需求大的档 案信息数字化。第四，将开放档案数字化。当然，全部馆藏档案一次性数字化是不现 实的，可以采用分批分阶段的方法实现数字化，保证上述四类档案优先数字化。 我们要改变以往馆藏种类单一、质量参差不齐以及大量重复归档的状况。对于质量 参差不齐和大量重复归档的情况，档案馆应加强对档案的鉴定工作。档案馆应对档案信 息资源进行深度加工，使信息资源有序化，知识化。为用户提供高质量的知识服务。 ( 二) 数字化档案信息资源是为了用户服务的。印度著名图书馆学家阮岗纳赞有个著 名的观点：“读者第一”。这一观点对档案界并不陌生，但在实际工作当中，“用户中心” 的观念还没有在档案部门深入人心。因此，数字档案馆档案信息资源建设要树立牢固的用 户中心观念，以当前以及长远的用户需求为向导进行切实有效的信息资源建设，尽可能多 的提供用户需要的信息资源。并为用户提供一种获取知识的环境，为用户提供知识服务。 ( 三) 对于数字档案馆信息资源建设业绩评价的标准问题。在数字档案馆条件下， 我们不应以拥有多少信息资源作为评价标准，而应以数字档案馆能够提供多少高质量的 数字化信息资源上网供用户查询为评价标准。并且，评价的标准也不能仅仅局限于档案 信息资源本身。还要考虑到数字档案馆的信息人员、信息技术和信息系统的建设情况。 只有全面考察数字档案馆信息资源建设的情况，才能提高档案信息化的整体水平。 数字档案馆存储研究 第二章数字档案馆数据库建设 第二章数字档案馆数据库建设 建设数字档案馆数据库首先要了解数字化档案信息的特点及管理有要求，才能 有的放矢，具有针对性的进行数据库建设。 一、数字化档案信息的特点及管理要求 数字化档案信息有着许多新特点，如：数字化档案信息资源数量极为庞大。档案 馆中有着大量的具有利用价值的传统载体档案，随着数字档案馆工程的不断进展和大 量各种类型的电子文件的补充，数字化档案信息的数量将会变的极为庞大。另外，数 字化档案呈现出多媒体的特点。在数字档案馆中，数字化档案信息包括存储为图像格 式的档案信息、文本、超文本形式的档案信息以及各种数字化的音频档案和视频档案 等，媒体形式非常丰富。 对数字化档案信息的管理有着不同于传统档案的更高的要求，有如下几点： ( 一) 准确性要求。由于数字化档案信息的数量庞大，为了将档案信息准确的揭 示出来，必须对数字化档案信息进行标引，在标引时应分析出档案文献实际所具有的 主题，避免仅根据档案文献的题名进行主题标引。 ( 二) 全面性要求。即一方面，主题分析与标引要全面反映档案文献所含的信息： 另一方面，著录要全面，要完整地著录反映档案内容特征和形式特征的项目。全面的 著录能够提供多种检索入口，是提高档案利用率和便于档案检索的基础和前提。 ( 三) 标准化要求。标准化是数字化档案信息能够共享的基础，因此，在档案著 录时，著录项的选择及标识符号的使用要保持一致；在标引时，赋予档案文献的标引 词和标引深度要保持一致和稳定。 ( 四) 知识化要求。数字档案馆在管理数字化档案信息的时候，要尽可能地将档 案信息转化为可识别利用的信息，并在实践中转化为指导行动的知识。 ( 五) 非线性结构要求。传统档案的组织方式是一种线性的结构方式，只有掌握了 档案信息检索的知识，并严格遵守检索格式，才能对其进行有效利用。而数字化档案信 息是一种非线性的网状组织方式，这种组织方式较传统档案更为符合人们的思维习惯。 二、数字档案镰数据库对入库数据的要求 数据库是数据的集合，数据是数据库的灵魂。数据的质量对于数据库的质量起着 实质性的作用，没有高质量数据的数据库将是一堆“垃圾”。只能是信息的污染。数 字档案馆数据库数据的质量要求包括： ( 一) 数据准确，准确性是对于档案数据的最基本的要求。档案数据要能够准确 数字憋馆型! 至墅窭第二常数：# 档案馆数据库建设 反映事实的真实面貌，避免各种误差和尽可能减少失真。 ( 二) 数据完整。数据完整是指档案数据库的数据能完整的反映数字档案馆的馆 藏全貌。在宏观上，要求档案数据库的存储内容尽可能覆盖主题范围内的所有信息， 没有重大遗漏。还须根据事物的发展连续反映事物发展的轨迹，避免断层的出现；微 观上，要求档案数据按照规范尽可能系统完整，即维持档案数据库中各项目的完整无 缺，避免输出不完整。 ( 三) 数据规范。档案数据的规范要求档案数据库的数据著录项目符合规范要求， 标引时，赋予档案文献的标引词和标引深度应保持一致和稳定，即档案数据本身必须 符合统一的规范，符合标准化要求。 ( 四) 数据稳定。档案数据库建设中数据库结构、数据著录标准的确立应充分论 证，慎重决策。一旦确定不轻易变更，以维护系统的稳定和数据规范的连续性。 ( 五) 数据新颖。数字档案馆的数据新颖包括两方面：一方面，是指档案数据库 应不断增添各类最新的数字化档案信息，保持档案数据的新颖：另一方面，是指档案 数据库不断的回溯建库，将大量传统的档案文献进行数字化输入档案数据库。更新数 据是维护数据库生命的必要条件，不断以新的档案信息充实档案数据库，方能使数字 档案馆具有顽强的生命力。 三、数字档案馆数据库软件的要求及选择 ( 一) 数字档案馆数据库软件的要求 1 、结构合理。结构应该适于数字档案馆系统运行。一方面，能够提供尽可能高 的运行速度，特别是当大数据量的处理时能够满足用户的需要；另一方面，通过合理 的结构，使数字档案馆具有系统设计时所要求的功能，提供用户所需的服务。 2 、大数据量处理。要求数字档案馆数据库系统具有对外存储器上的海量数字化 档案信息的管理能力，包括提供可选的、有效的文件存储结构以及存储数据的有效路 径，以保证系统有较好的性能。 3 、永久保存。即档案数据库能够永久存储数字化档案信息。 4 、多用户共享。此处的共享有两层含义：一是多个用户共享同一份档案数据， 不同用户享受不同的权限。因此，就要求数据库系统在提供信息共享时，还要实施一 定的安全控制。二是多用户同时存取同一个档案数据，因此数据库系统应能够提供对 多用户并发数据存取的控制，保证操作结果的合理性。 5 、操作简便。用户界面友好，操作简单方便，提供方便的检索入口和多种检索 方式，保证数据的检全率和检准率，也便于档案数据库的维护。 6 、安全可靠。要求数据库系统具有抗干扰、抗故障能力。对违背合理性的数据 暑， 数档案馆存储研究第二章数字档案馆数据库建设 操作请求能予以拒绝，能有效防止病毒和黑客的侵袭；具有较强的数据容错能力，不 会因某一条记录的错误而导致数据库被破坏，不会因用户的误操作而轻易死机：对新 建库、删除库记录等重要操作应有必要的确认措施，防止误操作造成影响，保证数据 库的安全；出现系统的软、硬件故障时能尽快恢复等。 7 、丌放性好。有良好的分布式处理能力，为档案信息网络化提供良好的开发平台。 ( 二) 数字档案馆数据库的选择 l 、c s 型数据库和文件型数据库 数据库( d a t a b a s e d b ) 是指有组织地，动态地存储在外存储器上的相互关联着 的数据集合。数据库可分为两种：c s 型数据库和文件型数据库。c s 型数据库是当 前数据库应用的主流。c s 型数据库应用程序由两个部分组成：服务器和客户机。服 务器指数据库管理系统( d a t a b a s em a n a g es y s t e m - d b m s ) ，用于描述、管理和维护数 据库的程序系统。是数据库系统的核心组成部分，对于数据库进行统一管理和控制。 客户机则将用户需求送交服务器，再从服务器返回数据给用户。c s 型数据库非常适 合于网络应用，可以同时被多个用户访问并赋予不同用户以不同的安全权限。c s 型数掘库支持的数据量比一般文件型数据库大的多还支持分布式的数据库。而且 c s 型数据库一般都能很好的支持s q l 语言。因此，c s 型数据库适合于高端应用。 由于c s 型数据库由服务器和客户机两部分组成，因此也被称为双层模型，如图1 ； 图l 随着技术的发展，c s 型数据库的结构开始逐渐被多层模型所代替。其中应用程 序中的数据模块被分离出来，转移到一个单独的服务器上，成为独立的一层，如图2 ： 图2 文件型数据库，是基于文件的数据被按照一定的格式存储在磁盘里，使用时由 应用程序通过相应的驱动程序甚至直接对数据文件进行读取，即这种数据库的访问 方式是被动的，只要了解其文件格式，就可以直接读取。因此，其安全性较差。而 且文件型数据库效率相对较低下，不支持很多s q l 命令，不支持视图、触发器、存 储过程等高级功能，因此。这类数据库不适合大型的数字档案馆工程。 数字档案馆存储研究 第二章数字档案馆数据库建设 2 、关系型数据库与非结构化数据库 ( 1 ) 关系型数据库 传统的关系型数据库虽然具有数据结构化、晟低冗余度、较高的程序与数据独立 性、易于扩充、易于编制应用程序等优点，但是，关系数据库对数据类型的处理却只 局限于数字、字符等，对多媒体信息的处理只是停留在简单的二进制代码文件的存储 上。而用户对档案的需求则从过去简单的查阅文本类档案变为大量的对照片档案、音 频档案、视频档案以及一些非档案信息如网页、教学材料、软件、试验数据和电子出 版物等的需求。而这些信息资源都是非结构化的。使用关系型数据库来管理占信息总 量7 0 的声音、图像和视频等复杂数据类型己显得力不从心。 ( 2 ) 非结构化数据库 性能优秀的数据库是数字档案馆最关键的组成部分。非结构化数据库在数字化档 案信息的存储、管理、开发和利用等方面的作用己初见端倪。 所谓非结构化数据库，是指其字段长度可变，并且每个字段的记录又可以由可 重复或不可重复的子字段构成的数据库。它采用子字段、多值字段以及变长字段的 机制，允许创建许多不同类型的任意格式的字段，即非结构化字段，从而突破了关 系数据库严格的表结构，能够方便地存储和管理非结构化数据。同时也继承了关系 数据库的优点。以l o t u sn o t e s 为例，它的对象库是一个非常理想的信息存储器， 可用于高效地存储和管理非结构化数据，它们通常具有丰富的数据类型，如表格( 可 以是从某个关系数据库或电子表格软件中得到的) 、格式化文本、w e b 页面、图形、 o l e 对象或扫描的图像以及传真件、音频信号、视频信号等多媒体信息。对于多媒 体信息的存储和管理，非结构化数据库系统采用外部文件方式，摈弃了传统关系型 数据库采用二进制字段存储的方式，实现了对多媒体信息的高效管理。另外，非结 构化数据库系统采用先进的倒排挡索引技术，实现了对海量文献信息的快速全文检 索功能，并支持多种字段限定检索。 目前适合应用于数字档案馆工程的非结构化数据库有国外的l o t u sn o t e s 、国内 的北京易宝北信信息技术有限公司的t r s 全文信息管理系统、北京国信贝斯软件有 限公司的i b a s e 非结构化数据库系列产品等。 ( 3 ) 非结构化数据库在数字化档案信息管理中的应用 非结构化数据库能够充分考虑到因特网的实际和需求，将自身与t c p i p 、h t t p 协 议、h t m l 语言等网络技术紧密结合。它有极强的网上发布能力、极高的检索效率和强 大的全文检索能力，能够满足网络环境下数字档案馆中数字化档案的存储、管理、发 布和检索需要。非结构化网络数据库系统能够解决数字化档案管理的几大难点： 数7 档案馆存储研究 第二章数字档案馆数据库建设 文档类型和多媒体数据类型的支持问题。在数字档案馆中，存在大量的复杂 数据类型，如t x t 文本、d o g 、e x c e l 、p p t 、p d f 、j p e g 、g i f 、m p 3 、w m a 、r m 、m p e g 等流行的文档数据和图像、音频、视频数据以及计算机程序、网址资源等，非结构 化网络数据库能对所有这些数据类型进行存储、管理和检索。基本上覆盖了档案馆、 图书馆领域内所有的文献数据类型。 数据著录格式问题。非结构化数据库支持大量标准格式，而且支持最新的s g m l 和x m l 格式，具有可扩展性，可以与其它元数据单元连接使用，不仅适合中文全文 检索系统平台的应用，同时也符合国际数字档案馆、数字图书馆标准化的发展趋势， 便于与国际交流与接轨，这对于档案馆、图书馆数据库标准化和数据交换与共享， 有着极其重要的作用。 数字化档案信息的全文检索问题。非结构化数据库支持外挂文件的全文检索， 能轻松实现二次文献挂接全文的功能，并且对于各种具有检索意义的文档信息资源， 如h t m l 、d o c 、r t f 、t x t 、p d f 等提供了强大的全文检索能力。在数字档案馆中，由 于信息资源极其繁多，如何从海量信息中查找到所需的信息，如何保证所查询信息 的全面性和准确性，也是数字档案馆数据库必须解决的问题。非结构化网络数据库 系统通过其独特的索引技术和基于布尔检索表达式的查询检索算法，解决了基于字 段级和数据库级的全文检索问题，用户可以针对数据库中特定的字段也可针对整个 数据库进行全文检索，从而从数据库中检索出有价值的档案信息。同时，其强大的 索引表达式构造能力和布尔检索表达式解析能力，使用户可以构造极其灵活的数据 库全文检索应用。 对现有数据库的全文检索支持问题。非结构化网络数据库系统对传统关系型 数据库，如o r a c l e 、s q ls e r v e r 、s y b a s e 、d b 2 、i n f o r m i x 等，提供了导入和链结 的支持能力，用户可以采用导入方式，将传统关系数据库转换为非结构化数据库， 再进行网上发布和开发全文检索应用。也可以采用链结方式，对传统关系数据库构 建本地化索引，通过本地化索引实现对关系数据库的全文检索支持。 数据库查询和检索效率问题。数字档案馆需要面对大量的用户群和大量的瞬 时并发数据库查询检索，其数据库查询和检索效率就是一个极其关键的问题。非结 构化网络数据库系统提供了重复字段和子字段的支持能力，能够避免关系数据库在 大数据量时由于表连接查询而导致的查询检索性能的急剧降低。作为数字档案馆数 据库应用，一般采用多层结构，由于多层结构以及各种中间件产品在相互连接和交 互时，需要交换大量信息和占用处理器资源，也会导致数据库性能的降低。非结构 化网络数据库系统实现了旺bs e r v e r 、a p p l i c a t i o ns e r v e r 、d bs e r v e r 的紧密集 数彳档案馆存储研究 兰三兰墼兰塑兰望墼塑篁堡堂 实现数据库和w e b 的有机组成，使数据库系统成为w e b 的一个重要有机组成部分， 合。非结构化网络数据库系统体系结构如图3 所示： f 客户端浏览器客户端浏览器j 士： i 集成了w e bs e r v e r 、a p p l i c a l l o ns e e r 、i l d bs e r v e r 的非结构化数据库 f 图3 下表给出了非结构化数据库和关系数据库的比较结果 非结构化数据库和关系数据库的比较 非结构化数据库关系数据库 处理变长字段优差 格式支持好一般 检索速度千万条记录应付自如随数据量增加减慢 标准化好好 ( 4 ) 结论 非结构化网络数据库代表了数据库的发展方向，它采用面向对象技术，可以处理 几乎所有的档案馆所包含的文献数据类型。解决了数字档案馆全文检索问题，实现了 真正意义上的全文检索。除此之外，它直接面向 r r t p ，将因特网直接集成于系统之 中，使之具有w e b 数据库的强大功能。利用它建立起来的数字档案馆，完全可以在其 基础上，轻松的开展各个层次的信息服务，如档案信息发布服务、电子阅览和在线阅 读服务、利用网络推送技术和e - m a i l ，向用户提供定题信息服务等。 尽管非结构化网络数据库与关系数据库相比较，还没有象s q ls e r v e r 、o r a c l e 这样的重量级产品，也没有象关系数据库那样得到绝大多数人的接受，但是，它是数 据库技术发展的方向。更关键的是，它具有非常适合数字档案馆应用的特性。它既能 满足档案馆的未来的要求。又能兼容传统的关系数据库，能够全面兼容各种大中小型 的数据库。这对于数字档案馆的可持续发展而言具有极其重要的意义。 四、档案全文数据库建设 ( 一) 全文数据库的建设 数字档案馆数据库建设实际上就是数字化档案信息全文数据库的建设。档案信息 全文数据库建设是数字档案馆工程的核心内容，也是我国国家信息基础设施建设的重 数字档案馆存储研究 第二章数字档案馆数据库建设 要组成部分，更是当前国家信息化建设的重要内容。 数字档案馆拥有多媒体、内容丰富的数字化信息资源，是分布式超大规模的、可 跨库检索的海量数字化信息资源库群，其种类虽然极其丰富，但仍然以文本类档案占 绝大多数。建立这类档案的全文数据库，是整个数字档案馆工程的重中之重。所谓档 案全文数据库，即包括档案题名、责任者、 形态、数量及单位、编号等数据的数据库。 正文、形成时间、密级、保管期限、载体 它应当尽可能地对原始的档案文献进行信 息复制。一次文献是档案馆馆藏资源的特点，是用户需求的根本。二次文献仅提供一 次文献的线索及其部分特征，远不能满足用户的需求。二次文献检索只是为查找一次 文献服务，用户检索的最终耳的是要索取原始档案文献的全文信息。以下即对数字档 案馆全文数据库的建立做初步的构想和规划。 1 、建库的目标与原则 数字档案馆全文数据库的目标是以馆藏档案为基础建立具有本馆特色的专题性 全文数据库。 根据档案馆自身的特点，包括用户群、馆藏优势、设备条件等特点和具体情况， 确定主题和数据库类型：将各类馆藏档案按专题进行全面转换、集成，提供原始档案 文献的全文信息服务。 数字档案馆全文库建设应该遵循以下几点原则。 ( 1 ) 以馆藏一次文献作为全文库建设的首要任务。虽然数字档案馆的数字资源 种类极为丰富，但毕竟还是馆藏的文本类一次文献占绝大多数，也是最重要的部分， 因此，要以这部分档案作为全文库的首要内容。 ( 2 ) 数字档案馆全文库建设要始终贯穿和体现“用户中心”的观念。以当前及 长远的用户需求为导向进行全文库建设，以用户需求作为建库动力。数字档案馆全文 库的主要用户是国家机关和科研机构及其人员，因此，档案馆要以他们的需求为导向 进行数据库建设。 ( 3 ) 全文库建设必须具有本馆特色，反映本馆馆藏特点。数据库建设最忌重复 建设，数字档案馆全文库也不例外。数字档案馆全文库应该将重点放在具有本馆特色 的，独一无二的馆藏档案全文库的建设，这样才能使全文库具有生命力。 ( 4 ) 应当做好档案馆的联合建库工作，统一建库标准。为了建设高质量的档案 全文库，应建立一个权威的组织协调机构，组织若干个档案馆，如全省范围内的档案 馆，或某行业系统内的档案馆，进行联合建库工作。这样，虽然是分散建设，却可以 做到避免重复建设，统一数据库标准，为将来的资源共享奠定基础。 ( 5 ) 应当具备良好的检索功能。完善的检索功能是高质量全文库的一个标志， 数字档案馆存储研究 第二章数字档案馆数掘库建设 它应能够做到多途径检索、逻辑组配检索。 2 、全文库的软件环境 系统软件包括开发平台和全文数据库软件。开发平台可选择w i n d o w sn t 、w i n d o w s 2 0 0 0s e r v e r 或u n i x 、l i n u x 操作系统。其各自优缺点在此不再赘述。全文数据库软 件，笔者认为l o t u sn o t e s d o m i n o 和t r s 系统和功能较为强大、性能较为稳定。 l o t u sn o t e s 是i b m 推出的群件产品，是一种分布式文档数据库，n o t e s 的服务 器又称d o m i n o 。其中包含了先进的文档数据库开发管理功能，提供了标准的w e b 服 务、应用和开发环境，是实现信息集成和知识管理的理想平台。借助d o m i n o 高度的 集成化技术，即使没有很强开发实力的单位也可以很快建立全文检索系统，提供信息 在网上的动态发布。 n o t e s 是文档数据库的管理开发平台，负责文档的开发、存储管理和检索等功能。 与传统的关系型数据库不同，n o t e s 数据库是非结构化的文档数据库，每一篇文档类 似关系型数据库的记录，但它的长度并不固定，它可以保存格式化文本、表格、图片 等，支持音频、视频等文件的链接和嵌入。n o t e s 能自动对库内的文档进行全文索引， 经n o t e s 索引过的文档库便可进行全文检索。用l o t u sn o t e s 来开发档案全文库，可 参考的成功系统很多，具有很大的方便性。 t r s 系统是中国人自己开发的系统，在中文按词建库和检索、中文相关排序以及 c 1 i e n t s e r v e r 体系结构全文数据库等技术领域处于国际、国内领先水平。主要用来 解决图书馆、档案馆文献信息资源的管理、检索和服务问题。其企业级产品由t r s 全文数据库服务器、t r sw 髓应用服务器和服管理工具组成，主要针对大型图书情报 档案部门。它支持多种通用文件格式，提供多达4 8 种检索运算符，可以对包括外部 特征与正文内容在内的各种信息进行逻辑组配检索，并且能够实现位置检索和基于知 识词典的扩展检索功能，对检索结果可按相关程度进行排序。但企业级产品的价格非 常昂贵，对硬件环境和开发人员的素质都有很高的要求。 3 、全文库的构建 档案全文库的开发包括数据采集、文本预处理、数据加载、数据检索和数据维护 几个环节。 ( 1 ) 数据采集。是指对计划加载到全文数据库中的数据进行收集整理等预先处 理的过程。加载到全文数据库中的数据的获得方式有多种，常见的有：档案数字化后 产生的图像、移交的电子文件，电子出版物，档案信息网内的档案信息资源、其它信 息网中的信息资源等，其中以前两者占绝对多数。数据采集的主要工作，也是最繁重 的工作，便是档案信息的数字化。 数字档案馆存储 i j f 究 第二章数字档案馆数据库建设 档案信息的数字化包括两方面内容：传统载体档案的扫描和拍摄、数字化档案的 o c r 转换。可以首先通过扫描仪或数码相机将文本和图像分别按不同的属性、以不同 的格式进行数字化存储，再通过中文o c r 软件进行纯文本文件的转换、识别、修改、 编辑、排版，构成标准格式的电子文本，然后将其与相应的图像文件相链接。 但对于大批量的档案全文数据录入来说，可以通过设定恰当的分辨率，一次性扫 描和存储图文信息来解决数据录入问题，这样可以简化工作程序，提高工作效率和数 据录入的准确性。但是，这样就不能对档案信息的内容进行任意字、词的检索，不能 对文本进行编辑、剪切，只能通过二次文献检索后索取一次文献的图像形式。这种方 法可以作为数字档案馆全文库建设初期的一种省时省力的选择，在将来人力、物力、 财力充足的时候，再按照前一种方案来建设纯文本的、可进行全文检索的全文库。 ( 2 ) 文本预处理。它包括规范格式和著录标引两方面内容。规范格式，即当数 字化的档案格式多种多样时，应加以整理，使档案信息的格式规范化。著录标引，是 对数字化的档案进行统一标准的著录与标引。该阶段在数据加载前，对数字化档案的 正文，利用文字处理软件和专用自动标引软件进行标引。 ( 3 ) 数据加载。数据采集好并经过处理后，便可加载到数据库中去了。加载数据可 有批量方式或单篇方式。批量方式一次加载多篇，适于集中大量加载的情况。单篇方式 次加载一篇，适于平时文献随时加载的情况。对于数字档案馆而言，当要将馆藏档案全部 数字化并加载入数据库时，主要采用批量加载方式。每年移交档案馆的传统载体档案数字 化后，也是采用小批量的加载方式。平时移交的电子文件则可以采用单篇加载的方式。 ( 4 ) 数据检索。全文库建成之后，便可根据全文检索系统提供的检索功能对数 据库进检索了。 档案全文库的建设流程图如 图4 圜4 文献扫描 剐： + 识别、校对 版式还原标准格式文本 li 形成相应格式图像数据标引 上上 格式转换数据库字段编辑 上上 进入数据库检索系统 数字档案馆存储研究 第二章数字档案馆数据库建设 ( 5 ) 数据维护。全文库建成以后，需要经常对数据库的内容进行索引、更新、 追加和清理，以保证数据库的实用性、有效性和时效性。对全文数据库的维护通常包 括：全文数据库的结构定义，全文数据库的数据内容，全文数据库系统中所用词表、 存储空间的利用统计及调整等。 ( 二) 数字化档案信息存储格式 档案信息化最重要的内容就是将传统载体的档案信息数字化上网提供利用，将传 统载体的档案进行数字化时会遇到一个数字化档案存储格式的选择问题。档案部门需 要数字化的档案信息的载体形式包括纸质档案、胶片档案和声像档案等，将他们数字 化后，将会生成四种类型的数字化档案，即文本类、图像类、音频类和视频类。以下 将就目前存在的四类数字文件的格式做粗浅的介绍，以供对传统档案信息进行数字化 时根据情况选择。 1 、文本类 ( 1 )