大数据背景下档案工作的机遇、趋势与挑战

大数据背景下档案工作的机遇、趋势与挑战

一、大数据：概念与

大数据，作为一种数据的理念和方式，其之所以出现，

是云计算和物联网等信息技术的发展，与人类所积累的数据

高速增长并海量积累相结合的结果。无论是如何定义，从本

质上，大数据是信息者在当今的信息技术条件下，为解决新

的海量信息处理需求，所提出的解决策略。而作为典型的信

息管理活动之一的事业，势必会受到大数据理念的影响。

大数据并不是一个严谨而完整的学术概念，其所包含

的内容相对比较抽象，从字面意义上进行理解，大数据所指

的是数据规模的庞大。但从这一意义上来看，显然无法与传

统的以往一系列概念进行区另I」，如〃海量数据〃(MassiveData)、

〃超大规模数据〃(VeryLargeData)。在学术界，对于大数据

的定义尚未形成统一的观点，但综合各种说法，主流的思路

是从大数据的特征出发，通过归纳的方式，通过对特征的描

述进行定义。其中最有代表性的是3V定义[1],即认为大数

据需满足3个特点：规模性(Volume)、多样性(Variety)

和高速性（Velocity）。此外在实践层面，普遍认为大数据具

有全数据规模、多数据类型、低价值密度、高处理速度的特

点。

在数据管理埋念层面，大数据的特点在于全数据规模、

丰富的数据类型（可能包含半结构化数据）、全数据处理对

象、多数据处理工具；在数据处理技术层面，大数据体现为

对云计算和新一代数据库的；在操作方式层面，大数据体现

为对零散信息价值的重视及对数据之间相关而非因果关系

的分析。

二、大数据对工作带来的机遇

（一）解决信息化背景下档案的〃胀库〃问题

近年来，随着电子文件的理念逐步得到认可，以及档

案的单位管理成本的降低，加之人们对于归档保存的重要性

的认识的提升，我国的档案总量步入了一个高速增长的时期

⑵，但与此同时，信息化背景下的档案数据库胀库问题也随

之到来了，其中较为明显的表现为〃新增数据失败〃等[3],胀

库问题带来的，不仅仅对新增档案管理上的难题，同样重要

的是，由于胀库现象的出现，档案的服务利用的效率将大打

折扣，其原因在于案卷在出现胀库的过程中，无法及时有效

地归档并建立索引以提供服务，破坏了档案案卷之间的连续

性和关联性，降低了档案中所提供的信息的价值。信息化背

景下档案的〃胀库〃问题，本质上在于存储和计算资源分配的

不够合埋，传统的数据库架构在处理新的海量数据的过程中,

灵活性远远不够。解决这一问题，需要求助于大数据技术框

架中的云计算技术[4],利用云计算技术强大的调配计算资源

的能力，根据数据处理规模的需要，配置数字化档案管理所

需要的存储和计算资源，保证档案的服务利用效率。

（二）有利于推动档案观的普及

大数据的核心在于从海量的数据中挖掘价值[5],这为

档案价值的进一步发现和提升，提供了一个新的思路。传统

的档案服务利用概念中，档案的服务利用对象是特定并且相

对单一的，原因在于档案通过卷宗的形式，将一个相对完整

的信息〃包裹〃存留，这部分相对完整的信息最终成为了档案

卷宗的主题。而在服务利用的过程中，〃主题匹配〃成为了最

为常见的档案定位方式，而主要来自于政府机关、企事业单

位的日常运行信息形成的档案，其主题自然会牢牢地与其形

成机关的业务活动相对应，而档案卷宗中所包含的零散的信

息价值，相对容易被忽略，如今被公众广泛利用的档案，多

数是民生档案[6],而其他类型档案中的零散信息价值，缺乏

有效的挖掘服务利用手段，这是社会档案观在普及过程中必

须解决的问题之一，即如何帮助公众挖掘他们所关心的分散

于海量档案中的信息价值。大数据为档案的服务利用提供了

新的价值挖掘工具，使得分散在海量数据中的零散价值成为

可能，这就意味借助大数据的信息分析工具，公众将能够从

主题上看上去并不相关的众多档案中，发掘其自身所需要的

信息，获取相应的信息价值，将推动公众逐渐意识到档案作

为当今社会最重耍的信息价值载体之一的重要意义，而一旦

这样的意识逐步成型，档案社会观将得到普遍的认可。

（三）有利于处理多载体类型的档案

信息技术的发展对于档案管理工作的重要影响之一，

就是提供了多样化的信息载体形式，丰富了档案的类型，从

最原始的纸质载体的文书档案，发展到如今的音像档案、图

片等等。而随着电子文件概念不断获得认可，新的信息载体

形式层出不穷，从理论上讲，每当出现一种新的信息载体形

式，就会相对应地出现该载体形式的档案。这就意味着未来

档案的管理工作必将是基于多载体的，其载体的丰富程度可

能会远远超过我们的预期，而为最大程度保证原始证据价值,

在技术条件允许的前提下，未来的档案管理工作将会尝试接

受半结构化的数据作为档案，以最大程度地保留证据价值［刀。

这使得未来的档案载体形式将呈现数量多、增长快的特点，

这就要求针对具体档案类型的管理工具，或者抽象为一类特

定的数据处理工具,是无法实现理nesizefitall〃的,即不再

存在能够完美处理所有的档案载体类型的管埋工具。这一点

上与大数据对处理多数据类型过程中所提出的数据工具组

合的理念，是相一致的。未来的档案服务利用活动，由于其

面向的档案对象的载体是多样的，对其进行利用的工具也将

是多样的，甚至为处理一些半结构化的数据的过程中，可能

会需要多种数据处理工具的组合。

（四）有利于电子文件的管理

大数据将从真实性、有效性、及时性三个方面提升电

子文件的管理水平。首先从真实性角度考虑，由于电子文件

惊人的增长速度，其真实性鉴定工作一直是困扰档案工作者

的难题之一，传统的〃直接鉴定法〃在实际操作的过程中所消

耗的人力物力成木过于巨大［8］,因此鉴定文件的真实性需要

求助于大数据技术处理海量数据并分析复杂数据的能力；第

二，从有效性角度考虑，电子文件的结构化特征并不明显，

大量的电子文件都是半结构化甚至是非结构化的，在这种数

据类型情况并不稳定的前提下，处理数据对象单一的传统档

案管理数据库结构是难于驾驭的，而大数据技术框架下对于

多数据结构的兼容性，能够较好地解决这一问题，提升对电

子文件进行管理的有效性；第三，从及时性的角度考虑，电

子文件的指数增长，使得及时地对新增档案进行管理成为了

档案工作者所面临的一大难题，这样的海量数据的实时处理,

是档案管理过程中前所未有的，这需要利用大数据技术框架

中通过云计算的方式提升数据处理的及时性，才能保证电子

文件管理的及时性。三、大数据背景下档案工作的发展趋

势

（一）从数字化到数据化

为应对信息时代对于档案工作新要求，档案数字化的

工作已经进行了多年，并在一定程度上解决了传统档案利用

信息技术进行管理及共享的问题[9],收到了相当的成效。但

在大数据时代背景下，数字化仅仅是解决了载体形式或者说

是信息技术的应用问题，可以理解为档案工作对信息技术的

适应性应用，对于深入的数据挖掘与利用是远远不够的。在

大数据的时代背景下，信息管理者已经不再满足于更易管理

和共享的信息形式，应更为关注信息所能带来的价值，这就

要求对于档案的管理工作框架，需要实现从数字化到数据化

的转变，即不仅仅能够实现对档案案卷的数字化管理，更能

够根据海量数据挖掘利用的需要，对档案的管理深入到数据

层面，这将更为适合大数据技术架构下对数据的〃流处理'模

式。

（二）从信息共享到信息价值共享

随着大数据时代的到来，数据挖掘技术的应用进入了

一个全新的阶段，所有的信息管理者都面临着同样一个问题:

将简单而直接的信息共享活动转换为更为高级的信息价值

的共享，即需要对自身所掌握的信息的价值有清晰的掌握和

准确的理解，对应到档案工作者的现状上，即档案工作者仅

仅了解自己在管理哪些档案并提供服务利用，已经无法适应

大数据时代对档案服务利用的要求了，而需要能够了解自己

所掌握的档案能做什么，所提供的档案利用服务所实现的是

什么功能，也就是要明确所掌握的档案的价值。这需要对档

案利用服务的认识有更加深入的认识，在大数据时代的背景

下，由于对信息价值提取效率的提升，对于信息价值的共享

将成为所有信息服务利用的主流趋势，这对档案服务利用工

作将是全新的挑战，这不仅仅要求能够灵活地运用大数据技

术在整合档案数据的基础上挖掘其中蕴含的价值，更加需要

档案工作者对于信息价值有着更为敏感的〃嗅觉〃。

四、大数据对档案工作带来的挑战

(-)如何嵌入数据挖掘环节

传统的档案管埋活动，最为通行的说法是包含收集、

整理、保管、鉴定、和提供利用六个主要环节，这六个环节

组成了基本的档案管理活动，并组成了一次完整的信息从收

集到提供利用的过程。在大数据的时代背景下，对于档案管

理活动提出了新的要求，即主动地挖掘其中的价值并提供利

用服务，这就涉及到一个流程嵌入的问题，即数据挖掘环节

应该通过什么样的方式嵌入到档案管理活动中来，是作为一

个单独的环节嵌入到档案的管理流程之中，还是在传统的档

案管理活动的某一环节中实现数据挖掘的功能，直接关系到

档案管理活动流程的合理性。数据挖掘的嵌入问题，当档案

事业逐步步入电子文件时代之后，必须要解决的问题。

(二)如何保障档案信息的安全性

大数据对于档案信息的共享程度提出了更高的要求，

只有在档案资源高度共享的情况下，大数据技术框架下的云

计算平台才能发挥作用，真正实现档案信息价值的利用。但

随之而来，就是档案信息的安全性问题，如何解决在多类型、

多结构、高共享程度状态下的数据安全问题，已经显得十分

棘手。工作人员操作失误、设备及故障、病毒、黑客攻击等

对档案信息安全构成威胁的因素，在大数据的技术框架下，

所造成的威胁可能会被相应地放大。大数据时代的档案信息

的保密工作，其重心很有可能不再是保密体制的设计，而更

有可能是信息安全技术的有效应用。

（三）如何合理地进行系统建设投入

任何系统的建设，都遵循了螺旋式上升、波浪式前进

的规律[10],这就意味着任何系统的建设都需要考虑投入是

否合理