浅议档案大数据

浅议档案大数据摘要：本文以大数据概念为切入口，简要介绍了档案信息资料与大数据的关系、档案大数据产生的过程、档案大数据给档案管理工作带来的挑战，以及档案资料的数据挖掘等内容。关键词：大数据、档案资料、知识管理、数据挖掘引言计算机的诞生标志着电子时代正式开始，从此人类社会开始生产并存储各类型的数据，并进入信息社会。经过数次信息技术革命，单位面积所能存储的数据量大大提高。近年来，随着互联网信息源的不断膨胀，大规模非结构化数据开始呈现出几何增长。因此，麦肯锡公司，对这种密集型数据爆炸的现象成为“大数据（BIGDATA）”时代的到来。维基百科定义大数据为“网络公司Et常运营所生成和积累用户网络行为”，大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。大数据对国家的治理模式、对企业的业务模式、组织和业务流程、对个人生活都将产生巨大的影响。随着整个世界逐步步入大数据时代，也给档案管理工作带来了翻天覆地的变化，特别是针对海量信息资源的价值挖掘和高效利用。大数据有四个特征：Volume（大量）：指可用于挖掘开发的数据量巨大，传统的信息处理技术与存储已无法适应如此指数级别的数据增长速度，据悉全球在2010年正式进入ZB时代，到2020年，全球总共拥有超过35ZB的数据量；Variety（多样）：数据类型繁多，来自多种数据源，包括结构化数据、半结构化数据和非结构化数据等，如网页浏览记录、访问日志、设计媒体、互联网通信等；Velocity（高速）：数据实时生成，用户不仅需要通过数据了解已经发生的事情，更需要利用数据及时预测将要发生的事情，面对海量数据，处理时效性与企业发展攸关；Value（价值性）：价值密度低，商业价值高，单条数据和样本数据不会直接产生较大的效益，或者说根本不会产生效益，我们需要采用合适的方式进行数据提取，以最大限度实现数据价值挖掘。1、什么是档案大数据简而言之，档案大数据就是档案资料数据量巨大且无法通过简单的信息技术进行有效加工处理的信息集合。我们通常理解为大量非结构化数据（包含所有格式的办公文档、文本、图片、图像和音频/视频信息等）和半结构化数据（结构化方面缺少统一规律的数据），这些数据在获取并用于分析时会花费过多人力物力。档案大数据的意义不在于掌握庞大的数据信息，而在于对这些有较高价值的数据进行专业化加工。如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。也就是我们不仅要拥有一座矿山，还要通过各种手段发掘、开采、提炼出高价值的产品。方法和手段不一样，产出的价值是不同的。2、档案大数据的产生过去，档案检索主要依靠人工著录、结构化检索。随着信息技术的不断进步，计算机辅助档案管理使档案管理变得便捷和高效。档案数据主要来源于两个方面：一是各业务部门通过业务流程系统产生的业务数据转化为档案数据；二是档案管理部门通过人工搜集、分类、整理、归档转化的档案数据。信息技术条件下业务系统产生的档案数据具有及时、广泛、数据量大的特点，同时信息化的业务流程系统的启用也较大的改变了档案工作的价值定位，档案管理前端控制理念可以更为恰当的运用于档案数据生成环节，将档案管理要求根植于数据生成阶段，在一定程度上确保了档案数据的规范、准确。另外，业务流程的普遍信息化业极大的缓解了档案工作的劳动强度，将其从信息著录、数据核对等纷繁复杂的工作中解脱出来，为进行档案数据的价值深加工提供了契机。档案部门除了利用业务活动收集档案数据以外，还采用人工方式生成档案数据。比如将馆藏实体档案通过数字化加工转化为档案数据，在企业中最为常见的就是在经营活动中产生的各类纸质文档、特殊介质档案以及实物档案等。3、档案大数据给档案管理工作带来的挑战3.1、档案资料检索如何实现身处于大数据时代的洪流中，档案工作与档案工作者如何快速而准确把握信息时代跳动的脉搏，深层次洞察大数据带来的巨大价值，将是十分迫切与必须的。在大数据时代下企业在各种业务活动中产生的数据和信息呈爆炸性增长，最终作为档案保存下来的文件也相应的增长。与过去信息贫乏的时代不同，在电子文件广泛利用和互联网高度发达的今天，信息泛滥同样给利用带来了困难，面对巨量信息，也许我们需要的仅是一小部分。在过去，档案检索主要依靠索引目录、主题查询等，随着信息技术的进步、数据库技术的发展，模糊查询以及全文检索的应用使档案管理变得更为快捷和方便。但是在大数据时代，档案数量急剧增长，甚至出现了档案数据“冗余”的问题。随着档案信息化建设的不断推进以及数据量的进一步增大，在进行档案查询时，往往需要的信息会被埋没在大量的不需要的数据中，并且检索性能急剧下降，甚至无法响应。因此，如何在大量的档案中快速而准确地找到所需的信息，是档案管理工作需要解决的首要问题。3.2、档案资料如何向知识资产转化知识管理是档案管理发展的趋势和方向，档案用户已不满足于仅限于数据或文件的利用，更希望能够获得数据背后的信息以及信息蕴藏的知识。因此，档案利用服务也应由提供数据、信息转变为知识供给、智力支持。然而，知识不是显性存在的，也不是简单地存在于数据资料中，特别是蕴含在档案中的知识，需要经过充分加工和深度挖掘才能展示出来。如何在海量数据中提炼有价值的信息和知识并提供给用户，是档案利用服务工作今后发展的方向。依靠人工处理、提炼知识，在传统纸质档案时代且数量较少的情况下还可实行，但在大数据时代海量档案存在、非结构化数据盛行的今天则会变得心有余而力不足。因此，依靠信息技术进行数据加工、知识提纯才是解决之道。4、档案资料数据挖掘数据挖掘，顾名思义就是从大量的数据中挖掘出有用的信息，即从巨量的、不充分的、有干扰的、随机的、模糊的数据中，提取隐含其中的规律性的、未知的、有利用价值的信息和知识的过程。数据挖掘是一个在海量数据中利用各种分析工具发现数据相关关系的过程，它可以帮助决策者寻找数据间潜在的某种关联，发现被隐藏的、被忽略的因素，因而被认为是在这个数据爆炸时代解决信息贫乏问题的一种有效方法。传统的档案信息管理一直停留于档案目录管理、分类、归档、存储及简单的统计查询，档案大数据的关键信息需通过一定的技术方法提取，并针对提取出的有效信息根据一定的规律进行挖掘。只有满足不同档案用户的信息需求，数据挖掘技术才会发挥巨大作用。在海量的档案信息挖掘中主要采用文本数据挖掘技术，这相当于文字分析，一般指文本处理过程中产生高质量的信息。文本数据挖掘的基础领域，包括机器学习、数理统计、自然语言处理，在此基础上是文本数据挖掘的基本技术，包括文本信息抽取、文本分类、文本聚类、文本数据压缩、文本数据处理；文本挖掘有两个主要应用领域，信息访问和知识发现，信息访问包括信息检索、信息浏览、信息过滤、信息报告，知识发现包括数据分析、数据预测。总之，我们可以把对文本数据的分类、融合、压缩、摘要以及从文本中抽取发现知识与信息都看作是文本数据挖掘。通过这些技术使得我们在搜索档案资料时从大数据范围变成从小范围，从而提高其效率和准确率。档案管理用数据说话，大数据是一个很重要且很时髦的概念，代表了信息技术领域很重要的发展趋势，也给档案管理的未来发展指明了方向，这似乎表明利用大数据的大门在不久的将来就会打开，但一切并非水到渠成，需要我们档案管理人员持续的努力和不懈的追求。面对海量数据，档案管理人员必须成为档案资料价值发现的专家。在大数据时代下，档案管理人员成为数据科学家将是一种可能，这也为档案管理工作提供了一个巨大的价值创造入口。面对大数据的浪潮，档案管理人员不要做旁观者，要敞开胸怀，积极地拥抱和融合，借用人类学家克利福德的一句话“努力在可以应用、可以拓展的地方，应用它、拓展它；在不能应用、不能拓展的地方，就停下来”，档案大数据时代，我们在路上。[1]兰祝刚惠英李刚.大数据时代下的档案工作[J].档案科技，2013(9)：74-75.[2]钱贺斌.数据挖掘-大数据时代的重要工具[D].成都：四川师范大学，2013:1-2.[3]高茂科.对档案大