论大数据时代图书馆面临的挑战及应对措施.doc

论大数据时代图书馆面临的挑战及应对措施 张红英ZHANGHong-ying （西安科技大学图书馆，临潼710038） 摘要院本文从大数据的起源入手，简要介绍了大数据的定义及特征，分析了大数据环境用户信息需求的变化，提出了当前图书馆所面临的挑战及应对措施，探讨了构建大数据时代图书馆的信息服务模式，从知识服务迈向智慧服务，以促进图书馆事业的大发展。 关键词院大数据；图书馆；信息服务；服务模式 院G250.7院A院1006-4311（xx）27-0251-02 0引言 “大数据”（BigData）是继Web2.0、云计算、物联网之后，信息科技行业的又一次大变革。据国际数据公司（IDC）研究报告，xx年全球产生的数据量为0.49ZB（1ZB等于10亿个TB），xx年的数据量为0.8ZB，xx年增长为1.4ZB，xx年的数据更是高达1.8ZB，相当于全球每人产生200GB以上的数据1。xx年，全球的数据总量为2.7ZB（1ZB相当于10万亿亿字节）。2020年全球数据量将达到35ZB，为xx年的44倍2。数据的增长速度已经远远地超出了原有软硬件技术的承受能力，对这些数据的处理原有数据库已力不从心。可见，人类已迈入大数据时代。 1大数据的概述 1.1大数据的研究起源大数据的提出最早可以追溯到xx年9月自然杂志发表的文章BigData:ScienceinthePetabyteEra。大数据的概念则在xx年5月麦肯锡发布Bigdata:Thenextfrontierforinnovation，petition，andproductivity报告中提出，该报告指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。自此，大数据成为各行业关注和研究的热点3。xx年，联合国倡议项目GlobalPulse发布BigDataforDevelopment:challenges&opportunities报告，该报告主要阐述了大数据时代各国特别是发展中国家在面临数据洪流的情况下所遇到的机遇与挑战。同年3月，奥巴马政府启动“大数据研究和发展计划”，将大数据的研究和开发提升到国家战略的高度；与此同时，IT行业巨头，如Microsoft、IBM、Oracle等相继投入大数据信息处理技术的研究，并针对企业的决策支持、风险分析、自动化流程等方面推出相关服务。 1.2大数据的定义和特征大数据的定义各家有不同的看法，但无外乎3V、4V之争。IBM提出3V，认为大数据具备规模性（Volume）、多样性（Variety）和高速性（Velocity）三个特征：规模性是相对于数据量来说，大数据的数据量一般要达到TB级甚至PB级；多样性指数据类型繁多，包括结构化数据、半结构化数据和非结构化数据；高速性指数据创建、处理和分析的速度持续在加快。国际数据公司（ICD）提出4V定义：认为大数据还应当具有价值性（Value），大数据的价值往往呈现稀疏性。而IBM则认为大数据具有精确性（Veracity），主要是侧重于它在应对与管理某些类型数据中固有的不确定性的重要性方面。维基百科对大数据的定义：大数据是指利用常用软件工具来获取、管理和处理数据所耗时间超过可容忍时间的数据集。 简而言之，大数据是一个用来描述海量的结构化和非结构化数据的短语。其特性可用“4V+1C”描述，即数量庞大（Volume）、种类多样（Variety）、更新快速（Velocity）、真实准确（Veracity）和处理复杂（Complexity）。 2大数据时代图书馆面临的挑战 2.1资金问题信息基础设施决定了图书馆的存储和计算能力。为了适应数据量及非结构化数据的快速增长，存储及计算规模在不断增大，这就对图书馆软硬件设施提出了更高的要求，同时对计算机集群的维护也带来了挑战，在各种成本急剧上升的情况下，图书馆在资金方面将面临巨大的压力。 2.2读者服务大数据时代，用户的需求是无界的，任何人在任何时间、任何地点，使用任何数字化设备就可以获得所需要的任何知识。目前还没有实现用户便利最大化，不能完全满足用户的需求。未来图书馆在做好文献服务、信息咨询等传统服务的同时，可以向信息处理和数据分析等知识服务方向扩展。因此，我们要不断创新，不断地更新观念，力争为读者提供更好、耿全面的服务。 2.3资源结构据统计，当今世界结构化数据增长率约为32%，而非结构化数据增长率则是63%，至xx年，非结构化数据占有比例已达到互联网整个数据量的75%以上14。可见，结构化数据在大数据中仅占小部分，而非结构化数据则具有持续性价值。图书馆虽然构建了各种数据库，实现了信息资源、馆藏的数字化，但与实体图书馆资源有同质化现象，资源重复建设问题严重，资源建设结构不是很合理。 2.4隐私和信息安全问题大数据时代，用户的个人信息、行为偏好等很容易被获取，个人隐私很容易遭到泄露。随着获取和分析能力的提高，零散数据中有价值的信息很容易被发现和利用，信息安全变为不可控安全管理。隐私和信息安全将成为挑战性问题。 2.5人才培养问题据麦肯锡全球研究所去年的调查报告显示，目前美国需要1419万名具备“深度分析”专长的研究人员，而对具备数据知识经理的需求超过150万名。数据分析人才的短期问题可见一斑。 3面对大数据图书馆应采取的措施 大数据时代已悄然来临，图书馆作为一个生长着的有机体，面对各种挑战图书馆必须只有相关的应对措施才能不会立于被动地位。 3.1制定大数据战略根据发展趋势，制定发展战略规划。随着科技的发展任何先进设备都会落后，因此，基础设施的兼容性、扩展性必须重点关注，对主要的信息设施要制定大数据规划，协调构建具有大数据特色的知识服务计划，探索其构建模型、业务模型、知识服务模型及技术模型等。 3.2加强特色资源建设随着信息产业的发展，资源种类日益增多，导致严重的资源同质化现象。在平衡馆藏投资的过程中，特色馆藏是图书馆的重要组成部分，也是图书馆的核心要素之一，为图书馆提供很多机会，在突出其特色的同时也帮助其完成教学、科研等任务。大数据时代，要不断利用数据的挖掘、整合、分析等技术，围绕自身特色进行数据采集，建立特色数据库，并及时对数据进行更新。 3.3提供更好的信息服务信息服务是图书馆服务的主要内容之一。大数据时代，用户需求的更加多样化，对服务价值的期望值更高，因此图书馆员必须掌握各种各样的数据分析方式。图书馆不仅要通过结构化数据了解用户享受了图书馆什么服务，更需要利用非结构化数据、半结构化数据在图书馆用户的服务关系中去挖掘正在发生什么、预测和分析将来会发生什么。以便更深入的了解用户需求，更好的应对面临的危机和挑战。 3.4保护用户隐私和信息安全大数据时代各种信息、隐私很容易被泄露。我们必须加大对网络安全的投入，建立信息安全风险评估模型，对潜在的各种风险进行预测，同时也要加大对用户信息的保护。只有具备良好的职业道德、完善的服务保障体系、熟练的业务能力、合理合法的数据利用和传播，才能达到既发挥大数据的技术优势，又不侵犯用户隐私的双赢目的。 3.5加大人才培养和引进力度美国研究图书馆协会提出，研究数据管理将成为下一代图书馆员的能力之一。大数据环境下，图书馆传统的管理模式、工作内容和工作方式都发生了很大的变化，为了拓展和完善优化图书馆的大数据分析、处理业务，我们必须改善基础设施、挖掘服务潜力、提高人才素质。人才是未来图书馆的基础，没有人才保障，“大数据”、“智慧图书馆”就是枉谈。培养一支懂技术、懂指挥、懂管理的大数据建设专业队伍势在必行。 4大数据时代图书馆的服务模式 服务是图书馆资源和用户之间的桥梁。伴随着信息化的发展，图书馆的服务模式也将发生改变。可以预见，图书馆的常态服务将从文献服务、信息咨询、学科服务转变为面向数据的数据分析和数据挖掘等服务。 4.1个性化信息服务个性化服务即定制服务，是图书馆根据用户的需求而提供的特色服务。图书馆要利用大数据技术，分析读者行为，建立个性化档案，实现细粒度个性化服务，更好的满足用户需求。 4.2一站式服务信息资源包括实体资源和虚拟资源，它们于不同的数据库和知识库，图书馆不可能收集到所有的信息资源，这就需要利用大数据技术，对数据进行快速搜集、分析，以便实现不同数据的整合，实现用户对数据的管理，从而为用户提供一站式服务。 4.3信息可视化服务为用户提供信息可视化服务是图书馆信息服务的发展趋势。信息可视化技术是是将抽象的数据通过技术处理形成直观形式，它是为数据分析、规律挖掘和决策服务的。通过信息可视化技术可以有效解决信息的提供和需求之间的鸿沟，提高用户对检索结果评价的速度。及时发现数据中有用的潜在的信息资源，为用户获取、整合、分析、利用信息提供便利。 4.4深度参考咨询服务大数据分析平台不光能够判断用户的需求，而且能够在后台为咨询馆员提供精确的参考答案，提高参考咨询的效率，为用户提供更有深度的参考咨询服务。 4.5信息推送服务信息推送服务是图书馆根据读者的需求，主动将读者所需要的信息内容推送到读者端（包括读者访问网页、读者电脑的应用程序、读者的移动设备等）。随着信息获取途径的简单化、多样化、智能化，人们希望获取更准确的信息，这就促使图书馆在个性化信息服务上进一步提高。通过用户的行为信息、网上浏览记录、借阅记录、个人信息等，分析和判断用户的真实需求和潜在需求，提供具有前瞻性的信息推送服务。 4.6学科知识服务学科知识服务是建立在知识服务和学科馆员制度基础上的。通过用户的信息需求对相关学科的信息进行釆集、存储、分析，找到用户需要的学科知识，并为其提供专业的知识服务。高校图书馆主要是以各专业师生和科研人员为服务对象的，他们所需