云存储在数字资源长期保存中的应用.doc

云存储在数字资源长期保存中的应用云存储在数字资源长期保存中的应用摘要：数字资源长期保存是通过对数字信息生命周期的管理，实现对数字对象的长期可生存能力、可呈现能力和可理解能力的维护，迁移技术已被认为是一种有效的长期保存策略。本文在介绍数字资源长期保存迁移概念的基础上，通过对云存储状态下的数字资源保存工作进行分析，并介绍云存储的技术架构和应用原理, 分析传统的云存储技术在数字资源长期保存应用中面临的挑战及云存储所采取的应对策略,进一步探讨云存在数字资源保存领域中的应用。关键词：数据保存；云存储；应用引 言可靠的存储环境是一个机构开展数字资源长期保存活动的基础保障。数字资源长期保存工作的关键在于维护数字信息的永久性和真实性，但其面临的数据丢失、介质故障、软硬件过时、结构错误等因素不断给数字信息的安全可靠带来严峻挑战。当前数字化进程的加快和数字资源的爆炸式增长，给人们带来便利的同时也给保存带来了危机，存储系统必须具备足够的存储空间以及灵活的可扩展性，才能长期应对海量数据的保存需求；数字资源长期保存任务繁重，任何一个机构都无法独立完成全部的保存任务，因此，数字资源的长期保存需要实现跨地域、跨机构的协同工作；为了保障数字资源的永久可获得性和可访问性， 数字资源长期保存还需要进行合理的备份和迁移；另外，开展数字资源长期保存的机构多数为图书馆、高校、科研所等非盈利性机构，有效降低人力、物力等成本也成为保存机构的基本需求之一。因此，从可扩展性、支持协同共享、支持备份和迁移、降低成本代价等几个方面出发，探索合理的存储解决方案，是数字资源长期保存领域的关键问题之一。云存储是在云计算( Cloud Computing)基础上延伸和发展出来的一个新概念，一经提出， 就得到了许多数字资源长期保存机构研究专家的关注，本文通过对云存储的技术架构和应用案例进行分析，进一步探索云存储在数字资源长期保存中的应用，为国内同行提供参考。1.数字资源的理论概述1.1数字资源的定义 关于数字资源的概念至今在该领域还意见不一，未有一个定性、权威性的说法。该领域的相关人员通过各自所处的层面对其做了概括，而数字资源又叫做电子资源，有的提出数字资源属于文献内容的一种表达方式，具体的是把相关的多媒体技术、通信技术和计算机技术融为一体，以此构造出的所有的信息资源，并且这些信息资源都是通过数字的方式来发布、获取、存储以及使用的。而在本篇文章中，数字资源定义为多媒体、通信、电脑等技术通过单机或者是网络来输送或者是保存的所有数字信息，这些数字信息主要保存在磁盘、光碟等载体里面。1.2数字资源长期保存的策略1.2.1技术策略 在对数字资源的存贮中，具备基本的数字资源存储能力是其前提条件，另外还要凭借一定的保护手段，使其具备可以呈现的能力以及能够被人们理解的能力。由于被存储的资料从内容到结构都是存在差异的，因此它们的相关性质也有差异，对存储要求也有着不一样的标准。另外，保存方式技术的选用中，其数字信息的可以理解的能力、可以呈现的能力以及其生存的能力也将对其产生影响。现在技术保存、迁移以及仿真是人们比较熟悉的三类存储技术，它们都有自己先进的地方和不足之处。1.2.2管理策略数字资源长期保存标准体系中的标准就是利用相互之间协调商议成立的通过专业组织承认的文字性协议，该文件是对于数据存储行为做出的制度化规定。然而，它只是一种文字意义上的准则，标准不断的处于变化之中，是在各个领域中必须的。其中，对于数据信息长时间储存标准的确立具体有以下几点要求： 一是元数据资源的长期保存标准；二是数字的分布结构长期保存标准。另外，因为对于数据的有效存储会关系到有关的法律道德、政策制度等问题，所以，要想实现数据的长时间存储需要各个层面采用多种方式的联合与帮助。为了有助于有效信息资源的长时间储存与运用，让用户使用信息的过程更加的真实合理，需要成立一致的数据信息的档案化管理体系，确保数据资源能够长时间的使用。成立数据信息的档案化管理体系能够让各个分离的数据信息管理中心统一的结合，依照档案归类的模式对于数据信息实现方便化使用与操作。2.云存储的技术架构2.1云存储的定义 所谓的云存储，就是利用信息技术或者数据信息系统等方式，通过信息软件把互联网中所有不同类别的储存装置组合在一起共同协调完成工作，并实现外界数据信息的有效储存以及访问职能的网络系统。信息应用软件和储存装置的组合是云存储提供服务的关键，利用应用软件完成储存转向储存的服务。云存储的产生意味着存储范围不断的扩大并逐渐向公共服务的方面靠近，这在云存储的构造上是一个极大的转变，具有重要的意义与作用。2.2云存储的构造云存储是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同提供数据存储和业务访问功能的一个系统。从根本上说，云存储是网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分的组合，具体如表1所示：第一层访问层任何授权用户都可以通过标准的公用应用接口登陆云存储系统，享受云服务第二层应用接口层云存储最为灵活而且多变的部分，根据业务类型的不同来应对服务接口进行不同的开发第三层基础管理层云存储中最为核心的部分，通过集群、分布式文件系统和网络计算等技术，实现云存储中多个存储设备之间的协同工作第四层存储层云存储最基础的部分，有各种类型的储存设备组成表1：云存储分层结构首先，存储层通过广域网、互联网或者FC 光纤通道网络把数量庞大且地理上分散的各种物理设备组合起来，用虚拟化技术屏蔽掉底层的硬件差异，以资源池的方式对外提供服务，通过统一的管理逻辑和接口，进行存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护；其次，基础管理层的作用是通过集群、分布式文件系统和网格计算等技术保证各个存储设备之间协同工作，同时利用数据压缩、重复数据删除、数据加密等技术进行数据管理和安全管理。然后，应用层采用不同的云存储开发的不同的应用服务接口，提供不同的服务。最后，基于存储层、基础管理层和应用层的保障，用户在访问层不再需要了解底层的硬件设施类型、所存放的物理位置等细节，只需要获得云存储服务的授权，然后调用标准API就可以申请所需的存储空间，享受云存储上的各种应用服务。用户使用云存储时，可以选择公有云、私有云或混合云。公有云服务是由第三方云存储服务商提供，用户可以通过互联网访问服务，按需使用，按使用支付费用，典型的如Amazon的S3、EMC 的Atoms、Backspace、Nirvana等；私有云是在企业内部搭建的云存储环境，面向内部用户或者外部客户提供存储服务，企业拥有整个存储环境的自主权，并可基于自己的需求改进服务。混合云是把公有云和私有云结合在一起，在需要临时配置存储容量的时候，从公有云上划出一部分容量用作私有云存储，能够保持用户所用的存储是独立的。3. 云存储在数字资源长期保存方面的优势分析为了有效保障数字资源对象在整个数字生命周期内的完整性、真实性和可理解性，数字资源长期保存系统必须具备更高的可靠性和可信赖性。目前，在面对PB级的海量存储需求时，传统存储方式的缺陷愈见凸显，不仅在容量和性能的扩展上会存在瓶颈，在性能上、经济成本上也不能够满足当前的需求。而云存储具有自身独特的优势：可以动态、灵活地进行扩展和配置，使存储资源以分布式共享的形式存在，通过网络将软硬件资源提供给用户按需使用。这些特征决定了云存储方式不同于传统的存储方式, 将为数字资源存储领域带来更大的便利。3.1支持海量存储以及动态扩展传统的DAS和SAN使用块数据存储，并利用分离的文件系统或数据库管理支持串行扩容，在系统规模较小时性能较好，但是随着数字资源数量的不断增大，存储性能会受I/O服务瓶颈制约而降低。云存储集成使用了支持大规模存储的集群技术、P2P技术和网格技术，允许存储服务器和存储节点同时增加，进行并行扩容。因此，在扩展时不会遇到兼容性的问题，存储的性能还会随着节点的增加而无缝增长。另外，云存储实现了资源的集中监控和动态管理，每个应用所使用的存储空间可随意伸缩、实时调整。因此，在开展数字资源长期保存任务时，机构可以根据保存的资源状况，在初期申请较小的存储空间开展试验性研究，随着保存资源的增加，动态调整存储空间大小。因此，不必担心系统在存储上的可扩展性问题，也避免了原来由于存储空间长期空闲而造成的资源浪费。3.2可以协同保存在使用传统的DAS存储方式时，数字资源往往被隔离在单个保存机构内部， 不能实现协同工作和资源共享；NAS方式虽然通过LAN在一定程度上实现了跨异构平台的文件共享存储，但性能可能会受限于TCP/IP网络。云存储是将分布在各地的大规模硬件设施进行抽象，通过虚拟技术强化数据保护机制和管理功能，在节点之间提供分布式锁管理和缓存一致性功能，然后通过集中元数据控制存储节点，形成一个多存储设备、多应用、多服务协同工作的共享存储虚拟架构。因此， 在云存储环境中，分布在不同地域的机构不需要太高的技术要求，只需要通过网络，就可以进行服务的创建、发布、执行和管理，轻松、高效地实现与其他机构的协同工作和互补式资源共享，有利于数字资源长期保存任务的分担和服务能力的增强。3.3高效备份和实时迁移传统方式是使用磁盘或磁带库进行备份，备份效率差，管理也极其复杂。如果要实现异地备份，则需要耗费更多的代价；在对发生介质故障或介质过时的硬件实施媒介刷新或硬件迁移时，也往往需要中断系统服务，进行复杂的硬件部署。云存储的物理设备可能分布在世界上的不同地点，通过虚拟化将硬件资源进行逻辑抽象，划分给各个逻辑分区，并保证逻辑分区之间的隔离，同时提供各个分区之间的通信功能。因此，云存储可以以服务方式根据用户需求高效地执行备份策略，方便地帮助用户形成多个异地备份。在实施迁移的过程中，由于在真实的物理资源之上进行了抽象，因此将虚拟机的运行状态从一台物理服务器迁移到另一台物理服务器的整个迁移过程是平滑的，用户不会察觉虚拟机在池内的自由移动，也不需要像原来的物理服务器那样关闭服务器和中断系统服务，从而为数字资源长期保存系统实施硬件升级提供了更好的方式。3.4降低成本代价传统的DAS方式初始成本比较低，即使采用大容量、高性能的磁盘阵列，其部署成本也通常在几万元以下，因此适合刚刚开展数字资源长期保存研究的资金比较匮乏的机构采用；NAS需要采用硬盘驱动器阵列、磁带驱动器或可移动的存储介质等存储器件和专用服务器，成本代价稍高；SAN使用专用的光纤通道交换机和管理软件，在拥有相同的存储空间时，其成本比DAS和NAS还要高很多；集群、P2P和网格存储都是利用系统网络中散布的大量普通节点进行大规模运营， 允许节点之间存储设备的差异化，存储管理的复杂性较低，能够带来很大的成本节约，但仍需要机房、硬件设备、电力、人员等运行维护费用。相比之下，云存储从初期投资、运行维护两个方面降低了成本。首先，由于云存储可以动态扩展， 灵活配置，数字资源长期保存机构可以根据实际需求申请存储规模，不需太多初期投资就可以迅速开展保存任务；其次，由于不必拥有存储基础设施，用户无需对存储底层进行管理和维护，也不再需要机房、硬件设备、制冷设施等，相比于传统的存储方式降低了能耗。虽然云存储具有诸多优势，但目前许多数字资源长期保存机构并没有正式把大量数据移交到云存储平台上。4.云存储在数字资源长期保存中的挑战因为将保存的数据放到云端，在获得更多便利的同时，将不再控制数据存储的物理位置，所有数据的访问将依赖于云存储商所提供的服务，这甚至意味着对数字资源的保存责任的部分转移，也将带来数据隐私保护和安全上的隐忧：4.1数据的隐私性数字资源长期保存的资源类型既包括可以在网络上开放获取的资源, 也包括期刊论文等。对于后者, 往往只有订购数据库的用户才能够访问, 并且需要受到版权的保护。如果将这些类型的数据内容以远程方式存放到云端, 必然会引发用户对数据隐私保护的担忧。目前, 在云存储技术研究领域, 有研究者提出可以通过加密或文件”碎片”方式阻止未经授权用户的非法访问, 但这是否适用于数字资源长期保存的流程、是否还能够保证数据的完整性, 有待于进一步研究。4.2数据的安全性数字资源长期保存任务是尽量保证数据内容的零损毁，在云端存储的数据丢失后，云存储服务商可以通过资金赔付方式补偿，但是却不能够为用户找回丢失的数据。因此，数字资源长期保存机构在使用云存储过程中应该建立冗余和备份计划，如将云存储作为替代磁带备份的辅助存储池来使用，或者同时使用两个或多个云存储平台。综上所述，传统的存储技术在应对数字资源长期保存挑战时存在局限，而云存储能够解决其中的一些问题，表现出一定的优势，提供了一种可能的解决方案。但是，由于云存储技术目前尚不够成熟，其可能存在的挑战成为各个机构采用云存储开展数字资源长期保存时不得不考虑的问题。5.云存储在数字资源长期保存方面的策略分析 5.1 加强信息资源的安全性 云存储作为一种数据资料信息的存储机构，本身也具有一定的风险性质，因此用户在进行存储机构选择的时候，如果要把数据资料存储在云存储这个机构之内，就要先充分的考虑其存在的风险，然后谨慎的对云存储服务平台进行选择，选择自己信得过的存储服务平台。存储用户需要根据云存储服务商的规模大小、以及商业信誉来进行选择。用户可以通过一种基于内容感知的技术来决定和设置哪些数据能够上载，哪些数据不能够上载，一旦察觉一些敏感数据传到云端，系统会在第一时间进行拦截和报警。 云存储机构应该注重用户的数据资料的保密工作，用户自己也应该加强数据资料的安全意识。所以，只有加强用户的安全意识才能降低数据资料受到威胁的可能性。用户可以通过以下措施才进行数据资料的安全保障工作：用户对于自己的特别重要文件要自己保管，不用运用云存储来进行存储；在一些公共场所和一些人多的地方，确保密码不会被泄露；在密码方面用户最好每隔一段时间就原有的密码更换掉。在云存储保证用户数据资料安全上，利用加密技术。随着当今高科技的发展，前互联网领域里的安全技术也在不断的更新和完善。互联网领域在软件和硬件上都有了很好的发展。包括：数字加密的技术、动态密码技术通过 X.509 标准的PKI与PMI体系来完成；通过各种安全技术，作到对各种病毒进行防御的措施、对数据资料访问权限的限制、利用防火墙来防止非法数据的入侵和攻击等。 5.2充分认识产权认证的重要性 云存储带给现行版权法律制度的一个较大冲击，就是复制权问题的争议。亚马逊与谷歌在推出音乐云服务之后，都因与唱片公司合作问题引来麻烦。亚马逊、谷歌音乐云服务以及与之类似的云服务，当涉及到版权作品时，一定会涉及复制行为。另外，在云存储和相关服务当中，技术细节可能不一样，这就会导致服务提供商在复制过程中所扮演的角色也有不同的认定，对案件的结果产生实质影响。 通常来说，临时性的复制行为并不涉及到复制权。然而在云存储技术上，这种普遍的认识遭到了怀疑；用户一般就是有需求性，才会安装软件进行使用，一旦目的达到，就会将其关掉，这种行为并不属于客户端复制行为，但是用户确确实实使用了这个软件，这是不争的事实。除此之外，私人永久复制问题也是一个比较受质疑的问题，用户使用录像机复制电视节目，保留下来供自己在其他时间观看，这符合合理使用标准。但在云存储环境下，用户有可能在录完电视节目之后存储在云网络系统下，随时可能和别人分享，这个时候就不一定是合理使用。即使是合理使用，可能也要设置各种各样的限制条件。 5.3加强数字资源长期保存相关法律建设 在数据信息的建立过程中出现的有关知识权等有关问题，在国家的基础上成立有助于相关的数据存储的规定建设机制，使数字资源的长久保存不但有助于数据信息的存储，维护使用者的权利，同时能够保障知识产权所有者的权利，使各种利益关系之间能够平衡的发展。在以后对于数据信息的收集和存储活动里，在履行有关法律规定要求的同时，还需要对于以下知识权的归属问题提出具有针对性的解决方式： 首先，对于文章著作的监管体制进行完备；在对于数据信息收集和存储的过程中较为突出的问题就是文章著作的版权问题。在图书馆对于数据进行收集的过程中需要管理的数据信息量较大，对其实现有效管理存在一定的难度；当前，经过国家的有关部门审核通过的著作权里代理部门达到二十多家，使得网络数据信息资源的发展更为规范。 其次，强化同版权所有者之间的联系。尽管在实际的使用中能够利用对于有效地采用对于有关制度的修改订正处理某些数据信息长时间存储与使用过程中产生的知识的产权所有权侵犯的问题，然而，由于法律对于正