云存储技术的介绍与发展

1、云存储技术的介绍与发展摘要云存储是在云计算(cloud computing)概上延伸和发屐出来的 一个新的概，是指通过集群应用、网格拄术或分布式文件系统等功 能，将网络中大各种同类型的存储设备通过应用软件集合起来协 同工作，共同对外提供数据存储和业务访问功能的一个系统。本文以 云存储拄术的现状、发屐趋势、架构、等方面对其进介绍。正文一、么旻云存储，与传统存储有么异版云存储是在云、计算概上延伸和发屐出来的一个新的概，是并 通过集群应用、网格技术或分布式文件系统等功能，将网络中大各 种同类型的存储设备通过应用软件集合起来协同工作，共同对外提 供数据存储和业务访问功能的一个系统。当、计算系统运算和处

2、 的核心是大数据的存储和管时，、计算系统中就需要配置大的存储设备，那么、计算系统就转变成为一个、存储系统，所以、存储 是一个以数据存储和管为核心的、计算系统。当我们使用某一个独的存储设备时，我们必须非常清楚这个存 储设备是么型号，么接口和样输协议，必须清楚地知道存储系统 中有多少块磁盘，分别是么型号、多大容，必须清楚存储设备和 服务器之间采用么样的连接线缆。为保证数据安全和业务的连续性，我们还需要建相应的数据备份系统和容灾系统。除此之外对 存储设备进定期地状态监控、维护、软硬件新和升级也是必须 的。如果采用云存储，那么上面所提到的一对使用者来讲需要。云状存储系统中的所有设备对使用者来讲是完全透

3、明的，任何地方的任何一个经过授权的使用者可以通过一根接入线缆与云存 储连接，对云存储进数据访问。云存储是存储，而是服务就如同云状的广域网和互联网一样，云存膏对使用者来讲，是 布某一个具体的设备，而是指一个由许许多多个存储设备和服务器所 构成的集合体。使用者使用云存储，并是使用某一个存储设备，而 是使用整个云存储系统带来的-种数据访问服务。所以严格来讲，云 存储是存储，而是一种服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实 现存储设备向存储服务的转变。二、解三言储的发展现状IDC研究表明，从2006到 2010，全球信息总将增长 6倍 以上，以161EB增加到988EB(1EB=

4、1024PB)。-些新推出的磁盘阵 中已经普遍采用 750GB或1TB的SATA硬盘。目前已知存储密最 高的磁盘阵可以在 4U空间内提供高达42TB的存储容，这在以前 是根本无法想像的。最新-代LTO-4磁带的单盒磁带存储容也达到1.6TB(压缩比为2 ： 1)。技术的断进步必将推动存储向高容发展，而重复数 据删除、压缩等技术的引入，可以进一步提升存储空间的用。以 性能方面看，FC磁盘阵已经逐步过渡到 4Gb时代，而8Gb FC又在 向数#中心用户招手；万兆IP存储再 是纸上谈兵；在 InfiniBand 领域，已经有厂商推出 40Gb InfiniBand适配器产品。现有的网络存储架构，比如

5、SAN或NAS还能够有效支撑无处在 的云计算环境吗？有人表示怀疑。其主要论据是：面对pb级的海 存储需求，传统的SAN或NAS在容和性能的扩展上会存在瓶颈；云 计算这种新型的服务模式必然要求存储架构保持极低的成本，而现有 的一些高端存储设备显然还能满足这种需求。以谷歌公司的实践来看，它们在现有的云计算环境中并没有采用 SAN架构，而是使用 可扩展的分布式文件系统 Google File System(GFS)。这是-种高效的集群存储技术。近几 逐渐兴起的集群存储技术，仅轻松突破 SAN的性能瓶颈，而且可 以实现性能与容的线性扩展， 这对于追求高性能、高可用性的企业 用户来说是-个新选择。随着一

6、些专注于集群存储业务的厂商，比如Panasas、Isilon、 龙存科技等在中国市场的快速发展，集群存储技术的应用会加普 及。虽然集群存储在处非结构化数据方面优势十分明显，但以目前 情况看，集群存储太可能在短时间内完全取代传统的网络存储方 式，SAN和NAS仍会有用武之地。需要强调的是，虚拟化是实现云计算远景目标的一顼核心技术， 因为云计算本身就是一个能提供虚拟化和高可用性的新一代计算平 台。以目前的市场情况看，服务器虚拟化已经是如火如荼，而存储虚 拟化的发展相对慢-些。2007底，EMC推出 SAN存储虚拟化产品Invista2.0。与上一 代产品相比，Invista 2.0支持的存储容扩大

7、 5倍，进一步提升 可用性，强化数据保护机制和管功能，提高使用效，增强可扩 展性。此外，Invista 2.0还通过 VMware认证，可以让用户在VMware 的架构中妥善地管、分享和保护信息。存储公司3PAR营销副总裁Craig Nunes表示：“为有效支持云 计算，基础架构必须具备几个关键特征。有先，这些系统必须是自治 的，也就是说，它们必须内嵌自动化技术，消除人工部署和管,允 许系统自己智能地响应应用的要求。如果系统需要人为干预来分配和 管资源，那么它就能充分地满足云计算的要求。其次，云计算架 构必须是敏捷的，能够对需求信号或变化的工作负载做出及时反应。 换话说，内嵌的虚拟化技术和集群

8、技术，必须能够应寸业务增长或 服务等级要求的快速变化。如果系统需要花几个小时、几天或几个星 期的时间来响应新的应用或用户需求，那么这个系统也就能满足云 计算的要求。SaaS也是Storage as a Service的缩写，意为存储即服务。在 云计算环境下，存储再是冰冰的硬件设备，而是一种服务。 这会会改变今后用户的存储采购方式，以采购硬件转变为购买存储 服务？ Craig Nunes表示：“在大型企业内，管是采用云计算模式 还是自建一个公用数据中心，终端用户的IT要求终将以服务方式来 满足。三、实施云存储面临的问题和夹晋的关键技术云存储系统是一个多设备、多应用、多服务协同工作的集合体， 它的

9、实现要以多种拄术的发展为前提。1、宽带网络的发展真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍 布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备 来连接云存储，而是通过 FC、SCSI或以太网线缆直接连接一台独 的、私有的存储设备上。只有宽带网络得到充足的发展，使用者才 有可能获得足够大的数据传输带宽，实现大容数据的传输，真正享受到云存储服务，否则只能是空谈。2、WEB2.0 技术Web2.0拄术的核心是分享。只有通过web2.0拄术，云存储的使 用者才有可能通过PC、手机、移动多媒体等多种设备，实现数据、 文档、图片和视音频等内容的集中存储和资共享。Web2.0拄

10、术的 发展使得使用者的应用方式和可得服务加灵活和多样。3、应管存储的发展云存储仅仅是存储，多的是应用。应用存储是一种在存储设音中集成应用软件功能的存储设备，它仅具有数据存储功能，还 具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存 储技术的发展可以大减少云存储中服务器的数， 从而低系统建 设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传 输环节，提供系统性能和效，保证整个系统的高效稳定运。4、集群拄术、网格技术和分布式文件系统云存储系统是一个多存储设备、多应用、多服务协同工作的集合 体，任何一个单点的存储系统是云存储。既然是由多个存储设备构成的，同存储设备之间就需要通过

11、集 群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间 的协同工作，使多个的存储设备可以对外提供同一种服务，并提供 大强好的数据访问性能。如果没有这些技术的存在，云存储就可能真正实现，所谓的云存储只能是一个一个的派系统，能形成 云状结构。5、CDN内容分发、P2P拄术、数据压缩拄术CDN吝分发、P2P技术、数据压缩技术、重复数据删除技术、数 据加密技术、CDN吝分发系统、数据加密技术保证云存储中的数 据会被未授权的用户所访问，同时，通过各种数据备份和吝灾技术 保证云存储中的数据会丢失， 保证云存储自身的安全和稳定。如果 云存储中的数据安全得到保证，想来也没有人敢用云存储，否则， 保存

12、的数据是很快丢失，就是全国人民知道。6、言储虚拟化拄术、言储网络化管拄术云存储中的存储设备数庞大且分布多在同地域，如何实现同厂商、同型号甚至于同类型（如 FC存储和IP存储）的多台 设备之间的逻辑卷管、存储虚拟化管和多等冗余管将会是一 个巨大的难题，这个问题得到解决，存储设备就会是整个云存储系 统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容 和性能扩展难等问题。云存储中的存储设备数庞大、分布地域广造成的另外一个问题 就是存储设备运营管问题。虽然这些问是对云存储的使用者来讲根 本需要关心， 但对于云存储的运营单位来讲，却必须要通过实可 和有效的手段来解决集中管难、状态监控难、故障维护

13、难、人 成本高等问题。因此，云存储必须要具有一个高效的类似与网络管 软件一样的集中管平台，可实现云存储系统中设有存储设备、服务 器和网络设备的集中管和状态监控。四、三存储的架杓云存储是一种架构，而是一种服务。你是否拥有或租赁这种 架构是一个或要问题。以根本上来看，通过添加标准硬件和共享标准 网络（公共互联网或私有的企业内部网）的访问，云存储很容扩展云 容和性能。事实证明，管数百台服务器，使得其感觉上去就像是 一个单一的、大型的存储池设备是一顼相当具有挑战性的工作。早期 的供应商（如Amazon）承担这-重任，并通过在线出租的形式来和 。其它供应商（如Google）雇用大的工程师在其防火墙内部来

14、 实施这种管，并且定制存储节点以在其上运应用程序。由于摩尔 定 （Moore s Law）压低磁盘和 CPU的商品价格，云存储渐渐成 为数据中心中一顼具有高突破性的技术。这十夹，集群 NAS系统已经出现好转。本文综述构建一个 云存储或大规模可扩展的NAS系统的各种同架构方法，对于那些寻 求构建私有云存储以满足其消费的企业IT管者或是-寸于那些寻求 构建公共云存储产品从而以服务的形式来提供存储的服务提供商夹 说，这些方法与他们息息相关。架构方法分为两类：一种是通过服务 来架构；另一种是通过软件或硬件设备来架构。传统的系统用紧耦合对称架构，这种架构的设计旨在解决 HPC（高性能计算、超级运算）问题

15、，现在其正在向外扩展成为云存储 从而满足快速呈现的市场需求。下一代架构已经采用松弛耦合非寸 称架构，集中元数据和控制操作，这种架构并非常适合高性能 HPC， 但是这种设计旨在解决云部署的大容存储需求。各种架构的摘要信 息如下：1）紧耦A寸称（TCS）架杓构建TCS系统是为解决单一文件性能所面临的挑战，这种挑战限 制传统 NAS系统的发展。HPC系统所具有的优势迅速压倒存储， 因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。 业内对此的回应是创建用TCS架构的产品，很多节点同时伴随着分布式锁管 （锁定文件同部分的写操作 ）和缓存一致性功能。这种解 决方案对于单文件吞吐问题很有效，

16、几个同业的很多 HPC客户 已经采用这种解决方案。这种解决方案很先进，需要一定程的技 术经验才能安装和使用。2）松弛耦台共寸称（LCA）架杓LCA系统采用同的方法来向外扩展。它是通过我某个策来使每个节点知道每个动所执的操作，而是用-个数据径之外的中央元数据控制服务器。集中控制提供很多好处，允许进新层 次的扩展： 存储节点可以将重点放在提供读写服务的要求上，而需要 来自网络节点的确认信息。节点可以用同的商品硬件 CPU和存储配置，而且仍然在云 存储中发挥作用。用户可以通过用硬件性能或虚拟化实夹调整云存储。消除节点之间共享的大状态开销也可以消除用户计算机互联 的需要，如光纤通道或infiniban

17、d，从而进一步低成本。异构硬件的混合和匹配使用户能够在需要的时候在当前经济规 模的基础上扩大存储，同时还能提供永久的数据可用性。拥有集中元数据意味着，存储节点可以旋转地进深层次应用 程序归档，而且在控制节点上，元数据经常是可用的。五、三存储选择虽然在可扩展的NAS平台上有很多送拌，但是通常来说，他们表现 为种服务、一种硬件设备或一种软件解决方案，每一种送拌有它 们自身的优势和势：服务模式：最普遍的情况下，当你考虑云存储的时候，你就会 想到其所提供的服务产品。这种模式很容开始，其可扩展性几乎是 瞬间的。根据定义，你拥有一份异地数据的备份。然而，带宽是有限 的，因此要考虑你的恢复模型。你必须要满足

18、你网络之外的数据的需求0HW模式：这种部署位于防火墙背后，并且其提供的吞吐要比公共的内部网络好。购买整合的硬件存储解决方案非常方，而且， 如果厂商在安装/管上做的好的话，其往往伴随有机架和堆栈模型。 但是，这样你就会放弃某些摩尔定的优势，因为你会受到硬件设备的限制。SW 模式: SW 模式具有 HW模式所具有的优势。另外，它还具有 HW所没有的价格竞争优势。然而，其安装/管过程序要谨慎关注， 因为安装某些SW的确非常困难，或者可能需要其他条件来限制人们 选择HW，而选择SW。、发展趋蛰云存储已经成为未来存储发屐的一种趋势。但随着云存储技术的 发屐，各类搜、应用技术和云存储相结合的应用，还需以安

19、全性、 携性及数据访问等角进改进。(1)安全性以云计算诞生，安全性一直是企业实施云计算首要考虑的问题之 一。同样在云存储方面，安全仍是首要考虑的问题，对于想要进云 存储的客户来说，安全性通常是首要的商业考虑和技术考虑。但是许 多用户对云存储的安全要求甚至高于它们自己的架构所能提供的安 全水平。既如此，面对如此高的现实的安全要求，许多大型、可信赖的云存储厂商也在努满足它们的要求，构建比多数企业数据中心安全得多的数据中心。用户可以发现，云存储具有少的安全和高的安全环节，云存储所能提供的安全性水平要比用户自己的数 据中心所能提供的安全水平还要高。(2)携性一些用户在托管存储的时候还要考虑数据的携性。-般情况下 这是有保证的，-些大型服务提供商所提供的解决方案承诺其数据 携性可媲美最好的传统本地存储。有的云存储结合强大的携功 能，可以将整个数据集传送到你所选择的任何媒介，甚至是专门的存 储设备(3)性能村可用性过去的-些托管存储和远程存储总是存在着延迟时间过长的问 题。同样地，互联网本身的特性就严重威胁服务的可用性。最新一代 云存