P2P存储在云计算时代的新的机遇

1、5卷 第 6期 2009年 6月 第我们处在一个数据存储的时代,每天都 会有大量图片、音视频、文档等数据需要存 储,并且数据量会无限量增加。现在如果问 这些数据可以存放在哪里,人们会自然想到 “云”。事实上,大家已经开始享受着“云” 所带来的好处。互联网服务提供商“不再需要 一开始就花费大量的投资来购买部署服务的硬 件设备和聘用维护技术人员;他们不必担心因 为高估服务受欢迎的程度而过度部署造成昂贵 资源的浪费,或由于对一个广受欢迎的服务部 署不足而错失潜在的客户和收入” 1。与此同 时,个人用户也逐渐产生对云的依赖。以谷歌 (Google 用户为例,免费申请一个账号,就 可以利用 Google

2、Doc 、 Gmail 和 Picasa 服务来保 存私有资源。谷歌为每个用户提供一个不断增 长的存储空间,而且,可以让用户通过其收费 服务获得更大的空间。按照目前的普遍认识,云计算的背后是 提供商所拥有的大型数据中心,少则上千台服 务器,随着需求的增加,规模还在不断扩大。 有消息报道 2,谷歌的数据中心拥有数十万台 服务器,并在不断增长中。这很容易使人联想 到下列问题:云计算中的存储服务是否将由拥 有巨大资源的互联网巨头唱主角?如果未来的 趋势是都依赖云存储,云提供商要无限扩大资 源,即使是付费提供服务使得他们有财力扩充 硬件设施,这种扩充在技术上有没有边界,会 不会导致有一天达到一种管理上

3、的极限?当我 们越来越依赖云的时候,云存储能保证数据永 不丢失吗?如何应对云计算所遇到的特有挑 战?一篇引自英国电信(BT 澳大利亚区业务 连续性、安全性和监管事业部负责人哈里 ·阿尔 奇(Harry Archer的文章提到云计算的散热、 集中灾害、黑客的攻击等等都增加了数据中心 的风险性 3。此外,目前的云服务,还没有达 到完全让用户满意的水平。 2008年 8月,谷歌 的云计算服务出现严重问题, Gmail 、 Blogger 和 S p r e a d s h e e t 等服务均发生长时间宕机。 2009年 7月,亚马逊的简单存储服务(Simple Storage Servi

4、ce , S3云计算服务也曾出现 问题 4。除了云存储,有没有其它的存储形式也能 胜任日益增加的对巨大存储容量的需求,或者 是对云存储的一种补充?我们的回答是 P2P 存 储系统。P2P 存储系统,广义上是指存储节点以一 种功能对等方式组成的存储网络,既可以完全 由统一管辖的服务器节点以对等方式组成的封 闭式 P2P 系统,又可以是完全由用户桌面机组 成的开放式 P2P 系统,还可以是服务器与桌面 机共同以对等的方式组成的混合存储系统。因 此说, P2P 技术既可用来组织专业的大型存储 服务,又可以用来组织闲散的桌面机资源形成 互助存储网络 5。在这里我们需要指出,本文 所说的 P2P 存储,

5、专指基于普通用户机器的开 放式的 P2P 存储系统。P2P存储在云计算时代的新的机遇代亚非 北京大学 关键词:P2P 存储 云计算54第 5卷 第 6期 2009年 6月P2P 系统的研究是从 20世纪 90年代末开始 的,短短几年, P2P 文件共享和 P2P 流媒体就取 得了巨大的成功,确定了 P2P 应用作为互联网 的主流应用的地位。但是从 P2P 存储的角度来 看,虽然很早就出现了以 Oceanstore 6为代表的 P2P 存储系统构架,但是并没有成熟的 P2P 存 储系统得到广泛的、实际的应用。笔者认为至 少有三个原因:第一是组织形式。如果存储系 统是建立在用户的桌面机的基础上,系

6、统中的 用户从哪里来?如果加入系统的用户除了提供 空间而本身没有收益,他们为什么要加入 P2P 存储系统?第二是核心技术没有解决。存储应 用所要求的可靠性和持久性与 P2P 本身的动态 性是一对矛盾,如果没有一种有效解决节点动 态性的方法, P2P 存储就无法真正得到广泛应 用。第三就是安全性和私有信息保护的问题。 这三点在以往的 P2P 存储系统的研究中都没有 得到全面的回答。现在,让我们来尝试回答这三个问题。首 先,我们提出在 P2P 共享系统上构建 P2P 存储系 统。利用现有用户资源,由用户提供一定的空 闲存储空间,来为用户提供一个可靠的存储服 务,同时,在系统中存储需要长期保存的公共

7、 资源。这就是 P2P “共享存储”系统。北京大学网络实验室曾经在 2003年开发 了 P2P 文件共享系统 Maze 。这是国内最早实用 的 P2P 系统之一,在目前国内外各种商业下载 工具层出不穷的状况下,仍然占有一席之地。 P2P 共享系统中,资源保存在用户的机器上, 文件越流行,下载的用户越多,资源的副本越 多,下载效率就越高。但是对于一些过时的文 件,用户会选择删除,以免占用过多的个人 空间。因此,一些冷门文件通过共享机制就 不容易获得。在共享存储系统中,把存储部分 当作一片“云”,有无限量的空间,当用户想 从个人的机器上删除一个过时但并非毫无价值 的文件时,可以选择把文件存储到云上

8、,从而 把资源保存起来。这样用户不仅可以通过共享 快速获得热门文件,也可以通过检索找到被存储起来的冷门文件。北京大学网络实验室实现了这样一个“云”,在原来的共享系统Maze 中,增加了存储(Store 的功能,就是 AmazingStore 7。AmazingStore 向 P2P 共享系统的用户借用少量的存储空间,统一管理起来,构成虚拟存储池,共享用户越多,虚拟存储池的容量就越大。虚拟存储空间可以为用户提供网络硬盘功能,实现异地存取,还可以用来存储冷门文件。有一种说法, P2P 文件共享系统,是把注意力用到了占所有资源的 20%的热门资源,而对那剩余的 80%的资源却无所作为。 Amazin

9、gStore 试图改变这种现象,希望利用用户的空间,加上有效的检索机制,把剩余的80%的资源保存起来,提供资源查找服务。从 AmazingStore 的用户逐渐增多这个事实,可以看到用共享服务激励用户加入存储系统的办法起到了很好的效果。当然,在 P2P 共享系统上搭建 P2P 存储系统,在技术上同样面临很大的挑战。 P2P 共享系统中每个节点都可能随时、暂时或永久地离开系统,而数据存储在用户的机器上,一旦某节点暂时离开,存在其上的数据就将暂时不可访问,而节点的永久离开更会造成数据的丢失。冗余是保证可靠性和可用性的基本手段。在 P2P 存储系统中采用冗余技术需要解决的两个最关键问题是:第一, P

10、2P 存储系统软件必须能够保证系统中有一定量的副本数被保存在在线用户的节点上,以保证可用性;第二,必须能够及时判断用户是否永久离开系统,以便修复出新的副本到其它节点上,以保证可靠性,对 P2P 存储来说,这是更严峻的问题。目前 AmzingStore 已经做到了这一点。我们从 2003年开始记录 Maze 的动态性,通过持久不断的动态性测量,掌握了 P2P 共享类系统的节点上下的一般规律、用户访问规律和节点生命周期的规律。以此作为基础,对 P2P555卷 第 6期 2009年 6月 第共享类系统的动态性、可靠性和可用性的关系 进行理论建模,提出高效的修复策略,使得 系统可以在动态性,可靠性和用

11、户行为三者 之间找到一种可以屏蔽动态性的方法,保证 了系统的运行。目前的可用性经实际测量可 以达到 95%。系统的三个重要的特点是:1. 采用簇结构,实现可扩展性,利用稳定 节点作为簇管理器,保证稳定性。2. 判断用户节点的永久离开,及时恢复下 线的节点上的数据。3. 采用高效的修复策略,合理的控制副本 数,最大程度减少用户负担,达到可用性和存 储空间的平衡。接下来,展望一下 P2P 存储的未来发展。 在文献 1中提到“私有云”的概念,专指那 些商业企业或其他组织的不对公众开放的内部 数据中心。这样的应用形式可以有很多种。除 了北京大学网络实验室实现的 P2P 共享存储系 统, P2P 存储技

12、术可以帮助社会网络实现“私 有云”。社会网络有大量的用户群,一般都在数 百万甚至上千万,每时每刻都在产生新的数 据、日志和图片等等,如果这些数据都要由经 营社会网络的企业自行提供机器来保存的话, 开销无疑是巨大的。如果借助于 P2P 存储技 术,把数据保存在 P2P 云中,取之于民,用之 于民,至少可以在以下方面期待效果: 减少硬件的投入和容错,节省大量的 资源。 在数据分发上,把好友关系考虑在内 (因为好友之间的数据是公开的,数据保存 在好友之间,这样可以简化数据做安全和隐私 保护的措施,大大降低管理成本。 利用好友的区域特点进行数据的分发和 调度,得到更好的下载性能。 还可以进一步设想,

13、P2P 存储的集中灾 害的隐患小,不存在散热问题。我们的结论是,社会网络与 P2P 存储相结 合,或许对双方都是一个新的契机。1 Michael Armbrust, Armando Fox, Rean Grif th, Anthony D. Joseph, Randy Katz, Andy Konwinski, Gunho Lee, David Patterson, Ariel Rabkin, Ion Stoica, and Matei Zaharia, Above the Clouds: A Berkeley View of Cloud Computing , http:/ radlab.c

14、2 0228/728.html3 Harry Archer ,Predictions 2009: BT on Security and the Cloud, posted by http:/searchsecurity. .au/articles/281214 5 田敬,代亚非, P2P 持久存储研究综述 软件 学报, Vol. 18, No.6, 20076 Kubiatowicz, J, C Wells, B Zhao, D Bindel, Y Chen, S Czerwinski, P Eaton, D Geels, R Gummadi, and S Rhea, OceanStore: an architecture for global-scale persistent storage. P r oc