基于混合冗余策略的安全云存储研究.doc

： 本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可以将本学位论文的全部或部分编入有关数据库进行检索，可以采用影印、缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论文或成果时，第一署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。 ，在纠删码策略的基础上使用副本策略。考虑到文件修复带宽的开销，该方案采用再生码作为纠删码的编码方案，将文件进行再生码编码存储，并根据曲线拟合预测的文件访问热度，动态生成和调整文件的副本数量，发挥多副本疧吞吐性能高的优势。其次，对于处于低动态状态的归档数据，本文将再生码与岷希肕的唯一性给出并实现再生码数据完整性验证和数据的可行性和可靠性等进行实验分析。结果表明，混合冗余方案空间利用率高、 猺 瓵甎 甊瓸， 目录表的目录。现有冗余数据存储策略再生码 码与纠删码的比较本章小结。也的基本思想编码存储。动态副本冗余存储实验与分析证据生成与保存 目录本章小结 嗦氲男薷创硐挠雂值的关系图对不同大小文件的访问成功率再生码分片数据标签存储过程图连接任意鼋诘慊指唇诘鉬图验证一个数据块时平均访问的块数 表方案的平均有效性和修复带宽 是目前大家关注的热点问题。而云计算说明可管理性访问方便性能统一管理，减少运维成本通过接口提供数据访问服务可扩展性多租户为满足更高存储要求而扩展或以得体的方式加载的能力支持多个用户使用降低总体拥有成本 研究背景及意义倍；众多数据密集型应用，包括医学影像、高性能计算、数字媒体、能源勘年，亚马逊首先推出的弹性云计算服务，让云计算的概念开始映入人们的眼帘；年月开始，砝锢即笱凹又荽笱乜死撤中来越高一一存储容量更大、安全性更高、存储性能更好、智能化更强等，传统 国内外研究现状系统必定会遭遇硬件磁盘失效的问题。云存储的一个主要用途就是对海量数据长期的归档保存。由于软、硬件失效问题，云存储中数据丢失时有发生，尤其是在商业性云中口副，有些可能导致一些数据的永久丢失，给用户带来无法估量的损失。随着归档文件量爆炸性地增长，减小存储的失效率对于保证数据的可靠性是很有意义的。为了增强系统的可用性和容错性，分布式文件系统大多采用了副本冗余存储技术：将存储的数据文件按照一定的规格进行分片，对每一个数据分片按照设定的冗余因子进行复制，最后将这些若干份副本文件按照一定的分布策略分别存储在不同的服务器节点上。副本存储方案以其设计简单、支持高并发访问等优点被广泛使用。 码存储的同步编码方式。卡内基梅隆大学的实验室提出 云存储基于网络的特点以及它的商业特性使得用户对于存储在云中的数据完整性质疑。数据完整性验证是使用验证技术在不需要下载原文件的情况下可以检验用户数据是否完好无损地保存云中不可信的服务器上以及损坏数据的可恢复性，避免存储服务提供商恶意地篡改、删除用户的数据。用户通过这种技术，可以方便地确保数据在云中安全存储。，主要采用“挑战应答”方式进行概率性验证，数据权限拥有者将挑战请求命令吞粽街礳发送到远端的存储节点服务 完整无损的保存，又能给出损坏的数据的位置和可恢复性。而对用户来说，不仅仅是要检测出数据是否出错，更重要的是出错数据能否有效地恢复。探索性地将蚉结合，给出了利用纠删码进行数据完整性保护的方案，该方案中用户通过挑战应答方式进行数据完整性验证，当检测到节点数据损坏或丢失时，系统需要从其他节点上下载数据来恢复受损节点。 的概念和编码方案，以及再生码在云存储应用当中的优势。的编码方案，选用最小存储量再生码编码方案证权限内的文件数据是否完整保存。本文的主要贡献有： 极大地保证了验证结果的真实可靠性。 个方云存储中数据可用性指的是云存储系统在软、硬件概率性失常的情况下保证用户对数据访问的正常使用。云存储的商业性造成了云存储系统中的硬件廉价性，而这必然滋生研究者们对云存储系统可用性的研究。与传统存储方式相比，数据在云中存储，硬件状态不受用户的控制。在存储介质不受控制的情况下，如何能保障数据的可用性和用户的利益是云存储安全研究的重点之一。云存储中数据完整性指用户在使用云存储中的数据时是完好无损的，包含了数据存储完整性和使用完整性。数据存储完整性是用户将自己的数据上传给云服务提供商娲保珻按照用户的指令将数据完好保存在云中；数据使用完整性是用户通过云服务访问自己权限下的数据时，该数据完整地发送给用户，不能有丝毫损坏或篡改。 其他节点。可见，对于副本冗余存储方案来说，系统的空间消耗随着冗余度的增加而成倍增加。别存储在不同的服务器节点上； 译签念参 卜愣鏸：冗余度，冗余度，图节点可靠性图节点可靠性比，如果系统中的平均节点可用性为时，若要保证用户在任意时刻对系 个分片的失效，极大的提高了系统对节点失效数量的容忍度。码的特性，也即按照【琸】进行分片编码后，码字之间的最小分片距离甼，从而系统龇制诘阒腥稳个节点 存储节点图再生码的数据重建过程图在图和中，用户将原始文件氖莅凑琸腗编码进行从每个节点上下载大小为卢的数据量，修复带宽为。图再生码的数据修复过程图 龆鴌可以看出在嗦敕桨钢校杂诖笮狟的文件，节点存储量 表痥痥 篡。叠差藜图图来验证数据的唯一性啪可以为任何格式、任何大小和任意数量的文件数文件的完整性。 那止炭梢钥醋魇嵌訫信息做摘要处理，获得该段信息的，通过这样不可逆的信息转换计算，产生文件的输出的消息摘要，最后级联成的文件“数字指纹”。当用户检 进行了详细分析，本章从存储开销和访问质量等方面考虑，提出一种基于纠删存储策略结合，致力于实现充分利用单一冗余存储方案的优点、避免其不足的目标。 具体思路为：将原文件按照，编码参数分为龇制皀个数实现对损坏节点的精确修复。令駼。将原文件按照划分为组； 矩阵的列定义出原文件的仪个列向量。图为基于图基于俐础岱跎鄞莛鹭徉亍咖。七以咖。 函中任意鞠咝晕薰兀虼丝梢越獬隹躣騛行这样的元素组成如文件上传后，如果单纯以纠删码方式存储文件，其提供访问的能力有限，并且用户访问延迟过大。因此当文件访问热度增加到一定程度后，本文通过调整原文件的副本数量来保证用户的访问质量。对于云存储这种特殊服务，在网络传输带宽和磁盘疧带宽有限的情况下，通过预测来寻找合适的副本创建时机，可以提高系统的整体性能。 多项式趋势的曲线拟合模型为：薯：主：餿系数矩阵浚晒猋矿，从而求出，得到的周期访问量进行吻吣夂希问猼，的拟合曲线的拟合误差为：在式。是周期乃的实际访问量，为乃的拟合访问值。通过比较访问量为： 尾尾近期小趋势预测采用二次曲线的预测，其模型为：将式和得出的预测值进行加权平均计算，得出最终预测值，。为： 、一。 基于混合策略的冗余存储方案计算各个副本资源的访问权重，按照最近最久不用姹荆痪钟蛲砦。预测效果的验证与分析 混合冗余存储的性能验证与分析使用集群的基准测试系统 图系统存储空间消耗一使用预测一毒图对不同大小文件访问的平均延迟 文件的大小本章小结 蚆特性，实现基于再生码的数据完整性验证方案中使用参数说明如下：何募姆制谰小节将文件按照，琩】编码参数进行分片， ，确定随机数据块的位置；他数据分片上，也即每个存储节点上随机保存着除本节点数据分片外的两个其 证据生成与保存理，然后再计算其怠计算函数具体实现算法如下：附加原信息某龋“的二进制数据直接附加在扩充变量。 输出珺珻珼；表瑈，输出结果。将步骤五中最终输出的、进行级联，输出最扑鉓标签 口卜； 算法实现函数为：琄，渲蠫为文件信息，包输出参数J荼昵募希琈，数据指纹生成过程如图所示。图罶； 机映射分别保存在两个数据分片中，随机映射也有效抵制了服务器节点相互欺，对该标签做一次伪随机放置 基于码的数据完整性检测及恢复对该标签做第二次伪随机放置据服务器，而用户只需要保存湍縨等加密参数，以便以后进行对数据的验证，琯袢扛鍪菘榇娲牧礁鯩和对该块的重新计算值 基于码的数据完整性检测及恢复；鬃麟瀚鹪瀚麟溺黼黼黼戮麟鬻鬃鬻黼瀚黼瀚麟 对失效节点进行精确恢复，并且节约系统的修复带宽。图连接任意鼋诘慊指唇诘鉬 基于码的数据完整性检测及恢复；向量为靠；遙新节点厶。邮盏絛个节点上传的修复信息，将它们组成的矩簂尺，鵼】撸瑀詒由于蚘为对称矩阵，因此有：删口丁】撸丁 整性验证方案中，为了检验方案的可行性和有效性，采用分析加实验的方式，修复带宽、存储开销和通信开销，以及抵抗攻击性能等方面进行分析验证。 縻图验证一个数据块时平均访问的块数可行性概率 而对于桨福低衬芄蝗萑蘮鼋诘闶堑毕低持谐鱿謓可行性概率为：图节点损坏率矿 一一一一灰灰一一一一灰灰弧猑弧灰籑、文件的验证准确度和修复带宽甋错个数对检测时间的影响并不大，验证在短时间内就可以完成，大文件的数据大文件的验证时间比小文件的验证时间长些。 基于码的数据完整性检测及恢复出错节点个数表方案的平均有效性和修复带宽失效节点个数存储开销和通信开销基于氖萃暾匝橹橹菀灰幻扛鍪萜腗存储在其他数据分片上，而用户只需要保存密钥湍縨：验证服务只需要从每个服务器上下载两个狄约扒肭笱橹菘榈腗计算值，每个服务器节点之间的通信只有档男畔鯩为，所以服