（计算机软件与理论专业论文）智能化虚拟存储的研究与实现——主机级虚拟存储.pdf

摘要 传统的网络存储系统多采用集中式的系统构架方案，通过集中的服务器及存 储介质为用户提供存储服务，这类存储应用存在着管理复杂度高、硬件依赖性强 兼容性差等一系列问题，基于对这些问题的考虑，近些年来网络存储正在朝着虚 拟存储的方向转变，虚拟存储通过将存储介质、网络存储设备以及系统主机进行 逻辑软件层次上的虚拟化，从而达到简化网络存储管理过程、增强系统兼容性及 可维护性、降低存储成本以及实现多样化的存储服务和存储应用的目的。 本文是对主机级虚拟存储的研究，论文在现有研究经验的基础之上，提出了 智能化主机虚拟存储的概念，并通过分析其内在要求，提出了分布式虚拟存储架 构( d v s a ) ，从物理层到应用层给出了主机级虚拟存储完整的设计思想及解决 方案。该架构将系统网络中的主机按照运行角色的不同分为c l i e n t 、a g e n t 以及 m a n a g e r 三类，并采用分布式h a s h 表技术以双层环网的拓扑结构管理主机节点， 同时d v s a 提出了存储节点优化选择算法( n p s a ) 对存储资源进行统计与评估， 评估值作为资源调度与分配的重要因素，除此而外，d v s a 架构通过上层的逻辑 映射开创性的提出了基于存储模式的副本管理机制。在上述理论基础之上论文给 出了基于d v s a 架构的一个具体应用，r a y s t o r a g e 虚拟文件存储系统，并对该系 统做出了较为全面的试验并对对结果加以分析。 关键词：网络存储，主机级虚拟存储，分布式计算 a b s t r a c t m o s tt r a d i t i o n a l s t o r a g es y s t e m s u s ec e n t r a l i z e da r c h i t e c t u r ea st h e i rm a i n o r g a n i z a t i o na n dt h es e r v e r si nt h e s es y s t e m sa r eu s e dt op r o v i d et h es t o r a g es e r v i c e s f o rt h ec u s t o m e r s ，t h e s es t o r a g ea p p l i c a t i o n sc o n t a i nm a n yp r o b l e m ss u c ha sd i f f i c u l t t om a n a g e m e n t ，w i t ht h eh i g hd e p e n d e n c yo ns t o r a g eh a r d w a r ea n ds oo n i nt h e c o n s i d e r a t i o no ft h e s ep r o b l e m s ，t h er e s e a r c h e so fv i r t u a ls t o r a g eh a v eb e e nd o n ei n t h er e s e n ty e a r s t h ev i r t u a ls t o r a g em a k e st h em a n a g e m e n te a s i e rm a k e st h ec o s t so f s t o r a g ec h e a p e r s t r e n g t h st h ec o m p a t i b i l i t ya n dt h ea b i l i t yo fm a i n t e n a n c ea n d p r o v i d e sav a r i e t yo fs t o r a g es e r v i c e sb yv i r t u a l i s i n g t h em a s s e so fs t o r a g e ，t h e d e v i c e so fn e t w o r ka n dt h eh o s t so ft h es y s t e m t h i sp a p e ri st h er e s e a r c ha b o u th o s tl e v e lv i r t u a ls t o r a g ew h i c hp r o p o s e st h e c o n c e p t i o no ft h ei n t e n i g e n th o s tl e v e lv i r t u a ls t o r a g eb a s e d o nt h et r a d i t i o n a lr e s e a r c h e x p e r i e n c e t h ep a p e ra l s op r o p o s e sa na r c h i t e c t u r eo fd i s t r i b u t e v i r t u a ls t o r a g e v s a ) w h i c hd e p i c t st h ec o m p l e t e l ys o l u t i o na n dt h ed e s i g no fh o s tl e v e lv i r t u a l s t o r a g e d v s ac l a s s i f i e st h eh o s tn o d e so fas y s t e mi n t ot h r e et y p e s ：c l i e n t ，a g e n t a n dm a n a g e r ，a n du s e st h ed i s t r i b u t eh a s ht a b l et e c h n o l o g yt oo r g a n i z et h e s en o d e s i n t oat w ol a y e r sc i r c l et o p o l o g y d v s ad e s i g n san o d ep d o r i t ys e l e c t i o na l g o r i t h m ( n p s a ) w h i c hi su s e df o rt h ea l l o c a t i o na n dm a n a g e m e n to ft h es t o r a g er e s o u r c e d v s a p r o p o s e st h es t o r a g ep a t t e r nb a s e dr e p l i c am a n a g e m e n ts o l u t i o ni nt h el o g i c l e v e l ，a n dg i v e so u ta na p p l i c a t i o no ft h ea r c h i t e c t u r ew h i c hi sk n o w na s “r a y s t o r a g e v i r t u a lf i l es t o r a g es y s t e m ”，av a r i e t yo ft e s t sh a sb e e nd o n eo nt h er a y s t r o a g e s y s t e m k e y w o r d s ：n e t w o r ks t o r a g e ，h o s tl e v e lv i r t u a ls t o r a g e ，d i s t r i b u t ec o m p u t i n g i i 确北i 业大学硕士学位论文 第一章绪论 1 1 虚拟存储 第一章绪论 传统的网络存储多采用集中式c s 网络通讯与控制模式，在整个存储体系 中，数据通遥糯络存储在集中管理的存储设备当中，阏时为了避免佳能上的瓶颈， 这类系统多构建于专用网络之上或者基于特定的网络文件氖统，典裂的应用包括 s a n n a s 文献 q 等存储系统，这类系统在褥弱广泛应瘸酌溺对也黎露崮其不可 避免的缺点：第一，管理难度大，复杂性高、可操作性差；第二，对于专用网络 设藏，潮络、存姥磺孛其存缀强酶依赖性及较高静要求，兼容性差、异构管理霭 难；第三、存储过程单一，存储管理策略固定。第四，普遍存在着服务器单点实 效褥萼 发系统崩溃豹隐患。基于对这焦游遂豹考虑遥些年来蹲络存储聂在朝猎虚 拟存储的方向转变，虚拟存储文献【2 】通过将存储介质、网络存储设备以及系统 主穗避霉亍逻辑软彳孛臻次上静虚掘纯，从雨迭至麓亿辩络存锗管理过程、增强系统 兼容性及可维护性、降低存储成本以及实现多样化的存储服务和存储应用的目 的。 术语“虚拟存储”怒一个笼统的概念，其体而 言，搬攥虚拟徒层次及虚撅化对象鲍不同，廛叛 存储自上而下可以分为主机级虚拟存储、网络级 虚数存储以及存储设备级虚拟存储( 如銎1 - 1 所 示) ，不同层面所研究的对象、方案及理论均不 相网。圭枧级寝毅饨是最上层的虚拟，完全群蔽 了包括底层网络及存储设备在内的一切存储过 程，完全与骥传脱离，是提供绘用户瓣最高屡骚 上的虚拟存储接口，考虑到其高度抽象性，主机 级蠼拟化能够完全通过软件方式实现，因此在这 个屡丽上数据的存储效率、存储的安全性是除虚拟化资源管理方案以外需要特别 考虑的随个阀题。网络缀虚拟化，是一套将网络虚拟技术部署在存储鹰用之上的 应用，这方面已经有较多的研究，虚拟s a n 以及i p 存储便是其典型应用。网络 西北工业大学硕士学位论文 第。章绪论 虚拟化的实现结合了网络管理软件及网络硬件设备，它所关注的是如何裨匕层存 储管理以及下层存储没备之间建立起标准化透明的访问接口。存储设备级虚拟化 往往直接由硬件实现，从某些方面上来说，对其研究已经比较成熟，诸如磁盘阵 列r a i d l 3 管理器等一系列硬件应用方案便是这方面的典范应用。 虚拟化存储系统在提供便捷强大的功能及高可兼容性的同时，虚拟化过程自 身也不可避免的面临着性能、管理等方面的挑战，传统的虚拟化存储系统多采用 由管理员进行监控管理的机制来维护系统的稳定性及可靠性，例如f 4 1 系统是一 种典型的网络级虚拟存储系统，该系统需要由网络管理员进行系统监测与跟踪， 从而制定不同的存储策略，这种方案只需要通过管理软件分析配置系统，比传统 的无虚拟的存储系统便捷了许多，但仍然需要消耗额外的人力物力，不具备自律 计算的能力，同时也应当看到，自律计算在虚拟存储中的需求与虚拟化的层次成 正比，基于主机级的虚拟化存储需要更强的自律计算的能力，这种完全软件级的 虚拟化需要依靠稳定、优化的自律算法来保证虚拟存储的可靠性与高效性。对于 智能化虚拟存储概念的提出便是基于对上述问题的考虑，早在上世纪9 0 年代中 期有关智能化存储的研究便已经初具雏形，h p 的a u t o r a i d 文献【5 】提供了分层 数据存储以及智能化数据转换的功能，近些年来，智能化存储集中在对系统主机 进行虚拟存储的研究领域之上，旨在分布式或集群环境内提供便捷、可靠、稳定 以及高效的存储服务，文献【6 】【7 】【8 】等诸多系统的成功研究切实的证明了该领域 研究的可行性及应用价值。本文在汲取以往研究成果的基础上，提出了一种全新 的具备高可靠性及相对高效的主机级虚拟存储系统的原型分布式主机级虚 拟存储架构( d i s t r i b u t e dv i s u a ls t o r a g ea r c h i t e c t u r e ，后文简称d v s a ) ，并在此 基础上构建出r a y s t o r a g e 虚拟文件存储系统的具体应用，并且在仿真环境中对 该系统进行了较为全面的性能测评。 1 2 分布式主机级虚拟存储架构 分布式虚拟存储架构( d v s a ) 是本文所提出的一种能够高效应用在分布式 以及集群环境当中的存储架构，旨在实现主机级软件层次上的系统管理及虚拟存 储服务，其设计的根本目的在于，充分利用分布在网络异构主机之上的不可靠存 储资源来提供可靠的存储服务，从而进一步在分布式或集群环境中实现高效率低 代价的存储应用，值得说明的一点是，存储资源的不可靠性来源于系统的应用环 境，任何提供存储资源的节点可以随时随地且毫无通知的脱离系统的监控及管 理。因此，为了提供安全可靠的存储服务，d v s a 必须充分考虑到以下因素：1 2 曲北工业大学硕士学位论文 第一章绪论 所有存储节点都有可能随时加入或者脱离系统的管理；2 与失效节点之间数据传 输必须得到抑制。3 系统所管理节点的失效行为( 未通知便脱离管理等) 具有一 定随机性，满足某种统计学规律，属于个体行为，独立性事件，某些节点的失效 不应导致整个系统的崩溃。 基于上述考虑，d v s a 架构的设计提供了从网络层、虚拟存储层乃至应用层 的多层次的智能化管理机制：物理层采用分布式h a s h 表( d i s t r i b u t e dh a s ht a b l e ， 后文简称d h t ) 技术 9 1 0 1 1 1 1 1 2 在功能上确保数据存储的可靠性及稳定性的 同时，在算法上确保了系统的高效性及可扩展性：对于一个具有n 个数据节点 的分布式环境而言，对系统中任意数据节点的查找，算法仅具有o ( t o g n ) 量级的 复杂度，同时h a s h 算法自身的特性决定了对于任意数据节点的增删都不会影响 其它节点，其算法复杂度也不会高于数据节点的查询过程：虚拟存储层在传统的 m a s t e r s l a v e 复制的基础上提出了逻辑卷( l o g i cv o l u m e ) 管理策略，将对具 体数据节点的访问上升到逻辑高度，更便于对存储可靠性的管理与控制，同时抽 象过程本身屏蔽了底层复杂的通讯机制及控制流程，从而为应用层提供了更加友 好的访问及控制接口；应用层是对d v s a 功能的扩展，用户可以通过使用应用 层接口，来定制在不同需求下产生的具体应用。 为了验证d v s a 的高效性及稳定性，本文提出了一个构建在d v s a 之上的 存储应用_ r a y s t o i a g c 虚拟文件存储系统，在此系统上进行的一系列方针试验 结果表明，在分布式环境中，6 4 k b 数据块的拾取延迟小于3 5 s m ，即数据块的处 理传输速率将大于1 5 m s ；而在集群环境中，试验表明，该速率达到2 0 m b s 以 上，该应用原型已经能够满足低端用户的一般性的存储需求。 文章在接下来的内容将按照以下的结构进行组织：第二章介绍有关主机级智 能化虚拟存储的相关研究背景及成功经验；第三章提出了d v s a 架构，并对其 相关概念及基本流程做出详尽的解释；第四章介绍d v s a 架构的核心包括对 d h t 的相关研究及改进、节点优先选择算法设计及存储模式等相关创新，同时 也给出了一个具体应用r a y s t o r a g e 虚拟文件存储系统；第五章重点分析了在 r a y s t o r a g e 系统上所进行的一系列试验结果，并给出综合性能评估；第六章总结 全文，并指明今后的研究方向。 西北丁业大学硕士学位沦文第二章研究背景 2 1 需求及挑战 第二章研究背景 对于智能化主机级虚拟存储的基本需求主要来自于三个方面。一方面，正如 【7 】中提到的那样，随着计算机技术的发展，存储设备容量不断增长，在带来数 据存储便利的同时，有研究表n b 3 ，在w i n d o w s 2 0 0 0 系统中，存储设备所拥有 的资源并没有得到充分的利用，并且这种趋势随着存储设备容量的不断增长而愈 加严重：另一方面，网络技术给存储界带来了全新的变革，本地数据存取的延迟 与通过网络获取数据的延迟之间的差距越来越小，同时本地i d e 存储设备的数 据传输速率已经低于千兆以太网的传输速率，数据存储正在经历着由本地化到网 络化的巨大转变；最后，传统的主机级存储系统，例如【7 】【1 4 】【1 5 】，大都采用了 集中式的管理策略，由管理员负责网络环境的配置与检测，并没有实现或者仅仅 部分实现了智能化的管理策略，随着网络流量的不断增加，这种人工式的主机管 理策略不可避免的带来一系列的问题，例如会产生人为造成的错误，同时也增加 了系统运营及维护的成本。基于以上种种考虑，业界对于存储系统的智能化方面 的研究由来已久，h p a u t o r a i d 6 1 便是早期这方面的研究成果。因此，如何利用 分布于网络中各个异构主机节点之上的不可靠空闲存储资源来实现分布式环境 下的主机级虚拟存储以及如何将智能化网络管理的种种算法及策略应用在分布 式环境中的主机级存储之上，都具有非常重要的研究与应用价值。 基于上述基本需求，对于智能化主机级虚拟存储的研究仍然面临着一系列的 挑战，总体而言，这些系统必须具备高可获取性( a v a i l a b i l i t y ) 、高可靠性 ( r e l i a b i l i t y ) 、以及高可升级性( s c a l a b i l i t y ) 三个基本特性，同时考虑到智能化 的要求，系统在此基础上还必须具有很强的自适应性。关于这四个基本特性的研 究由来已久，许多系统成功的解决了一方面或者多方面的问题，这些成功经验成 为d v s a 研究的基础，有必要在此做以总结性的论述。 第一，高可获取性。在分布式或集群环境下，主机级存储系统的一个最基本 4 拍北j 二业大学硕士学位论文 第二草研究背景 的没计要求便是，利用不可靠的底层网络环境为用户提供可靠的存储服务，系统 必须具备高可扶取性，无论何时何地用户都能够以最高的访问概率获取存储于系 统之上的数据。为了达到这个目标，一系列已有的存储策略及方案被广泛加以改 造并应用于分布式环境当中，其中典型的技术包括分布式环境下得虚拟r a i d 数 据冗余方案1 7 1 ( 在该论文中称其为e r a s u r e c o d i n g ) ，当某一数据节点离开系统管 理时( 例如吊线、关机等) ，系统会自动监测出该异常事件，并通过冗余算法计 算并恢复出缺失的数据；另一种广泛应用于主机级存储当中的传统数据冗余技术 便是镜像，有研究【6 】【1 6 】表明，在分布式环境下直接利用数据镜像来提供数据冗 余的方式是一种简单而高效的方案；除此之外，为了兼顾存储空间的利用率及系 统运行效率，一些最新的研究成果，例如【8 】，将虚拟r a i d 及镜像相结合，对于 那些访问频率较高或者生命周期比较新的数据采用镜像方式进行冗余，以确保当 前数据丢失后能够快速的回复，以存储空间为代价换取较高的系统性能；而对于 那些访问频率较低或者生命周期较旧的数据，系统采用虚拟r a i d 方案，在系统 后台计算数据的冗余校验信息，从而以较高的计算代价，获取较好的存储空间利 用率。 第二，高可靠性。总体而言，对于主机级存储系统的高可靠性方面的要求涵 盖了四个方面的内容，如何维护数据的完整性、一致性、高可获取性以及存储的 安全性这些都是系统在高可靠性方面所匿临的问题。高可获取性已经在上边进行 了详细的论述。在这里重点讨论构成高可靠性的其他三个方面。首先，数据的完 整性。在存储领域中数据往往以数据块为单位，数据的完整性便是要确保每一个 数据块的完整性。目前的研究往往采用数据h a s h 冗余校验或者采用具有容错机 制的协议( 例如【1 7 】中采用的b y z a n t i n ea g r e e m e n t 协议 1 8 】) 来确保数据的完整 性。这两种方案各有利弊，前者高效且简单易行但需要占用额外的存储空间，后 者不需要占用存储空间却带来了额外的网络负载；接着，数据的一致性。如何维 护数据的一致性一直是存储研究的热点，关系数据库系统提出了一整套建立在关 系模型基础之上的数据完整性维护方案，解决了对于关系类型数据的一致性维护 问题，然而在分布式网络环境下，这种建模方式过于复杂，大多数采用文档路由 模型【1 9 】的分布式存储系统将数据一致性维护的职责留给其具体应用来实现，这 种方式无疑增加了应用及管理的复杂度，无法提供一种智能化的机制，来满足智 能化存储的需求；最后，存储的安全性。主机级虚拟存储的典型应用场景便是， 用户将数据提交给系统，系统将用户的数据以一定的策略分散存储在网络中所有 的主机之上，这些主机可以是具有自身安全维护策略的服务器，也可以是类似于 西北工业大学硕士学位论文 第二章研究背景 用户个人p c 这样的毫无安全防护措施的主机，因此存储在这些主机上的数据块 必须经过加密等安全措施的保护，例如，【2 1 】旨在构建一种安全的数据共享体系， 除此而外，现有的网络数据库等系统利用了数字签名等安全防护措施来验证其合 法用户从而达到保护系统数据的目的。 第三，高可升级性。为了达到高可升级性的要求，大多数分布式环境下的主 机级存储系统都采用了基于p 2 p 技术的网络通讯及数据维护方案。长期以来p 2 p 技术包含了两类基本模型；第一种模型是基于资源服务器的p 2 p 架构，这列系统 需要一个资源服务器来维护散布于网络之上的各种资源，对于存储系统而言，资 源服务器维护了各个数据块所在数据节点的i p 以及数据块本身的i d + o f f s e t 等信 息，例如r d s s 系统，而服务器本身并不包含具体的资源数据；第二种模型是采 用网络多播的方式进行数据资源查询，用户对于某一资源的请求通过多播的方式 发送到p 2 p 网络中的各个节点，拥有该资源的节点向请求方提供其所需的资源。 前一种方式已经被多种系统证明具有较好的可升级性，但是这种模式无法避免 c s 模式下的单点失效的弊端；后者完全不需要服务器的支持，不会因为单点失 效而导致系统崩溃，但是数据报的多播会带来额外的网络负载。 第四，自适应性。自适应性是智能化存储面临的最大的挑战，近些年来在这 方面做出了一系列的研究成果，例如r d s s 、r e p s t o r e 等等，这些系统在网络流 量监测及阻塞退避算法，数据备份及拾取、存储节点的选择、存储空间的回收与 再利用，以及数据自动恢复策略等一系列问题上给出了智能化的解决方案，能够 在完全不需要人工介入的情况下，根据网络环境的变化自动产生调节策略，自适 应性确保系统以较小的代价来维护整体的稳定性及可靠性。 2 2 相关研究及创新 首先，从网络存储的角度而言。在过去的1 0 年中诸如n a s s a n 文献【1 1 等一系列集中式网络存储系统取代了传统的网络共享存储方式，得到广泛应用， 然而传统集中式存储架构在很好地解决了一系列存储容错问题的同时，仍然无法 从根本上解决服务器单点失效所带来的灾难，为了解决上述问题，同时也为了减 小存储代价及简化存储管理，诞生了一大批分布式存储系统，早期的系统包括 b a y o u 文献【1 4 】、c o d a 文献【1 5 】等，近期的研究成果有o c e a n s t o r e 文献1 7 、p a s t 文献 2 2 】以及r d s s 文献【6 等。 6 西北l ：业人学硕士学位论文 第一二章研究背景 在系统架构方面，o c e a n s t o r e 以及p a s t 架构在文档路由模型文献1 1 9 1 之上， 通过分析查找临近节点来实现对主机节点的选取，在r d s s 中，采用了基于r a n 文献f 2 0 1 的解决方案，采用了传统的p 2 p 资源查询方式。文档路由模型不需要建 立特殊的通讯协议，简化了系统设计，但文献f 2 8 】中的研究表明该模型的运行过 程大大增加了主机节点计算负载，在应用于海量数据查询及存储的情况下，无法 确保运行效率。应用r a n 进行资源查询会产生链式反应，波及到大量的其他不 相关节点，文献【2 9 】的研究表明，这种方式的查询同样也会增加系统负载，影响 存储效率的提高。 在系统可靠性方面，o c e a n s t o r e 、r d s s 、c f s 文献1 1 6 1 等均选择了维护数据 复本的方案来提供可靠的服务。所不同的是，o c e a n s t o r e 采用了基于 e m s e c o d i n g 算法的数据复制方式，通过将数据分成若干数据块，并根据这些 数据块计算出冗余码，当数据的任意一部分发生缺失时，能够利用冗余信息及其 他数据块重新计算出缺失的部分，这种方案提高了系统的存储资源利用率，但由 于算法自身的复杂性增加了系统负载；c f s 采用了基于m a s t e r - s l a v e r 的全数据备 份模式，对于每一个数据块都维护多份完整的副本，当数据发生变更时，系统在 一个原子命令内更新所有的副本，因此c f s 在保证了系统数据一致性的同时， 也产生了可观的响应延迟，降低了使用效率。r d s s 同样采用完整副本备份方案， 与c f s 不同的是r d s s 制定了一定的策略，仅在必要时才对数据复本进行更新。 本文所提出的d v s a 架构，在上述两方面做出了很大程度的提高与改进。 d v s a 架构方案在底层采用了基于资源服务器的p 2 p 数据通信，避免了资源查询 过程中的链式反应，减小了系统响应延迟，同时，为了增强分布式环境下对资源 服务器的管理，系统借鉴了文献【2 3 】的研究成果，应用基于d h t ( d i s t r i b u t eh a s h t a b l e ) 技术的环形拓扑，提出双层环网的拓扑结构，组成主机节点间的拓扑体 系，避免了传统c s 模式对于服务器的过度依赖：d v s a 架构将系统可靠性的维 护提高到一个新的高度，在借鉴文献【6 】与文献【7 】采用m a s t e r - s l a v e r 数据备份方 式的基础上，切实的提出了l o g i cv o l u m e 间的数据存储模式，建立了数据备份 模型，使系统更具可控性，也增强了系统的兼容性与扩展性。 接着，从智能化存储的角度而言。有关存储系统需要具备自律计算功能的想 法开始于h pa u t o r a i d 文献【5 】，该系统采用层次化的设计方案，在单个磁盘控 制器上实现了双层管理结构，在上层结构中维护了数据的镜像备份，用于实现对 于活跃数据的高速存储；在下层结构中，应用r a i d 5 以原数据( m e t a d a t a ) 的形 式存储不活跃数据，并通过智能化的管理实现两层数据之间完全透明的转换，这 7 似北工业大学硕士学位论文 第二章研究背景 是一种在集中式环境下对于数据进行智能化管理的解决方案，同时，由于网络带 宽的不断提升，n a s 系统中基于“s m a r ts t o r a g eb r i c k s ”文献 2 4 2 5 2 6 1 1 2 7 的技术 得到广泛的研究与发展，将这些技术应用在分布式环境当中，为系统提供了在性 能不均衡网络环境中的高性能计算，近期的研究成果文献 8 表明在分布式集群 环境下，尽管集群中各个主机间的性能不尽相同，但其整体性能已经可以与集中 式系统相媲美。d v s a 充分借鉴了这类系统的研究成果，并扩展了其应用，不再 局限于集群环境，而是实现了真正意义上的分布式存储，同时开创性地提出了主 机级智能化存储所必须涉及到若干问题与概念，并提出了相应的解决方案。 最后，从d h t 技术应用角度而言。d h t 技术是近些年来比较新的一种p 2 p 技术，这方面的研究包括文献 9 1 1 1 0 1 1 1 1 1 1 1 2 1 ，这些系统及协议均实现了d h t 的 设计理念，即通过建立分布式网络h a s h 函数，来实现p 2 p 环境中无服务器的节 点检索。其中c h o r d 文献 1 1 1 系统是该领域中最为成功，并且已经被诸多研究系 统所应用，d v s a 同样也构建在c h o r d 系统之上，同时考虑到其应用环境的特殊 性，d v s a 改进了c h o r d 节点插入算法，尽可能的扩大新节点与连接点之间的距 离，使负载更加均衡，除此而外，d v s a 中开创性的采用了双层环形拓扑：拓展 了d h t 查询算法，提出了对于主机节点的二维查询机制。 两北工业大学硕+ 学位论文 第三章d v s a 主机级虚拟存储架构 3 1 综述 第三章d v s a 主机级虚拟存储架构 3 1 1 基本架构 a g e n t a g e n t a g e n t a g e n t _ 曰岖 骂 m a n a g e r2哐 偷 、。、，。， 恒 书 m a n a g e rx n e t w o r k哐 i e n t1 i l e n t2 j l e n t3 l i e n tn p h y s i c a il a y e r v i r t u a ls t o r a g el a y er a p p l i c a t i o nl a y e r 图3 - 1 分布式虚拟存储架构 如前所述，分布式虚拟存储架构d v s a 采用了最基本的数据块多副本镜像 的方式来实现不可靠分布式环境中的可靠的存储服务，对于用户存放于d v s a 上任意一数据块，系统自动的为其维护n 分数据复本( r e p l i c a ) ，在这种机制下， 如果认为主机存储节点脱离d v s a 系统管理是一个独立且概率相等的事件，那 么，用户数据丢失的可能性将减小为1 n ，从而增强了系统的可靠性。 为了使上述这个看似简单的策略高效稳定的运行，必须建立一系列的资源查 找及管理机制，如何合理的组织管理这些机制构成了d v s a 研究的核- t l , 。图3 - 1 为d v s a 的基本架构图，总体而言，d v s a 自底向上由物理层、虚拟存储层以 及应用层三层构成，物理层为整个系统提供包括存储资源在内的底层基本存储服 务，在d v s a 中通过建立a g e n t 节点来实现对存储资源节点的管理及临测，a g e n t 9 西北工业人学硕士学位论文 第三章d v s a 主机级虚拟存储架构 在管理其空闲共享存储资源的同时，也实现了对异构资源的同构化映射以及对存 储节点必要信息( 例如p 2 p 路由表、资源描述信息等) 的维护；虚拟存储层是 d v s a 的核心，可以进一步细分为资源管理子层、虚拟卷管理子层、存储模式子 层，分别用于存储资源信息，搜集、分配并管理逻辑卷、定制存储模式并为应用 层提供高可靠性的存储服务接口。d v s a 提出了基于d h t 技术的存储池映射资 源管理策略，并在此基础上进一步通过创建逻辑卷( l o g i cv o l u m e 后文简称为 l v ) 以提供虚拟存储层的数据模型及不同的存储模式定制方案，从而为应用层 提供了高效便捷的存储服务及访问接口。 3 1 2 节点的角色分配及组织管理策略 d v s a 系统由a g e n t 、m a n a g e r 以及c l i e n t 三种类型的节点组成，分别位于 架构的物理层、虚拟存储层以及应用层：a g e n t 屏蔽了异构系统间的差异，为 d v s a 架构提供存储节点描述信息、为用户数据提供切实的物理存储资源，并为 上层系统提供高效的i o 操作接口；m a n a g e r 节点维护a g e n t 提供的存储信息， 负责基于d h t 的节点查找过程，在逻辑上组建存储池的同时，建立了虚拟卷的 管理机制，定制虚拟存储模式，为用户提供高层次的应用服务；c l i e n t 节点实现 了对于系统服务的访问及利用，但不为系统中的其他节点提供任何服务。对于网 络中的任一主机，既可以扮演单一的角色，也可以同时是上述三种节点的综合。 d v s a 所划分的三种类型的节点分布在整个网络之上，它们在网络中的物理 地位别无差异。然而，在逻辑上，由于m a n a g e r 维护了众多重要信息，任何a g e n t 的加入与删除，以及c l i e n t 节点对d v s a 体系的访问都需要通过m a n a g e r 节点 得以实施，因此，m a n a g e r 节点需要拥有更高的稳定性要求，在应用允许的情况 下可以选择m a n a g e r 为数据中心的服务器或者具有高稳定性的集群内部的服务 器。然而d v s a 架构并不仅仅限于在集群内部的应用，它是一种能够完全应用 在分布式环境下的体系架构，因此为了克服分布式环境中的不稳定因素，d v s a 采用了多m a n a g e r 冗余的方式进行数据维护，并在逻辑上按照管理节点的不同将 网络化分为内外两层( 如图3 2 所示) ，同时为了便于k e y 以及节点资源的分配 与回收，均采用环形拓扑结构。双环网的内层网络由m a n a g e r 节点构成，构成逻 辑上的m a n a g e r 节点集，外层网络为提供存储资源的a g e n t 节点。这两层逻辑网 络均采用了基于d h t 技术的p 2 p 节点查询策略，并通过不同的关键字( k e y w o r d ，后文简称为k e y ) 类型，确保了m a n a g e r ：节点之间的通讯不会错误的发 砖北_ ：l 业大学硕士学位论文 第三章d v s a 主机级虚拟存储架构 送到a g e n t 节点。值得说明的一点是，当一台主机具备a g e n t 以及m a n a g e r 双从 角色时，双环网在逻辑拓扑上将出现交叠现象，这并不影响系统的正常运行。 a g e n t6 图3 - 2 节点组织及管理策略 3 1 3 数据组织及管理策略 如图3 - 1 所示，系统中涉及到了存储池( s t o r a g ep o o l ，简称p 0 0 1 ) ，逻辑 卷( l o g i cv o l u m e ，简称l v ) ，主卷( m a s t e rv o l u m e ，简称m v ) 、从卷( s l a v e r v o l u m e ，简称s v ) 等相关概念，在论述数据组织管理策略之前，有必要事先在 此加以定义说明： 1 存储池：存储池是系统管理下的所有存储资源所构成的集合。在d v s a 中p o o l 是一个逻辑意义上的虚拟概念，从整体的角度来看，存储池可以认为是 一个构建在系统全局范围内的分布式数据库，数据库中的每一个子库由特定的 m a n a g e r 节点提供，并由m a n a g e r 服务进行管理，用以存放及维护数据块之问的 映射关系；从微观的角度来看，存储中维护了所有数据块的信息，是一个完全由 存储数据块构成的虚拟存储介质。 2 逻辑卷：逻辑卷是存储池中资源的可控子集，它是d v s a 系统虚拟存储层 中最基本的逻辑访问及管理单元。同样的，这也是一个完全虚拟化的概念，建立 了基于卷的数据管理，有利于增强系统整体的可控性，同时它也是存储模式概念 _ f 重要的支撑部分。 1 1 两北川k 大学硕士学位论文 第三章d v s a 主机级虚拟存储架构 3 主卷、从卷：这是两个来源于存储数据更新策略的概念，如2 2 节所述， d v s a 借鉴并采用了典型的m a sl t 、r s l a v e r 更数据更新方式，在这里，m a s t e r 以及s l a v e r 都为逻辑卷，在形如m v 专s v 的v o l u m e 对当中，允许用户进行直接 读写操作的卷称为主卷，而用于对主卷进行备份的卷称为从卷。 基于上述定义，d v s a 系统采用了完全虚拟化的数据组织方式。每一个l v 拥 有全局唯一的卷标号( v i d ) ，并通过存储格式化过程进一步划分出大小可控的 b l o c k 。存储池记录了当前所有可用存储资源的详细信息，包括资源编号、物理 地址、空间大小等，这样的信息元组在d v s a 中统称为s r h ( s t o r a g er e s o u r c e h a n d l e r ) ，它通过对m a n a g e r 节点的高效管理而实现，容纳了所有a g e n t 注册资 源索引；b l o c k 是系统访问及操作的最小物理单元，b l o c k 所对应的索引b l o c ki d ( b i d ) 是特定l v 难一而非全局唯一的，一个v i d + b i d 的组合构成了全局唯 一的b l o c k 索引，并通过与a g e n t 相关联，建立起逻辑层专物理层的映射，同时 对v l d 的h a s h 构成了d v s a 系统中对于m a n a g e r 节点的关键字，而通过v i d + b i d 的组合可以索引出当前m a n a g e r 所管理的一个具体的数据块的s h r 信息。在此值 得说明的一点是，d v s a 系统与其他系统不同，为了便于控制，系统规定每一个 l v 在格式化后其所含b l o c k 的b i d 是固定不变的，而b i d 与a g e n t 间的映射根 据系统运行状态的不同而动态改变。 3 1 4 系统运行流程 总体而言，d v s a 系统在底层提供了节点管理、以及存储服务两大类基本操 作：节点的插入( i n s e r t ) 、删除( d e l e t e ) 操作以及数据的拾取( f e t c h ) 、更 新( u p d a t e ) 操作。系统的任何存储功能均可以由这些基本操作来实现。例如， 数据的复制过程( r e p l i c a t i o n ) ，可以看成是对多个数据块执行的更新操作。因 此，考虑到这些操作的基础性，有必要在这里进行流程上的详细地说明： 1 存储节点的插入： 如前所述，d v s a 系统中运行在一个逻辑层面上的d h t 环形拓扑之上，因此 当网络中的一个节点需要加入到系统当中时，该节点必须运行a g e n t 节点服务， 该服务需要为节点建立正确的拓扑维护信息( 包括计算并分配给新节点正确的 d h tk e y ，以确保系统能够准确的访问该机器，以及动态的收集必要的路由信息 以支持d h t 的基本查询操作) ，同时节点服务注册用户指定的存储资源，生成s r h 信息，并由系统将其存放于存储池当中。通过a g e n t 注册到d v s a 系统当巾的主 两北上业大学硕士学位论文第三章d v s a 主机级虚拟存储架构 机存储资源被称为系统托管资源( s y s t e md e l e g a t e dr e s o u r c e ) ，资源内部的数 据不再受原计算机文件系统的管理，而是直接由a g e n t 服务提供必要的资源访问 控制及i o 服务。在d v s a 中，a g e n t 内嵌了一个数据块管理系统( d a t ab l o c k m a n a g es y s t e m ) ，用以实现对托管资源的管理。 2 存储节点的删除： 在两种情况下d v s a 系统会涉及到存储节点的删除操作，一种情况是某一节 点已经损坏，例如，节点在系统毫不知情的情况下脱离系统管理，另一种情况是， 用户向系统发出节点删除请求。前者是由于网络环境不稳定而造成的，属于被动 的节点恢复操作；后者则是系统响应用户请求而进行的无害的有准备的删除操 作。 在第一种情况下，系统需要实时地检测每一个存储节点是否已经损坏，系统 中的每一个m a n a g e r 节点定期的向与之相关的存储节点发送监测数据报，以验证 该节点是否还存在以及运行是否正常，如果m a n a g e r 无法接收到来自该节点 a g e n t 的响应信息或者响应信息表明该节点已经无法正常运行，那么系统认为节 点已经损坏，则自动执行灾难恢复操作( r e s t o r e ) ，从m a n a g e r 所维护的数据映 射信息中，查找与之相关的数据块副本，自动修改并重新建立起数据块与l v 之 间的映射关系，使系统恢复到正常状态。 在第二种情况下，存储节点自动通知与之相关的各个m a n a g e r 节点，由 m a n a g e r 选择适当的空闲节点，并备份被删除存储节点上的数据之后再将该节点 从系统中删除，在此方式下任何数据块都将找到新的存储空间，并更新其与相应 l v 之间的映射关系，因此，这是一种稳定的无损删除的过程。 3 数据拾取： 当系统任意一个节点收到数据拾取请求时，该节点首先根据用户指定的v i d 信息计算出相应的m a n a g e r 的k e y ，并与系统分配给自身的k e y 进行比较，如果 节点不是所需的m a n a g e r 节点，则该节点根据d h t 查询协议进行节点查找，并返 回所需的m a n a g e r 节点。之后，系统根据( v i d ，b i d ) 获得数据块相应的s r h 信 息，并对其进行有效性检查，如果s r h 有效，则根据s r h 信息向该节点发送数据 读取请求，在a g e n t 服务接收到该请求之后，通过必要的数据完整性及正确性检 查后，将其以p 2 p 的形式发送到数据请求者( 一般为c 1i e n t 或者其他a g e n t ) 一端。 西北上业_ 人学硕：t 学位论文 第三章d v s a 主机级虚拟存储架构 图3 - 1 数据更新流程 4 数据更新： 当收到数据更新请求( u p d a t e ) 时：如果系统位于初始状态，b l o c k 与a g e n t 问逻辑物理影射尚未建立，则此时系统通过节点优先级选择算法n p s a ( n o d e p r i o r i t ys e l e c t i o na l g o r i t h m s ) 计算并选择适当的a g e n t ，创建b l o c k 与a g e n t 间 的逻辑物理影射；否则，根据已知的映射关系直接选定a g e n t 。在a g e n t 确定 后，m a n a g e r 将相应的s r h 发送给写入操作请求方，并由其直接建立与a g e n t 间的p 2 p 连接，进行数据传输通信( 如图3 - 3 所示，图中的序号表明操作的先后 顺序) 。 3 2 物理层 在d v s a 架构中，物理层由各种网络设备、用户主机、以及各种i d e 存储 设备( 例如磁盘阵列等) 组成，这些共同构成了d v s a 的资源库。具体而言， 由