分布式存储虚拟化

分布式虚拟虚拟管理:虚拟化是将设备、分布式系统抽象为统一池，虚拟机在统一中作为一个文件或一个块设备相应系统中。统一是一个逻辑，它将各个设备的特性隐并提供一个统一的模型来虚拟机相关文件。每一个集群可使用一个或多个池，这样以方便的根据要求将主机资源落在相应的系统上（如：可按高性能、大容量等分池类型。管理如下图：2121系统可以管理IPSAN、FCSAN、NAS上的资源,以池为单位分配给资源集群使用。池是虚拟机系统盘、数据盘所在的空间，其对应的物理概念是SAN的资源池。虚拟化技术可以更好的管理持IO优先级控制和QoS保证。数据卷快照:数据卷快照功能是指把某一时刻的磁盘状态像一样保存下具备高可扩展性，可支持上亿个文件和100PB以上量级的文件；支持不RAID卡和NAS等特殊硬Shared-nothing架构设计，支持1万以上客户端并发读写。提供一个数据驱动的多级流水线并行计算框架，兼容业界主流的多种编程模型。提供并行任务调度能力，且具备高可扩展性，最高可支持十万以上级的并行任务调度。实现自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成。提供整个云操作系统以及应用服务的部署、配置管理及服务的自检；支持集群扩容和应用服务的升级。中镜像模板由系统和用户自定义模板组成：系统模板由系统管理分布式是为企业提供性符合成本效益的高性能平台。TB、PB、EB考虑的可靠性和容错性考虑分层和自动负载均衡考虑的初建成本和扩容成本考虑运维人员的复杂度，降低运维成本基于上述设计原则，分布式云系统采用先进的分布式对象设计，同时整合文件、块和对象三种技术，为各种不同类型的客户应用提供适合其需求的服务。系统整体架构如下图所示：分布式云系统整体架构多种类型接该套分布式对象系统提供多种类型的接口，包括S3接口、iSCSI/FC接口、NFS/CIFS、NAS等接口。可以根据需要使用任意一种进行，方便客户和原有系统的对接和管理。丰富的管理分发支持策略管理，如分发、QoS和分层；提供详尽的和报告；数据和自动修复功能根据策略进行对象分发、对象和对象再平衡。RAID全和高可用。同时分布式集群支持实时多副本功能。数据在集群中实时保存n份副本，可确保任意(n-1)台节点出现故障，数据依旧安全且可。多数据中心的不同云集群间支持数据互备互援，确保发生人力不可控的时，卓越的性价支持数据去重、数据压缩和SSD加速功能。可有效节省空间，提高存储服务的成本优势，同时在可控的成本范围内大幅提升性能。开放的硬件选X86X86硬件架构，同时为了保证的可持续性扩展和性能，可以实现IP-SAN方式，采用scale-out分布式架构，实现基于节点的灵活扩展。对象部署架构如下图所示对象部署架构网络：用于OSD节点间的数据的副本，数据修复和群集状业务网络：用于对的请求，如创建数据，修改数据、查询数据和OSD群集：根据对业务和性能的需求不同，设计划分为3个池，即对象池、块池和文件池。网关群集：根据服务的对象不同，设计划分为2个网关群集，即对象网关群集、块\文件网关群集。系统组对象的分布式对象主要分为三大组件对象设备（OSD）：可以支持PB级数据对象的池和统一资 件系统协议的挂接点，以支持iSCSI、CIFS和NFS标准传输协议。 服务器（RRS）：将数据从一个群集到另一个群集 网络：用于OSD节点间的数据的副本，数据修复和群集业务网络：用于用户对的请求，如创建数据，修改数据、查询数OSD群集：根据对业务和性能的需求不同，设计划分为3个池，即对象池、块池和文件池。网关群集：根据服务的对象不同，设计划分为2个网关群集，即对象网关群集、块\文件网关群集。对象扩展性设对象服务支持主流的开源数据库，同时支持Oracle等关系型数据库的数据迁移，提供完整的协议支持：提供AmazonS3,OpenStackswift,CIFS,NFS,iSCSI,FC等标准协议，让使用者现有应用能完整且无接缝的迁移规模的请求处理与数据传输，容量。通过分布式架构支持大规模的请求处理与数据传输，确保对象服务的高可用性，容量和服务规模没有任何限制，系统规模可以水平扩展。对 服务特性设计数据备分布式集群支持实时多副本功能。数据在集群中实时保存n份副本，可确保任意(n-1)台节点出现故障时数据依旧安全且可，多数据中心的不同云集群间支持数据互备互援，确保发生人力不可控的时数据依旧安当数据被分布到多个节点时数据的安全性及可用性会随着节点的增加而降低。因此实时数据的副本抄写是分布式的必要功能。本系统采用强一致如果数据出现损坏，分布会根据数据副本对数据自我修复分布为用户提供快照功能以便根据需要对自己的数据进行快照，分布通过数据备份机制来实现灵活可靠的备份和恢复，保支持多主文件技术是将分布独立的数据整合为大型集中化管理的数据中心以面据存档和备份提供安全耐用的大规模数据服务，且可以无限扩容。低成安全文件以多副本方式可防止文件因单点故障导致无法及时或丢失损坏，同时也在一个设施内的多个设备上。文件提供基于分布式架构的大规模数据服务可进行扩展以满足的不断增长且通常无法预测的要求文件会根据客户的容量自动扩展，文件的容量没有上限。挂载多个实可原始数据块级的应用，节约成，无需采购设备空间可自由定制，产生的费用按弹性块的使用，灵活部创建后即可对弹性块进行挂载实现快速部署每块弹性块可以挂载按需使可申请多个弹性块，每块弹性块申请的最大空间可至2T，可以随着业务的增大对块弹性扩展空间也可以为主机挂载的弹性块，web操作进行删除。安全可7x24小时贴心服务，每份弹性块数据在都存有多分冗余并实时同对象数据持久性设多层级的可用性RAID5阵列，确保节点内部数据安全和高可用。同时群间支持数据互备互援，确保发生人力不可控的时，数据依旧安全。自动恢OSDOSDAOSDB没有回应时，会报告给MonitorsOSDBMonitors给OSDB标记为down状态，并更新OSDMapMOSDBMonitorsOSDB标记为out状态(OSDB不能工作OSDMap。如图所示：OSDB中的数据将自动执行故障恢复动作。稳定的数据传输该套对象系统为用户提供3种类型的接口，即对象接口、iSCSI/FC接口、NFS/CIFS3种接口的任意一种进行。保证了在高可用行。MTBF2年，检测时间（t）5s，故随着集群中的节点数增加，对象数据私密性设通过验证和用户设置控制，来保护自己的数据 认中包含一个accesskey和一个哈希信息（HMAC）控制列表ACL是一个列表，每个条目指定一个用户是否有权操作一bucket或一个对象。每个应用到bucket上和应用到对象上意义不同对象对请求当对象收到请求（例如，桶或对象操作）时，它首先验证请求者是否拥有必要的权限。对象对所有相关策略、用户策略和基于资源的策（桶策略、桶ACL、对象ACL）进行评估，以决定是否对该请求进行以下是一些示例方案：如果请求者是IAM用户则对象必须确定该用户所属的父账户已授予该用户执行操作的必限。此外，如果请求是要执行桶操作（例如，请求列出桶内容，则对象必须验证桶拥有者是否已为请求者要针对某一资源执行特定操作，IAM用户需要从其所属的父账户以及拥有对象系统功能特采用去中心化的设计。无需特定管理节点。此一设计不但大幅降低了节点中并被数据实时给保护，无元数据单一节点失效的问题。这样的设计可以让单一集群的最大容量可以在单一命名空间里扩充到百PB级。 节点和存取节点可分离式设在使用网络共享时，常遇到的一个场景是资源还够用但是网络资源不够了而导致整体效能遭遇瓶颈，这在传统常见到的就是机头(controller)的网络资源有限制。采用了节点和存取节点可分离设计。在需要时可以单独扩充存取节点以提高传输效能。此一设计让分布式云系统可以更弹性，更有效的使用预算，达到绿色IT。分布式技术原理如下图。分布式技术原 可以使用SSD支持热点数据加速的功能。在许多的应用场景如流，或虚拟化，有些热点数据会一再的被。这些热点数据通常是一个文件中的某些特定区块，或是某些卷的特定区块。可以将常被存取的区块使用快速的设备像是SSD来做数据快取。让这些热点数据可以快速的从SSD被而无需到传统的磁盘中重复的。此一热点数据加速功能还可以搭配分离式存取节点，将热点数据放在离客户端最近的存取节点，进而增加数据的效 分点中也会有不同效能的设备。一般常见的分布式会将数据平均的分布在每个节点上，如此整体的效能会被较慢的节点给拖慢。能够让管理者将不同效能的做分层，让需要高效能性能的数据存在高效能的节点上。如此可以有效率的使用不同性能的在不同的应用场景上。

当数据被分布到许多的节点时，数据的安全性及可用性会随着节点的增加而降低。因此实时数据的副本抄写是一个分布式的必要功能。本系统客客户写入确认写入 确写入确认主主写入确认副本副本副本在实时数据副本上提供了的管理弹性，可让管理者根据数据的重要性配置不同的副本数。而且此副本数还可以动态的调整。让管理者可以有效的利用资源来保护重要的资料。当集群中有节点失效时幅提高整体SLA确保数据不会因为连续的硬件故障而丢失。标准协支持标准SAN和NAS协议，无需安装客户端，无兼容性问题。可以直接使用CIFS／NFS实现海量共享。支持RESTfulAPI如AmazonS3,OpenStackswift和WebDAV。数据机分布式云提供多数据机制。系统可为每位用户创建相互独立的存储池。于不同池中的数据彼此不会产生任何交叠。同时可为用户的存储池配置的网关，即用户仅可以通过配置的网关才可以相应的数据池中的数据。确保不同用户从数据通路以及数据底层都完全做到数据安全。多级安全机能够灵活的控制自己数据的人员、方式、时间以及位置。四种安全访

四种安全机制使用HTTPS协议通过SSL加密终端节点将数据安全地上传/。在用户检索数据时，将自动进行。密库先对数据加密，再将其上传到。(SE)。使用SE，您只需在写入数据元时另外添加一个请求标头，即可能够记录对资源所做的请求。对资源本身，或者在其中的数据进行监针对用户的对象段相关请求，创建相应日志记录服务器日志可捕获对段或其中的数据元发出的所有请求无需另外安装管理服务器，即可提供容易使用的Web管理界面。提供图形化的管理界面各节点的使用状态并在侦测到异常时采用警示。系统会在侦测下列情况并且提供警示：整体空间小于适应FC-SAN、IP-SAN等主流协服务支持主流的协议支持：提供FC、AmazonS3,OpenStackswift、CIFS、NFS、iSCSI等标准协议，让使用者现有应用能同实现由于SAN具有出色的可扩展性，面对迅速增长的数据需求，企业和服务提供商很多选择FC-SAN作为网络基础设施，事实上，SAN比传统的架构具有显著的优势。例如，传统的服务器连接通常难于更新或集中管理。每台服务器必须关闭才能增加和配置新的。而FC-SAN不必宕机和中断与服务器的连接即可增加。FC-SAN还可以集中管理数据，从而降低了总体拥有利用光纤通道技术，FC-SAN可以有效地传输数据块。通过支持在和服务器之间传输海量数据块，SAN提供了数据备份的有效方式。因此，传统上用开放的、业界标准的光纤通道技术还使得FC-SAN非常灵活。FC-SAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和之间的距离，从而增加了连接的可能性。改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。此外，FC-SAN可以更好地控制网络环境，适合那些基于的系统在性能和可用性方面的需求。SAN利用高可靠和高性能的光中国积极响应客户需求，致力于为用户提供开放、融合、易于管理的解决方案，通过支持OpenStack可以为用户带来更好的架构和更优的体验。同时希望以业界领先的性能、多种效率提升机制目前，随着FC技术的发展，FCSAN能够为客户提供更高性能基础架构FCSAN的支持，可以更有效地支撑虚拟化和云计算FCSAN为了满足私有云务集中与数据快速增长带来的性能和管理需求，通过资源虚拟化、按需分配资源、分布式等技术，使数据流动和高性能服4.5.1器内部自带的设备外部指的是服务器外的设备比如最常用的FCSAN、NAS等。各服务器的内部可通过虚拟操作系统将其虚拟化成一个共小，云平台主要使用的是外部技术-云。云技术关注点主要包括以下几个方面：在云能力技术层面：分布式对象：分布式对象是一种基于对象的系统，具备智能、web服务协议（REST18、SOAP19）实现对象的读写和资源的。对象系统引入了容器和对象两种数据描述，容器和对象都有一个全局唯一的ID。对象采用扁平化结构管理所有数据，用户/应用通过接入码认证后只需要根据ID就可以容器/对象及相关的数据元数据和对象属性。对象系统底层基于分布式系统来实现数据的存取，其方式对外部应用透明。这样的系统架构具有高可扩展性，支持数据的并发读写块级集群系统：块级集群系统将多个节点的控制器连接起来，形成一个集群系统，通过对底层设备中数据块的虚拟化，实现不同节点的块设备的统一管理块级集群系统可以利用多路网格模块并行分担负集群NAS和集群文件系统NAS和集群文件系统是指协同多个节点文件请求被分散到所有集群上进行处理。集群NAS和集群文件系统在可扩软件定义：软件定义（SDS）实质上是利用虚拟化软件，将物理设备中的无论是基于块文件还是对象抽象为虚拟共享资源池，通过虚拟化层进行管理，可以按照用户的需求，将池划分为许多虚拟存从而可以跨物理设备实现灵活的使用模型。简单地说，软件定义把控制面与硬件面分离，它使资源变得更灵活，使其更容易地配置和使用资源。软件定义主要面向数据服务和管理，其主要特点在于：数据服务应用提供丰富的数据接口；兼容异构，开放接口等。在云部署架构层面，重点关注以下三个层次对分布式对象的，需要云提供对象的接口，云主机业务对块级集群资源的，需要云提供块的接口等。基础管理层：基础管理层实现不同设备的统一管理，其管理方式可分为层：根据不同设备使用模式的不同可以分为共享型和非共享型两种模式。共享型模式下，系统可以共享同一个或者多个逻辑单元，而非共享型模式下，系统中的每个节点独享后端的资源。在云管理技术层面上，重点关注以下三个方面多类型/异构的统一管理：云管理系统及其所兼容的协议可以配置和分配，并向用户提供划分、扩展、配置和增加与更替设备，实现资源池的统一管理。不同，进行不同类型资源的动态调度。：资源池的跨域管理及调度资源池分散在不同地域通过跨域的资：4.5.2技术成熟在云能力技术层本地分布式ServerSAN技术：ServerSAN是有多个独立的服务器带的组成的一个资源池对比已有的云方案，ServerSAN有着良好括DAS和SAN的分离共享和管理大量数据的需求催生了这类新的阵列。ServerSAN被定义为合并的资源，SeverSAN借助高速网络（Infiniband或块系统ScaleOut技术：目前一些传统设备厂商推出了全新OutFC25SAN设备以虚拟化方式进行整合，引入必然带来新的竖井，在已有系统扩容中不建议考虑，但由于其采用标准硬件单元，成全闪存阵列技术：全闪存阵列技术可以消除所有传统硬盘系统中I/O尤其有效。全闪存阵列相较于传统优势明显，首先就是极高的IOPS和吞吐带宽，1U的闪存阵列可以提供几储同样的级别，随着时间的推移，闪存将完全取代传统硬盘。多年，但由于以开源产品或自用技术为主，既无统一标准又缺少成熟产品，因此真正的应用较少。代表性为的GFS和开源的HDFS，另外也推出了的软硬件分离的分布式文件系统软硬件分离分布式文件系统解决写性能，且能够构建在标准的X86服务器集群之上，比软硬件一体设备具有更软件定义技术：SDS的起步稍晚，标准化的研究以及产品的研发尚处在起步阶段，再加上传统厂商由于各自利益，对SDS的发展战略尚不在云部署架构层应用接口层：应用可以用来云资源的接口已经比较成熟，分布式对象系统的接口层为上层各种应用提供对象HTTP接口、对象存APIPOSIX、NFS、CIFS、FTP等传统协议云系统；对集群块的，可支持的接口主要为iSCSI。基础管理层在分布式对象块级集群以及集群文件系统中，均存在带内和带外两种管理方式，如对集群文件系统的管理中，NAS网关实NASpNFS实现的是一种带外的管理层：共享型与非共享型使用模式需要视类型而定，如在集群 云管理技术层在异构资源的统一管理方面，可以采用厂商的商业化产品进行实现，技术相对成熟；同时OpenStack中云开源技术的发展也为异构资源云资源池的动态调度在厂商的特定解决方案中实现较好不同，实现较为。方案，通常情况下，需要云服务提供商定制化实现。目前来看，云还不那么完善和成熟，它的完善和成熟，不单单是单纯靠技术层面所能解决的。云要想得到类型不同、不同需求群体的共同认可，得高性能发展策作为业务和虚拟化平台的高性能需求整个平台的选择建议采用经过行业验证的成熟方案和架构，采用目前比较成FC/NAS的共享架构，部分业务根据应用特点选择本地硬盘的模式进行部署。底层架构仍在演进中虚拟化技术的进步使廉价的分布式代替昂贵的集中式成为可能，计算//网络的三网融合架构呼唤从基于FC的向基于IP的转移，分布式和基于IP的表现出类似于小型机向求不高数据量不大的场景有条件的扩大分布式使用范围并放手尝试IP存在云部署架构层面云应用接口的选择应以行业内主流的标准接口量采用带外的管理方式层上对共享模式和非共享模式的选择要考虑缓存一：：在云管理技术层面资源的统一管理方面，可以通过开源技术的研软件定义方面的差异性归根结底源自于业务的差异性，按照目前：：的技术发展，的差异性不可能消除。虽然SDS也表现出了与SDC和SDS当前的根本目标。SDS充分考虑SDS技术发展，评估相关产品成熟度，结合目标与自身优势，进SDSSDS云服务方面：加大在闪存技术、融合技术、可扩展集群技术、软件定义技术的研发积累，逐步寻找适合业务发展的性能与成本平衡点，实现高性价比、通用可扩展、面向应用和自动化适配的动态系统；采取措施加强云数据和，更好的保护敏感信息；在云运营中提供创新的解高性能架构选次是考虑高性价比因此我们首先需要分析数据中心系统需要支持的业务类型，看对的要求是需要大量顺序文件(音文件)读写的性能要求，还是大量随机读写(联机数据库类型)的高随机并发I/O要求。然后就是根据业务大量增加的需求，需要适当提高系统的性能。首先分析业务对需求类用则要求足够的I/O1MB大小的文件就可以算做“大文4～5MBMB，KB级大小的文件，那么就需要重点关心IOPS了。对于虚拟化环境中一般要求，由于NAS的高性价比优势，通常情况下会将NAS作为首选的解决方案以配置SAS硬盘这种高性价比硬盘作为首要考虑。由于目前主流都支持各种不同类型的硬盘在一个设备内，还可以考虑SATA硬盘作为补充，甚至考虑用SSD硬盘作为提升系统性能的FC-SAN高性能的首SAN区域网是独立于服务器网络系统之外的高速光纤网络,这种网络采用高速光纤通道作为传输体,以SCSI-3协议作为协议.将系统网络化，实现真正的高速共享。与IP-SAN和分布式系统相比，其主要先进：光纤通道（FibreChannel）SCSI技术是SANFibre当于Gigabit，双环共用可达到200-400Mbyte/s。每个环可挂接126SCSI设备，不加中继时最远距离可达10Km。而且有很大的继续发展空间。传统的SCSI160MB/s，容量（8-16个SCSI设备，距离（1.5-25米）等方面都已近极限。，留了传统的RAID，HA，Cluster等安全措施，而且提供了双环冗余备份等新的安全。，FibreChannelSwitch，Hub，Bridge等，SAN技术的各种管理及应用软件完全成熟并在国内外已有大量实际应用案例。在速度和稳定性要求特别高的场景中，可以使用FC-SAN作为该特定业务的主，配置FC硬盘和SSD硬盘的组合，提供极其强大的I/O性能。在此情况下可能还需要双做同步热备，使用同步技术实现数据的对于数据量不是很大但对数据有不同分级的情况，可以在一个设备上I/OSSD、SAS、SATAFC接口和ISCSI接口连接到不同的服务器上，在满足业务需求的情况下实现高性价比。对于OA办公等文件型要求比较多的情况，可以采用一套NAS设备进行。统一平台技术考虑在一个数据中心的平台建设中可能会根据不同理分级，并且考虑容灾的情况下，可以选择采用虚拟网关。虚拟网关可以将这些异构设备进行统一管理，并进行虚拟化，给用户一个透明的统一的管理界面，充分利用所有系统的资源。综合考虑系统的3个组成部分的配套关系统是由主机(服务器)网络设备面组成的提升系统1，那么网络的I/O储数据的，IP网络建议采用10GB部署；FCSAN网络建议采用8GB/16GB部署，并提供对未来链路带宽的升级预留。高性能架，。本次设计采用FC-SAN并辅以IP-SAN的共享的部署方式，使用多对存储控制器后端挂接磁盘柜系统供统一的资源设备选型时尽Deduplicate、ThinProvisioningSnapShot等功能，这样20GB80GB一般得不到利用，但利用精细化80GB可以用于其他目的。，。重复数据消除（DataDe-duplication）可以有效地消除重复的数据，仅保存数20GB的虚拟磁盘镜像，如果保存两个不同的版本，40GB的空间，然而利用重复数据消除功能，重复数据只需保存一次，以后的每个实例只需参考先前保存的拷贝，这样就可以将需要的空间40GB20GB多一点，因为只保存了两个版本之间的不同之处。当主机对数据容量的需求超过设备所能提供的性能和容量时以通过增加磁盘来解决但是目前的架构一对控制器所能支持的磁盘容量也的垂直扩展的方式并不能适用于政务云需求和扩展性需要所以在本次规划设计中建议平台采用集群部署模式即可以通过多节点的控制器部署来实现求来扩展控制器的性能，避免性能瓶颈：统一互不兼容的情况。另外一些传统的解决方案中FCSAN和NAS都其是在云平台这种资源整合后的场景下对不同类型的硬件锁定将极大的影具备通用性，通过一组可以支持横向扩展的控制平台，提供可以灵活扩展际需求提供FC/NAS/CIFS等资源的统一，实现在异构的资源中提供统一的平台:统一接入：在一个统一的控制平台，支持FCP/FCOE/NAS/CIFS等协议和