超融合系统方案建议书

1、XX公司超融合系统方案建议书目 录 TOC o 1-3 h z u HYPERLINK l _Toc18473859 1项目需求分析 PAGEREF _Toc18473859 h 3 HYPERLINK l _Toc18473860 2解决方案拓扑图 PAGEREF _Toc18473860 h 4 HYPERLINK l _Toc18473861 3配置说明 PAGEREF _Toc18473861 h 5 HYPERLINK l _Toc18473862 4架构设计思路 PAGEREF _Toc18473862 h 6 HYPERLINK l _Toc18473863 5超融合一体机产品介

2、绍 PAGEREF _Toc18473863 h 10 HYPERLINK l _Toc18473864 6基于硬件的分布式块存储：ScaleIO PAGEREF _Toc18473864 h 12 HYPERLINK l _Toc18473865 7未来数据保护架构建议 PAGEREF _Toc18473865 h 20项目需求分析XXX有限公司成立于XX年X月XX日， 为了支撑YYYYY系统建设，整合集团的信息化系统，并为未来的大数据业务做支撑，XXX集团信息化部门提出IAAS平台建设的构想。跟进前期跟XXX集团信息化部门同事的沟通，总结设计宗旨如下：成熟的商业架构：系统稳定性和健壮性是第

3、一考量因素；云计算的交付模式：从小规模开始，系统可灵活动态扩展；运维管理简单：统一交付，简化运维复杂度；针对以上需求，神州云科公司联合合作伙伴为XXX推荐基于 EMC ScaleIO分布式存储软件为核心的超融合一体机交付方案，为XXX提供健壮、可扩展的基础架构方案。本方案随后会介绍设计思路、神州云科超融合一体机、ScaleIO软件供XXX同事参考。解决方案拓扑图x86服务器CPUMEMx86服务器CPUMEMx86服务器CPUMEMVMVMVMVMVMVMVMVMVMSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDS

4、SDSSDSSDSSDSSDSSDSSDSSDSSD分 布 式 存 储 池YK Cloud Manger神州云科超融合平台是一种全集成的基础设施解决方案，它将服务器和存储硬件整合于单一的集成设备，通过神州云科自主研发的YK Cloud Manager 软件进行统一的管理和监控。在这种硬件架构下可通过添加一个或多个节点，进行无缝和线性调的横向扩展，并且实现随增长付费的灵活性。本解决方案采用的分布式软件技术EMC ScaleIO与谷歌、Facebook、亚马逊等 Web（大）规模的（公有）云基础设施（架构）相同，既保证（保持）了集中存储的优势，又能够实现大规模的扩展；而不同之处在于，神州云科超融合

5、计算存储平台（平台）通过自有管理平台YK Cloud Manager简化了部署、管理和监控的复杂度，适用于各种规模的企业。配置说明架构设计思路本系统架构设计考虑到数据中心技术的变迁，以及新兴互联网架构的技术趋势,为XXX提供面向未来的基础架构设计。数据中心技术的变迁过去几十年里，数据中心技术发生了天翻地覆的变化，2000年前后的互联网发展推动了数据中心从大型机时代转向独立服务器和集中存储架构。相比之下，独立服务器带来了比大型机更加灵活的系统的环境；可以通过网络访问让也降低了运维的复杂性。业务部门需要盈利，数据是关键因素。依赖于其灵活的容量调配和高可用设计，集中存储实现了可共享的、更大的存储资源

6、池，并且可以提供数据的保护能力。池化让存储资源得到更充分的利用，RAID及基于存储的容灾复制技术使得数据得到充分保护，避免因为服务器宕机、管理员误操作等引起数据丢失。但是独立服务器和共享存储架构也存在很多问题，独立服务器带来的是竖井式的架构设计，相应的服务器资源利用效率不平均，总体来说利用率非常低下（平均5-10%）。另外服务器也经常成为单点故障。集中存储的系统复杂性也需要额外的管理工具和技术团队来运维，专用的存储系统也让用户很容易被锁定。虚拟化技术的出现使得多种工作负载和操作系统以虚拟机（VM）的形式运行在单一物理机上，大大增加了物理服务器的资源利用率。随着Vmware等厂商的推动，X86虚

7、拟化方案的功能日渐丰富，效率也大幅提高。借助诸多高级功能，比如在线迁移、高可用和动态资源负载均衡等，用户真正获得了虚拟机的高可用能力，并且可以动态迁移和管理工作负载。集中存储虽然通过合并路径等操作来提高效率，但大规模虚拟化集群中虚拟机的快速增长却会带来下面的问题：虚拟机快速增长导致更多的存储，代理更加复杂的管理；多个虚拟机征用带来的资源冲突；存储的控制器架构带来的性能瓶颈；做为一种日益普通的存储介质，固态硬盘的出现在一定程度上解决了集中存储的问题。放在集中存储中的固态硬盘使得无需借助更多的阵列就可以提供更高的IO性能和更低的相应延迟。但来自集中存储控制器和网络的瓶颈依然存储，应用的竖井架构和复

8、杂的存储管理依然存储。在计算、网络和存储三层架构的传统数据中心中，随着服务器CPU处理能力的日益提升，网络日益成为瓶颈。传统的4/8/16GB FC网络带宽只能对应1到9块固态硬盘的I/O处理能力。另外，电商、大数据等诸多应用对实时系统要求日益提高，相应延迟成为一个影响客户体验的问题。一个典型的网络响应时间为0.5毫秒，而本地内存访问的延迟不到1/100。很多基于服务器的缓存技术出现，正式为了缓解网络延迟问题。互联网架构云计算和互联网的蓬勃发展，带来客户对不可预见的IT资源需求。互联网架构就是面向业务快速增长的敏捷IT需求而设计，是指一种面向基础架构和计算资源的全新计算架构方式，可以实现互联网

9、规模的弹性架构能力。但是企业级数据中心不会走向Google、阿里这样的大规模，而且有其他在高可用等方面的特定需求。目前很多流行的融合架构、软件定义的智能化、分布式系统、基于API的自动化等概念，正是在互联网架构下衍生出来的企业级IT技术趋势。相对于传统的计算、网络和存储的三层数据中心架构，融合架构可以将多个组件组合在一个单元中，提供计算、网络和存储服务，并且可以独立扩展，这样消除传统计算和存储的竖井架构。当然，很多环境下客户也需要存储和计算分开维护，融合架构要提供这样的灵活性，并且能利用到本地I/O处理带来的快速响应。软件定义是指运行在通用的商品化硬件之上，通过软件来实现核心的逻辑，把关键处理

10、逻辑从专用硬件中剥离。软件定义可以降低对硬件的依赖，提升系统的敏捷性和健壮性，具备如下特征：底层负责提供服务，采用X86等通用硬件；控制平面和数据平面分离，并对底层资源进行抽象；可以通过可编程的接口实现高度的自动化；分布式、可线性扩展的系统，是指从之前的单一集中模式处理业务，转向集群内所有节点分布式处理业务，并且可以在需要横向扩展时随时扩展系统的性能和容量。传统架构设计的前提是假定硬件可靠，至少在某种程度上是可靠的，正如我们看到服务器、存储等某个单点上是5个9高可用一样。但分布式系统的假定是硬件终究是会出问题，关键点是如何在一个简单的、以业务不中断的方式来处理故障。分布式系统的设计是为了调整和

11、修复故障，并且能做到自恢复。任何一个故障出现，系统会通知管理员，而修复都可以按照管理员之前设定的流程自动化的去修复。这样就解决了单点故障，消除了系统中的瓶颈。灵活的线性扩展使得系统的计算、网络和存储容量可随时灵活扩展，客户可以从小规模开始，在任何规模都能获得一致性的性能和容量增长。总结以上数据中心的技术变迁，虚拟化技术的出现解决了计算资源的利用率的问题，但存储的负载和复杂性依然存在，同时网络层面的开销和延迟也降低了客户体验。固态硬盘、服务器本地缓存等技术的出现和完善，使得分布式系统成为可能，软件定义降低了对专有硬件的依赖，通过软件的方式来实现分布式系统的自恢复和管理，互联网架构在企业级数据中心

12、中成为可能。超融合一体机产品介绍为了便于用户部署系统，神州云科推出了超融合一体机。经过多家实验室的架构验证，超融合一体机能保证客户的生产系统快速上线。各个硬件节点可以通过ScaleIO软件将存储和计算资源聚合至单层体系结构中，以聚合容量和性能并简化管理。通过自主创新的管理软件YK Cloud Manager，超融合一体机可以将对所有硬件产品的管理，存储的管理，以及对上层虚拟化软件（VMware，Citrix，KVM等）的管理统一在一个操作界面内，大大简化了安装配置过程。提供包括YK Cloud Manager，ScaleIO软件，虚拟化软件（可选）和硬件节点全部的售后服务支持，为客户的系统正常

13、运行保驾护航。超融合一体机包括： EMC ScaleIO 软件的完整生产版本 ， x86 商用服务器，管理软件YK Cloud Manager企业版以及根据用户要求提供的虚拟化软件。目前主要有以下规格：Per Node YK-4000 YK-6000 系统结构CPUE5-2600v3E5-2600v3内存64GB-1TB64GB-1TB容量（裸容量）7.2TB SSD400GB SSD + 6TB SAS14.4TB SSD800GB SSD + 12TB SAS网络接口2x 1 GbE以太网口（电口）；1x 1 GbE IPMI端口（RJ45)；2x 1 GbE以太网口（电口）；1x 1 G

14、bE IPMI端口（RJ45)；4x 10 GbE以太网口（光纤接口含SFP）4x 10 GbE以太网口（光纤接口含SFP）系统盘16GB16GBGPUN/A支持PCI-E FlashN/A支持 LINK Excel.Sheet.12 C:EMC work folderproduct and solutionASDScaleIO招投标11 ScaleIO 1.3 招标指标 中文 v0.2.xlsx Sheet3!R1C1:R7C6 a f 4 h * MERGEFORMAT 超融合一体机适用场景多种多样，满足多种用户的不同需求，不管客户用来部署虚拟桌面、私有云和服务器虚拟化、高性能数据库、大数

15、据计算等各种场景，超融合一体机都能通过灵活的扩展、多家实验室验证过的架构，帮助客户实现快速业务上线，并得到可预期的高服务水平。基于硬件的分布式块存储：ScaleIOEMC ScaleIO 是一款软件，可以利用X86服务器本地存储，通过聚合服务器本地服务器的容量和性能以创建分布式块存储，按需提供存储容量和性能。ScaleIO安装在X86服务器的通用操作系统之上，由于对服务器的CPU/内存资源开销非常小，可以在运行ScaleIO软件的服务器上运行应用程序，这种部署方式也被称为融合部署模式。ScaleIO有很强的扩展性，单系统可扩展至上千节点。此外ScaleIO对运行的服务器、操作系统没有任何限制，

16、可以基于实际需求任意组合，一个集群内可以支持不同厂商、不同型号、不同操作系统的服务器混合部署。对于被管理的物理磁盘介质，ScaleIO也不做任何限制，可以是HDD、SSD、PCIe闪存卡，甚至DAS，或者其他外置存储分配给该主机的逻辑卷。ScaleIO可以根据实际的需求结合不同的磁盘介质和物理服务器数量，组成具有不同性能、容量、可靠性的存储池，从而满足服务器虚拟化、数据库、开发测试与虚拟桌面等多种场景对不同性能、容量、可靠性的存储的需求。体系结构组件ScaleIO包含三个组件：数据客户端(SDC)，数据服务器(SDS)以及元数据管理（MDM）MDM：用于配置和监控ScaleIO系统，存储元数据

17、信息，建议配置为集群模式以保证该组件的高可用性SDS：管理服务器的存储空间，并作为存储数据访问的后端进程。SDS需要安装到所有为ScaleIO系统贡献存储容量的服务器上。这些设备的访问需要通过SDS。SDC：SDC是一个数据块设备驱动程序，它使得应用程序可以访问ScaleIO共享数据块卷，在需要访问群集数据块存储卷的应用程序服务器上运行。当本地应用程序发出I/O请求，不论请求的数据块在哪个位置，SDC都将满足该请求。SDC拥有群集内所有数据的位置信息，总是将I/O请求定向到正确的目标SDS，不论目标SDS位于同一服务器或任何其他服务器。I/O操作不会经由中央路由点，从而避免出现瓶颈。聚合存储与

18、计算ScaleIO支持多种主流X86操作系统（Windows/Linux/Xen/ESXi/Hyper-V）以及主流服务器配置，对于被管理的物理磁盘介质，ScaleIO也不做任何限制，可以是HDD、SSD、PCIe闪存卡，甚至DAS，或者其他外置存储分配给该主机的逻辑卷，可以根据实际需求灵活配置。典型的部署架构分为两种：两层架构：选择单独的存储服务器作为存储集群运行ScaleIO分布式块存储软件，其中存储服务器选择存储型服务器配置，低CPU、低内存、多磁盘插槽配置，节点之间通过以太网或者Infinitband进行互连。两层架构融合架构：服务器即运行应用程序，同时运行ScaleIO分布式块存储软

19、件，由于ScaleIO对CPU/内存的需求非常小，即使ScaleIO与应用程序安装在一台物理服务器上也不会影响应用程度的性能。该配置下，服务器根据需求选择合适的CPU、内存以及磁盘配置。节点之间通过以太网或者Infinitband进行互连融合架构线性可扩展性ScaleIO 经设计可大规模扩展，可从三节点扩展至数千节点。与大多数传统存储系统不同，随着存储设备数量的增长，吞吐量和IOPS 也会同时增长。随着部署节点数量的增长，容量、性能也呈线性扩展。一旦需求有所变化，即可通过模块化方式添加更多存储和计算资源（例如更多服务器和驱动器）。存储弹性伸缩ScaleIO支持在线添加节点或者磁盘。节点或者磁盘

20、添加以后，ScaleIO会在集群中进行数据块的重新分布，这个过程称为数据重分布。数据重分布过程中，视搬移数据量的不同，可能会有大量的IO操作。为了保证应用程序能够正常运行，可以设置多种QoS策略，以限定数据重分布的速度。添加节点ScaleIO支持在线删除节点或者磁盘。提交节点或者磁盘删除操作以后，ScaleIO会首先在集群中进行数据块搬移，数据块会首先从被删除节点或磁盘中搬移至集群中剩余节点或磁盘中，这个过程也被称为数据重分布。数据重分布过程中，视搬移数据量的不同，同样会有大量的IO操作。为了保证应用程序能够正常运行，可以设置QoS策略，以限定数据重分布的速度。删除节点由于ScaleIO对集群

21、内服务器的型号、配置、操作系统没有任何的限制，结合在线添加、删除节点功能，可以实现存储集群硬件的在线更换，而且更换过程中对应用没有任何影响。通过I/O并行提升性能在ScaleIO环境下，存储卷会均匀分布到存储池中的所有磁盘上。当某台应用服务器通过SDC进行IO访问时，集群中所有的节点都会对其提供服务，这样能很好的保证IO的大规模并发。此外，整体的吞吐量和IOPS的扩展性与集群中节点数量和本地存储设备数量成正比。随节点和本地存储磁盘数量的增长而线性增长。添加节点、磁盘时候性能负载均衡将自动进行，无需手工干预。数据保护和恢复能力ScaleIO架构中不存在单点故障。ScaleIO会将存储卷进行切片操

22、作，并进行跨集群所有节点的切片镜像。如果发生节点故障，ScaleIO会自动进行故障数据块的网状数据重建，以实现集群的自我修复，而无需管理员手工操作。此外ScaleIO可以设置多种QoS策略，以限定故障重建导致的IO流量，以保证数据的快速恢复。针对网络故障，ScaleIO可以自动进行多网口的负载均衡以及故障切换，充分保证端到端的高可靠性。磁盘IO加速ScaleIO提供缓存功能，可以利用服务器的内存或者服务器本地的闪存设备作为IO缓存，来对底层的低速存储介质进行IO加速。通过采用该功能，只需配置少量的闪存设备或者分配部分服务器的内存，即可优化数据存储介质的延迟并提高IO，从而大幅提升应用程序的性能

23、。快照ScaleIO系统允许针对已有存储卷进行快照。快照为瘦供给模式，快照速度非常快。一旦快照生成，该快照即可作为一个新的、未映射的存储卷来进行使用，可以将该快照映射给应用服务器来进行使用。服务质量保证ScaleIO可以提供多种场景下，多种手段来保证应用的存储服务质量：可以针对数据重建的流量进行限制，以保证在进行数据重建时不会影响应用对存储的访问。可以针对数据负载均衡的流量进行限制，以保证应用正常运行，而不会受到影响可以限定某个应用服务器对某个存储卷能访问的IO和带宽。这可以充分避免非关键应用的性能滥用，从而保证关键应用的运行简单的管理和监视ScaleIO的采用批量分发、自动化安装，通过Sca

24、leIO 网关，可以将安装文件推送到需要安装ScaleIO组件的节点，并自动执行安装配置过程。另外ScaleIO提供图形化管理界面，可以对集群进行管理，并实时监控整个集群从磁盘、存储池到节点的性能、容量以及告警情况。总结总体而言，ScaleIO不是一个功能强大的存储软件，但是它是一个简单、优雅的存储软件：安装简单：软件批量分发、批量部署，非常适合大规模环境管理简单：既有简单的图形化界面，也支持脚本、API操作架构简单：三个简单的组件、对主机资源开销非常小广泛的兼容性：支持不同类型的操作系统、不同厂家的服务器、不同类型的磁盘介质，支持混合配置。未来数据保护架构建议跟进与XXX信息化部门同事的沟通

25、，本期项目中考虑了一期IAAS平台中的计算、网络和存储设计，以及统一资源调度和管理，支持到目前的YYY等系统，以及当前集团其他子公司的一些信息化资源需求。本期项目中考虑的虚拟化软件、EMC ScaleIO等架构软件都支持横向扩展，可以非常简单、快速的平滑扩展，能同时能在性能和容量等资源上线性扩展。硬件选型也完全是基于标准Intel X86架构，基本上具备企业级互联网基础架构的雏形。未来随着其他关键生产业务逐步迁移到该平台，特别是类似电商平台等724小时业务系统的增多，我们也建议XXX信息化部门未来在数据保护上进行考虑，保证业务连续性。在机房布局上，未来应考虑增加一个数据中心，避免数据中心的单点

26、。从系统业务连续性的整体设计来看，应重点考虑2个重要的指标：RTO（恢复时间）和RPO（恢复点）。RTO（Recovery Time Objective）代表容灾系统在灾难发生后数据或者系统恢复所用的时间。RPO（Recovery Point Objective）代表灾难发生时已经备份的数据与生产数据的时间差。RPO可以简单的描述为能容忍的最大数据丢失量，为了更好的理解，可以想一下传统数据保护会产生什么后果，一般备份都是一天做一次，通常是在晚上，如果第二天出现错误，那从备份完成后到错误出现时所写入的数据都无法挽回了，这期间没有备份，数据就丢失了！如果错误出现在一天结束时，那一天的数据都丢失了，

27、这种情况下，RPO就是24小时。对于关键的生产系统，特别是邮件、电商这样的724小时业务系统来说，一方面不能停机，另一方面不能丢失数据，对于RTO和RPO的需求都是极高的，针对XXX的业务需求，结合目前在业界最先进的数据保护手段，建议XXX规划系统RTO和RPO如下（针对关键生产应用）：RTO20分钟；RPO1分钟；以应对包括服务器故障、虚拟机系统故障、逻辑错误、机房故障等。当前在计算层面，未来会完全虚拟化，计算层面的高可用可以通过例如Vmware的高级功能来实现，比如虚拟机热迁移vMotion、高可用Vmware HA、动态资源调配DRS等技术，由于对业务系统进行全面虚拟化，恢复的单位应该以虚拟机为单位。针对VMware虚拟平台，可以通过安装虚拟机保护系统EMC RecoverPoint for VMs