中数云HyperCloud软件开发测试云平台技术方案.docx

zsCloud软件开发测试云技术方案北京中数博阳信息技术有限公司2013年4月目 录一、软件企业面临的挑战3二、zsCloud的价值3三、zsCloud软件开发测试云方案6四、zsCloud软件开发测试云架构10五、安全性设计121.zsCloud Distribution Server防火墙防护122.Communicator与存储通讯区域隔离123.创建VM内部区域网络13六、接入层可靠性设计13七、资源池规划14八、系统迁移15九、数据备份与恢复15十、IP地址规划16十一、硬件设施16十二、性能评估17十三、zsCloud开发测试云方案组件17十四、中数云企业与客户介绍19（一）关于中数云19（二）中数云的资质201.软件产品证书212.软件企业证书21（三）我们的客户211.教育与科研212.IDC行业223.国有政府及企业224.跨国企业225.软件企业22十五、中数云的软件开发测试云案例23 一、 软件企业面临的挑战我国软件企业经过近10年的政府扶持和客户需求的不断增长，软件企业也在迅猛发展，逐渐从本世纪初的10来个人的规模发展到几十人甚至上千人。企业在迅速成长过程会面临诸多挑战，典型的如下：1. 测试环境资源浪费。各开发小组均需要开发测试和部署测试用服务器，每种测试均需要一台独立服务器或者分阶段使用一台服务器执行测试计划。公司购买了几十台服务器专门用于个产品的测试。但是在产品开发高峰时仍无法满足测试所需服务器需求。2. 部署测试环境成本高。如果某个产品需要做测试，需要提前提交测试计划，写明所需的服务器配置、操作系统类型、数据库服务器的版本、运行环境的支持软件及版本，测试时间安排等内容。IT部人员则会按照要求对服务器进行部署，完毕之后交付给测试部门使用。这样，时间成本和人力成本开销很大，也阻碍了测试进度。3. 代码外泄。产品在开发过程中，因为员工流动，会导致软件的源代码被离职员工带走，不守规矩员工会将这些代码利用制造竞争性产品，亦或携带这些代码转入竞争对手公司。二、 zsCloud的价值面对上述需求，中数云提供zsCloud软件开发测试云解决方案，将具有下述主要功能：1. 按照组织结构的资源管理视图zsCloud软件开发测试云结合实际组织结构，按照分公司、部门、项目组、项目的结构，进行资源配置和管理。最高管理者，可以清楚地了解各级单位的资源分配和使用情况，并可以将作为IT资源成本核算消耗，纳入到各单位效益的考核中。2. 用户自助服务具有权限的人员申请或分配虚拟服务器，每开发人员均有自己的服务门户，并远程维护服务器。同时zsCloud具有客户端，开发或者测试人员通过客户端可以快捷地登录到相应的有权限的虚拟服务器上进行开发、测试。开发或者测试人员在服务器的视图中可以对服务器发出操作指令，如“开/关机”、“暂停/恢复”、“快照/恢复”和“备份”等，用户也可以自行调整服务器的资源。3. 虚拟机生命周期自动化管理zsCloud软件开发测试云支持虚拟服务器生命周期管理功能，一台虚拟服务器从申请至创建，从使用到到期续用或删除等，均可自动完成而无需人工干预。4. 资源负载均衡zsCloud软件开发测试云可以自动检测物理服务器和虚拟服务器的负载情况，通过在线实时迁移功能负载高的物理服务器上的负载较低的虚拟服务器迁移至有空闲资源的服务器上，为高负载虚拟服务器预留出计算资源。通过在线迁移，能够保障每台的资源达到较高的利用效率，同时能够保障每台服务器的负载是均衡的。5. 故障自动迁移zsCloud软件开发测试云可以在物理服务器发生存储故障或服务器宕机情况下，将此物理服务器上的虚拟服务器迁移至运行正常的物理服务器，以保证租户业务的正常运行，减少故障时间。6. 快速模版部署zsCloud软件开发测试云提供公共模版库和自定义模版功能，用户创建虚拟服务器时，可以选择使用模版创建还是手动安装系统创建。使用模版，用户可以批量快速创建N多台一模一样的虚拟服务器，用户只需修改一下IP地址等相关参数，虚拟服务器即可投入业务使用。此方案能够从以下几个方面给带来直接效益：1. 降低成本，提供开发、测试服务器的资源使用效率。此方案仅使用几台物理设备即可替代以前几十台设备实现的功能，而且完全可以使用旧设备，只需增加内存，增加硬盘容量，即可组建一个能够服务几十个开发人员的zsCloud软件开发测试云。能够极大的减少服务器的投资。在投资节省的同时，运行维护成本也随着数量的减少而大幅减少，运维人员的工作量减少了80%以上。2. 保障源代码的安全。基于zsCloud，可以构建完全密闭的系统，工程师所有开发和测试在云里进行，充分保障源代码的安全。3. 缩短软件开发测试周期。通过zsCloud模版快速交付功能，系统管理员只需事先将测试用的服务器所用的各种环境做成模版，即可在虚拟服务器交付时生成有相同测试环境的系统。3分钟20台虚拟测试服务器的交付能力，极大提高了交付效率，减轻了系统工程师的部署工作量。4. 优化软件测试流程。测试过程从以前填写测试计划，提交计划等待测试服务器，再进行测试转变为直接在自助服务系统申请测试用服务器，选择好模版和硬件配置后，管理员进行审批后即可生成出想要的测试服务器，这些过程仅需几分钟即可全部搞定。5. 提高软件开发测试环境的可靠性。相比之前各种软件开发测试服务器部署在单台物理服务器上，zsCloud为开发测试云服务器提供了双机热备服务，无需以前复杂的双机热备配置，现在只需一个按钮，zsCloud将自动通过虚拟化底层为虚拟服务器提供双机热备功能。一旦主虚拟服务器发生宕机，备用虚拟服务器将接管服务，不会因宕机产生服务不可用现象。6. 云服务器生命周期自动化管理，最大程度上减少维护成本。以前的测试服务器在各个产品间调配使用，IT人员经常不知道服务器是否使用完毕，需要询问以确认哪些服务器处于空闲状态。zsCloud提供的服务器生命周期自动化管理，很好的解决此问题，测试人员只需在申请服务器时设定好租用时长，到期后，系统将自动回收计算和存储资源。如果服务器到期时测试没有完成，测试工程师可以续租，延长服务器使用时间。7. 云助手，方便开发测试工程师登录云服务器进行工作。中数云助手，可以自动获取云服务器信息，同时，工程师可以登录云助手进行开发测试或者管理云服务器。7.按组织结构和项目管理，透视您的IT资源。并且可以按照项目核算资源成本，使您的管理更加精细化。三、 zsCloud软件开发测试云方案中数云zsCloud 软件开发测试云方案包括如下几部分：1) zsCloud Distribution Server分布式云计算管理服务器 数据中心版zsCloud Distribution Server 数据中心版用于管理员管理数据中心的计算资源、存储资源和网络资源，并能够将这些资源与服务域进行映射，从而能够将这些资源以服务的形式向用户提供租用服务。管理员可以通过zsCloud Distribution Server监控各种资源的使用率，并及时接收系统发出的各种告警信息。zsCloud Distribution Server提供了光盘库与模板库管理功能，管理员只需将光盘的ISO资源和已经做好的虚拟服务器系统模板放入共享存储池，用户即可使用这些资源。zsCloud Distribution Server目前支持光盘库和模板资源的本地存储、NFS和Windows CIFS三种存储方式。2) zsCloud vServer 虚拟化服务器zsCloud vServer是基于开源Xen 4.1.2版本的Hypervisor，用于构建和管理服务器虚拟化及服务器各种资源。3) zsCloud Communicator 云通信终端zsCloud Communicator是zsCloud Distribution Server与zsCloud vServer通讯代理程序，同时负责收集vServer及虚拟服务器的各种运行指标数据并回传给Distribution Server。4) zsCloud Dynamic Recourses Manager 云动态资源管理器 zsCloud Dynamic Recourses Manager用于计算资源的负载均衡管理，可以对物理服务器和虚拟服务器负载数据进行自学习，生成性能基线数据，并对未来一段时间的每台物理机和虚拟服务器进行负载预测。Dynamic Recourses Manager的另一个任务是对负载出现预警的虚拟服务器进行迁移，实现物理服务器和虚拟服务器负载的动态平衡。5) zsCloud User Access Port 云用户访问控制台zsCloud User Access Port，用户可以登录并订购、续订和管理自己的虚拟服务器。自主管理服务器的功能包括：开/关机、重启、删除、快照、快照恢复、手动迁移、更换光盘和升级服务器配置等。6) zsCloud vDFS Suite 集群文件系统 zsCloud vDFS Suite用于构建高可用的分布式文件系统，通过此组件，可以实现高可用的存储区域网络，vDFS使用多副本技术，当一台存储宕机后，其它存储可以无障碍接管宕机存储服务器的工作，而不影响虚拟服务器的正常运行。7) zsCloud 云助手zsCloud云助手是方便用户登录相应权限的云服务器的客户端，基于此客户端，用户可以进行数据交互以及对服务器进行管理。而且，可以实时更新云服务器信息。示意图 1如示意图1所示，方案底部为所需的服务器、网络和存储等硬件资源，通过zsCloud vServer软件，对物理服务器进行虚拟化管理。每台物理服务器需要安装zsCloud Communicator通信代理软件，以接收、执行和反馈云操作指令并监控和收集服务器的运行状态数据。zsCloud Distribution Server负责对资源池的管理，以及对系统模板等进行管理，它是一个云计算的门户，管理员通过它可以管理各种资源、用户以及分配权限，还可以监控物理服务器及各个几点的运行状态。普通用户可以通过它申请虚拟服务器，管理自己的虚拟服务器系统。示意图 2如示意图2所示，方案左侧部分概括了云计算平台的体系结构，由一个IT资源中心、虚拟化组件和云计算管理系统所组成。右侧部分是最终用户看到的已安装好软件和应用的虚拟服务器，用户使用虚拟服务器的方式就像使用服务器或PC机一样。示意图3zsCloud软件开发测试云解决方案目前能够实现的主要功能包括但不限于：1) 用户自主申请虚拟服务器；2) 批量申请虚拟服务器；3) 用户自主管理自己的服务器，包括开/关机、重启、删除、快照、更换光盘和升级服务器配置，而且用户可自主安装操作系统，或使用IT资源中心提供的模板。4) 自动分配IP地址，支持管理员手动分配与回收IP地址；5) 物理服务器和存储负载均衡，虚拟服务器的在线动态迁移，物理服务器故障后的虚拟服务器自动恢复；6) 光盘与模板库管理，系统将自动维护库里面的资源，并将这些资源提供给用户使用。7) 基本服务与增值服务定义，并将计算资源、存储资源、网络资源和服务与与服务域进行绑定，从而用户可以自由购买虚拟服务器与增值服务。8) 监督管理，支持对虚拟服务器中的域名是否已经备案进行检查，同时监测用户是否擅自修改IP地址和MAC地址，一旦有变动，即向管理员触发告警。9) 系统事件与告警，系统记录服务器操作、登录等各种事件，对异常事件进行告警，系统管理员可依据告警信息及时发现问题并快速定位故障点。四、 zsCloud软件开发测试云架构zsCloud软件开发测试云架构分为三层：第一层为互联网公共区域，第一层又分为2个区域，一个区域为计算资源池，用于部署物理服务器和zsCloud vServer；第二个区域为互联网安全区，用于部署zsCloud Distribution Server向系统管理员和用户提供服务。zsCloud软件开发测试云架构第二层为数据交换层，部署三层或二层交换机，用于zsCloud通讯和存储数据交换。第三层为存储层，存储层也分为2个区域，一个区域为NAS存储，用于存储光盘资源；第二个区域为集群存储区，用于部署分布式文件系统，存放VM数据文件和模版文件。详细如下图所示：图4：zsCloud软件开发测试云架构五、 安全性设计1. zsCloud Distribution Server防火墙防护为了保证zsCloud Distribution Server的安全和访问性能，建议采用现有硬件防火墙进行安全防护。或者采用操作系统的软件防火墙也可起到同样防护效果，但访问性能会有所降低。2. Communicator与存储通讯区域隔离为了保证数据安全和避免网络拥塞，最优的网络层部署方案是将internet流量、zsCloud与服务器通信流量和服务器与存储数据交换的流量通过三个互不联通的局域网隔离开来。如下图所示：示意图 5如示意图5所示，网络划分成internet区域、Communicator区域和Storage区域三部分，zsCloud Distribution Server需要与3个区域的服务器均能够通讯。如果zsCloud Distribution Server需要管理多个机房的资源，则需要将internet区域与Communicator区域合并为一个区域，以保证zsCloud Communicator与Distribution Server间的正常通讯。在此架构下，每台物理服务器上的虚拟服务器通讯与存储区域和Communicator通讯区域是隔离的，能够避免ARP欺骗、网络报文解码等方式对内部网络的攻击。3. 创建VM内部区域网络将每台物理服务器的一个以太网口设定为VM的内部网接口，当VM创建多网卡并选定内网时，将虚拟内网卡与物理服务器的内网卡进行映射。示意图6六、 接入层可靠性设计服务器群网络接入层实现服务器群的接入。服务器接入层不但要高效可靠地上联汇聚层交换机而且要为服务器提供灵活而高可用的接入服务。服务器接入层高可用性设计涉及到接入层和汇聚层的高可用性互联设计和服务器高可用接入设计。接入层和汇聚层的互联通过接入层以交换机对为基础采用双链路上联到汇聚层的不同交换机来实现设备和链路的冗余。最好在接入层部署第3层交换机，启用与汇聚层一致的路由协议，在接入层和汇聚层的冗余设备和链路之间形成3层互联。这种路由到边缘的设计可以利用第3层路由支持冗余链路的负载均衡和路由的快速收敛，实现高可用性和高带宽利用率的双重目的。为了提高服务器接入的可用性，每个服务器都应该双连接到两个接入层交换机。这种双穴连接最好连接到不同的接入层交换机，以避免单一故障点。如果一定要接入同一交换机，也要接到不同的交换机不同的板卡上。另外还可以启用链路汇聚技术或跨交换板卡的以太网通道协议实现服务器与交换机之间链路的高可用性和流量负载均衡。七、 资源池规划zsCloud具有非常好的兼容性，不仅可以支持支持不同虚拟化技术，而且能够很好的支持不同品牌和架构的物理服务器，能够充分发掘旧有服务器的使用价值。zsCloud支持对物理资源池的管理，将一组具有相同服务功能的计算资源服务器和一组存储资源组成一个共享资源池。zsCloud的在线迁移、高可用（HA）和资源负载均衡等高级功能均需在资源池内部实现，资源池的划分采用如下原则：1、 资源池内的物理服务器具有相同类型的CPU；2、 资源池具有唯一的共享存储；3、 资源池内的不同物理服务器网卡属性需相同，且在同一LAN或VLAN内，即如果eth1为VM的虚拟交换接口，则所有物理服务器的eth1均为此接口，IP地址也在同一网段。4、 资源池内的物理服务器安装有相同类型的Hypervisor。zsCloud管理的资源池不存在数量限制，为了达到更好的性能，建议一个资源池内的服务器数量不超过64台。VMWare与Citrix Xenserver自身均对资源池有数量限制，需要参考每种Hypervisor的技术文档。八、 系统迁移对于软件开发测试zsCloud软件开发测试云，还需要面临将原来部署在物理服务器上的系统迁移到虚拟服务器上，这种迁移方式简称为P2V。P2V存在2种迁移方法，一种是Hot Cloning，一种是Cold Cloning。这2种方法都是将物理服务器压缩进虚拟磁盘镜像中去-把管理系统、驱动、应用文件和用户数据转换成单独的文件格式，以便与特定的虚拟化平台相兼容，比如zsCloud vServer、Citrix Xenserver或VMware.Hot cloning和Cold Cloning的主要区别是Hot Cloning是在物理服务器还在工作的时候执行转换步骤，而Cold Cloning要求物理服务器停止工作并离线，然后才能转换。zsCloud提供Cold Cloning的工具XenConvertor，用户只需使用此工具即可将现有服务器系统无缝迁移到虚拟服务器上。九、 数据备份与恢复zsCloud提供2种数据备份与恢复的方式，一种是虚拟服务器快照方式，一种是vDFS的副本技术与文件延迟回收技术。zsCloud的快照技术是对虚拟服务器的内存和磁盘做快照，以保留快照时的数据和服务器状态。zsCloud支持快照的计划任务，可以定期对服务器执行快照操作。执行快照时对服务器的运行几乎不产生任何影响。当需要将虚拟服务器恢复到之前某个时间的状态时，只需要选择对应时间的快照即可。zsCloud的vDFS是一个分布式文件系统，采用多副本技术和文件延迟回收技术保证数据的可靠性和误删除恢复。vDFS将虚拟服务器磁盘文件分割成N个64MB大小的块文件，分别放置在vDFS集群服务器中，每一个文件块会有2个以上副本存在于不同的存储节点，任何节点故障，均不会导致整个文件系统失效。vDFS的删除文件延迟回收技术能够保证在文件被删除后设定的回收期内对文件进行恢复，避免因误操作导致的文件丢失。十、 IP地址规划为了保证物理服务器的可访问性，最好分配给每台物理服务器的公网IP地址与分配给用户的公网IP地址不在同一网段，可以避免恶意用户配置相同IP导致的物理服务器无法访问。所以需要4个IP地址段，2个公网IP段，2个私网IP段。公网IP段分为服务器IP段和VM IP段。私网IP段分为存储IP段和VM 内部网IP段。存储IP段暂定为：/22VM 内部网IP段暂定为：55/24十一、 硬件设施1. 硬件设备推荐配置设备名用途硬件配置建议数量备注服务器计算节点2X4核心2.0GHz以上CPU ，32GB以上ECC内存，2块500GB SATA 7.2K硬盘 RAID1，4个或以上千兆以太网接口。至少2台用于部署虚拟化环境交换机网络交换机思科（Cisco）SG200-26 24口千兆交换机，支持802.1Q VLAN，802.3ad等22台用于构建存储区域网络服务器zsCloud1CPU，4GB以上内存，2X73GB SATA硬盘 RAID1，2个以上千兆以太网接口。1用于安装zsCloud Distribution Server和数据库。存储块存储服务器1CPU、4GB内存，3块SAS 300GB硬盘RAID5，4个以上千兆以太网接口N用于部署vDFS文件系统数据存储十二、 性能评估1、 zsCloud软件开发测试zsCloud软件开发测试云性能：支持的注册用户数：最低30万可管理的物理服务器数量：1000台可管理的虚拟服务器数量：20000台支持的在线并发用户数：300人支持的每秒PV数：15002、 每台物理服务器可支持的VM数量：每台物理服务器可支持的虚拟服务器数量至少为16台，最大可达50台。3、 每台虚拟服务器的磁盘读写速率：每台虚拟服务器的磁盘读写速率平均至少可以达到35MBps，能够满足80%以上应用环境需求。十三、 zsCloud开发测试云方案组件Version & FunctionzsCloud 企业版 功能组件zsCloud vServer 虚拟化管理服务器zsCloud Communicator 云通信终端 zsCloud Distribution Server 分布式虚拟云管理服务器 zsCloud User Access Portal 云用户访问控制台zsCloud vDFS Suite 分布式共享存储组件zsCloud 云助手策略创建VM删除VMVM开关机在线安装操作系统手动迁移VM批量迁移VM动态迁移策略定义动态迁移VMVM资源调整VM资源动态调整动态节能VM快照/恢复VM双机热备VM异地灾备VM模版管理ISO文件管理自定义模版模版复制操作日志事件告警物理服务器状态获取VM状态获取操作指令传输加密I/O设备与VM关系定义Webservice API云客户端订单处理产品与服务管理工作流管理服务域管理资源按照项目组和项目管理功能十四、 中数云企业与客户介绍（一） 关于中数云中数云由3位对IT业充满热爱的清华MBA创立于2009年，核心管理团队都具有10年以上IT管理经验，对IT尤其是云计算有深入的理解。中数云致力于为各类组织提供安全、智能、可靠、灵活的云数据中心解决方案和云桌面解决方案。我们的愿景是让我们的每一个客户都能拥有安全、智能、可靠、灵活的云数据中心和云桌面系统。 2009年9月，中数云成立，开始虚拟化基础性研究，研究重点为支持多虚拟化技术和资源调度； 2009年10月，开始zsCloud系列云计算产品的客户需求调研和产品原型设计； 2011年5月，zsCloud1.0 产品正式发布，并取得zsCloud著作权证书； 2011年10月，zsCloud1.0 公共云解决方案开始向客户提供公测； 2011年11月，推出zsCloud 1.5，全面支持企业级云数据中心的自动化生命周期管理与弹性资源调度； 2012年12月，推出zsCloud 2.0，全面支持运营级公共云数据中心、及企业基础资源管理和应用资源管理架构，并实现智能化计划任务管理； 2012年12月，中数云获得双软企业认证； 2013年10月获得国家创新基金支持； 2013年12月获得了高新技术企业认证； 2013年12月发布zsCloud新一代产品，提供针对运营级云数据中心的一体化资源监控解决方案，重点实现智能网络自动流量控制、应用自动化部署和集成化应用资源监控。（二） 中数云的资质著作权中数云对服务器虚拟化、桌面虚拟化、云计算管理平台、云服务运营等领域持续研究和开发，不断推进具有自主知识产权的产品。从2010年至2013年共获得7项云计算相关的著作权。云通讯终端软件分布式云服务器管理系统备案网站监控软件安全客户端软件客户关系管理系统互联网备案管理系统虚拟化服务器软件1. 软件产品证书2. 软件企业证书（三） 我们的客户1. 教育与科研2. IDC行业3. 国有政府及企业4. 跨国企业5. 软件企业十五、 中数云的软件开发测试云案例一、项目背景客户是软件行业的龙头企业，是科技部火炬计划项目重点软件企业，面向政府行政机关和行业主管部门、项目投资业主、施工企业、监理以及设计单位等客户，提供业务和技术领先的软件产品、管理信息化整体解决方案。随着客户的增多及软件产品的日益多样化和需求复杂化，客户在软件管理和部署上面临越来越多的困扰：1、客户软件部署成本高。因客户分散，单个软件为客户上门安装部署成本比较高，若远程部署则需要工程师与客户沟通，花费较长时间成本。但是这些客户的通用性需求几乎都是一致的，所以部署起来也没有多大的差异化。2、软件License控制和后续服务费收取困难。软件销售给用户后，因销售人员和客户联系人变动，很难正常收取每年的软件服务费，也无法对客户的软件使用进行有效控制。3、用户软件维护成本高。当用户的软件出现问题后，需要花费大量时间与用户沟通情况，并为用户处理问题数据，效率低下。4、用户要求能够提供更多的服务，减少部署时间。用户从购买软件、购买硬件、接入网络和软件部署，需要花至少1个月的时间才可投产使用，不能很好的满足用户快速部署的需求。另外客户在软件开发过程中也面临一些问题：1、服务器资源浪费。研发和测试部门不断申请新的服务器，但是服务器利用率又不高。2、测试环境