云平台产品能力软件研发项目技术方案（技术标）

41.1项目背景 41.2建设内容 51.3建设原则 6 82.1项目目标 82.2需求分析 8 3.1总体建设方案 3.2产品功能模块建设 3.2.1云主机能力子系统建设 23弹性云主机建设方案 23弹性负载均衡系统描述及理解 弹性负载均衡建设方案 3 云主机镜像功能系 39物理主机服务能力系统描述及理解 43物理主机服务能力建设方案 433.2.2云存储能力子系统建设 46 46云存储ISCSI系统建设方案 48 云存储共享卷系统建设方案 云存储高效块存储系统描述 云存储全闪存储块系统描述及理解 3.2.3云网络子系统(软)建设 92 3.2.4云备份功能建设 文件备份功能系统描述及理解 文件备份功能系统建设方案 数据库备份功能建设方案 3.2.5自动化部署子系统建设 自动化部署功能系统描 自动化部署功能系统建设方案 3.2.6缓存服务子系统建设 缓存服务子系统建设方案 3.2.7RDS数据库系统建设 3.2.8云监控系统建设 3.3产品功能开发服务建设 3.3.1产品功能开发服务概述 3.3.2产品功能服务建设方案 服务宗旨 企业实力 人员实力 3.4平台性能建设 3.4.1性能设计 工具 事务响应时间 满足年限 3.5安全及可靠性方案 3.6系统兼容性 3.6.1服务器兼容性 3.6.2存储设备兼容性 3.6.3虚拟机操作系统兼容 3.6.4虚拟机平台兼容性 3.6.5中间件兼容性 3.6.6数据库兼容性 3.7后续扩展方案 3.8其他建议 第4章：项目实施方案 4.1项目实施建设责任范围 4.2项目实施计划 4.2.1概述 4.2.2团队组建阶段 4.2.3核心功能研发及安装、调试阶段 4.2.4系统初验阶段 4.2.5初验开发周期 4.2.6试运行、后期服务及终验阶段 4.3项目进度安排 4.4项目组织管理 4.4.1人员组织管理 4.4.2项目汇报格式 附件三：技术文件清单 附件四：软件功能清单 附件五：实施工程计划 附件六：工程分工界面 附件七：验收及测试 附件八：售后服务 ●质量管理要点 ●质量保证 附件九：培训 205 附件十：卖方承诺 第1章：项目概述了云计算。(1)基础设施资源：实力强劲，背靠联通集团，拥有大量基础设施资源。已在全国规划建设了十大云数据中心，总机架数将超过25万架，总带宽将超过30T,具备三百万台服务器的承载能力；正在部署7大核心区域、31个省会节点的资源池，年底平台资源将超过25万核vCPU,60PB存储。(2)技术实力：相对传统IT巨头和互联网公司，技术开发能力相对较弱，在PaaS(面向开发者)和SaaS(应用技术能力)领域暂难(3)运营能力：具有大规模基础设备的可靠性运营能力，但资源较为分散，管(4)渠道推广能力：已经搭建了由在线门户(公众云门户和企业云门户)、总部(5)成本控制能力：目前以IaaS重资产运营模式为主，相对IT厂商和互联网(6)维护能力：具有电信级IT系统的维护经验，在各地均有完备的建设维护队(7)创新能力：引领云市场发展的产品、服务和商业模式创新能力相对不足。1.2建设内容2016年联通云数据有限公司沃云平台产品服务能力软件研发项目主要新增缓存即服务(REDIS),高效块存储，全闪块存储，关系型数据库RDBforMYSQL,关系型>新增产品方面●新增缓存即服务(REDIS)●新增高效块存储●新增全闪块存储●新增关系型数据库RDBforMYSQL●完善弹性负载均衡功能●完善云主机功能●完善物理主机功能●完善虚拟网络功能●完善监控功能●完善云备份功能●完善自动化部署功能产品门户包括云主机(云虚拟机、云物理机)管理，云网络(虚拟网络、虚拟路由器、负载均衡)管理，云存储(数据卷，快照),云应用支撑(数据库、缓存)管理，云备份(文件备份、数据库备份)管理等。虚拟负载均衡)资源管理、云存储资源(高效块存储、全闪存块存储)管理、数据库(Mysql)服务能力管理，缓存(Redis)服务能力管理、云备份(文件、数据库)服务能力管理，云资源(虚拟机、物理机、虚拟负载均衡、虚拟路由器)监控等。1.3建设原则1)建设基本原则在建设整个系统时，需本着技术先进、系统实用、结构合理、产品主流、低成本、低维护量作为基本原则，进行系统构架。2)技术的先进性整个系统选型、软硬件设备的配置均要符合高新技术的潮流，引入dubbo分布式服务框架、超融合、DPDK等先进技术。在满足功能的前提下，引入dubbo分布式服务框架、超融合、DPDK等先进技术，系统设计具有先进性，并且在今后一段时间内保持一定的先进性。3)架构合理性采用先进成熟的技术来架构各个子系统组成稳定可靠的大系统，使其能安全平稳地运行，有效地消除各子系统可能产生的瓶颈，选用合适的设备来保证各子系统具有良好的扩展性。保证设备运行的稳定性和安全性，只有稳定可靠的系统才能确保各设备的正常运行；只有良好的数据共享，实时的故障修复，实时备份等才能形成完整的4)经济性在满足系统功能及性能要求的前提下，尽量降低系统建设成本。采用经济实用的技术和设备，利用现有设备和资源，综合考虑系统的建设、升级和维护费用，不盲目5)实用性在设备选型时，主要依据联通云数据有限公司的实际情况结合目前我国市场上的占有率高的各类产品中选择具有最优性能价格比和扩充能力的产品。6)规范性系统接口、存储协议、网络传输协议等应符合相关国家标准、行业标准。7)可维护性所设计的系统和采用的产品应该是简单、实用、易操作、易维护。系统的易操作和易维护是保证软件从业人员使用好本系统的条件。并且，系统应具备自检、故障诊断及故障弱化功能，在出现故障时，应能得到及时、快速的维护。8)可管理性前端现场设备，各分系统集中于中心统一控制，实现对所有远端设备的控制、设置，以保证系统的高效、有序、可靠的发挥其管理职能。9)安全性对系统采取必要的安全保护措施，防止病毒感染、黑客攻击，防雷击、过载、断电和人为破坏，具有高度的安全和保密性。第2章：需求分析2.1项目目标联通沃云平台主要面向个人、企业或政府机构，要求具有以下特征：>具有自主知识产权；>系统稳定安全、运行高效；>可整合多种企业应用运行所需要的软件平台、数据库系统、存储系统、以及其他计算服务能力；>平台的所有的能力可以API方式开放；>可适用于各种规模的云平台建设和管理。本文档从总体角度对联通沃云平台进行体系化、结构化、逻辑化和功能化地说明，力图清晰、完整地规划出联通沃云平台的设计理念和技术核心，以指导设计开2.2需求分析根据对需求的总体分析，可以将本系统进行功能的划分。需求说明产品功能建设1云主机能力不停机的情况下动态扩展cpu、内存配置，虚拟机所属宿主机故障时，将虚拟机迁移到其他宿主机上，降低对客弹性云主机镜像发、资源池上传弹性负载均衡物理机主机能力理机即服务的服务器，提高对物理机的管理能力；物理机监控功能、提供物理机远程控制能力、物理机网卡限速2云存储子系统建设iSCSI提供标准的iSCSI存储协议，支持划分多个存储池支持物理机通过iSCSI的方式连接存储池共享卷提供共享的存储卷，支持将同一数据卷挂载到多个云主机，支持多等企业应用场景高效块存储高效块存储提供了持久化的、独立于云主机生命周期的、高可用的高性能的块存储设备服务，高效块存储可以挂载在任意一个运行中的云主机上。高效块存储结合弹性云主机使用，使数据更安全、更具灵活性。提供更高SSD块存储提供了持久化的、独立于云主机生命周期的、高可用的高性能的块存储设备服务，SSD块存储可以挂载在任意一个运行中的云主机上。SSD块存储结合弹性云主机使用，使数据更安全、更具灵活性。提供更高性能的块存储服务，满足需求更多IOPS和更大吞吐量的应用或业务系统3云网络子系统建设基于DPDK的虚拟交换机、虚拟路由器、4云备份子系统建设文件备份提供将用户业务系统中的系统文件和网络文件备份到本地资源原数据，包括linux操作系统和文件备份与还原备份与还原。提供将用户业务系统中MSSQL数据库备份到本地资源池，并提备份数据的浏览、下载和还原5自动化部署提供以文件导入的方式获取资源信息，并对服务器设备信息及网络设备对服务器设备的位置信息进行查询、改；设置配置基线，比对不符合基线的信息；并提供日志查询的功能。提供对部署前的设备状态检查及部署后设计器将业务过程的执行逻辑、执行6系统建设能的缓存服务，提供单机版和集群版的缓存服务，一个集群包含多个缓存在线扩容、监控操作等功能管理集群；7系统建设关系型数据库系型数据库(RDB)服务，包括数据库实例、数据库、用户以及用户授权等8云监控子系统建设用户关心的指标，及时了解虚拟机的产品功能9总体实力领域研发实力基于乙方在相关技术领域具备较强的研发实力，能够满足甲方的项目研发团队稳定性管理项目考核惩罚甲方周期性滚动考核乙方人员，按照甲方标准，可进行无条件跟换订单分别验收方式进行格证明罚则及违约管理按照甲方项目考核制度，进行赔偿本协议(包括订单)项下产生的全部成果(包括但不限于乙方技术人员完成的成果等)的知识产权、所有权和再修订权等权利均甲方所有，未经甲方书面同意，乙方不得擅自使用，亦(1)乙方保证，其提供技术人员完成的工作成果不存在任何侵犯第三方合法权利(包括但不限于知识产权)的同项下提交的工作成果而遭第三人请决，并由乙方负责因此产生之律师费及诉讼费等一切费用并赔偿由此给甲(2)乙方保证，其与提供给甲方的技术人员之间存在合法、有效的劳动关系，并且保证，甲方不会因接受乙方提供技术人员的服务而遭到任何第三方(包括乙方提供的技术人员在内)的提起的诉讼、仲裁或其它请求，否(3)乙方技术人员的工资报酬(包括各类公积金、意外伤害(包括工伤)、1.乙方出现下列情形时，甲方有权扣(1)乙方第一次不参与甲方通知的具体服务，或在接受订单后不能按照需(2)乙方第二次不参与甲方通知的具体服务，或在接受警告后仍无实际进(1)甲方通知乙方参与具体服务，乙方累计三次不参与的；(2)乙方在开发服务中，因人员配置不足影响进度要求的；(3)乙方累计三次未按投标文件中承诺的时间、价格、服务等相关条款提供方案或服务的；(4)甲方经过综合评定确定乙方负责具体项目实施后，乙方因自身原因累计三次不能履行所提交的技术方案和商务方案的；(5)乙方将在甲方项目信息透露给甲方的竞争对手，或有泄露开发代码行企业实力资质情况注册资金达到人民币2000万元(含)以上或等值货币；投标人至少拥有1个自主开发的云计算相关软件著作权证书或者产品登记证书；具有相关软件质量保证体系，获得ISO9000、CMMI相关认证资质。截止日)至少具有2项(含)以上同类项目业绩(同类项目指云计算相关的银行资信和商业信誉，无处于被责令停业，财产被接管，冻结，破产状态。(提供投标人的企业经营状况承诺书、履约情况承诺书和诉讼及仲裁情况表)(1)法定代表人为同一人的两个及两个以上法人，母公司、全资子公司及其控股公司，不得在本项目招标中同时参加；(2)参加投标的投标人应能够直接作(3)投标人承诺在服务期间内不开展同招标人业务相竞争的云计算运营服务(包括云服务器、云存储、数据库、应用服务等IaaS、PaaS相关云计算产品及服务的租售),并遵守招标人(4)投标人提供的软件含有第三方商的原厂授权，以及公司员工第三方商人员实力【人员数量】:不少于10人；【角色定义】掌握软件开发基础知识工作，配合编写项目各种文档；【学历要求】:具有本科及以上学历；【工作经验】:具备2年及以上云计算法律规定的正式雇佣合同，并出具相关社保组织证明材料；【专业技能】:熟悉java/Python/PHP/C/C++等多种熟悉主流编译工具和测试环境，具备常见关系数据库，消息中间件的使用熟悉云计算平台系统研发；具备一定的团队合作文档编写能力中级软件开发工【人员数量】:不少于12人；【角色定义】:【学历要求】:具有本科、硕士以上学历；【工作经验】:具备5年及以上云计算法律规定的正式雇佣合同，并出具相关社保组织证明材料；【专业技能】:精通Openstack的模块；linux内核网络子系统，文件子系统具有扎实的网络基础，有openvswitch、dpdk等开发经验；熟悉主流编译工具和测试环境；精通java/Python/C/C++等开发语言；深刻理解面向对象思想，熟练掌握数高级软件开发工【人员数量】:不少于4人；【角色定义】:独立完成多个模块的设计、编码、测试等工作；有效指导中级软件人员完成软件开发工作，具备对重大技术难题进行攻关的能力，根据需要对系统进行优化，提高系统性能。能够带领【学历要求】:具有本科、硕士以上学历；【工作经验】:验，参与过10人以上团队至少完成过5个项目；具备电信行业、互联网大型企业大数据平台或系统的开发经验优式雇佣合同，并出具相关社保组织证明材料；【专业技能】:熟悉产品业务的实现原理和周边产品的业务知识；熟练软件开发过程和生技术，掌握CMM/敏捷迭代；有软件系统架构设计能力，可以完成定义软件架构层次和模块，并定义之间的接口；熟悉软件抽象设计和建模能力，软件模块级/子系统的重构；熟悉云计算和系统架构所依赖的关键技术；具备主流开发语言的开发经验；熟悉主流编译工具和测试环境；熟练掌握linux内核总体架构，熟练掌握服务器虚拟化的基本原理和常见虚拟化软件，熟储常用的实现方案；熟悉数据库的设布式消息系统；第3章：项目建设方案3.1总体建设方案资源池服力层统一监控体系云备份服务管理级存服务管理数据库服务管理虚拟网络管理存储资源管理计算资源管理统一认证管理统一镜像管理自动化部署管理营管理域运维统管理域系统管理域沃云门户支撑图：3.1-1系统总体架构根据联通云数据有限公司沃云平台能力层软件开发的要求，沃云平台的总体架构图如图3.1-1所示。沃云平台总体上分为沃云门户、服务支撑和资源池服务能力层三个部分。本次开发涉及到的部分包含门户开发、自动化部署、统一镜像管理、服务能力提供子系统、统一监控。门户开发主要包括新增产品数据库服务、缓存服务、高效块存储、全闪存块存储、共享块存储的用户界面开发。自动化部署管理子系统主要功能包括资源信息管理、一键式裸机安装、自动化部署任务调度、运行检查、配置修改、以及系统管理，如用户管理、部门管理、权限管理、日志记录等平台自身的管理功能。數据同步网络信息管理服务器信息管理模板下载信息导出信息导入图：3.1-2自动化系统架构云主机镜像管理模块新增对镜像资源的统一规划、统一管理、统一分发功能，提供沃云的部署能力。镜像分发镜像分发镜像上传查询删除修改上传图：3.1-3镜像架构图服务能力提供子系统由统一资源智能调度接口层、统一认证管理、计算资源管理、存储资源管理、虚拟网络管理、数据库服务管理、缓存服务管理及云备份服务管理共八个模块组成。●统一资源智能调度接口层主要实现两方面的功能■对沃云其它子系统提供API接口，实现对沃云资源池资源的创建、查询、配置和删除操作■根据计算、存储、网络、安全和服务能力集成模块的状态，负载等情况对沃云其它子系统发送的API指令进行调度。●统一认证管理体系完成资源池管理系统对外提供所有服务接口的认证以及服务能力提供子系统各组件之间接口访问认证。●计算资源管理完成虚拟机和物理机统一管理，抽象为统一API供上层业务系统使用。物理机全闪存块存储高效块存储全闪存块存储高效块存储交换设备设备●云备份服务管理，提供云备份功能，支持对系统文件备份、网络文件备份以UTUT-云备份NFS网下载还原查询件除数据库信息备份周期控制文件备份数据库备份备份數据保留时长策略查询关闭网络文件网络文件系统压缩传输数据去重立即备份加密传输络文创建启动●统一监控子系统完成对资源池提供的服务能■平台监控◆服务器监控◆服务组件监控■云服务监控◆虚拟机监控◆物理机监控◆缓存服务监控3.2产品功能模块建设3.2.1云主机能力子系统建设满足部分用户开通单个云主机的需求；升级云平台qemu、kernel版本优化virtio1)在线增加CPU、内存配置①内存扩展：内存配置，然后重启客户机才能实现。而内存的ballooning(气球)技术可以在客气球中的内存是可以供宿主机使用的(但不能被客户机访问或使用),所以，当宿主分使用中的内存，可能会换出部分内存到客户机的交换分区(swap)中，从而使得内沃云版本中内存热扩展就是利用virtio_balloon如果guest不需要那么多内存，可以通过balloon从中拿出一部分内存。这个过程，不需要启停虚拟机。己的内存，使得其他的应用程序的内存减少，也可以缩小内存，使得其他的应用程序内存增加。guest中的balloondriver通过virtio发来的命令，比如发来的命令式减少内存，则balloondriver就扩大它的内存占有量。然后balloondriver将自己占有的内存交回给host,使得host有了更多的内-m参数设定的，currentMemory就是balloon设定的。Libvirt内存热插拔接口：NAMENAMEsetmem-changememorysetmem<domain><size>[--config][--li[--domain]<string>domainname,[--size]<number>newmemorysize,asaffectnextboCPU的热插拔与内存的热插拔类似，都是先设置一台虚拟机可以支持的最大vcpu件的某些限制，对于BSP(BootStrapProcessor)CPU一般是不可以被HotRemoveLibvirtvcpu热插拔接口：setvcpus-changenumberofvsetvcpus<domain><count>[--maximum][--config][--live][--current][--guest]ChangethenumberofvirtualCPUsintheetmaximumlimitotaffectnextbootaffectrunningd1.创建虚拟机时，用户指定热扩展支持的最大vcpus数和最大内存数；2.当虚拟机资源不够时，根据需要调用热扩展接口，增加CPU个数或内存大小，最大值不能超过创建虚拟机时设定的上限；2)指定密码创建虚拟机实例现有版本的虚拟机能力管理中已经支持注入随机密码到虚拟机中，而随机密码由nova代码中根据规则生成的。为了支持指定密码创建虚拟机，在原有创建虚拟机的接口中增加一个参数传入指定密码来替代生成的随机密码即可实现该功能。利用创建虚拟机的metadata属性增加passward字段用于携带初始密码，并将该密码注入到虚拟机中。1.创建虚拟机时指定虚拟机初始密码；2.密码注入阶段使用用户指定的密码注入到虚拟机中；3.虚拟机运行后，用指定密码登录虚拟机；3)虚拟机自动迁移设计

功能设计方案：在沃云运营的过程中，偶尔出现物理服务器故障，导致服务器上面运行的虚拟机资源无法访问，虚拟机自动迁移功能就是针对该场景解决快速迁移恢复故障节点上的虚拟机问题。支持故障自动迁移必须满足几个前提条件：首先存储必须是冗余的，并且是共享存储，虚拟机在其它可用服务器上运行能够访问系统盘和数据卷；其次，网络组件必须是冗余的，虚拟机在其它节点上运行起来后，能够通过dhcp获取ip地址，能够通过vrouter与外围通信，这样恢复起来的虚拟机才能够提供服务；最后，故障节点上的虚拟机要能够自动均匀的迁移到同一个az下的其它计算节点上，防止迁移到一个节点可能造成的资源不足。另外，虚拟机自动迁移平台层只能提供迁移的接口，整个业务逻辑需要结合平台资源监控，当监控到物理服务器故障时(确切可靠),调用该自动迁移接口。

功能使用：故障迁移业务逻辑大致如下：1.获取故障节点上所有的虚拟机资源；2.获取与该故障节点同一个az下所有可用的计算节点；3.对每台虚拟机利用scheduler机制选择一台计算节点；4.自动执行虚拟机的迁移。

功能设计方案：Nova利用cgroup实现虚拟机vcpu能力精细化控制。安装好cgroup之后，可以使用mount命令查看cgroup子系统的路径。该路径为cgroup的根路径，标记为CG_ROOT。使用1scgroup命令可以查看虚拟机进程对应的子系统相对路径，该路径标记为CG_RELATIVE。以上两个路径合起来，可以得到一个虚拟机的vcpupin功能，用到的是cpuset子系统中的cpuset.cpus。可以进入cpuset子系统组的CG_COMPLETE,一般情况下会针对虚拟机的每个vcpu创建一个子目录，进入对应的vcpu目录，查看其cpuset.cpus的值，该值即为此vcpu绑定的物cpu.cfs_quota_us。可以进入cpu,cpuacct子系统组的CG_COMPLETE,同样进入对应的vcpu目录，查看其cpu.cfs_quota_us值，默认为-1,表示cpu运行时间不受限制。利用cgset命令设置子系统控制组的过程如下：先获取虚拟机进程的子系统相对路径CG_RELATIVE,这个路径即为cgset中的<cgroup_path>,如设置vcpupin绑定至物理核4:控制vcpu运行时间为1/2:cgset-rcpu.cfs_quota_us=50000CG5)虚拟机迁移功能优化热迁移(LiveMigration,又叫动态迁移、实时迁移),即虚拟机保存/恢复(Save/Restore):将整个虚拟机的运行状态完整保存下来，同时可以快速的恢复到原所谓Livemigration就是将guest从一端迁移到另一端，而在迁移的过程中guest能够继续提供服务。当前QEMU/KVMLivemigration采用的方案是先将guest的内存迁移到对端然后再来检查在迁移的过程中是否有页面发生更改(也称为脏页),这种实现有个术语叫Pre-copy,即在目地端的guest运行前，所目前版本的qemu在虚拟机热迁移时，大内存或虚拟机负载高的情况下迁移一直不能完成。新版本的qemu中优化了虚拟机的热迁移流程。

功能设计方案：为解决该问题，引入了一种新的热迁移特性(Post-copybasedlivemigrati延迟拷贝支持高内存变化率(相对于可用的传输带宽)的虚拟机在一定的时间内Kernel在v4.3中加入的新功能。userfaultfd简单地来说就是通过文件描述符(fd)的机制来将pagefault的信息传递给userspace,然后由userspace来决定要往这个地址写的内容。更简单一点就是，传统的pagefault由内核独自完成，现在改为Userfaultfd就是为了postcopy而准备的，当guest在目地端运行的时候，目的端的kernel不可能知道要往页面里面填充的内容，它需要用户空间的程序去把内容从远端读过来，然后再把这些内容放到guest的4VPS(VirtualPrivateServer虚拟专用服务器)技术，将一台服务器分割成多器或虚拟机中，每个VPS都可分配独立公网IP地址、独立操作系统、实现不同VPS用于IDC资源租用。VPS能力建设的核心是规划一个拥有公网ip网段的公网网络，创建VPS云主机时，从这个公网网络中分配ip地址。另外就是，服务能力层提供ip地址占用上报功(2)系统优化系统优化主要包括3部分：优化virtio驱动、计算节点linuxkernel优化和系虚拟化主要包括处理器的虚拟化，内存的虚拟化以及I/0的虚拟化等，从2006列，guest把buffers插入其中，每个buffer都是一个分散-聚集数组。驱动调用不同，比如block设备有一个virtqueue,network设备有2个virtqueue,一个用于发送数据包，一个用于接收数据包。Balloon设备有3个virtqueue。virtio_ring是virtio传输机制的实现，vring引入ringbuffers来作为我们数据传输的载体。virtio_ring包含3部分：描述符数组(descriptortable)用于存储一些关联的描述符，每个描述符都是一个对buffer的描述，包含一个address/length的配对。可用的ring(availablering)用于guest端表示那些描述符当前是可用的。使用过的ring(usedring)用于表示Host端表示那些描述符已经新版本通过改进vring的访问方式优化数据的交互性能；增大virtio支持最大队列长度(达到1024);通过优化virtio-pci改进kvm+interlCPU环境下性能，从而提升虚拟机I/0的性能。同时优化改进balloondriver统计可用内存大小、升级kernel版本主要为解决kvm一些bug以及引入userfaultfd特性，支持大userfaultfd是LinuxKernel在v4.3中加入的新功能。userfaultfd简单地来说就是通过文件描述符(fd)的机制来将pagefault的信息传递给userspace,然后由userspace来决定要往这个地址写的内容。更简单一点就是，传统的pagefaultUserfaultfd是为了解决QEMU/KVMlivemigration的问题而出现的，所谓Livemigration就是将guest从一端迁移到另一端，而在迁移的过程中guest能够继续提然后再来检查在迁移的过程中是否有页面发生更改(也称为过去之后就可以把源端的guest关闭掉，然后启动目的端的guest。这种实现有个术语叫precopy,即在目地端的guest运行前，所有的东西都已经copy过去了。6)安全性增强7)优化升级目标：从改善用户体验和优化弹性负载均衡系统功能的角度出发，新增负载均衡支持连接数。弹性负载均衡建设方案型处理。SSL穿透：它是直接向代理服务器发送SSL连接的。目前lbaasv1版本已经支持SSL穿透功能，下面主要考虑SSL终端的负载策略。主要有两部分工作：SSL证书管理和配置证书到haproxyAPIAPIAPIAPIWorkerWorkerWorkerAPI层：处理来自外部的REST请求，和数据库直连，同步请求(如GET)直接访问数据库返回给用户，异步请求(如POST)通过消息队列发送给Worker层处理。Worker层：处理来自消息队列的异步请求。Worker具有南向接口，挂接第三方·API使用paste配置中间件，pecan做REST的路由·通过Repositories/Models组件访问数据库·通过Crypto支持加解密，支持插件HSM/KMIP等作为Crypto的后端Certificate插件和CA交互，消息后端包括RabbitMQ配置生效Haproxy与证书相关配置为：/var/lib/neutron/lbaas/lbid/server@acmenasockes/vr/11b/teatron/lbass/Cba¹481-0913-446c-9250-dacd⁶343c⁹e/soeknobind43:442nlcrt/Var/11b/neutros/Lbang/Deta1481-0913-446c925d-dncb¹6343ce/c5ts1det-6027-4e48-13-A02054cbS74/ser[rootCECM⁰27c5f51dcf-6027-4e48-81f3-a02c54cb574a]tcatse[rootCECM⁰27c5f51dcf-6027-4e48-81f3-a02c54cb574a]tcatseXL1FfawfRJotCnR/14afgqQ5nY/gzbqYc0/NCUgj0d6PHF⁰7A01q9sJ6Rk41hS1/8u+NijFJMo3m+xYuH85KemCNOWFFTsni1yzlYdcr+k+U1ZFJyUpBQUAA4GBALzuFaxlrcOZm5QwrzslBR98WQnF⁵bS8jlqKATsbP2bXtwdbovpgEGVUY47bLX3Yd4I62H/tAiqG40S9G6DHWe6dCh9Iq/281R1iIOU1qH2Uwx4JHF6YAluEQU9gV12Wrx7L9ebDb1j5+qRDIE2omre+1YENDCERTIFICATBEGINPRIVATEKEYdH/Xhp+CpDmdj+DNuphzT8OJSCPR3o⁸cXTsA7Wr2wnpGIn9e5z7iWkyjeb7Fi4fzkp6YI07AUVOyeLXLOVh1yv6T5SVkUnJSnWkWt/2vAVnwMYrb/j/Dds2zPVj6bFhesRJSs4LEIMPdAgMBAAECgYEAm31ojnVL+00vPN6Y7WtoY¹o4/AZScWpdqvXMAnMsXf2qixiKTnZHTCTRxnSuaVxDH5gyDXSmpHd3cVUhQGQEokkXbuimaHLw95FA7TiCErSDLpBQitiz5BRWLFJN7084sWDd6I9rq81E7XJMcTZrSUCQQDObVRqCOQBQ9M4119Zti71x90y9ae16ke+b6ns7Q2yIs3TazLIUoychkcBq9TDmKg2SiIXd58kz3AkEAOuVtgoVg9FSZBUTnxzngY6GIx/SXXFy/sYuP¹LPQg/HFTB1H1Z4iMdkOE7RvEkywJAKuEXIvbmUNZ+MoVg+tL8DTFvu6XewwoS+0yoiwmXL2h5D9RWbEBOJ+amMgB8oGLD4WnFeK/YTttT5WJAGcuWHofW30cpRO7+4Zg⁰09PFI6jdUkNdDk⁸pclmOHGxe14g6r+xuAQsWw2IoK+rGiOGd09TbSuaa71IQJBAICpHhovParxfJ91IBJzOGDa7hAKL3Z81BD1DG115UQMljuC6KqhiuAHDrofxuqvD2)负载均衡支持高可用负载均衡高可用支持主备模式，即一个负载均衡器会在两个lbaas-agent上创ohd由于haproxy和lvs负载均衡均是通过linuxnamespace实现的，故他们的高可创建HA负载均衡时，创建多个负载均衡实例部署到不同物理服务器上的lbaas-Agent中。这个实现需要修改Neutornlbaasschedulers。借助实现VRRP的软件，保证多个1baas-Agent的HA,即其中一个是Master,3)负载均衡支持最大连接数负载均衡支持设置每个haproxy进程所接受的最大并发连接数。4)负载均衡支持会话保持Session是由应用服务器维持的一个服务器端的存储空间，用户在连接服务器时，会由服务器生成一个唯一的SessionID,用该SessionID为标识符来存取服务器端的Session存储空间。而SessionID这一数据则是保存到客户端，用Cookie保存的，用户提交页面时，会将这一SessionID提交到服服务器也通过URL重写的方式来传递SessionID的值，因此不是完全依赖Cookie。如果客户端Cookie禁用，则服务器可以自动通过重写URL的方式来保存haroxy将用户IP经过hash计算后指定到固定的真实服务器上(类似于nginxhaproxy将WEB服务端发送给客户端的cookie中插入(或添加加前缀)haproxy配置指令例举cookieSESSION_COOKIEinsertindirecthaproxy将后端服务器产生的session和后端服务器标识存在haproxy中的一张配置指令例举appsession9ai9len64云主机镜像功能系统描述及理解1、资源池较多、镜像没有统一的管理、规划，导致各资源池镜像版本不统一，2、当新部署其他区域的资源池时候，目前需要手动3、当前新制作一个系统类镜像或者其他类镜像，需要再全的时间和成本.

功能设计架构镜像分发镜像分发镜像上传查询删除修改上传1)镜像的上传用户通过镜像管理上传界面，上传镜像到镜像镜像管理/桶像库镜像管理/桶像库上传镜像个磁上序在一个完全当前盟示1到2条，共2条记录确像管建/桐像库确像管建/桐像库*(Meroring)几的一型，一个上的如在另一,种文件用式，下美型：上2)镜像的查询怕像管理/拍像库怕像管理/拍像库等程孩在一个，用GHOST打开益，又成许多又件，(o上师一分发故*型1当前置示1到2条，共2条记录3)镜像的删除

功能设计目标：倾像管理/横像库倾像管理/横像库image001当能显示1到2条，共2条记录14)镜像的修改情缘管理情缘库缘。一种文件式，可个磁上存在一个完全◎◎当前显示1到2条，共系统盘类型：系统类型：安全性：1标准类型0全性文件大小5)镜像的分发

功能设计目标：在新建资源池或者资源池需用新制作镜像，资源池镜像传输现状：1、运维人员先要对镜像进行资源池上传(传输时间视网络带宽大小而定，通常需要N小时);2、当传输完镜像后还需要对在对镜像进行配置修改；3、在glance中注册；注：可能会出现传输失败、手动操作错误的情况实现镜像分发后：只需选择资源池，自动分发上传。优点：能够对资源池镜像的自动分发、上传，减少传统传输镜像所用的时间和人力等资源，同时提高镜像上传的准确性和一致性。

功能设计方案：选择要分发的镜像，指定分发的目标资源池，后台分发任务将镜像上传到目标资源池。当前显示1到2条，12当前显示1到6条，共6条记录0000物理主机服务能力建设方案物理机服务基于OpenStackironic扩展支持vlan方式部署物理机、自动配置交换机端口vlantag,将物理机接入虚拟机网络。收集交换机和物理服务器信息录入到平台库存管理模块。当客户有开通物理机服务时，利用ironic部署完成物理机操作系统，通过扩展ironic功能支持配置交换机端Nov²式，Ironic通过实现多个driver的方式来解PXEDeployInterfaceConsoleInterface可以看上图中Ironic中driver的架构，每一个driver可以实现4类功能。console:实现通过硬件直接得到物理机Console。vendor:厂商自定义行为，扩展的交换机vlan配置功能。物理机的开机、关机和重启等操作均是通过powerdriver实现，沃云中powerdriver利用的是ipmi方式管理物理机的电源。沃云监控平台以zabbix软件为基础，在利用其分布式架构基础上，深度集成沃云各服务，以围绕服务器、虚拟机、服务等监控内容为主，支持IPMI、SNMP、JMX配置文件注入镜像中，待服务器部署后之后，自动上报监控信息到zabbix/dev/nypath/icsi-disk-03.Injectzabbixcontofa/dev/by-path/scs图：-3物理监控2.ironic根据nova传来的image-id从glance获取镜像并缓存到本地；3.ironic生成zabbixagent监控配置文件，并注入到镜像中；4.物理服务器，pxe启动，将系统盘通过iscsiexport给ironic服务器；5.ironic找到映射过来的系统盘，通过dd将镜像写入物理服务器系统盘上；6.服务器部署完成重启后，zabbix主动上报监控信息给zabbixserver;7.zabbix-server将监控数据存储到mysql数据库中，供门户使用。图：-4网卡限速目前的物理机模块已经支持对交换机与物理服务器连接的端口设置vlantag,换机端口限速命令不一样，不同的交换机需要开发单独的交换机配置driver。3.2.2云存储能力子系统建设络的存储访问协议标准。iSCSI是一种基于TCP/IP的协议，用来建立和管理IP存协议应用于高速数据传输网络成为可能，这种传输以数据块级别(block-level)在设备由SCSI总线连接。iSCSI的主要initiator)和存储设备(目标器target)之间进行大量数据的封装和可靠传输过程。的协议栈自顶向下一共可以分为五层，如图1所示：图：-1iSCSI协议栈1.SCSI层：根据应用发出的请求建立SCSICDB(命令描述块),并传给iSCSI层；2.iSCSI层：对SCSICDB进行封装，以便能够在基于TCP/IP协议的网络上进行传输，完成SCSI到TCP/IP的协议映射。这一层是iSCSI协议的核心层；iSCSI属于端到端的会话层协议，它定义的是SCSI到TCP/IP的映射，即Initiator将SCSI指令和数据封装成iSCSI协议数据单元，向下提交给TCP层，最后封装成IP数据包在IP网络上传输，到达Target后通过解封装还原成SCSI指令和数据，再由存储控制器发送到指定的驱动器，从而实现SC的透明传输。它整合了现有的存储协议SCSI和网络协议TCP/IP,实现了存储与TCP/IP网络的无缝融合。iSCSI数据包作为TCP的有效载荷被封装到TCP包中，在经过了整个网络协议栈目的地址iSCSI协议监测块数据的传输并完成I/0操作，这些需要在Initiator端和

建设目标主机提供块存储服务。层面来看，属于协议接口层，即提供标准的iSCSI存储访问协议，支持不同的功能层组件层点x多副本6证克牌物理层iSCSIServer是HuaCHCS分布式块存储集群iSCSI协议的入口。iSCSI1.iSCSITarget的创建，删除，增加，查询等2.iSCSILUN的创建，删除，增加，查询等3.iSCSILUN快照的创建，删除，查询，克隆，回滚等序列化，反序列化等。iSCSIPDU格式如下：48/AdditionalHeaderSegment/AdditionalHeaderSegmentn(A0|.|IIOpcodeI8|LUNorOpcode-specificfiel+EQ\*jc3\*hps12\o\al(\s\up10(+),6)20/Opcode-specificfi其中，AHS格式如下X②iSCSI控制模块iSCSI控制模块负责记录和管理iSCSI连接的状态机。iSCSI连接一共分为8个状态：状态名iSCSIinitiator状态机如下图所示：ViSCSITarget状态机如下图所示：\△/S5义如下：serviceISCSIService//targetmanagementrpcCreateTarget(CreateISCSITargetRequest)returns(ISCSITarget);rpcUpdateTarget(UpdateISCSITargetRequest)returns(ISCSITarget);rpcDeleteTarget(PoolPath)returns(Void):rpcListTarget(Void)returns(ISCSITargetsrpcGetTarget(PoolPath)returns(ISCSITarget):rpcCreateLun(CreateISCSILunRequest)returns(ISCSILun):rpcUpdateLun(UpdateISCSILunRequest)returns(ISCSILun):rpcDeleteLun(LunPath)returns(Void);rpcListLun(PoolPath)returns(ISCSILurpcGetLun(LunPath)returns(ISCSILurpcMoveLun(MoveISCSILunRequest)returns(ISCSILun);rpcCreateSnapshot(CreateISCSISnapshotRequest)returns(Volume);rpcListSnapshot(LunPath)returns(SnapshotsResponse);rpcUpdateSnapshot(UpdateISCSISnapshotRequest)returns(rpcDeleteSnapshot(ISCSISnapshotPath)returns(Void):rpcRollbackSnapshot(ISCSISnapshotPath)returns(VrpcShowSnapshot(ISCSISnapshotPath)returns(Volume);}④iSCSI数据传输模块iSCSI数据传输模块，负责网络数据的发送和接收，是对性能影响最直接的模块。几种技术：2.EventFd:负责异步事件通知3.Coroutine:负责异步事件串行化模拟4.LockFreeQueue:事件队列数据结构3)建设模式本期iSCSI系统建设是底层存储能力新增功能模块，即分布式块存储集群提供卷进行管理。HuaCHuaCHCS分布式块存储集群图：分布式存储集群连接示意图景下用户希望将一个卷挂载到多台虚拟机上同时使用，比如oracleRAC场景。为此1)基础能力层2)服务能力层云存储共享卷系统主要包括共享卷生命周期管理、共享卷的挂载/卸载和共享卷图：共享卷架构图据卷接口新增加一个接口参数muti-attah,声明创建的数据卷是否支持同时挂载给多台虚拟机使用。这部分功能主要由Openstackcinder模块实现，供门户调用。共享卷挂载/卸载管理：为支持共享卷的挂载和卸载，Openstackcinder中增加化，这部分功能主要由Openstackcinder模块实现，供Openstacknova模块调用；同时，为支持共享卷Openstacknova需要调整部分接口，适配共享卷功能。共享卷访问：共享卷挂载到虚拟机后由虚拟机经过qemu访问。3)产品管理及门户共享卷与普通卷主要的区别就是共享卷允许挂载给多台云主机使用，而普通卷只允许挂载给一台云主机使用。申请弹性块存储申请弹性块存储月存储类型：共享卷：可用域：容量：名称：否1图：弹性块间图：弹性块高效块存储基于SSD/SATA磁盘介质提供了持久化的、独立于云主机生命周期的、高可用的高性能的块存储设备服务，高效块存储可以挂载在任意一个运行中的云主机上。高效块存储结合弹性云主机使用，使数据更安全、更具灵活性。具备以下特性：弹性扩展：可以弹性水平扩展整个沃云平台物理服务器节点的规模，真正实现按需采购，按需配置。高性能：分布式存储架构也打破了传统存储的性能瓶颈，为沃云平台提供了高性将用户的虚拟机与相关的数据保存在同一服务器上，大大减小网络延时，充分挖掘成本50%以上。

系统架构高效块存储系统主要包含四个主要的组件和服务，分别是：Zookeeper、MetaZookeeperZookeeperZookeeper可以避免因网络故障而导致的脑裂问题。在实际部署中，一般采用3个实例，或5个示例的部署方式。3个实例的部署方式可以容忍集群中任意一个节点宕机。5个实例的部署方式可以容忍集群中任意2MetaServer是一个分布式的元数据服务，为集群提供所需要的元数据信息。其中包括：2.所有虚拟卷的元数据信息多个MetaServer组成一个MetaCluster集群，每一个MetaServer中都有一份元数据的完整拷贝，以保证元数据的安全性。当集群中存在多个MetaServer,MetaServer会通过Zookeeper进行选主，其中的一个MetaServer会成为MetaCluster的leader,其他的MetaServer将成为通过Zookeeper选出新的leader,作为leader的MetaServer同时承担了集群管理者的角色。它会负责与所有的ChunkServer进行通信，并收集ChunkServer的的每一台物理主机上，负责管理本地用于存储的磁盘，并维持与MetaServer之间●存储池(StoragePool)群中，不同的存储介质可以加入不同的存储池，使得存储池具备不同的存储特共享。如果数据需要在存储池之间进行移动，需要触发数据全量拷贝。●虚拟卷含的ExtentID。当客户端需要在虚拟卷上执行IO操作时，会通过本位置信息。除此之外，虚拟卷还具有很多属性，可以为虚拟卷提供不同的存储策略，包括副本数，条带化参数等等。虚拟卷也是用户执行快照，克隆，回滚等操作的基本单位。个固定大小的Extent,存储在Chun个Block组成。Block同时也是缓存盘与数据盘之间进行数据交换的基本单位。Block默认大小为256KB。●数据存储策略，例如副本数，瘦供给等。每一个数据存储，都属于某一个特定的存储池。这个数据存储中创建的所有虚拟卷中包含的数据，也都存储在这个存储池中。●元数据设计1.采用集中式元数据管理，通过收集集群中数据的状态，做到对集群中数据的进行精确的控制，包括数据的分配，数据的恢复，数据的迁移等等。2.采用较大粒度的基本数据单元(Extent),减少元数据消耗的内存资源，保证全部元数据都可以保存在内存中，提高访问效率。3.元数据在所有节点中都保存一份副本，保证元数据的高可靠。当有部分服务器发生宕机，元数据不会丢失。4.通过对元数据进行缓存，减少各个组件与MetaServer的交互，从而减小MetaServer的负载，提高IO的效率。④⑥⑥⑤⑥图：全局IO路径示意图每一个Extent都有一个ChunkServer作为它的Owner,负责这个Extent的所有I0操作请求。Client会首先将请求发送给所访问的Extent的Owner,并等待返回结果。2.向MetaServer请求元数据信息向MetaServer请求元数据的时候，只有当前的Leader可以响应请求，其他MetaServer提供元数据服务。3.MetaServer返回元数据查询结果查询结果包含了数据的副本信息，副本所在的ChunkServer的地址，等信息。如果是第一次访问数据，MetaServer会负责分配一个新的Extent。ChunkServer在收到元数据信息后，会将元数据信息缓存在内存中，减少对MetaServer的查询请求次数。4.向其他ChunkServer发送I0请求如果client发送的请求是写操作；或者是读操作，但本地并没有副本，则I0请求将需要被发送到其他ChunkServer。5.I0请求发送给缓存系统如果数据在缓存中存在，则缓存系统可以直接响应请求。否则，请求将被转发给磁盘中查找数据，并返回给ChunkServer。程。对于读请求，如果有一个副本读取失败，则会尝试重试其他副本。安全的保证。当集群发生故障时，可以对数据进行自我修复。每一个虚拟盘都会被划分成以256MB为长度的Extent。采用副本技术以后，同一个Extent在集群中会有多个副本(拷贝)。同一个Extent的多个副本会分布到不同的ChunkServer存储，也就是不同的物理节点上。这样可以保用性和可靠性。当一个Extent存在多个副本时，为保证数据的一致性，对数据的每一次写都是同时写多份副本，并且当所有副本都写成功后再返回给客户端，也就是保Extent的副本数，取决于它所从属的虚拟盘的存储策略中的设置。为保证数据可靠性，HuaCHCS元数据服务会周期性的和ChunkServer通信，以确定当前系统中可以访问的Extent。当发现某个Extent的可用副本数低于设定据会复制到三个不同的ChunkServer上，当集群中出现一台ChunkServer所在的物理服务器发生宕机，导致可访问的Extent副本数减少，HuaCHCS的MetaCluster会及时发现这一事件，并以Extent为单位进行数据恢复。从健康的副本所在的ChunkServer中读取正确的Extent,并恢复到另一个ChunkServer中，以确保Extent始终保持在三副本的状态。对比传统RAID重建时，经常导致存储系统不可用。HuaCHCS在恢复副本的时候，正常I0访问仍然可以被正常执行，并不会出现中断，HuaCHCS通过控制恢复流量所占的I0带宽，保证正常业务性能被限制在可以接受的范围。HuaCHCS可以通过存储策略，为每一个虚拟盘设置不同的副本数。目前支持1,2,3个副本。不同的副本数定义了不同的数据安全级别。当虚拟盘的副本数为3时，允许同时有2台服务器发生宕机事件。当虚拟盘的副本数为2时，允许同时有1台服务器发生宕机事件。当副本数为1时，意味着数据没有任何保护措施。据正确性检查。当发生数据与数据校验码不一致时，则认为该数据块存在问题，同时会触发数据恢复机制。副本与数据校验可以有效地避免由于硬件故障导致数据安全问题。而快照，则可以用于避免因人为误操作，或软件故障所导致的数据损坏或丢失。采用超融合的方式部署建设沃云平台，将计算与存储部署在同一个物理节点中，形成超融合节点，支持无缝扩展，横向扩展时性能与容量可以线性增长。HuaCHCS通过qume/iSCSI协议接口，向OpenStack的各个组件提供存储wMwMvM云平台NodeNodeNodem图：与OpenStack集成像，存放在HuaCHCS中，并创建快照。通过调用HuaCHCS的克隆API,来完成镜像的创建。同时通过和Cinder骤，大大加快了启动虚拟机的速度。同时，通过调用存储端的快照，克隆等操作，避免了qcow2格式的快照，克隆带来的性能损耗问题。此外，由于采用了超融合架构，避免了额外的存储服务器，极大的降低●硬件要求每个物理节点的硬件要求。内存10Gb网卡1)基础能力建设配置需求两块或以上.两块或以上.至少两个网口至少一个网口10GbE交换机2)服务能力建设针对底层基础能力层提供的功能接口进行封装，封装RMS接口，提供给业3)业务平台服务建设将服务层的提供出来的接口对接到上层业务平台，在业4)UI门户建设>创建高效存储卷>卸载高效存储卷>删除高效存储卷>修改高效存储卷>创建云主机磁盘快照>删除云主机磁盘快照>云主机磁盘快照回滚>云主机磁盘快照查询>云主机磁盘快照修改>展示云主机磁盘快照详细>查询高效存储卷界面如图：>创建高效存储卷申请弹性块存储■dfsd16w■m¹.169989302an⁰>卸载高效存储卷电名间n间1标1-1共1行00沃云控制台X0>挂载高效存储卷桐选择弹性块存储要加载的主机口示1-4共4行间搁2017/1/49222017/2/4922品2017/1/315112017/2/315:1.其例◎刷新销毁弹性块存储您确认要78Q?uil169989375az⁰s.ceiuZian第WH确定取消>修改高效存储卷|实9列表概览修改弹性块存储属性就结服务名>创建云主机磁盘快照mm沃云控制台间0别◎的第>删除云主机磁盘快照Ⅲ|快照题列实表Ⅲ口从地中0口从地中0文例◎删除快照能确认要玛?删除快照能确认要玛?取取>云主机磁盘快照回滚沃云控制台沃云控制台恢复快照状态晰×定的定>云主机磁盘快照查询品览srap_179997217*BIsdsd179997213create_179997209o开通中201>云主机磁盘快照修改||快照返回实例例表口N餐口N餐时间时间名称modijyname¹79997213化嗔响>展示云主机磁盘快照详细实例实例创间：2017-01-090010260>查询高效存储卷概览◎断◎●●效存格就他用中他结●2017/1/49222017/2/4全闪块存储基于SSD磁盘介质提供了持久化的、独立于云主机生命周期的、高可用的高性能的块存储设备服务，全闪块存储可以挂载在任意一个运行中的云主机上。全闪块存储结合弹性云主机使用，使数据更安全、更具灵活性。相比高效块存储，性能要提升50%左右，可以满足I/0密集型应用、中大型关系数据库等更多高性能需求的应用场景。具备以下特性：·弹性扩展：可以弹性水平扩