电信MSP合作伙伴招募技术方案

目录TOC\o"1-7"\h\u5281.实施方案 .实施方案1.1项目概述1.1.1项目背景云计算、大数据、移动互联网和物联网等被称为是第六次科技革命。云计算的出现，是信息技术发展和信息社会需求到达一定阶段的必然结果。一方面，虚拟化技术、分布式计算技术、宽带互联网技术、SOA技术和自动化管理技术的发展为人类社会云时代社会奠定了科学技术基础；另外一方面，无论何时、何地、何人、何物，人类社会期待实现互联互通、知识共享、协同工作的新需求，加速了信息社会的进程，在这一进程中，对普惠、可靠、低成本、高效能的技术手段和实现模式的迫切需要，催生了云计算。天翼云产品经过三年多的发展，依靠天翼云科技有限公司、原有网络资源、用户资源、业务能力资源等各种资源，建立了专业化生产运营体系。随着客户群和资源池规模逐步扩大，在云计算服务市场具备了一定竞争力。（1）基础设施资源：实力强劲，背靠天翼云科技有限公司，拥有大量基础设施资源。已在全国规划建设了十大云数据中心，总机架数将超过25万架，总带宽将超过30T，具备三百万台服务器的承载能力；正在部署7大核心区域、31个省会节点的资源池，年底平台资源将超过25万核vCPU，60PB存储。（2）技术实力：相对传统IT巨头和互联网公司，技术开发能力相对较弱，在PaaS(面向开发者)和SaaS(应用技术能力)领域暂难与业界主流的提供商竞争。（3）运营能力：具有大规模基础设备的可靠性运营能力，但资源较为分散，管理与运营支撑的效率相对较低。另外，开发者社区运营的经验比较欠缺。（4）渠道推广能力：已经搭建了由在线门户（公众云门户和企业云门户）、总部大客户直销经理团队和省份公司销售队伍组成的销售体系，但缺乏面向开发者领域和中小创企业的有效推广模式。（5）成本控制能力：目前以IaaS重资产运营模式为主，相对IT厂商和互联网企业，平均成本投入相对较高。（6）维护能力：具有电信级IT系统的维护经验，在各地均有完备的建设维护队伍。（7）创新能力：引领云市场发展的产品、服务和商业模式创新能力相对不足。随着云计算厂商竞争日益激烈，天翼云产品为了适应市场发展需求，扩展市场份额，推进天翼云产品与服务在商机挖掘、交付能力、运营运维等领域的服务能力与市场规模，天翼云科技有限公司上海分公司现启动2022年首批MSP合作伙伴招募。1.1.2建设内容天翼云科技有限公司天翼云产品产品服务能力软件研发项目主要新增缓存即服务（REDIS），高效块存储，全闪块存储，关系型数据库RDBforMYSQL，关系型数据库RDBforORACLE。结合产品需求定位分析和天翼云产品提供产品现状，本期工程云平台将重点打造云服务产品，具体如下：新增产品方面新增缓存即服务（REDIS）新增高效块存储新增全闪块存储新增关系型数据库RDBforMYSQL完善产品完善弹性负载均衡功能完善云主机功能完善物理主机功能完善虚拟网络功能完善监控功能完善云备份功能完善自动化部署功能云平台系统软件架构采用面向服务的新架构，各功能模块设置为相互独立的子系统，主要包含产品门户、运维运营门户、分布式消息中间件及资源池能力层等功能模块。产品门户包括云主机（云虚拟机、云物理机）管理，云网络（虚拟网络、虚拟路由器、负载均衡）管理，云存储（数据卷，快照），云应用支撑（数据库、缓存）管理，云备份（文件备份、数据库备份）管理等。资源池能力层部分软件功能包括虚拟资源管理子系统、各资源管理模块。虚拟资源管理子系统提供计算资源(云虚拟机、云物理机)服务能力管理、云网络（虚拟网络、虚拟负载均衡）资源管理、云存储资源（高效块存储、全闪存块存储）管理、数据库（Mysql）服务能力管理，缓存(Redis)服务能力管理、云备份（文件、数据库）服务能力管理，云资源（虚拟机、物理机、虚拟负载均衡、虚拟路由器）监控等。1.1.3建设原则1)建设基本原则在建设整个系统时，需本着技术先进、系统实用、结构合理、产品主流、低成本、低维护量作为基本原则，进行系统构架。2)技术的先进性整个系统选型、软硬件设备的配置均要符合高新技术的潮流，引入dubbo分布式服务框架、超融合、DPDK等先进技术。在满足功能的前提下，引入dubbo分布式服务框架、超融合、DPDK等先进技术，系统设计具有先进性，并且在今后一段时间内保持一定的先进性。3)架构合理性采用先进成熟的技术来架构各个子系统组成稳定可靠的大系统，使其能安全平稳地运行，有效地消除各子系统可能产生的瓶颈，选用合适的设备来保证各子系统具有良好的扩展性。保证设备运行的稳定性和安全性，只有稳定可靠的系统才能确保各设备的正常运行；只有良好的数据共享，实时的故障修复，实时备份等才能形成完整的管理体系。4)经济性在满足系统功能及性能要求的前提下，尽量降低系统建设成本。采用经济实用的技术和设备，利用现有设备和资源，综合考虑系统的建设、升级和维护费用，不盲目投入。5)实用性在设备选型时，主要依据天翼云科技有限公司的实际情况结合目前我国市场上的占有率高的各类产品中选择具有最优性能价格比和扩充能力的产品。6)规范性系统接口、存储协议、网络传输协议等应符合相关国家标准、行业标准。7)可维护性所设计的系统和采用的产品应该是简单、实用、易操作、易维护。系统的易操作和易维护是保证软件从业人员使用好本系统的条件。并且，系统应具备自检、故障诊断及故障弱化功能，在出现故障时，应能得到及时、快速的维护。8)可管理性前端现场设备，各分系统集中于中心统一控制，实现对所有远端设备的控制、设置，以保证系统的高效、有序、可靠的发挥其管理职能。9)安全性对系统采取必要的安全保护措施，防止病毒感染、黑客攻击，防雷击、过载、断电和人为破坏，具有高度的安全和保密性。1.2需求分析1.2.1项目目标具有自主知识产权；系统稳定安全、运行高效；可整合多种企业应用运行所需要的软件平台、数据库系统、存储系统、以及其他计算服务能力；平台的所有的能力可以API方式开放；可适用于各种规模的云平台建设和管理。本文档从总体角度对天翼云天翼云产品进行体系化、结构化、逻辑化和功能化地说明，力图清晰、完整地规划出上云的可行性评估、上云的风险评估、上云的资源评估、云上系统架构的规划设计、资源部署模式的规划设计、网络的规划设计、安全（平台、网络、数据、应用、主机）相关的规划设计、公共算力服务以及国产化能力等。1.2.2需求分析根据对项目需求的总体分析，可以将本项目进行功能的划分。分类编号一级功能二级功能需求说明产品功能模块建设1云主机能力子系统建设弹性云主机不停机的情况下动态扩展cpu、内存配置，虚拟机所属宿主机故障时，将虚拟机迁移到其他宿主机上，降低对客户的影响，以及虚拟机优化。弹性云主机镜像镜像进行统一的管理、规划，支持分发、资源池上传弹性负载均衡增强负载均衡的可用性、运行状态监控，支持https协议、支持证书管理物理机主机能力使用统一的服务平台管理所有用于物理机即服务的服务器，提高对物理机的管理能力；物理机监控功能、提供物理机远程控制能力、物理机网卡限速2云存储子系统建设iSCSIiSCSI提供标准的iSCSI存储协议，支持划分多个存储池支持物理机通过iSCSI的方式连接存储池共享卷共享卷提供共享的存储卷，支持将同一数据卷挂载到多个云主机，支持多个云主机同时访问，满足如OracleRAC等企业应用场景高效块存储高效块存储提供了持久化的、独立于云主机生命周期的、高可用的高性能的块存储设备服务，高效块存储可以挂载在任意一个运行中的云主机上。高效块存储结合弹性云主机使用，使数据更安全、更具灵活性。提供更高性能的块存储服务。全闪块存储SSD块存储提供了持久化的、独立于云主机生命周期的、高可用的高性能的块存储设备服务，SSD块存储可以挂载在任意一个运行中的云主机上。SSD块存储结合弹性云主机使用，使数据更安全、更具灵活性。提供更高性能的块存储服务，满足需求更多IOPS和更大吞吐量的应用或业务系统3云网络子系统建设DPDK功能基于DPDK的虚拟交换机、虚拟路由器、虚拟防火墙、虚拟负载均衡性能优化4云备份子系统建设文件备份文件备份提供将用户业务系统中的系统文件和网络文件备份到本地资源池，并提供及时还原和选择时间点还原数据，包括linux操作系统和windows操作系统的系统文件和网络文件备份与还原数据库备份数据库备份提供对MSSQL数据库执行备份与还原。提供将用户业务系统中MSSQL数据库备份到本地资源池，并提备份数据的浏览、下载和还原5自动化部署子系统建设提供以文件导入的方式获取资源信息，并对服务器设备信息及网络设备信息进行查询、添加、编辑、删除，对服务器设备的位置信息进行查询、编辑的统一管理功能。提供通过界面维护服务器配置参数，并进行批量修改；设置配置基线，比对不符合基线的信息；并提供日志查询的功能。提供对部署前的设备状态检查及部署后服务功能检查的功能。提供通过流程设计器将业务过程的执行逻辑、执行规则进行可视化定义，并对整体流程统一管理6缓存服务子系统建设在租户的私有网络内提供REDIS高性能的缓存服务，提供单机版和集群版的缓存服务，一个集群包含多个缓存节点，支持主从，确保高可用。提供在线扩容、监控操作等功能管理集群；7RDS数据库子系统建设关系型数据库RDB-MYSQL在租户的私有网络中提供MYSQL的关系型数据库（RDB）服务，包括数据库实例、数据库、用户以及用户授权等各种管理功能。8云监控子系统建设监控用户自定义虚拟机的监控指标，定义用户关心的指标，及时了解虚拟机的健康状况1.3项目建设方案1.3.1总体建设方案图：1.3.1-1系统总体架构根据天翼云科技有限公天翼云产品能力层软件开发的要求，天翼云产品的总体架构图如图1.3.1-1所示。天翼云产品总体上分为天翼云产品门户、服务支撑和资源池服务能力层三个部分。本次开发涉及到的部分包含门户开发、自动化部署、统一镜像管理、服务能力提供子系统、统一监控。门户开发主要包括新增产品数据库服务、缓存服务、高效块存储、全闪存块存储、共享块存储的用户界面开发。自动化部署管理子系统主要功能包括资源信息管理、一键式裸机安装、自动化部署任务调度、运行检查、配置修改、以及系统管理，如用户管理、部门管理、权限管理、日志记录等平台自身的管理功能。图：1.3.1-2自动化系统架构云主机镜像管理模块新增对镜像资源的统一规划、统一管理、统一分发功能，提供天翼云产品的部署能力。图：1.3.1-3镜像架构图服务能力提供子系统由统一资源智能调度接口层、统一认证管理、计算资源管理、存储资源管理、虚拟网络管理、数据库服务管理、缓存服务管理及云备份服务管理共八个模块组成。统一资源智能调度接口层主要实现两方面的功能对天翼云产品其它子系统提供API接口，实现对天翼云产品资源池资源的创建、查询、配置和删除操作根据计算、存储、网络、安全和服务能力集成模块的状态，负载等情况对天翼云产品其它子系统发送的API指令进行调度。统一认证管理体系完成资源池管理系统对外提供所有服务接口的认证以及服务能力提供子系统各组件之间接口访问认证。计算资源管理完成虚拟机和物理机统一管理，抽象为统一API供上层业务系统使用。图：1.3.1-4Nova-API云存储管理完成不同种类的存储资源统一管理，供异构的存储资源进行统一管理，抽象为统一的存储API，提供给上层系统使用。图：1.3.1-5Cinder-API虚拟网络管理将不同的虚拟二层网络方案（OVS/硬件），统一管理并抽象成统一的API，并引入DPDK网络数据处理技术提升虚拟网络性能。图：1.3.1-6Nentron-Server数据库服务管理数据库服务管理完成多种数据库集成，统一抽象API为上层业务系统提供所使用图：1.3.1-7Trove-API缓存服务管理缓存服务管理将单节点缓存、主从缓存、集群缓存多种缓存模式统一抽象为API,为上层业务系统所使用。图：1.3.1-8WARM-API云备份服务管理，提供云备份功能，支持对系统文件备份、网络文件备份以及数据库进行备份，保护数据安全，并使这些数据随时可恢复可使用。图：1.3.1-8文件备份架构图统一监控子系统完成对资源池提供的服务能力和所有平台组件的监控，其包含以下部分：平台监控服务器监控服务组件监控云服务监控虚拟机监控物理机监控虚拟负载均衡监控虚拟网络监控虚拟路由器监控缓存服务监控1.3.2行业解决方案上云的可行性评估（1）公司具备卓越的技术开发、管理及运维服务能力技术开发方面：北京国网富达科技能够为互联网企业提供整体IT架构上云的完整解决方案和服务，旗下全球云平台采用云网一体化的技术架构设计，具有广泛适用性。公司在计算虚拟化、软件定义网络、分布式存储方面均具有较强实力，可以使客户灵活、便捷地将整体IT架构上云，满足客户计算、存储、数据库、负载均衡、大数据、数据传输等方面的需求。此外，北京国网富达科技不断在云平台自助服务、IDC在线管理系统、新一代虚拟化平台、运维自动化等方面投入研发，增强公司公有云服务水平。研发及管理团队方面：公司80%以上骨干研发人员具有10年以上研发经历；公司核心管理团队及研发团队稳定，公司通过建立研发、产品与客户的多方沟通及协作机制，在不断丰富产品线的同时，逐步提升了产品及服务的客户满意度；同时，公司通过持续完善云平台自助服务，有效地降低了订单受理、产品发布和运维响应时间，大大地提升了公司运营效率、降低了公司运营成本。运维服务能力方面：公司拥有完善的运维服务体系及客户响应制度，能够采用自动化技术、数据分析技术提前预判IT设施的风险点。在IT信息技术服务管理方面，公司已获得ITSS信息技术服务运行维护标准3级证书、ISO27001信息安全管理体系认证及中国可信云认证，能够保证服务的稳定、安全。（2）稳定优质的客户资源为项目实施奠定坚实基础北京国网富达科技作为一家覆盖全球的互联网数据中心服务提供商，主要服务于游戏、电商、视频、教育、大数据等领域的企业用户，为其在全球提供快速、安全、稳定的云计算服务及IDC服务。截至目前，公司积累了央企、国资企业等一批行业优质客户和成功案例。优质品牌用户提升了公司的品牌形象和市场影响力，具有较强的示范效应。数量众多且优质的客户资源，使得公司在推广新的产品及服务时更容易被市场接受。随着数字经济的快速发展，下游客户的业务规模扩大，项目市场需求日益凸显，高质稳定的客户群体、较高的客户粘性和日益提升的品牌认可度为项目的实施奠定了坚实的基础。（3）“新基建”带动云计算市场需求强劲服务器是计算产业的基础产品，为全球计算产业提供强大的算力支持，也是推动数字经济的重要载体。2020年3月4日，中共中央政治局常务委员会召开会议，强调“加快5G网络、数据中心等新型基础设施建设进度”。2020年4月20日，国家发改委在新闻发布会上介绍，新型基础设施主要包括信息基础设施、融合基础设施、创新基础设施三个方面。其中，信息基础设施包括以5G、物联网、工业互联网、卫星互联网为代表的通信网络基础设施，以人工智能、云计算、区块链等为代表的新技术基础设施，以数据中心、智能计算中心为代表的算力基础设施等领域。中国信通院数据显示：全球云计算市场保持稳定增长态势。2019年，以IaaS、PaaS和SaaS为代表的全球云计算市场规模达到1,883亿美元，增速20.86%。预计未来几年市场平均增长率在18%左右，到2023年市场规模将超过3,500亿美元。2019年我国云计算整体市场规模达1,334亿元，增速38.60%。上云的风险评估目前，安全问题已经成为阻碍云计算发展的主要问题之一。为了让企业放心地采用云计算服务，相应的安全评估机制就显得至关重要。然而，目前还不存在足够全面的云架构安全评估机制。虽然近年来国内外有不少学者针对云的安全性评估和可信性评测开展了很多相关工作,但是其研究工作却普遍存在一个问题:没有分层次分析云平台的安全性。而云平台架构十分复杂，要评测其整体安全性，也应该分层考虑其各层的安全隐患，进而对云平台的整体安全性进行评估。信息安全评估工具是基于传统信息安全等级保护，采用漏洞探测、木马检测、软件代码安全分析、安全攻击仿真、网络协议分析、网络性能压力测试等方法，对传统信息系统的主机、网络、操作系统、主机中文件和数据进行安全测评。随着云计算的推广，上云的单位和迁移至云上的业务日益增多，亟需对云上安全情况进行检测评估。随着云安全等级保护和云安全指南也顺应需求落地，要求云上安全评估范围和传统信息安全评估范围有差异，即需要对云计算信息系统中业务系统及相关云平台资源进行统一定级测评。由于云计算引入虚拟化、多租户、资源池化管理、数据权限分离等一系列新的特性，因此云计算环境除了具有传统信息系统的安全风险，还面临一系列新的安全风险，包括虚拟化安全风险、资源共享与边界模糊的安全风险、用户数据与所有权分离的安全风险。目前，大部分网络安全分析主要包括网络脆弱性分析、网络攻击风险分析，但在实际的网络环境中，对攻击起抑制作用的防御因素也是网络安全分析的一个重要方面。因此，在云环境中，系统安全风险的因素主要包括防护对象、防护对象的脆弱性、攻击方的攻击威胁以及防御方的安全防护能力，具体如图所示。（1）防护对象在进行安全风险评估过程中，云环境中的基础资产信息，以及防护对象之间的物理承载关系、通信互联关系、业务访问关系等都是进行风险分析的基础，无论是防御方进行安全防护，还是攻击方进行信息刺探，均是在此基础上进行的。云环境的防护对象涵盖了设备(网络设备、存储设备、计算设备、终端、虚拟机、容器等)、软件(操作系统、虚拟机软件、中间件、数据库等)、服务(通用服务、云服务、应用服务)、应用(Web应用、应用系统等)、数据(日志、应用数据、文件等)以及用户(各类用户以及相应的权限等)。在进行云安全风险分析的时候，首先，需要全面梳理掌握信息资产基础态势，包括资产类型、数量、IP地址、开放端口、联网状态、资产通联关系、业务访问关系等；其次，在众多的防护对象中，防护对象的位置、功能等决定了防护对象的重要程度不同，资产越重要，一旦出现安全风险，影响程度就越大。因此，在进行风险评估的时候，需要根据资产之间的通联关系，着重考虑重要程度高的资产。（2）防护对象的脆弱性防护对象的脆弱性包括防护对象的各类漏洞、设计缺陷、管理问题等。攻击者可以利用系统中存在的脆弱性达到自己的目的，如获取系统权限以及用户重要信息或者使目标系统瘫痪等。因此，在进行云环境安全风险评估时，需要通过多种手段，如漏洞扫描工具扫描、已公开漏洞整理、业务流程分析等，对云环境中所有资产的漏洞情况尽可能梳理，构建漏洞指纹库。一方面，需要利用漏洞库对当前系统的漏洞进行及时封堵，提前避免漏洞利用的可能性；另一方面，分析挖掘目标信息系统脆弱点以及用户行为特征和关系，整理信息系统漏洞，综合漏洞利用难易程度、漏洞威胁程度等原则，对存在的漏洞进行筛选，预测被利用可能性最大、危害程度最高的漏洞，做到知己知彼，提前做好防护预案。（3）攻击方的攻击威胁攻击方利用攻击工具和防护对象的脆弱性对云环境进行攻击，从而获得相应的收益，攻击包括历史攻击、正在进行的攻击以及可能的攻击。通过分析与系统相关的入侵检测日志、防火墙日志、安全事件历史记录等对各种类型的攻击信息进行学习，建立攻击知识库，尽可能掌握各种攻击的特征知识，如攻击目的、攻击方式、攻击对象、攻击利用的漏洞、攻击难易程度、攻击影响程度、多步攻击间的顺序和关系等，进而根据采集的各类信息预测攻击方对云环境发起攻击的可能性、攻击成功的概率以及攻击威胁的破坏程度，从而为提前采取防御措施提供相应支撑。（4）防御方的安全防护能力基于防护对象的脆弱性，防御方会综合利用各种防护手段对防护对象进行全方位防护，减小云环境的安全风险，包括各种防护装备的使用，如防火墙、云监管、身份认证、加密设备等，以及通过管理手段，制定各种规章制度和流程，规范各种操作，减少误操作或违规操作的风险，如定期打补丁、减少弱口令、安全配置合规性等。防御方的防护设备和防护策略会制约攻击方对攻击手段和攻击策略的选择，也是攻防双方进行博弈的关键，因此，防御方的安全防护能力是进行云环境风险评估必须考虑的重要因素。上云的资源评估（1）云网一体化符合国家战略导向，受到产业政策指引扶持宽带网络正推动新一轮信息化发展浪潮，众多国家纷纷将发展宽带网络作为战略部署的优先行动领域，作为抢占新时期国际经济、科技和产业竞争制高点的重要举措。宽带网络发展对拉动有效投资、促进信息消费、推进发展方式转变和小康社会建设具有重要支撑作用。为了加强战略引导和系统部署，推动我国宽带基础设施快速健康发展，国务院等各级用户先后发布的《2006-2020年国家信息化发展战略》、《国务院关于大力推进信息化发展和切实保障信息安全的若干意见》、《“十三五”国家战略性新兴产业发展规划》及《“宽带中国”战略及实施方案》等重要纲领性文件，提出加快互联网骨干节点升级、优化互联网骨干网间互联架构、扩容网间带宽、保障连接性能、升级国家骨干传输网等战略引导和系统部署，着力提升网络业务承载能力、增强网络安全可靠性，推动我国宽带基础设施快速健康发展。除发布政策指引外，各级用户也积极采取行动，推动我国通信网络升级。2019年5月，工信部、国资委按《用户工作报告》部署，开展了深入推进宽带网络提速降费、支撑经济高质量发展2019专项行动，强调持续完善网络架构，持续做好互联互通工作，进一步推进骨干网网间带宽扩容，优化我国骨干网络架构和流量调度机制，实现网间扩容2,500G；同时，鼓励基础电信企业积极开展试点示范，利用SDN（软件定义网络）、NFV（网络功能虚拟化）、云计算、边缘计算等多种技术，持续提升网络效率和服务能力。（2）传统企业上云释放增长动能，云市场发展空间广阔随着企业数字化转型的不断深入，云计算技术与用户、大型企业的业务不断融合，用户已经充分认识到云计算的价值，传统政企上云已成为普遍共识。政企上云将有利于更好地促进各类信息技术的普及应用；可以有效整合优化设计、生产和市场资源，实现产业链上下游的高效对接和协同创新；借助云上的软件应用和数据服务，能够更迅速、更便捷、更高效地提高服务和生产管理效率、优化业务流程，加速培育新产品、新模式、新业态。根据中国信通院统计，中国各行业企业上云率不到40%。在数字化经济时代，传统行业如金融、制造业、交通业等面临数字化转型挑战，企业上云已经成为普遍共识。根据《中国云计算产业发展白皮书》预测，未来中国政企上云率将大幅上升，预计到2023年达到61%，但仍低于美国企业（85%以上）和欧盟企业（70%左右）上云率。中国在云计算核心基础设施建设方面有着巨大的潜在市场，企业上云需求仍待进一步释放，上云深度将有较大提升，政企的业务创新、流程重构、管理变革将不断深化，数字化、网络化、智能化转型的需求将提升，上述情况最终将带动用户和大型企业上云加速发展，上云将进入常规化阶段。（3）云平台成为云计算厂商竞争焦点企业上云进入快速发展阶段。云化的基础设施带来了卓越的计算性能、丰富的网络与存储资源，提升了资源的利用效率，为企业奠定了数字化转型的基础。然而，基础设施的虚拟化仅仅是上云的前提，庞大而繁杂的底层资源需要通过上层云平台对其进行精细化调度才能发挥云计算的价值。此外，要把资源直接映射到企业的应用及业务系统，中间需要经历大量繁杂琐碎的工作，企业需要一个覆盖应用生命周期所有环节的服务平台来保证业务应用的快速部署和上线。同时，大型企业还希望把成熟优质的行业应用和服务能力打包、封装和输出给产业链上的子公司与上下游合作伙伴，打造高效协同的一体化生态，实现资源的组合式创新，因此云平台应时而生。云平台使企业可以更有效地利用其IT硬件和软件。企业可以通过云平台打破相互隔离的系统中固有的物理障碍，实现对多个应用集群的统一管理。云平台对于提供信息服务、降低IT管理复杂性、促进创新以及通过实时工作负载均衡来提高响应能力而言，都是最好的选择。综上所述，云平台承载着资源调度、应用部署、能力输出等核心功能，成为云计算厂商竞争的焦点。（4）原有节点扩容，进一步扩大覆盖范围当前，北京国网富达科技国内云计算节点主要包括北京、上海、无锡、广州等地，上述节点良好支撑了客户业务的发展。随着客户业务的增长以及新客户的拓展，部分节点存在成本高、覆盖效果差、服务器资源不足等问题，上述问题将直接导致公司不能快速响应云计算市场持续增长的需求，尤其是疫情影响下催生的云计算众多下游行业诸如云办公、云教育、云诊疗等SAAS应用需求。北京国网富达科技一体化云服务平台升级，对原有节点进行扩容，旨在进一步满足上述需求，以及由人工智能、5G、物联网等新一代信息技术的发展带来的需求增长。（5）网络基础架构迭代升级，准备迎接数据爆炸引发的网络需求北京国网富达科技建设了覆盖全球的GPN骨干网，构成了公司的核心竞争优势。随着音视频的普及、AI引发的大数据应用等重载业务的发展，客户对GPN也提出了新的需求。北京国网富达科技将对当前的网络基础架构进行迭代升级。其中，数据中心网络从10G向25G/100G演进，公网出口从100G向T级演进，公网网关从10G向100G演进，骨干网络从10G向100G演进。同时，北京国网富达科技还采用了先进的软件定义和网络质量测量技术实现网络的智能化调度。北京国网富达科技将依托新的网络基础架构为客户提供兼具容量、质量和成本的网络产品，实现客户网络的平滑扩展，满足客户业务不断扩张的网络需求。云上系统架构的规划设计.1弹性云主机系统描述及理解弹性云主机，是基于云计算及虚拟机技术，将硬件、存储、网络等资源虚拟化为资源池、分割成独立的虚拟服务器，为客户提供弹性灵活的云主机租用服务，客户可以通过自服务控制台快速完成云主机的申请、云主机的控制操作、及资源管理和监控，并根据实际需要在线弹性扩展租用资源。从改善用户体验和优化云主机功能角度出发，新增加在线扩展CPU、内存功能，满足用户虚拟机的CPU、内存不足时，可在不停虚拟机的情况下动态扩展CPU和内存配置；新增指定密码创建虚拟机，实现用户根据需要自主设置云主机的登陆密码；新增从iso安装虚拟机功能，实现用户根据需要安装定制操作系统；新增VPS主机功能，满足部分用户开通单个云主机的需求；升级云平台qemu、kernel版本优化virtio驱动，增强操作系统的稳定性和安全性；增强虚拟机VCPU能力精细化控制，减小虚拟机之间的相互影响。.2弹性云主机建设方案为进一步完整、完善弹性云主机服务功能，给用户提供人性化的云主机基础控制服务，新版本云主机增加以下功能点：1)在线增加CPU、内存配置功能设计方案①内存扩展：通常来说，要改变客户机占用的宿主机内存，是要先关闭客户机，修改启动时的内存配置，然后重启客户机才能实现。而内存的ballooning（气球）技术可以在客户机运行时动态地调整它所占用的宿主机内存资源，而不需要关闭客户机。Ballooning技术形象地在客户机占用的内存中引入气球（Balloon）的概念，气球中的内存是可以供宿主机使用的（但不能被客户机访问或使用），所以，当宿主机内存使用紧张，空余内存不多时，可以请求客户机回收利用已分配给客户机的部分内存，客户机就会释放其空闲的内存，此时若客户机空闲内存不足，可能还会回收部分使用中的内存，可能会换出部分内存到客户机的交换分区（swap）中，从而使得内存气球充气膨胀，从而让宿主机回收气球中的内存可用于其他进程（或其他客户机）。反之，当客户机中内存不足时，也可以让客户机的内存气球压缩，释放出内存气球中的部分内存，让客户机使用更多的内存。很多现代的虚拟机，如KVM、Xen、VMware等，都对Ballooning技术提供支持。关于内存Balloon的概念，其示意图如下所示。天翼云产品中内存热扩展就是利用virtio_balloon实现的。有了balloon，如果guest需要更多的RAM，则可以给它增加一些内存。如果guest不需要那么多内存，可以通过balloon从中拿出一部分内存。这个过程，不需要启停虚拟机。Balloondriver像是一个特殊的process，运行在guest机器上，它可以扩大自己的内存，使得其他的应用程序的内存减少，也可以缩小内存，使得其他的应用程序内存增加。guest中的balloondriver通过virtiochannel和host进行交互，接收host发来的命令，比如发来的命令式减少内存，则balloondriver就扩大它的内存占有量。然后balloondriver将自己占有的内存交回给host，使得host有了更多的内存。对于libvirt而言，有currentMemory和maxMemory两种概念，maxMemory就是-m参数设定的，currentMemory就是balloon设定的。Libvirt内存热插拔接口：②CPU热扩展：CPU的热插拔与内存的热插拔类似，都是先设置一台虚拟机可以支持的最大vcpu个数，vcpu热扩展的时候将vcpu插入一个空闲的socket中。从系统设计的角度来看，任何一个CPU/Memory都是对等的，都可以执行HotPlug操作，但是由于软硬件的某些限制，对于BSP（BootStrapProcessor）CPU一般是不可以被HotRemove的。Libvirtvcpu热插拔接口：功能使用：CPU、内存热扩展：1.创建虚拟机时，用户指定热扩展支持的最大vcpus数和最大内存数；2.当虚拟机资源不够时，根据需要调用热扩展接口，增加CPU个数或内存大小，最大值不能超过创建虚拟机时设定的上限；2)指定密码创建虚拟机实例功能设计方案：现有版本的虚拟机能力管理中已经支持注入随机密码到虚拟机中，而随机密码由nova代码中根据规则生成的。为了支持指定密码创建虚拟机，在原有创建虚拟机的接口中增加一个参数传入指定密码来替代生成的随机密码即可实现该功能。利用创建虚拟机的metadata属性增加passward字段用于携带初始密码，并将该密码注入到虚拟机中。功能使用：1.创建虚拟机时指定虚拟机初始密码；2.密码注入阶段使用用户指定的密码注入到虚拟机中；3.虚拟机运行后，用指定密码登录虚拟机；3)虚拟机自动迁移设计功能设计方案：在天翼云产品运营的过程中，偶尔出现物理服务器故障，导致服务器上面运行的虚拟机资源无法访问，虚拟机自动迁移功能就是针对该场景解决快速迁移恢复故障节点上的虚拟机问题。支持故障自动迁移必须满足几个前提条件：首先存储必须是冗余的，并且是共享存储，虚拟机在其它可用服务器上运行能够访问系统盘和数据卷；其次，网络组件必须是冗余的，虚拟机在其它节点上运行起来后，能够通过dhcp获取ip地址，能够通过vrouter与外围通信，这样恢复起来的虚拟机才能够提供服务；最后，故障节点上的虚拟机要能够自动均匀的迁移到同一个az下的其它计算节点上，防止迁移到一个节点可能造成的资源不足。另外，虚拟机自动迁移平台层只能提供迁移的接口，整个业务逻辑需要结合平台资源监控，当监控到物理服务器故障时（确切可靠），调用该自动迁移接口。功能使用：故障迁移业务逻辑大致如下：1.获取故障节点上所有的虚拟机资源；2.获取与该故障节点同一个az下所有可用的计算节点；3.对每台虚拟机利用scheduler机制选择一台计算节点；4.自动执行虚拟机的迁移。4)虚拟机vcpu能力精细化控制功能设计方案：Nova利用cgroup实现虚拟机vcpu能力精细化控制。安装好cgroup之后，可以使用mount命令查看cgroup子系统的路径。该路径为cgroup的根路径，标记为CG_ROOT。使用lscgroup命令可以查看虚拟机进程对应的子系统相对路径，该路径标记为CG_RELATIVE。以上两个路径合起来，可以得到一个完整的进程子系统控制组路径，标记为CG_COMPLETE。虚拟机的vcpupin功能，用到的是cpuset子系统中的cpuset.cpus。可以进入cpuset子系统组的CG_COMPLETE，一般情况下会针对虚拟机的每个vcpu创建一个子目录，进入对应的vcpu目录，查看其cpuset.cpus的值，该值即为此vcpu绑定的物理核。虚拟机vcpu精细化控制功能，用到的是cpu,cpuacct子系统中的cpu.cfs_quota_us。可以进入cpu,cpuacct子系统组的CG_COMPLETE，同样进入对应的vcpu目录，查看其cpu.cfs_quota_us值，默认为-1，表示cpu运行时间不受限制。利用cgset命令设置子系统控制组的过程如下：先获取虚拟机进程的子系统相对路径CG_RELATIVE，这个路径即为cgset中的<cgroup_path>，如设置vcpupin绑定至物理核4：cgset-rcpuset.cpus=4CG_RELATIVE控制vcpu运行时间为1/2：cgset-rcpu.cfs_quota_us=50000CG_RELATIVE功能使用：创建虚拟机时，自动配置。5)虚拟机迁移功能优化热迁移（LiveMigration，又叫动态迁移、实时迁移），即虚拟机保存/恢复(Save/Restore)：将整个虚拟机的运行状态完整保存下来，同时可以快速的恢复到原有硬件平台甚至是不同硬件平台上。恢复以后，虚拟机仍旧平滑运行，用户不会察觉到任何差异。所谓Livemigration就是将guest从一端迁移到另一端，而在迁移的过程中guest能够继续提供服务。当前QEMU/KVMLivemigration采用的方案是先将guest的内存迁移到对端然后再来检查在迁移的过程中是否有页面发生更改(也称为脏页)，如果有，再把脏页传到对端，一直重复这个过程直到没有脏页或者是脏页的数目足够少，脏页全部迁移过去之后就可以把源端的guest关闭掉，然后启动目的端的guest。这种实现有个术语叫Pre-copy，即在目地端的guest运行前，所有的东西都已经copy过去了。目前版本的qemu在虚拟机热迁移时，大内存或虚拟机负载高的情况下迁移一直不能完成。新版本的qemu中优化了虚拟机的热迁移流程。功能设计方案：为解决该问题，引入了一种新的热迁移特性（Post-copybasedlivemigration）主要思想是将热迁移过程中的内存复制延迟到目标虚拟机内存缺页时去做，提升热迁移的速度。延迟拷贝支持高内存变化率(相对于可用的传输带宽)的虚拟机在一定的时间内完成热迁移，无论是大规格虚拟机或高负载的虚拟机，均能在有限的时间内完成迁移。Post-copy特性利用了linux的‘userfaultfd’内核机制。userfaultfd是LinuxKernel在v4.3中加入的新功能。userfaultfd简单地来说就是通过文件描述符(fd)的机制来将pagefault的信息传递给userspace，然后由userspace来决定要往这个地址写的内容。更简单一点就是，传统的pagefault由内核独自完成，现在改为由内核和userspace一起控制。Userfaultfd就是为了postcopy而准备的，当guest在目地端运行的时候，目的端的kernel不可能知道要往页面里面填充的内容，它需要用户空间的程序去把内容从远端读过来，然后再把这些内容放到guest的内存中。功能使用：环境依赖：1.linuxkernel4.32.qemu2.66)VPS、系统优化功能（1）VPS主机VPS（VirtualPrivateServer虚拟专用服务器）技术，将一台服务器分割成多个虚拟专享服务器的优质服务。实现VPS的技术分为容器技术，和虚拟化技术。在容器或虚拟机中，每个VPS都可分配独立公网IP地址、独立操作系统、实现不同VPS间磁盘空间、内存、CPU资源、进程和系统配置的隔离，为用户和应用程序模拟出“独占”使用计算资源的体验。VPS可以像独立服务器一样，重装操作系统，安装程序，单独重启服务器。VPS为使用者提供了管理配置的自由，可用于企业虚拟化，也可以用于IDC资源租用。VPS能力建设的核心是规划一个拥有公网ip网段的公网网络，创建VPS云主机时，从这个公网网络中分配ip地址。另外就是，服务能力层提供ip地址占用上报功能，供门户维护可使用的公网ip地址池。（2）系统优化系统优化主要包括3部分：优化virtio驱动、计算节点linuxkernel优化和系统安全性增强等功能。①Virtio优化虚拟化主要包括处理器的虚拟化,内存的虚拟化以及I/O的虚拟化等，从2006年开始，KVM上设备I/O虚拟化的性能问题也显现了出来，此时由RustyRussell开发的virtio引起了开发者们的注意并逐渐被KVM等虚拟化平台接纳并作为了其I/O虚拟化最主要的一个通用框架。Virtio使用virtqueue来实现其I/O机制，每个virtqueue就是一个承载大量数据的queue。vring是virtqueue的具体实现方式，针对vring会有相应的描述符表格进行描述。②Virtqueue每个设备拥有多个virtqueue用于大块数据的传输。virtqueue是一个简单的队列，guest把buffers插入其中，每个buffer都是一个分散-聚集数组。驱动调用find_vqs()来创建一个与queue关联的结构体。virtqueue的数目根据设备的不同而不同，比如block设备有一个virtqueue，network设备有2个virtqueue，一个用于发送数据包，一个用于接收数据包。Balloon设备有3个virtqueue。③Vringvirtio_ring是virtio传输机制的实现，vring引入ringbuffers来作为我们数据传输的载体。virtio_ring包含3部分：描述符数组（descriptortable）用于存储一些关联的描述符，每个描述符都是一个对buffer的描述，包含一个address/length的配对。可用的ring(availablering)用于guest端表示那些描述符当前是可用的。使用过的ring(usedring)用于表示Host端表示那些描述符已经使用。新版本通过改进vring的访问方式优化数据的交互性能；增大virtio支持最大队列长度（达到1024）；通过优化virtio-pci改进kvm+interlCPU环境下性能，从而提升虚拟机I/O的性能。同时优化改进balloondriver统计可用内存大小、vhost-user支持热迁移。④Kernel优化升级kernel版本主要为解决kvm一些bug以及引入userfaultfd特性，支持大内存、高负载虚拟机的热迁移功能。userfaultfd是LinuxKernel在v4.3中加入的新功能。userfaultfd简单地来说就是通过文件描述符(fd)的机制来将pagefault的信息传递给userspace，然后由userspace来决定要往这个地址写的内容。更简单一点就是，传统的pagefault由内核独自完成，现在改为由内核和userspace一起控制。Userfaultfd是为了解决QEMU/KVMlivemigration的问题而出现的，所谓Livemigration就是将guest从一端迁移到另一端，而在迁移的过程中guest能够继续提供服务。当前QEMU/KVMLivemigration采用的方案是先将guest的内存迁移到对端然后再来检查在迁移的过程中是否有页面发生更改(也称为脏页)，如果有，再把脏页传到对端，一直重复这个过程直到没有脏页或者是脏页的数目足够少，脏页全部迁移过去之后就可以把源端的guest关闭掉，然后启动目的端的guest。这种实现有个术语叫precopy，即在目地端的guest运行前，所有的东西都已经copy过去了。6）安全性增强新版本qemu解决Irqrouteentries溢出漏洞和VENOM漏洞。7）优化升级目标：1.linuxkernel4.32.qemu.4.3弹性负载均衡系统描述及理解弹性负载均衡是将公网访问流量对多台云主机进行流量分发的服务，支持自动检测并隔离不可用的主机，从而提高业务的服务能力和可用性，客户可以通过添加或者删除主机来随时调整服务能力，而且这些操作不会影响业务的正常访问。从改善用户体验和优化弹性负载均衡系统功能的角度出发，新增负载均衡支持HTTPS协议和证书管理功能，满足客户对HTTPS协议负载均衡能力的需求；新增负载均衡高可用功能，增强负载均衡的健壮性；新增负载均衡监控功能，让用户可以实时监控负载均衡业务的状态；增加最大连接数，允许用户自动设定负载均衡并发的最大连接数。.4弹性负载均衡建设方案1）负载均衡支持HTTPS协议功能设计方案：Haproxy支持HTTPS协议有两种主要的策略：SSL终端：是在负载均衡器终止/解码SSL连接并发送非加密连接到后台服务器的做法，这意味着负载均衡器负责解码SSL连接-涉及非SSL请求的缓慢的CPU密集型处理。SSL穿透：它是直接向代理服务器发送SSL连接的。目前lbaasv1版本已经支持SSL穿透功能，下面主要考虑SSL终端的负载策略。主要有两部分工作：SSL证书管理和配置证书到haproxy配置文件并使其生效。证书管理由于目前天翼云产品中没有证书管理模块，为此新增openstack组件Barbican（Keymanagement），负责负载均衡SSL证书管理，Barbican逻辑架构如下图：API层：处理来自外部的REST请求，和数据库直连，同步请求（如GET）直接访问数据库返回给用户，异步请求（如POST）通过消息队列发送给Worker层处理。Worker层：处理来自消息队列的异步请求。Worker具有南向接口，挂接第三方的软件如CA。API和Worker的节点可以是多份，支持扩展。Barbican与其它组件协作关系如下图：Clients：多个clientAPI使用paste配置中间件，pecan做REST的路由通过Repositories/Models组件访问数据库通过Crypto支持加解密，支持插件HSM/KMIP等作为Crypto的后端通过Oslo-Messaging发送消息给Worker节点上的Tasks，Tasks通过Certificate插件和CA交互，消息后端包括RabbitMQ配置生效Haproxy与证书相关配置为： bind43:443sslcrt/var/lib/neutron/lbaas/lbid/server@.pem证书格式为X509：2）负载均衡支持高可用功能设计方案：负载均衡高可用支持主备模式，即一个负载均衡器会在两个lbaas-agent上创建，但同时只有一个负载均衡器对外提供服务，当提供服务的主节点故障时，执行主备切换由备节点继续提供负载均衡服务。负载HA架构如下：由于haproxy和lvs负载均衡均是通过linuxnamespace实现的，故他们的高可用采用同样的方案:keepalived+haproxy/lvs。创建HA负载均衡时，创建多个负载均衡实例部署到不同物理服务器上的lbaas-Agent中。这个实现需要修改Neutornlbaasschedulers。借助实现VRRP的软件，保证多个lbaas-Agent的HA，即其中一个是Master，其他是Backup。由Master向虚机提供负载均衡服务。在Master故障时，某个Standby被选举为新的Master，接替之前的Master。目前Neutron中的VRRP实现使用的是Keepalived。3）负载均衡支持最大连接数功能设计方案：负载均衡支持设置每个haproxy进程所接受的最大并发连接数。4）负载均衡支持会话保持功能设计方案：Session是由应用服务器维持的一个服务器端的存储空间，用户在连接服务器时，会由服务器生成一个唯一的SessionID,用该SessionID为标识符来存取服务器端的Session存储空间。而SessionID这一数据则是保存到客户端，用Cookie保存的，用户提交页面时，会将这一SessionID提交到服务器端，来存取Session数据。服务器也通过URL重写的方式来传递SessionID的值，因此不是完全依赖Cookie。如果客户端Cookie禁用，则服务器可以自动通过重写URL的方式来保存Session的值，并且这个过程对程序员透明。负载均衡器haproxy支持以下三种会话保持方式：①用户IP识别haroxy将用户IP经过hash计算后指定到固定的真实服务器上（类似于nginx的IPhash指令）配置指令balancesource②cookie识别haproxy将WEB服务端发送给客户端的cookie中插入(或添加加前缀)haproxy定义的后端的服务器COOKIEID。配置指令例举cookieSESSION_COOKIEinsertindirectnocache③session识别haproxy将后端服务器产生的session和后端服务器标识存在haproxy中的一张表里。客户端请求时先查询这张表。配置指令例举appsession9ai9len64timeout5hrequest-learn.5云主机镜像功能系统描述及理解主机镜像功能是为了解决：1、资源池较多、镜像没有统一的管理、规划，导致各资源池镜像版本不统一，混乱。有了镜像管理系统就可以解决由于不统一、没规划、没管理造成的各种问题、2、当新部署其他区域的资源池时候，目前需要手动的传输、上传镜像；如有此功能就可以快速对系统类镜像分发、资源池上传等，这样大大节约了部署集成的时间和成本。3、当前新制作一个系统类镜像或者其他类镜像，需要再全部资源池同步，需要手动对镜像进行每个资源池传输、上传；如有此功能就大大节约了传输上传各资源池的时间和成本。.6云主机镜像功能系统建设方案功能设计架构1)镜像的上传功能设计目标：目前来说，资源池现有镜像管理混乱，会出现每个资源池线上用的同一款镜像就有不同版本，导致各种问题，为了让现有及未来线上资源池镜像避免再出现此类原因造成的问题实现镜像的上传镜像库功能，统一存放、统一管理。功能设计方案：用户通过镜像管理上传界面，上传镜像到镜像中心。考虑到上传过程中可能出现中断的问题，此功能支持断点续传。系统界面操作：2)镜像的查询功能设计目标：在对镜像统一管理后，可以尽快的查询目前镜像库中的镜像版本、镜像大小、镜像的类型；使用户一目了然。功能设计方案：可以根据镜像名称查询指定的镜像列表，展示镜像的关键性属性，支持分页。系统界面操作：3)镜像的删除功能设计目标：实现对问题镜像、过期镜像等镜像的垃圾资源进行清理、避免新建等资源池时误上传此类镜像；功能设计方案：可以对镜像中心的镜像进行删除。系统界面操作：、4)镜像的修改功能设计目标：实现对问题镜像、bug镜像等系列的有问题但可修改的镜像进行修改，减少重新制作镜像而浪费的人力，同时大大提供镜像的制作效率。功能设计方案：支持对已上传到镜像中心的镜像信息进行修改。系统界面操作：5)镜像的分发功能设计目标：在新建资源池或者资源池需用新制作镜像，资源池镜像传输现状：1、运维人员先要对镜像进行资源池上传（传输时间视网络带宽大小而定，通常需要N小时）；2、当传输完镜像后还需要对在对镜像进行配置修改；3、在glance中注册；注：可能会出现传输失败、手动操作错误的情况实现镜像分发后：只需选择资源池，自动分发上传。优点：能够对资源池镜像的自动分发、上传，减少传统传输镜像所用的时间和人力等资源，同时提高镜像上传的准确性和一致性。功能设计方案：选择要分发的镜像，指定分发的目标资源池，后台分发任务将镜像上传到目标资源池。系统界面操作：.7物理主机服务能力系统描述及理解提供物理机产品功能，支持对不同厂商的主流服务器的管理。提供物理机的增加/删除、操作（开机、关机、安装、重启、访问）、电源管理和物理机性能监控的能力。.8物理主机服务能力建设方案物理机服务基于OpenStackironic扩展支持vlan方式部署物理机、自动配置交换机端口vlantag，将物理机接入虚拟机网络。物理机服务属于半自动化业务，需要运维人员先初始化好交换机和物理服务器并收集交换机和物理服务器信息录入到平台库存管理模块。当客户有开通物理机服务时，利用ironic部署完成物理机操作系统，通过扩展ironic功能支持配置交换机端口VLANtag，加入租户网络。系统总体逻辑结构如下图：图：.8-1Ironic①物理机服务生命周期管理由于真实环境中，硬件的类型多种多样，为支持不同的硬件类型和不同的部署方式，Ironic通过实现多个driver的方式来解决硬件异构的问题，并且每一台节点后端可以有不同的driver。Ironicdrivers架构如下图：图：.8-2IRONICDRIVER可以看上图中Ironic中driver的架构，每一个driver可以实现4类功能。deploy：实现把镜像部署到物理机中。power：实现对物理机电源的管理。console：实现通过硬件直接得到物理机Console。vendor：厂商自定义行为，扩展的交换机vlan配置功能。物理机的开机、关机和重启等操作均是通过powerdriver实现，天翼云产品中powerdriver利用的是ipmi方式管理物理机的电源。②物理机服务支持监控天翼云产品监控平台以zabbix软件为基础，在利用其分布式架构基础上，深度集成天翼云产品各服务，以围绕服务器、虚拟机、服务等监控内容为主，支持IPMI、SNMP、JMX和Agent的多监控途径。物理机服务监控采用与虚拟机相同的监控方式，在部署物理机服务时，将zabbix配置文件注入镜像中，待服务器部署后之后，自动上报监控信息到zabbixserver。整个流程如下：图：.8-3物理监控1.novaboot启动物理机服务部署；2.ironic根据nova传来的image-id从glance获取镜像并缓存到本地；3.ironic生成zabbixagent监控配置文件，并注入到镜像中；4.物理服务器，pxe启动，将系统盘通过iscsiexport给ironic服务器；5.ironic找到映射过来的系统盘，通过dd将镜像写入物理服务器系统盘上；6.服务器部署完成重启后，zabbix主动上报监控信息给zabbixserver；7.zabbix-server将监控数据存储到mysql数据库中，供门户使用。③物理机服务网卡限速设计物理机服务增加交换机端口与物理机端口连接配置信息管理模块，并增加交换机配置驱动模块。模块逻辑结构如下：图：.8-4网卡限速目前的物理机模块已经支持对交换机与物理服务器连接的端口设置vlantag，物理机网络端口限速采用同样的方式，利用交换机端口限速功能实现。由于不同的交换机端口限速命令不一样，不同的交换机需要开发单独的交换机配置driver。资源部署模式的规划设计.1自动化部署子系统建设自动化部署管理平台，承担了天翼云资源池物理服务器的系统安装、虚拟化部署及存储部署，直至最后在服务器上开出虚拟机的全流程管理。主要功能包括资源信息管理、一键式的裸机安装、自动化部署任务调度、运行检查、配置修改、以及系统管理，如用户管理、部门管理、权限管理、日志记录等平台自身的管理功能。自动化部署平台是一套基于J2EE架构的完全自主研发的面向天翼云云数据全国各省市资源池自动化安装部署管理的系统。能够满足资源池基础设施交维后的系统批量安装、网卡批量绑定及虚拟化批量部署，并实现完全自动化和流程化的控制。自动化部署平台应用逻辑组件和服务自动化组件采用松散耦合设计，内部通信使用异步机制，服务自动化组件支持水平扩展以适应大规模资源池部署的需要，系统部署全部采用高可用模式，以保障服务的可靠性。本系统功能包括如下模块：资源管理、安装管理、部署管理、检测管理、配置修改管理、流程管理、系统管理。.2自动化部署功能系统建设方案建设目标自动化部署子系统建设，能够满足通过文件将基础信息导入，实现资源池下物理服务器的一键安装、虚拟化一键部署，包括存储及RMS的部署。通过运行检查验证部署结果是否正确并出具测试报告。方便用户的操作性及舒适性，降低手工操作的风险。支持新纳管对象的自动发现、应对同一类错误修正，进行配置的批量修改。通过接口的形式向运维系统传递其所需数据。支持服务器的批量关机及重启。并实现完全自动化和流程化的控制。功能描述1）资源管理应具备通过文件导入和手工添加两种手段来维护资源池物理服务器及网络设备的基础信息，对基础信息可编辑修改、删除。具备将信息导出成文件的功能，信息展示以资源池为单位，显示物理服务器信息、网络设备信息、资源池详细信息。具备同运维系统的数据传输，向运维系统提供其所需数据。包括的功能点如下：资源信息的导入资源信息的导出基础信息的查询基础信息的添加基础信息的修改基础信息的删除位置信息的添加位置信息的修改位置信息的查询位置信息的删除信息展示：数据同步：2）安装管理应具备可复用的PXE服务器，提供管理PXE服务器的功能，并且可以自动纳管物理服务器，并对裸机进行批量一键安装系统，提供对所装系统的菜单选择。可以自动发现新服务器设备。需要显示安装的状态。可对所纳管的服务器进行关机、重启等操作，但操作前需要得到流程的审批。具备如下功能点：内存操作系统推送安装前的硬件状态检查服务器批量校验服务器批量安装服务器批量关机服务器批量重启3）部署管理裸机安装完毕后，通过部署管理进行虚拟化部署，自动化部署可根据不同的服务器用途（管理节点、CELL节点、计算节点）来选择不同的部署模版。安装系统的同时完成网卡的绑定。通过可视化的流程执行，提供部署进度的跟踪查看，部署结果有日志呈现。模版选择：流程展示：日志查看：4）检测管理提供部署前的部署检查功能以及部署后的交维检查功能，并提供检查报告查看及下载。包括如下功能点：部署检查（部署前）交维检查（部署后）检查结果的展示检查结果的文件导出部署检查：交维检查：5）配置批量调整提供对资源池部署后因其他原因造成的对操作系统配置文件进行批量修改的功能，配置文件包括：hosts、rc.local、ntp.conf。包括如下功能点：系统配置批量修改存储配置批量修改配置信息批量比对日志查询6）流程管理提供统一的流程管理平台，可以管理流程模版、流程实例及流程节点。在流程模版中可以添加、修改、发布、删除所有相关的流程。流程模版采用拖拽的方式进行创建和修改。每个流程启动后就会自动生成一个流程实例。流程实例可以展示每个流程环节执行的情况。在流程节点里可以添加、编辑、删除流程节点，并可通过连线将流程节点构成流程模版。包括如下功能点：流程模版的创建流程模版的编辑流程模版的发布流程模版的查询流程模版的删除流程节点的编辑流程节点的查询流程实例的查询流程编排展示：流程模版：流程实例：7）系统管理提供对整体自动化部署平台进行管理的功能，包括：用户、角色、日志、部门、菜单、数据字典、报表等管理功能。用户：日志：角色：功能优化界面优化采用统一的天翼云风格的UI界面展示，通过在结构、颜色、用户操作习惯上保持一致。提高使用自动化部署平台的体验度。2、补丁管理优化优化补丁管理，提供补丁的查询、补丁的上传及下发、补丁审核、补丁批量安装、补丁卸载等功能。3、介质管理优化提供对软件介质的管理，包括介质的镜像、RPM包等软件维护管理。网络的规划设计.1云网络DPDK功能系统描述及理解随着10G甚至40G高速网络出现，网络数据包的协议处理占据着大量的CPU计算能力，网络协议栈的处理能力容易成为系统总体性能的瓶颈。传统内核协议栈是针对通用性设计的，由于在内核实现，应用程序无法直接访问协议栈的地址空间，协议栈的安全性较高，但是性能较差。对于基于传统的全虚拟化网卡技术+传统的Hypervisor+传统的Linux内核技术实现云环境，其中一个虚拟机到物理网卡会存在如下的性能开销：在基于传统的Hypervisor技术中VM是宿主机用户空间的一个进程。在Linux中，一般使用TAP设备作为虚拟网卡，TAP设备在用户空间会有一个字符设备供虚拟机进程读写。Hypervisor层横跨用户空间和内核空间，这中间会存在数据在内核空间和用户空间的拷贝及切换。内核网桥再访问物理网卡。图.1-1VM与PHY数据包过程我们看到了网络性能的主要开销在哪里，那么提升性能的方法是如图-1所示的减少这些层级。基于这样的背景下，引入DPDK（DataPlaneDevelopmentKit）这类用户态驱动方式的网络加速方案是大势所趋。DPDK是一个开源的数据平面开发工具集，提供了一个用户空间下的高效数据包处理库函数，它通过环境抽象层旁路内核协议栈、轮询模式的报文无中断收发、优化内存/缓冲区/队列管理、基于网卡多队列和流识别的负载均衡等多项技术，实现了在x86处理器架构下的高性能报文转发能力，用户可以在Linux用户态空间开发各类高速转发应用，也适合与各类商业化的数据平面加速解决方案进行集成。在各类性能优化技术方案中，DPDK类软件加速方案已成为一种普遍采用的基本方法，它以用户数据I/O通道优化为基础，结合了IntelVT技术、操作系统、虚拟化层与vSwitch等多种优化方案，已经形成了完善的性能加速整体架构，并提供了用户态API供高速转发类应用访问。DPDK主要用到三个技术点分别为hugetlbpage、uio以及cpuaffinity。1）hugetlbpage，通过利用大内存页提高内存使用效率；2）uio是实现用户空间下驱动程序的支撑机制，由于DPDK是应用层平台，所以与此紧密相连的网卡驱动程序（主要是intel自身的千兆igb与万兆ixgbe驱动程序）都通过uio机制运行在用户态下。3）cpuaffinity机制是多核cpu发展的结果，在越来越多核心的cpu机器上，如何提高外设以及程序工作效率的最直观想法就是让各个cpu核心各自干专门的事情，比如两个网卡eth0和eth1都收包，可以让cpu0专心处理eth0，cpu1专心处理eth1，没必要cpu0一下处理eth0，一下又处理eth1，还有一个网卡多队列的情况也是类似，DPDK利用cpuaffinity主要是将控制面线程以及各个数据面线程绑定到不同的cpu。DPDK组成结构在图-2中，在最底部的内核态（LinuxKernel）DPDK有两个模块：KNI与IGB_UIO。其中，KNI提供给用户一个使用Linux内核态的协议栈，以及传统的Linux网络工具（如ethtool,ifconfig）。IGB_UIO（igb_uio.ko和kni.ko.IGB_UIO）则借助了UIO技术，在初始化过程中将网卡硬件寄存器映射到用户态。DPDK的上层用户态由很多库组成，主要包括核心部件库（CoreLibraries）、平台相关模块(Platform)、网卡轮询模式驱动模块（PMD-Natives&Virtual）、QoS库、报文转发分类算法（Classify）等几大类，用户应用程序可以使用这些库进行二次开发。图图：.1-2DPDK架构图图.1-3DPDK内存分配DPDK特性1）参考传统NP、多核处理器报文收发处理架构；2）X86架构上纯用户态驱动；3）R2C（runtocompletion）模型；4）内存资源预先分配：Buffer/队列资源5）基于mempool机制、mbuf机制6）环形队列：无锁设计7）巨页机制：物理空间连续；8）IVSHM；9）QemuPatch；10）Executionunits：不支持调度。类似deadloop方式（可绑定逻辑核）；11）PMD驱动，通过DMA实现零拷贝，不使用中断；12）支持所有Intel1G/10G网卡、部分非Intel网卡、VIRTIO/VMWARENET3半虚拟化网卡；13）网卡多队列、分类、QoS及卸载功能；14）支持非虚拟化、虚拟化场景。.2云网络DPDK功能建设方案引入DPDK提高数据包转发率，包括L2和L3包转发，在虚拟网络层面特指虚拟交换和虚拟路由，OpenvSwitch和VPP是实现虚拟化网络的重要基础组件，在OpenStack中利用OpenvSwitch作为底层部件来完成虚拟网络提供和租户网络管理。应用DPDK技术进行L2转发OVS作为SDN/NFV的一个重要组成模块，会运行在绝大多数的服务器节点上，提供虚拟机和虚拟机之间，以及虚拟网络和物理网络间的互连接口，其性能至关重要。OVSwithDPDK相比传统基于Linux内核的OVS版本，转发性能提高了数倍，为SDN/VNF在通用x86服务器上部署提供了有力支持。Neutronsecuritygroup特性是基于iptables实现的，iptables规则只能作用于linuxbridge，不能作用于ovsbridge上，所以在VMport和ovsbr-int之前又多弄了一个linuxbridge(qbr-xxx)，这会极大影响性能。如今最新版本OVS（需使用linuxkernel4.3+）已经支持conntract特性，neutron也在Mitaka中实现了这一特性。OVS缺省会为每一个NUMA节点创建一个pmd线程，该pmd线程以轮询方式处理属于其NUMA节点上的所有DPDK接口。为了高性能，需要利用前面提到的CPU亲和技术，把pmd线程绑定在一个固定的CPUcore上处理。此外，为了增加扩展性，OVS也支持网卡多队列以及多pmd线程数，这些参数均可动态配置，但具体配置应根据具体需求来决定。图.2-1OVSwithDPDK架构1）支持轻量型协议栈；2）兼容virtio，vhost-net和基于DPDK的vhost-user加速技术；3）支持Vxlan功能、端口Bonding功能；4）支持OpenFlow1.0&1.3；5）支持Meter功能、镜像功能；6）支持VM热迁移功能；7）性能较内核OVS可提升8~9倍。应用DPDK技术进行L3转发VPP（VectorPacketProcessing）平台是一个可扩展的框架，提供开箱即用的生产质量交换机/路由器功能。它是Cisco的矢量数据包处理技术的开源版本：一种高性能的数据包处理堆栈，可以在商用CPU上运行。VPP的这种实现的好处是其高性能，成熟的技术，其模块化和灵活性，以及丰富的功能集。VPP基于成熟的技术，它是一种模块化设计，该框架允许任何人“插入”新的图形节点，而不需要更改核心/内核代码。1）运行于用户空间，支持多种收包方式，常用的是DPDK。2）框架可扩展；成熟的交换/路由功能。3）可用于构建任何类型的数据包处理应用。比如负载均衡、防火墙、IDS、主机栈。也可以是一个组合，比如给负载均衡添加一个vSwitch。图：.2-2VPP功能特性图.2-3VectorprocessingofIPv4packetsusingDPDK性能及界面展示：三种类型L2转发性能比较：利用DPDK技术后，二层转发性能得到很大提升，特别是中小包的性能提升10~20倍。图：.2-4三种类型L2转发性能比较网络吞吐：VPPwithDPDK方案网络吞吐在处理小包时能够在不丢包情况下转发率达到线速的52.5%，当包长为256字节时，线速转发。图：.2-5VPPL3转发性能DPDK路由选择图：.2-6路由选择安全相关的规划设计安全方案云平台运行大量用户的应用，同时也会保存大量用户的数据。这就要求云平台有良好的安全机制来保证用户数据的安全以及用于运行与虚拟机中的应用的稳定性。云平台整体规划了全系统的安全性，实现包括外部访问安全、平台内部服务安全以及虚拟机内业务安全的全套安全防护。云平台的安全防护体系包括平台内的网络安全、接口访问控制、日志安全管理、数据安全管理、虚拟网络访问控制、虚拟机安全隔离等。接口访问控制云平台是一个开放的松耦合平台，各个层级和模块之间的通信完全通过接口实现，因此保证每个层级对接口访问的安全是保证整个平台安全性的关键。为了保证接口的访问安全，各层接口的访问都需要对其权限进行管理，防止非法应用和用户对平台的非法访问与使用。数据安全管理支持对系统数据库的定时自动备份；在系统不能自动恢复时，管理员可以利用备份数据进行系统恢复。虚拟网络访问控制基于Vlan或隧道技术，提供完全隔离的网络，不同网络之间的虚拟机只能经由虚拟路由器，并设置虚拟防火墙的访问策略后才能相互访问。虚拟机安全隔离系统基于虚拟化软件实现虚拟机隔离，每台虚拟机可以使用独立的内存空间、CPU和磁盘存储空间。当多台虚拟机运行在同一台物理服务器上，虚拟机之间彼此独立，一台虚拟机故障不会影响其他虚拟机正常运行。在资源管理系统（RMS）中将各种资源与租户挂钩，这样即能保证资源的合理利用，有能将各个租户的资源隔离，使每个租户的资源独立