第4章云计算技术

第4章云计算技术CONTENTS01云计算技术概述02分布式存储技术03云计算网络目录04云计算安全05云操作系统06云开发07云计算运维4.1云计算技术概述云计算技术发展阶段第一阶段发展阶段分布式和虚拟化技术解决了供应链弹性、整体可扩展性和部分资源利用率问题，推动互联网企业从“大机”向分布式系统整个迁移第二阶段资源池化技术通过计算、存储分离的架构，对基础算力资源统一调度、编排，提供了超大规模的计算和存储资源池，提高可靠性和可用性。第三阶段阿里云发布CIPU对底层基础设施资源的虚拟化管理能力，承载飞天对这些资源的编排和调度需求，具备存储、网络、计算、安全等硬件加速能力云计算技术云计算是将计算、存储、网络以及虚拟化等技术进行结合的技术方案，是产品技术和商业模式创新相结合形成的数字基础设施。其关键技术包括虚拟化技术、分布式存储技术、云计算网络技术、云计算安全技术、云操作系统、云开发、云运维等。4.2分布式存储技术Part

01GFS简述GFS是谷歌的分布式文件存储系统，是专为存储海量搜索数据而设计的，于2003年提出，是闭源的分布式文件系统。其适用于大量的顺序读取和顺序追加（如大文件的读写）注重大文件的持续稳定带宽，而不是单次读写的延迟。主要架构一个GFS集群一般由一个master、多个chunkserver和多个client组成。在GFS中，所有文件被切分成若干个chunk，每个chunk拥有唯一不变的标识（在创建chunk时，由master负责分配），所有chunk实际存储在chunkserver的磁盘上。为了容灾，每个chunk都会被复制到多个chunkserver。1GFS1GFSGFS的功能模块GFS元数据服务器GFS客户端GFS存储节点1GFS123客户端向元数据服务器询问要修改的chunk在哪个chunkserver上，以及该chunk其他副本的位置信息。客户端将主副本、次副本的相关信息返回给客户端。客户端将数据推送给主副本和次副本。4当所有副本都确认收到数据后，客户端发送写请求给主副本，主副本给不同客户端的操作分配序号，保证操作顺序执行。5主副本把写请求发送到次副本，次副本按照主副本分配的序号顺序执行所有操作。6当次副本执行完所有操作后回复主副本执行结果。7主副本回复客户端执行结果。特点适合大文件场景的应用中心化架构缓存和预取高可靠性1GFS特别是针对GB级别的大文件，适用于对数据访问延时不敏感的搜索类业务。通过在客户端缓存元数据，尽量减少与元数据服务器的交互，通过文件的预读取来提升并发性能。只有1个元数据服务器处于active状态。元数据服务器需要的持久化数据会通过操作日志与checkpoint的方式存放多份，故障后元数据服务器会自动切换重启。Part

02Swift简述Swift最初是由Rackspace公司开发的分布式对象存储服务，于2010年贡献给了OpenStack开源社区作为其最初的核心子项目之一，为其Nova子项目提供虚拟机镜像存储服务。2Swift2SwiftSwift主要架构（1）代理服务器（2）认证服务器（3）缓存服务器（4）账户服务器（5）容器服务器（6）对象服务器（7）复制服务（8）更新服务（9）审计服务（10）账户清理服务2SwiftSwift数据模型Swift的数据模型采用层次结构，共设3层：Account/Container/Object（即账户/容器/对象）。每层节点数均没有限制，可以任意扩展。2SwiftSwift的一致性散列技术Swift基于一致性散列技术，通过计算将对象均匀分布到虚拟空间的虚拟节点上，在增加或删除节点时可大大减少需移动的数据量。为便于进行高效的移位操作，虚拟空间大小通常采用2n。通过独特的数据结构即环，将虚拟节点映射到实际的物理存储设备上，完成寻址过程。原生的对象存储，不支持实时的文件读写、编辑功能。特点123采用完全对称架构，无主节点，无单点故障，易于大规模扩展，性能容量呈线性增长。数据实现最终一致性，不需要所有副本写入即可返回，读取数据时需要进行数据副本的校验。2SwiftPart

03Ceph简述Ceph最早起源于2004年，是塞奇就读博士期间的成果，并随后贡献给了开源社区。经过多年的发展之后，Ceph已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台之一。Ceph根据场景可分为对象存储、块设备存储和文件存储。3Ceph优势Ceph充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡。采用了CRUSH、Hash等算法，使得它不存在传统的单点故障，随着规模的扩大，性能并不会受到影响。3CephCeph主要架构Ceph最底层是RADOS系统，主要由OSD和Monitor两部分组成。RADOS系统之上是Librados，Librados是一个库，支持多种编程语言。基于Librados层开发的有3种接口，分别是Radosgw、Librbd和MDS。3CephCeph功能模块3CephCeph数据写入流程（1）数据通过负载均衡获得节点动态IP地址。（2）通过块、文件、对象协议将文件传输到节点上。（3）数据被分割成4MB对象并取得对象ID。（4）对象ID通过Hash算法被分配到不同的PG中。（5）不同的PG通过CRUSH算法被分配到不同的OSD中。特点3Ceph支持数万个客户端系统，支持PB级存储容量，单个文件最大支持320TB容量。缺少副本机制，存在单点故障。支持RDMA网络，大文件读写分片优化，多个OSS能获得更高的聚合带宽。适用HPC领域，适用于大文件连续读写。Part

04Lustre简述Lustre是基于Linux平台的开源集群（并行）文件系统，最早在1999年由皮特·布拉姆创建的集群文件系统公司开始研发，后由HP、Intel、ClusterFileSystemsInc和美国能源部联合开发，于2003年正式开源，主要用于高性能计算领域。4Lustre4LustreLustre主要架构特点统一存储CRUSH算法强一致性去中心化4LustreCeph支持对象存储、块存储和文件存储服务数据具有强一致性，确保所有副本写入完成后才返回确认，适合读多写少的场景。采用CRUSH算法，数据分布均衡，并行度高，不需要维护固定的元数据结构。去中心化，MDS之间地位相同，无固定的中心节点。4.3云计算网络简述云计算网络是一种IT基础设施，是云计算基础架构中的由软件定义的计算机网络，其部分或全部网络功能和资源托管在私有或公有云平台中，由内部或服务提供商管理，并可按需提供，内部和外部的计算资源和用户可以使用云计算网络进行连接、通信。企业可以使用内部部署的网络资源来构建私有云计算网络，也可以使用公有云中的基于云的网络资源，或者两者的混合云计算网络组合，这些网络资源包括虚拟路由器、防火墙、带宽和网管软件等，并可根据需要提供其他工具和功能云计算网络4.3.1数据中心网络数据中心网络的拓扑设计是为了缓解数据中心网络建设成本、设备规模及资源利用率之间的矛盾。构建数据中心网络是为了支撑数据中心中服务器主机之间的东西流量和南北流量。数据中心能够提供服务的规模取决于服务器主机的数量，而构建一个数据中心的成本还需要考虑到支撑其网络通信的交换机等设备的数量。设计数据中心的网络架构，用尽可能少的交换机和链路，为尽可能多的服务器主机提供尽可能高的资源利用率，并不是一个简单的问题。为了设计更加高效的数据中心网络，数据中心网络的拓扑结构也在不断发生着新的变化。数据中心网络Mininet创建一个简单的由软件定义网络控制的Clos数据中心网络。Mininet是一款基于Python和Linux网络命名空间实现的轻量级网络仿真工具。由于其默认支持OpenFlow实现，经常被用于于软件定义网络相关的网络仿真实验中。数据中心网络4.3.2软件定义网络SDN体系结构Part

011SDN体系结构概述SDN是一种架构，它抽象了网络的不同、可区分的层，使网络变得敏捷和灵活，通过企业和服务提供商能够快速响应不断变化的业务需求来改进网络控制。在软件定义的网络中，网络工程师或管理员可以从中央控制台调整流量，而无须接触网络中的各个交换机，无论服务器和设备之间的特定连接方式如何，集中式SDN控制器都会指导交换机在任何需要的地方提供网络服务。1SDN体系结构Part

02OpenFlow2

OpenFlowOpenFlow流转发规则Part

03基于OpenFlow的SDN3基于OpenFlow的SDN基于OpenFlow的SDN架构Part

04OpenDaylight4OpenDaylightOpenDaylight基本架构4OpenDaylightOpenDaylight主要功能（1）运行时模块化和扩展化：支持在控制器运行时进行服务的安装、删除和更新。（2）多协议的南向支持：南向支持多种协议。（3）服务抽象层：南向多种协议对上提供统一的北向服务接口。（4）开放的可扩展北向API：通过REST或者函数调用方式，提供可扩展的应用API。（5）支持多租户、切片：允许网络在逻辑上（或物理上）划分成不同的切片或租户；控制器的部分功能和模块可以管理指定切片；控制器根据所管理的分片来呈现不同的控制观测面。（6）一致性聚合：提供细粒度复制的聚合和确保网络一致性的横向扩展。Part

05开放网络操作系统5开放网络操作系统概述ONOS（OpenNetworkOperatingSystem，开放网络操作系统）是专门面向服务提供商和企业骨干网的开源SDN操作系统，是由开放网络实验室打造的一款商用控制器。ONOS旨在满足服务提供商和企业骨干网高可用性、可横向扩展及高性能的网络需求。ONOS具有的核心功能主要包含北向接口抽象层/API、分布式核心平台、南向接口抽象层/API、软件模块化。5开放网络操作系统ONOS架构Part

06P46

P4概述P4是一种用于与协议无关的包处理器编程的高级语言，它与OpenFlow等SDN控制协议协同工作，解决了OpenFlow编程能力不足的问题。6P4P4的工作流4.3.3租户网络管理网络即服务概述云计算的核心观念是将所有资源以服务的形式进行抽象，网络也不例外，NaaS。云服务提供商可以将自身的网络资源虚拟化，并允许租户按需对它们进行租用OpenStackNeutron是一个专注于在虚拟计算环境中提供NaaS的SDN项目。它的前身是OpenStack中原有的定义网络模块管理接口的Quantum项目。Neutron目前已经在OpenStack中的Quantum里提供原有网络应用的API。Neutron旨在弥补在云环境中已知的传统网络技术的缺陷。传统网络管理在多租户环境中租户缺乏对网络拓扑和寻址的控制，使得租户难以部署高级网络服务。OpenStackNeutron基于组的策略（Group-BasedPolicy，GBP）是OpenStack的API框架，提供一种Intent驱动模型，旨在以独立于底层基础架构的方式来描述应用程序需求。GDP没有提供以网络为中心的结构（如第二层域），二是引入了一个通用的“组”基元及一个策略模型来描述组之间的连接性、安全性和网络服务。虽然GBP目前仅专注于网络领域，但它完全可以成为一个通用的框架，在网络之外的其他领域取得应用。基于组的策略4.4云计算安全Part

01云安全风险1云安全风险基础设施安全风险网络部署安全风险云上应用安全风险运维服务安全风险云计算安全技术Part

022云计算安全技术1.云计算安全审计2.标识与鉴别技术3.访问控制技术4.数据加密与隐私保护5.数据安全隔离技术6.多租户技术7.网络隔离技术8.云灾备4.5云操作系统Part

01基本概念1基本概念定义云操作系统又称云计算中心操作系统，是以云计算、云存储技术作为支撑的操作系统，是云计算后台数据中心的整体管理运营系统。它是指构架于服务器、存储、网络等基础硬件资源和单机操作系统、中间件、数据库等基础软件之上的、管理海量的基础硬件、软件资源的云平台综合管理系统。核心概念云操作系统通常包含大规模基础软硬件管理、虚拟计算管理、分布式文件系统、业务/资源调度管理、安全管理控制等组件。它可用于管理和驱动海量服务器、存储等基础硬件，将一个数据中心的硬件资源在逻辑上整合成一台服务器；为云应用软件提供统一、标准的接口；管理海量的计算任务以及资源调配。Part

02管理平台功能2管理平台功能ABCD集群管理应用管理交付中心运维管理Part

03资源调度3资源调度资源调度是指在特定的资源环境下，根据一定的使用规则，在不同的资源使用者之间进行资源调整的过程。3资源调度两种途径在计算任务所在的计算机上调整分配给它的资源使用量；将计算任务转移到其他计算机器。3个层次应用程序资源调度虚拟资源（如虚拟机）到物理资源调度物理资源调度和落地Part

04云操作系统实例4云操作系统实例VMwarevSphere第一款云操作系统，是由虚拟化技术衍生出来的。vSphere能够更好地进行内部云与外部云之间的协同，构建跨越多个数据中心以及云服务提供商的私有云环境。浪潮云海第一款国产的云计算中心操作系统，采用“Linux+Xen”开放标准技术路线，支持分布式计算、分布式存储等.曙光Cloudview面向公有云和私有云的云操作系统，通过网络将IT基础设施资源、软件与信息等按需提供给用户使用，支持IaaS，并通过部署平台服务软件和业务服务软件来支持PaaS和SaaS。华为FusionSphere华为自主创新的一款云操作系统，提供强大的虚拟化功能和资源池管理、丰富的云基础服务组件和工具、开放的