HCIP-Cloud_Computing_Computing_Developer_V1 0培训教材1HC5351111 - 6 1 Cinder组件介绍

HC53511,云计算,V1R6,1.0,肖东,2017-08,杨力凡,新开发,第六章第一节Cinder组件介绍,1.Cinder简介2.Cinder架构概述3.Cinder能力及特性,Cinder简介,OpenStack在Folsom版本开始，将之前在Nova中的部分持久性块存储功能（Nova-Volume）分离出来的组件。为云平台提供统一接口，按需分配的，持久化的块存储服务（类似于AmazonEBS服务）。通过驱动的方式接入不同种类的后端存储（本地存储，网络存储，FCSAN，IPSAN）。核心功能是对卷的管理，允许对卷、卷的类型、卷的快照、卷备份进行处理。,虚拟化块存储设备池，通过抽象和自动化在各种传统的后端块存储设备上提供SoftwareDefinedBlockStorage服务使终端用户可以按需、自助的访问块存储资源，而不用感知是什么类型的存储，存储真正部署在哪里,Nova-volumeNova日趋庞大Nova核心成员的代码view、BP、bug审核等工作逾来困难Block存储为openstack的关键组件，独立出来以便增强它的功能和可靠性,Cinder第一个版本块存储服务增加了NetApp和IBMdriver第三方driver增强接入NFS，呈现为块存储增加从镜像创建卷,2012.9.27Folsom,2012.7.5之前,支持FC挂载，支持LIO多backend支持增加卷的迁移、扩容、限速、加密、复制、类型更改增加HP、华为、EMC等阵列接入编辑、删除quota丰富调度增加卷备份到swift、ceph，增加备份的导入导出数据迁移FCZone管理、Ceilometer集成支持卷池支持一致性组和一致性组快照,2013.42014.10Grizzy、Havana、Icehouse、Juno,2015.4.30Kilo,通用的镜像缓存解决方案无中断的备份支持一致性卷组克隆支持获取卷后端存储列表嵌套的配额LVM后端默认使用瘦分配优化卷迁移管理,2015.10.15Liberty,支持滚动更新一致性组中添加、删除卷更多优化的filters/weighters加密卷的备份支持私有卷增加卷类型描述信息支持返回多个iSCSI路径信息,Cinder使命和演进历史,Cinder：向虚机提供可用于持久存储的块存储服务。与Nova、Keystone等模块直接交互,OpenStack中的Cinder,1.Cinder简介2.Cinder架构概述3.Cinder能力及特性,CinderClient封装Cinder提供的rest接口，以CLI形式供用户使用CinderAPI对外提供restAPI，对实际操作需求进行解析，对API进行路由寻找相应的处理方法。Cinderscheduler负责收集backend上报的容量、能力信息，根据设定的算法完成卷到指定cinder-volume的调度。Cindervolume多节点部署，使用不同的配置文件、接入不同的backend设备，由各存储厂商插入driver代码与设备交互完成设备容量和能力信息收集、卷和快照操作等。Cinderbackup实现将卷的数据备份到其他存储介质（目前SWIFT/Ceph/TSM提供了驱动）。SQLDB提供存储卷、快照、备份、service等数据，支持Mysql、PG、MSSQL等SQL数据库。模块之间通过AMQP（应用层高级消息队列协议）进行通讯。,AMQP,AMQP,AMQP,Cinder逻辑架构,Cinder组件,cinder-apicinder模块对外唯一入口，cinder的endpoint，接收和处理rest请求。cinder-scheduler根据预定的调度过滤策略以及权重计算策略，选择出合适的后端来处理任务。cinder-volume负责与后端存储进行对接，通过各厂商提供的driver将OpenStack操作转换为存储操作。,Cinder物理部署,Cinder-API，Cinder-Scheduler，Cinder-Volume可以选择部署到一个节点上，也可以分别部署。Cinder-API采用AA模式，Haproxy作为Loadbalance，分发请求到多个CinderAPI。Cinder-Scheduler也采用AA模式，通过RabbitMQ协议（开源的AMQP实现）以负载均衡模式向多个节点分发任务，并以RabbitMQ方式收取Cindervolume上报的能力信息，调度时，scheduler通过在DB中预留资源从而保证数据一致性。Cinder-Volume也采用AA模式，通过调用不同的driver管理不同的存储后端，上报各自backend容量和能力信息，并同时接受请求进行处理执行卷、快照相关的业务，。SAN存储：通过driver对接Cinder-Volume，完成Cinder-Volume下发的操作，定时上报相关信息。,1.Cinder简介2.Cinder架构概述3.Cinder能力及特性,RestAPI,CinderClient,Java/PHP/python/.Net/RubySDK,卷操作,元数据管理,快照,数据备份,Backend管理,数据一致性,cache,配额管理,复制/加密,QOS,DataService,NAS,SAN,DAS,CinderClient封装RESTAPI对外暴漏CLI，同时提供多种语言的SDK包卷操作包括增删改查，挂载卸载卷的Qos保证，包括卷的策略管理、按照策略创建卷、以及变更策略Backend管理即对各种后端存储进行相关管理、操作元数据管理，包括卷的元数据、快照元数据等卷安全包括卷加密，锁定，共享，tranfer等数据一致性保证，包括快照备份数据一致性、以及一致性快照组配额管理即对租户当前的资源配额进行管理,不仅是存储资源池化，不局限于只做管理侧的控制，包含了数据业务，如迁移、备份、克隆、复制等充分利用阵列能力减轻Cinder的压力，将增值数据业务卸载到阵列，如需要数据搬迁的、需要分析数据的,Cinder功能布局,Cinder功能列表,Cinder管理的资源类型,Volume，块设备卷，提供创建，删除，扩容，挂载/卸载（Nova使用）等功能。Snapshot，针对于块设备卷的快照创建，删除等功能。Backup，对块设备卷的备份，目前存储于对象存储中（SWIFT/Ceph/TSM）Host，对应某个存储后端。Volumetype，具有某种特性的块设备卷类型（用户定义）Qos-specs，块设备的服务质量（IOPS等），和volumetype进行关联，在创建卷时指定volumetype可实现卷的QoS控制。Limits，实现对租户使用卷/快照容量的限制的查询。Quota，实现对租户配额的查询，更新，删除等功能。,Cinder的Multi-backend,一个Cinder-API可以管理多个cinder-volume节点上的存储服务一个Cindervolume节点可以管理多个backend多个Cindervolume可以管理相同的backend（HA部署）backend可以配置为阵列整体，也可以是pool一种Cinder-driver可以管理不同的backend，但同一个backend不可以被不同的Cinder-driver管理。,Cinder提供了volume-type定义框架，因为对接不同的后端存储，所以对volume也需要多类型支持。管理员自定义volumetype关联的extra-spec，extra-spec格式为key:(op)value字典，key、value自定义，op操作符从框架字典中选择使用方法：管理员预先创建几类volume-type，定义对应的KV，如：volume_backend_name：xxxQoS_support：True存储后端定期上报能力（某存储后端）volume_backend_name：StrorageAQoS_support：True创建卷选择存储后端时对extra-spec内容进行过滤,Cindervolume-type,Cinder中，提供了一个QoS（qualityofservice）Spec框架，通过QOS策略控制磁盘读写速度，限定其资源利用率，避免任务阻塞。用户可以创建一个QoSSpec，这个Spec说明了针对目标(后端或者前端)，限制键值对。cinderqos-createhigh_read_low_writeconsumer=”front-end”read_iops_sec=1000write_iops_sec=10每个QoSSpec与VolumeType相联系cindertype-createtype1cinderqos-associateqos-spec-idtype-id用户在创建一个卷时可以将该卷与一个VolumeType联系，这样就间接使得该卷与特定QoSSpec联系。cindercreatedisplay-namehigh-read-low-write-volumevolume-typetype1100当该QoS面向后端时，创建卷命令会将QoSSpec的键值对传给Cinder的后端存储解释当该QoS面向前端时，在这个卷被挂载到一个虚拟机上时才会通过conn_info传递给Nova来实现（比如通过QEMU来实现）novavolume-attachvm-1high-read-low-write-volume/dev/vdb,CinderQoS,基于过滤和权重来选择合适的存储后端（以pool为单位）,配置文件中设置调度算法，以及调度算法关联的过滤器和排序器系统默认使用三种过滤器：AvailabilityZoneFilter过滤部署这个zone的cinder-volumeCapacityFilter过滤掉free容量不满足volume-size的host，目前容量只考虑了卷大小CapabilitiesFilter，按照volume的extra-spec（key:（op）value）挨个过滤掉不满