《云计算（第三版）》配套ppt之36：第11章中国云计算技术（一）

目目 录录 11.1 国内云计算发展概况 11.2 国产云存储技术 11.3 国产大数据库技术 11.4 云视频监控技术 11.5 阿里巴巴阿里云服务 11.6 云创存储万物云服务 of40 云计算第三版配套PPT课件 11.1 国内云计算发展概况 of40 云计算第三版配套PPT课件 3 11.1 国内云计算发展概况 以“BAT”等为代表的互联网企业成为现阶段中国云计算 服务创新发展的主导力量。 后起之秀UCloud、QingCloud等，也希望能够在未来的 庞大的企业级市场占据领导地位。 11.1 国内云计算发展概况 未来云计算的发展离不开以下四大发展趋势： 第一，随着云计算创新水平的不断提升，产业链上中 下游整合趋势更加明显。 第二，国内云计算应用市场进一步发展成熟，市场空 间显著扩大。 第三，云计算服务发展迅速，公共云服务和大型企 业、机构内部的私有云建设与运维将成为重点。 第四，云计算公共化程度将进一步提升。国内云计算 应用市场进一步发展与成熟，市场空间显著扩大。 目目 录录 11.1 国内云计算发展概况 11.2 国产云存储技术 11.3 国产大数据库技术 11.4 云视频监控技术 11.5 阿里巴巴阿里云服务 11.6 云创存储万物云服务 of40 云计算第三版配套PPT课件 11.2 国产云存储技术 11.2.1 淘宝分布式文件系统TFS 11.2.2 云创存储cStor分布式文件系统 11.2.3 A8000超低功耗云存储一体机 of40 云计算第三版配套PPT课件 7 11.2 国产云存储技术 淘宝分布式文件系统TFS Taobao File System（TFS）是一个高可扩展、高可用、高性能、面向互联网服 务的分布式文件系统，主要针对海量的非结构化数据，它构建在普通的Linux机器 集群上，可对外提供高可靠和高并发的存储访问。 淘宝提供海量小文件存储 采用了高容错架构和平滑扩容 扁平化的数据组织结构 of40 云计算第三版配套PPT课件11.2 国产云存储技术 淘宝分布式文件系统TFS Application/ Client Block id dataserver NameServer Block id dataserver NameServer DataServer dsp1dsp2dsp3 hdahdahda DataServer dsp1dsp2dsp3 hdahdahda Blockid,fild id/ Allocate Dataserver id (blockid,file id) Heartbeat message control message Heartbeat message 8 of40 云计算第三版配套PPT课件 9 wBlock block master block master block master block master WirtableBlockListBlockListDataServerList SERVER WriteLeaseList Block 11.2 国产云存储技术 淘宝分布式文件系统TFS of40 云计算第三版配套PPT课件 10 11.2 国产云存储技术 淘宝分布式文件系统TFS 1）集群容错 l TFS可以配置主辅集群，一般主辅集群会存放在两个不同的机房。 l 主集群提供所有功能，辅集群只提供读。 2）NameServer容错 l Namserve负责维护Block列表和DataServer与Block之间的关系。 l NameServer和DataServer之间也会有定时的heartbeat。 3）DataServer容错 l TFS采用Block存储多份的方式来实现DataServer的容错。 l TFS对每一个文件会记录校验CRC l 对于每一个写入请求，必须在所有的Block写入成功时才算成功。 of40 云计算第三版配套PPT课件 11 11.2 国产云存储技术 淘宝分布式文件系统TFS 平滑扩容 TFS集群容量不足时，只需新增DataServer，在上面部署好应用程序后启动即可。 在集群负载较轻时，NameServer会对DataServer上的Block进行均衡，保证每个 DataServer的Block数尽可能均衡。 of40 云计算第三版配套PPT课件 11.2 国产云存储技术 11.2.1 淘宝分布式文件系统TFS 11.2.2 云创存储cStor分布式文件系统 11.2.3 A8000超低功耗云存储一体机 卷配置 节点参数配置 存储参数配置 用户配额管理 QoS管理 告警配置 存储空间监控 设备状态监控 程序状态监控 网络状态监控 磁盘状态监控 流量监控 全面告警 监控中心配置中心 管理监控中心 客户端 1 客户端 2 客户端 3 客户端 4 客户端N 主卷管理服务器备卷管理服务器 用户挂载客户端卷管理节点 主元数据管理节点1 备元数据管理节点1 卷A 主元数据管理节点2 备元数据管理节点2 卷B 主元数据管理节点3 备元数据管理节点3 卷C 数据节点1 数据节点2 数据节点3 数据节点N 数据节点1 数据节点2 数据节点3 数据节点N 数据节点1 数据节点2 数据节点3 数据节点N 元数据管理节点块数据存储节点 总体架构 存储机制 cStor客户端向系统中写数据流程如图 of40 云计算第三版配套PPT课件11.2 国产云存储技术 云创存储cStor分布式文件系统 1cStor客户端向元数据服务器发起数据写请求 2 元数据服务器根据存储服务器的负载 情况，选择负载较轻 的存储服务器1和存储 服务器2存储数据的两个副本，在存储服务器1上预留存储空间保存数据 3存储服务器1存储空间足够，向元数据服务器返回预留存储空间成功 4元数据服务器同时向存储服务器2发起预留存储空间申请 5存储服务器2存储空间足够，向元数据服务器返回预留存储空间成功 6 主元数据服务器同步元数据信息到备元数据服务器，保证元数据始终保 存两份 15 of40 云计算第三版配套PPT课件11.2 国产云存储技术 云创存储cStor分布式文件系统 7同步元数据成功 8元数据服务器向客户端返回数据可以写到存储服务器1和2 9客户端向存储服务器1发起数据请求 10存储服务器1保存数据 11 存储服务器1同时把数据副本发送到存储服务器2，存储服务器2保存数 据副本 12存储服务器2副本写成功，返回写成功给存储服务器1 13客户端收到成功信号后，即完成数据的存储 16 of40 云计算第三版配套PPT课件 17 cStor客户端从系统中读数据流程如图所示 11.2 国产云存储技术 云创存储cStor分布式文件系统 of40 云计算第三版配套PPT课件 18 11.2 国产云存储技术 云创存储cStor分布式文件系统 cStor云存储系统的控制流和数据流是分离的： l 一方面降低了元数据管理节点的负担，使得其处理能力更强； l 另一方面将数据读/写的负担分摊到各存储节点，使得系统的整体性能得到了提高，系统 整体性能与节点数目成正相关。 1cStor客户端向元数服务器发起数据读请求 2元数据服务器查找文件保存在存储服务器1上，然后告知客户端 3客户端存储服务器1发出数据读请求，并从存储服务器1读取数据 4存储服务器1返回数据内容给客户端 关键技术 0102030405 负载均衡技术数据高可靠保证技术超安存编解码技术 高速并发访问技术数据可扩展性 of40 云计算第三版配套PPT课件 20 D1D2D3D4D5D6D7D8 D1D2D3D4D5D6D7D8 D1D2D3D4D5D6D7D8 D1D2D3D4D5D6D7D8 三副本 超安存8:2编码 P1P2 11.2 国产云存储技术 云创存储cStor分布式文件系统 of40 云计算第三版配套PPT课件 11.2 国产云存储技术 11.2.1 淘宝分布式文件系统TFS 11.2.2 云创存储cStor分布式文件系统 11.2.3 A8000超低功耗云存储一体机 of40 云计算第三版配套PPT课件 22 11.2 国产云存储技术 A8000超低功耗云存储一体机 3600 TB 3000 W 10 倍 of40 云计算第三版配套PPT课件 23 l A8000采用了标准42U机架。 l 其中4U 空间用于部署交换机、供电模块和RMC模块，其余38U用于部署38 个1U的服务器，包括2个E5系列的主控节点，36个Atom系列的存储节点。 l 供电模块由电源模块、配电板（PDU）、母排、背板组成。 l 电源支持250VAC输入，集中输出至12VDC 母排，机柜内母排分为上下两段 ，服务器节点通过母排或背板直接取电。 l 风扇模块采用了风扇墙共享设计，由RMC实现独立风扇控制，其N+1冗余设 计可以实现独立维护，对节点透明。 11.2 国产云存储技术 A8000超低功耗云存储一体机 机架结构 of40 云计算第三版配套PPT课件 24 11.2 国产云存储技术 A8000超低功耗云存储一体机 产品特性 优异性能 超低功耗 简单通用 全面监控 便捷管理 超高密度 高度可靠 of40 云计算第三版配套PPT课件 25 单块主板最大可接18个SATA3.0硬盘，对外网 络提供4个千兆以太网，支持四网口绑定，网 络带宽速率可达4千兆。处理器是Intel64位低 功耗CPU，支持8GB DDR3内存，单板可直接 安装Linux发行版操作系统。 11.2 国产云存储技术 A8000超低功耗云存储一体机 关键技术-(1) A8000低功耗主板 of40 云计算第三版配套PPT课件 26 11.2 国产云存储技术 A8000超低功耗云存储一体机 关键技术-(1) A8000低功耗主板 of40 云计算第三版配套PPT课件 27 11.2 国产云存储技术 A8000超低功耗云存储一体机 关键技术-(2) 集中式直流供电 of40 云计算第三版配套PPT课件 28 服务器 服务器 RMC管理模块 散热模块 散热模块 散热模块 散热模块 散热模块 散热模块 散热模块 散热模块 冷风道热风道 11.2 国产云存储技术 A8000超低功耗云存储一体机 关键技术-(3) 集中式散热系统 A8000整套系统通过RMC管 理模块，对整个机架8个散热 模块进行实时控制，每个散 热模块由6个独立的风扇组成 ，通过RMC集中管理模块， 根据每个区域的温度，自动 调节风扇转速，针对整个系 统的问题进行有效散热，从 而达到节点效果。 of40 云计算第三版配套PPT课件 本章未完待续 百度排名首位的大数据资料和交流中心 百度排名首位的云计算资料和交流中心 终生免费的智能硬件大数据托管平台 扫一扫，进入万物云 终生免费的环境大数据共享平台 扫一扫，进入环境云 云云创创大数据大数据 给您一步到位的解决方