大数据云计算技术概述(版)

大数据(shùjù)云计算技术mr.zhu第一页，共四十六页。目录第一(dìyī)局部1.1云计算平台(píngtái)架构clouDil1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二(dìèr)局部云计算平台能力第二页，共四十六页。真正的云计算平台，它有五层架构(jiàɡòu)：运维管理层：clouDil计算层：MapReduce+TaskMaster数据管理层：DataCube虚拟化层：cCloud存储层：cStor云计算(jìsuàn)平台架构第三页，共四十六页。云计算(jìsuàn)平台架构第四页，共四十六页。目录第一(dìyī)局部1.1云计算平台(píngtái)架构1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二(dìèr)局部云计算平台能力clouDil第五页，共四十六页。

在搭建云计算平台时，遇到了很多的问题和挑战。开始(kāishǐ)搭建时，第一次来了那么多性能强劲的机器，我们在感到兴奋的同时，也不免有些顾虑。出了问题怎么办，有没有预警机制？有没有可视化的管理界面？机器宕机，管理员能否实时监控到？如何做性能调优？扩容升级时，能否给出依据？

带着这些问题，我们开始了自己的云计算平台管理和运营之旅，现在完美的形成了一整套云计算平台管理体系。clouDil云平台(píngtái)管理系统第六页，共四十六页。clouDil云平台(píngtái)管理系统流量(liúliàng)监控第七页，共四十六页。clouDil云平台(píngtái)管理系统健康(jiànkāng)度报告第八页，共四十六页。clouDil云平台(píngtái)管理系统节点性能(xìngnéng)监控第九页，共四十六页。clouDil云平台(píngtái)管理系统集群状态(zhuàngtài)监控第十页，共四十六页。clouDil云平台(píngtái)管理系统集群状态(zhuàngtài)监控第十一页，共四十六页。目录第一(dìyī)局部1.1云计算(jìsuàn)平台架构1.2clouDil1.3DataCube1.4cCloud1.5cStor第二(dìèr)局部云计算平台能力MapReduce+TaskMaster第十二页，共四十六页。MapReduce是一种(yīzhǒnɡ)编程模型，用于大规模数据集〔大于1TB〕的并行运算。MapReduce编程模型(móxíng)第十三页，共四十六页。 TaskMaster是云创存储自主研发的一款高效云调度(diàodù)平台。它保证在云计算平台中局部硬件或软件发生故障的情况下仍不影响系统的正常运行；保证在云计算平台中高效稳定的合理化分配和执行任务，同时能够完美解决系统单点故障问题，负载均衡，自动调度(diàodù)与部署。TaskMaster云计算(jìsuàn)调度平台第十四页，共四十六页。产品优势高可靠性：采用“多主多备，负载均衡〞的管理节点，从而保证无论管理节点还是处理节点都不存在任何单点故障问题。低依赖性：采用模块化设计思想，通过统一化配置和API接口的方式向用户提供效劳。低干预性：采用基于(jīyú)事件化的统一管理模式。在系统无人值守的情况下自动完成故障处理等功能。高实时性：在机器性能允许的范围内，所有任务的控制工作根本都在秒级完成，具有前所未有的高效性。TaskMaster云计算调度(diàodù)平台第十五页，共四十六页。目录第一(dìyī)局部1.1云计算(jìsuàn)平台架构1.2clouDil1.3MapReduce+TaskMaster1.4cCloud1.5cStor第二(dìèr)局部云计算平台能力DataCube第十六页，共四十六页。DataCube(数据(shùjù)立方)

数据立方是一种高效(ɡāoxiào)分布式的处理海量数据的云处理软件，具有从TB乃至PB级的数据中挖掘出有用的信息并进行快捷、高效处理的能力，同时支持数据仓库存储和商业智能分析等业务。该软件基于hadoop平台大数据处理的解决方案，具有处理能力高效、超高可靠性的优点。第十七页，共四十六页。DataCube(数据(shùjù)立方)产品特点对任意多关键字实时索引支持(zhīchí)类SQL复杂并行组合查询分布式万兆实时数据流秒级处理系统无单点，确保意外情况下，系统的正常运行第十八页，共四十六页。数据(shùjù)立方管理系统第十九页，共四十六页。数据(shùjù)立方管理系统第二十页，共四十六页。数据(shùjù)立方管理系统第二十一页，共四十六页。目录第一(dìyī)局部1.1云计算(jìsuàn)平台架构1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cStor第二(dìèr)局部云计算平台能力cCloud第二十二页，共四十六页。 cCloud是南京云创存储(cúnchǔ)科技自主研发的虚拟化云计算平台。 cCloud平台可以加速高伸缩性的公共和私有云IaaS的部署、管理、配置。帮助企业用户快速而轻松地将虚拟数据中心资源转 入自动化、富于弹性且可自我效劳的云平台中。另外cCloud兼容亚马逊API接口允许跨cCloud和亚马逊平台实现负载兼容。使用cCloud作为根底数据中心操作者可以快速方便的通过现存根底架构创立云效劳。cCloud虚拟化云计算(jìsuàn)平台第二十三页，共四十六页。cCloud系统(xìtǒng)构架cCloud虚拟化云计算(jìsuàn)平台第二十四页，共四十六页。cCloud后台(hòutái)管理系统第二十五页，共四十六页。cCloud后台(hòutái)管理系统第二十六页，共四十六页。cCloud后台(hòutái)管理系统第二十七页，共四十六页。cCloud后台(hòutái)管理系统第二十八页，共四十六页。目录第一(dìyī)局部1.1云计算平台(píngtái)架构1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二(dìèr)局部云计算平台能力cStor第二十九页，共四十六页。 cStor云存储(cúnchǔ)系统是南京云创存储(cúnchǔ)自主研发的高科技产品。与传统的大规模存储(cúnchǔ)系统相比，cStor针对绝大多数数据密集型应用的特点从多个方面进 行了优化，从而在一定规模下到达本钱、可靠性和性能的最正确平衡。 目前，cStor云存储系统已成功应用于安防、广电、交通、电信、政务等诸多领域。cStor云存储系统第三十页，共四十六页。产品特性优异性能：支持高并发、带宽饱和利用。cStor云存储系统将控制流和数据流别离(biélí)，数据访问时多个存储效劳器同时对外提供效劳，实现高并发访问。高度可靠：采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不会丧失，实现数据完整可靠。cStor云存储系统第三十一页，共四十六页。在线伸缩：可以在不停止效劳的情况下，动态参加新的存储节点，无需任何操作，即可实现系统容量从TB级向PB级平滑扩展；也可以取下任意节点，系统自动缩小规模而不丧失数据，并自动将取下的节点上的数据备份到其他节点上，保证(bǎozhèng)整个系统数据的冗余数。超大规模：支持超大规模集群，理论容量为1024*1024*1024PB。简单通用：支持POSIX接口标准，支持Windows/Linux/MacOSX，可当成海量磁盘使用，无需修改应用。同时系统也对外提供专用的高速API访问接口。cStor云存储系统第三十二页，共四十六页。 cStor超安存云存储系统是新一代基于编码技术的分布式文件存储系统，它在cStor云存储系统的根底上，融入RS编解码取代传统(chuántǒng)副本冗余的方式进行系统容错，编解码参数M+N可根据应用需求灵活配置。 相对于传统的副本冗余容错 方式而言，具有更高的磁盘利用率和更高的系统可靠性，如采用8+2的编解码容错方式，磁盘利用率可以到达80%，允许同时损坏2台存储效劳器。cStor超安存云存储系统第三十三页，共四十六页。产品特性高磁盘利用率：对于传统具有N份副本容错而言，其磁盘利用率只有1/N，而采用(cǎiyòng)编解码方式，磁盘利用率为M/(N+M)，如8+2，其磁盘利用率为80%。高可靠性：传统全副本的容错方式，通过牺牲磁盘的有效容量来提升系统的可靠性，如1：1副本容错，磁盘利用率为50%，只能损坏1台存储节点；而采用2+2的编解码方式，在磁盘利用率为50%的情况下，允许同时损坏2台存储节点。cStor超安存云存储系统第三十四页，共四十六页。高平安性：数据在编码的过程中，也起到数据加密的作用，必须通过对应的解密算法解码才能够获取(huòqǔ)到原始数据，提升了系统的平安性。优异性能：所有的存储节点兼作编解码计算节点，有效的保证了客户端的写入性能，同时充分利用了整个系统中大量存储节点的计算资源。cStor超安存云存储系统第三十五页，共四十六页。目录第一(dìyī)局部1.1云计算(jìsuàn)平台架构1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二(dìèr)局部cStor云计算平台能力第三十六页，共四十六页。数据(shùjù)立方ETL工具数据立方(lìfāng)etl工具是一个用来将数据立方(lìfāng)和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库〔例如：MySQL,Oracle,Postgres等〕中的数据导进到数据立方(lìfāng)中，也可以将数据立方(lìfāng)的数据导进到关系型数据库中。一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到数据立方(lìfāng)。第三十七页，共四十六页。数据立方(lìfāng)与传统数据库的数据交换数据(shùjù)立方数据库OracleMysqlPostgreSQL……数据(shùjù)立方ETL工具第三十八页，共四十六页。数据立方与传统(chuántǒng)数据库

的数据交换实例硬件(yìnɡjiàn)配置序号设备名称数量CPU内存硬盘网络1主控节点1双路四核，主频2GHz32GB2TB*8双千兆网卡绑定2处理节点10双路四核，主频2GHz32GB2TB*8双千兆网卡绑定3客户端1双路四核，主频2GHz32GB2TB*8双千兆网卡绑定*千兆48口交换机第三十九页，共四十六页。数据(shùjù)立方与传统数据(shùjù)库

的数据交换实例建表语句(yǔjù)：createtableE_MP_POWER_CURVE(IDBIGINT,DATA_TYPEINT,DATA_POINT_FLAGINT,DATA_WHOLE_FLAGSTRING,P1DOUBLE,P2DOUBLE,P3DOUBLE,P4DOUBLE,P5DOUBLE,P6DOUBLE,P7DOUBLE,P8DOUBLE,P9DOUBLE,P10DOUBLE,P11DOUBLE,P12DOUBLE,P13DOUBLE,P14DOUBLE,P15DOUBLE,P16DOUBLE,P17DOUBLE,P18DOUBLE,P19DOUBLE,P20DOUBLE,P21DOUBLE,P22DOUBLE,P23DOUBLE,P24DOUBLE,P25DOUBLE,P26DOUBLE,P27DOUBLE,P28DOUBLE,P29DOUBLE,P30DOUBLE,P31DOUBLE,P32DOUBLE,P33DOUBLE,P34DOUBLE,P35DOUBLE,P36DOUBLE,P37DOUBLE,P38DOUBLE,P39DOUBLE,P40DOUBLE,P41DOUBLE,P42DOUBLE,P43DOUBLE,P44DOUBLE,P45DOUBLE,P46DOUBLE,P47DOUBLE,P48DOUBLE,P49DOUBLE,P50DOUBLE,P51DOUBLE,P52DOUBLE,P53DOUBLE,P54DOUBLE,P55DOUBLE,P56DOUBLE,P57DOUBLE,P58DOUBLE,P59DOUBLE,P60DOUBLE,P61DOUBLE,P62DOUBLE,P63DOUBLE,P64DOUBLE,P65DOUBLE,P66DOUBLE,P67DOUBLE,P68DOUBLE,P69DOUBLE,P70DOUBLE,P71DOUBLE,P72DOUBLE,P73DOUBLE,P74DOUBLE,P75DOUBLE,P76DOUBLE,P77DOUBLE,P78DOUBLE,P79DOUBLE,P80DOUBLE,P81DOUBLE,P82DOUBLE,P83DOUBLE,P84DOUBLE,P85DOUBLE,P86DOUBLE,P87DOUBLE,P88DOUBLE,P89DOUBLE,P90DOUBLE,P91DOUBLE,P92DOUBLE,P93DOUBLE,P94DOUBLE,P95DOUBLE,P96DOUBLE)PARTITIONEDBY(DATA_DATESTRING,IDRAGEBIGINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','STOREDASTEXTFILE;第四十页，共四十六页。数据立方与传统(chuántǒng)数据库

的数据交换实例该表一共(yīgòng)104个字段，平均一条记录300Byte以下是从数据立方导入到Oracle的测试统计以下是从Oracle导入到数据立方的测试统计1000万条2500万条5000万条1