基于分布式云计算环境下的多租户管理技术方案研究项目

集团重大项目“云计算和大数据发展规划及技术应用”子课题基于分布式云计算环境下的多租户管理技术方案研究——Hadoop多租户技术研究中国移动广东公司规划技术部集团研究院2015年11月中国移动2015年科技创新与业务服务奖终评材料成果主要内容成果形成背景成果主要创新点成果实际应用情况查询类作业对IO和存储容量的需求较大，但计算资源消耗不高，导致计算资源大量闲置。例如，清账单中心集群的CPU利用率仅为10%左右。分析作业在存储容量满足的情况下，计算资源明显不足。例如，经分集群的忙时CPU利用率高达80%~90%，忙时集中在月末、月初或晚上，有比较明显的忙时和闲时之分。数据冗余严重计算资源严重过剩和严重不足情况并存多个集群都需要大量的重复数据，特别是计费清单和信令规模很大。现网清账单查询集群的存储容量达78%，经分分析集群也达到70%左右，两个集群的数据都以清单为主。新建的集群也计划引入清单和信令数据，数据冗余程度会越来越严重。广东公司进行大数据平台建设规划时发现：如果按传统分建集群的方式，资源无法整合，导致系统烟囱化问题。例如，清账单中心建立一个查询Hadoop集群，经分也建立一个分析Hadoop集群，同时客服等其他部门、地市公司也按计划新建Hadoop集群的话，集群数量和规模将迅速膨胀，并导致以下问题：项目背景：大数据平台系统烟囱化，数据冗余，资源利用率低该怎么做？成果主要内容成果形成背景成果主要创新点成果实际应用情况项目概况（1）项目目标为解决多集群烟囱化的问题，广东公司提出把不同类型的应用都整合在同一Hadoop集群的想法。但当前社区多租户管理功能有所欠缺：主流的YARN方案只能提供分析任务的多租户管理功能，提供查询功能的HBASE不具备多租户功能，也缺乏YARN和HBase间的统一多租户管理功能。同时，尽管多个业务系统整合后，分析的数据和查询的数据各自只需存放一份，但是由于HBase分析性能较弱，YARN又不支持实时查询，无法把查询和分析数据合一，数据还是有一定的冗余。因此本项目通过研究新的资源调度算法技术，解决YARN和HBASE共存在一个集群时，统一的多租户管理功能。同时，探讨查询和分析数据合一的处理技术，进一步减少数据冗余。采取措施针对存在问题，提出3项核心技术创新：提升资源利用率：研发和优化系统资源控制算法，完善作业优先级策略。解决数据冗余问题：提出基于多租户特性的Hadoop平台存储方案，。改进Hadoop架构设计，监控集群的健康度，进一步提升集群性能。项目来源本项目为集团重大项目“云计算和大数据发展规划及技术应用”子课题。项目概况（2）本项目已于2014年12月完成，并把成果应用于2015年广东公司大数据平台建设项目中。项目中广东公司结合业务需求提出具体应用场景，制定关键技术实现技术方案。集团研究院则负责重点技术、核心算法的攻关和验证结果的分析。并推动厂家编程实现，然后通过测试验证产品，本项目成果享有自主知识产权。

时间内容参与单位2014.1-2014.2结合业务需求提出具体应用场景广东公司2014.3-2014.8研究制定关键技术实现技术方案广东公司重点技术和核心算法攻关集团研究院2014.9-2014.10根据提供的算法编码实现产品华为、Cloudera等Hadoop主流厂家2014.10-2014.11测试验证广东公司集团研究院2014.12项目总结广东公司集团研究院项目过程项目概况（2）测试环境为了更好地验证研究成果，本项目使用16台X86服务器、2台万兆交换机组成Hadoop集群测试环境，并导入20天清单数据（9.1TB）和120GB的网络信令日志作为测试数据，尽可能模拟广东公司超大数据量的业务场景。测试环境组网拓扑3台管理节点：多租户系统的管理节点，管理所有的数据节点；部署监控管理软件13台数据节点：多租户系统的数据节点，存储所有的详单文件虚拟话单文件加载服务器与虚拟客户端：测试使用话单数据保存在3个管理节点的本地硬盘，以3个管理节点模拟话单文件加载服务器成果主要内容成果形成背景成果主要创新点成果实际应用情况创新点项目主要开展以下三项创新研究工作。

工作内容专利或创新点成效研发和优化系统资源控制算法《一种作业调度的方法及装置》

《一种Hadoop数据库Hbase的查询方法及装置》《查询与分析间的资源控制算法》解决资源利用率不高的问题基于多租户特性的Hadoop平台存储方案《一种分布式数据的处理方法及装置》《一种将数据录入数据库的方法及装置》解决数据冗余的问题基于节点健康度与可靠性的Hadoop架构改进《一种Hadoop云存储方法及系统》优化系统性能Hadoop大数据集群的资源控制可分为：基于HBase的查询资源调度基于Yarn的分析资源调度查询与分析间的统一资源调度创新点和技术先进性（1）——研发和优化系统资源控制算法基于HBase的查询资源调度原生Hadoop采用了基于机会均等策略的查询资源控制算法，无法保证VIP用户实时查询的时延满足要求。因此，需要开发有优先级的查询资源控制算法，实现多租户特性。应用场景查询功能需要面向不同的角色：客户、营业厅操作员和后台人员等。不同的角色对响应时间的容忍度不同：客户和营业厅操作员需要秒级的响应速度，而通常后台人员执行的是批量查询任务，能容忍较长的时间，例如分钟级别甚至是小时级别。因此，大数据平台应提供不同的查询优先级，由管理员根据用户的重要性来配置优先级，保证重要用户的查询时延。原有技术创新点和技术先进性（1）——研发和优化系统资源控制算法本项目实现了基于用户ID的HBase内智能查询资源控制。提出优先级队列：将以前的单一队列分成不同优先级的队列，对应不同的资源。基于用户ID区分用户：根据用户ID把不同用户查询请求放入不同优先级队列中，让VIP用户请求得到更多的系统资源资源超分：借鉴Yarn调度方式支持资源超分，提高系统资源利用率。

首次实现基于用户ID的HBase内智能查询资源控制技术，提出专利《一种Hadoop数据库Hbase的查询方法及装置》。基于用户ID的HBase查询资源调度算法示意图技术攻关及创新先进性VIP实时查询任务平均时延有所提高。效果队列资源池借用资源示意图创新点和技术先进性（1）——研发和优化系统资源控制算法带SLA保障的Yarn架构内分析作业调度方法技术先进性：首次把SLA保证和多层作业调度技术结合，申请了专利《一种作业调度的方法及装置》。效果：实现了资源共享和有序保障之间的平衡，VIP分析作业的SLA得到保障，有效地提高了整个集群资源的利用率。作业创建过程中根据SLA分配资源应用场景：部分分析任务需要在一定时间内完成，特别经分等系统在月初、月末的分析必须要在规定时间完成，否则影响用户的体验。因此Hadoop系统应该能提供SLA保障。原有技术：原生Hadoop作业调度均使用简单的队列机制，同时缺乏对于SLA的保障。技术攻关及创新：本项目采用带作业SLA的多作业队列加多资源队列的设计，减少了系统资源配置工作量。SLA保障：在作业创建过程中根据作业最大允许执行时间分配对应的资源。队列资源池的动态资源调度：增加队列资源池，用于管理共享动态资源，满足队列间的资源借调，比起传统的队列资源调度，能更有效地保证最低资源的接入借出。研发查询与分析间的系统资源控制算法应用场景：查询实时性要求较强，在系统资源紧张的情况下，一般要先保障查询任务的资源。但也存在一些特殊情况，这时某些非常重要的分析任务需要得到最大的资源支持，以便最短时间内完成。因此为了适应以上不同的场景，大数据平台应该需要按照需要配置和修改查询和分析任务之间的优先级。原有技术：查询是基于HBaseAPI的技术框架实现的，而分析则是以Yarn计算框架为基础，开源Hadoop没实现两种架构间的资源控制。创新点和技术先进性（1）——研发和优化系统资源控制算法查新报告技术攻关及创新：开发管理程序统一管理两种架构资源，提高了整个集群的资源利用率，减少资源配置。查询任务抢占分析任务资源：监控HBase的查询时延，并实现对container的抢占。分析任务对查询资源的抢占：通过Python程序判断资源占用情况，限制HBase的CPU使用率。技术先进性：查新报告表明本项目在国内首次实现同一Hadoop集群种查询与分析间的资源控制技术。效果：提高了集群的资源平均使用率，有效地减少VIP任务的执行时间。创新点和技术先进性（2）基于多租户特性的Hadoop平台存储方案应用场景：由于广东公司拥有全国最大的用户数据量，当前的多个集群都出现了存储容量紧张的问题，即使多个业务系统整合后，还是要存放2份超大数据分别给查询和分析使用。为了进一步减少存储投资，应研发相关的数据存储技术和压缩技术。原有技术：分析数据放在分析集群的HDFS，而查询集群中的HBase以HfileonHDFS的形式存放同样的数据用于查询，同样的数据却要存放2份，冗余严重。技术攻关及创新：提出了查询分析统一数据处理系统架构，只建立一个多租户集群，只存放一份数据在HDFS，解决数据冗余问题：替换Hfile：使用Hfiletransfer模块替代了传统的HfileonHDFS，减少了Hfile占用的空间。HDFS副本复用：把HDFS的3备份副本分别用于查询、分析和仲裁用途，并向查询HDFS文件加入部分字段，让Hfiletransfer效率更高，满足了查询的时延需求。探索基于话单的压缩技术，改变列存储方式，利用话单重复内容大的特点，把使用频率较低、生成时间较长的话单进行压缩，减少存储需求。技术先进性：改进了开源社区和业界的存储方案，申请了两个专利《一种分布式数据的处理方法及装置》和《一种将数据录入数据库的方法及装置》。查询分析统一数据处理系统架构预期效果：该成果在实验室实现，还没落地。预计落地后采用查询分析统一数据处理系统架构，存储需求减少25%。使用基于话单的压缩技术，可让离线历史话单再减少40%左右。创新点和技术先进性（3）基于节点健康度与可靠性的Hadoop架构改进应用场景：在硬件型号差别较大或者硬件运行时间较久的场景下，不同的数据节点健康度和可靠性有这一定的区别，集群应该支持实时监控数据节点的各种信息，从而优化数据存放的策略，提高集群性能。原有技术：传统的Hadoop中NameNode仅仅通过简单的心跳协议了解DateNode是否下线，无法详细地监控DateNode的具体信息。技术攻关及创新：本项目修改了NameNode和DateNode之间的心跳协议，使NameNode获得更详细的DateNode信息，合理分配数据存放节点和计算任务，优化存储方法，提高计算效率。支持实时收集DataNode多维状态信息，包括存储容量、CPU/内存/网络使用率等信息。利用收集到的节点信息，统计分析DataNode健康状态，并根据健康度优化数据存放方式。利用各DataNode心跳信息的历史数据，统计分析DataNode可靠性，并根据可靠性进行任务分配，减少数据倾斜，提升系统性能。技术先进性：专利《一种Hadoop云存储方法及系统》正在评审中。预期效果：成果还没有组织实施，从理论上预期管理员能更方便地优化集群节点的负载，比起传统集群，新Hadoop集群存储负荷差别浮动大大减少，减少了负载均衡带来系统CPU和IO极大消耗。新系统运行流程图新系统架构成果主要内容成果形成背景成果主要创新点成果实际应用情况知识产权报告项目专利成果皆为最新的大数据研究成果，有效推动开源社区的发展，成果研究达到国际先进水平。经广东省科学技术情报研究所进行国内查新，本项目开展的“查询与分析间的系统资源控制算法研究”未见国内有相同的研究内容及相同研究成果的报道。国别项目名称申请号/专利号相关性说明中国一种分布式数据的处理方法及装置201410768646.4提出了查询分析统一数据处理系统架构，减少多租户集群的存储要求。中国一种作业调度的方法及装置201410720367.0提出了一种带SLA保障的Yarn架构内分析作业调度方法，优化了分析作业调度。中国一种Hadoop数据库Hbase的查询方法及装置201510299125.3提出了基于用户ID的HBase内智能查询资源控制，实现了Hadoop查询优先级。中国一种将数据录入数据库的方法及装置201410735141.8提出了基于话单的压缩技术，把Hadoop的话单进行压缩，减少存储需求。中国一种Hadoop云存储方法及系统已完成集团评审改进了Hadoop节点架构设计，优化存储方