大数据平台概要设计说明书模板

计算平台概要设计阐明书文献编号受控编号版次1.0密级内部公开总页数42附录作者：日期：-01-28同意：日期：审核：日期：（版权全部，翻版必究）

文献修改统计修改日期修改状态修改页码及条款修改人审核人同意人

目录1. 引言 51.1 编写目的 51.2 术语与缩略词 61.3 对象及范畴 81.4 参考资料 92. 系统总体设计 92.1 需求规定 92.1.1 数据导入 92.1.2 数据运算 92.1.3 运算成果导出 102.1.4 系统监控 102.1.5 调度功效 112.1.6 自动化安装布署与维护 112.2 运行环境 122.3 基本设计思路和解决流程 132.4 系统构造 142.4.1 大数据运算系统架构图 142.4.2 hadoop体系各组件之间关系图 142.4.3 计算平台系统功效图 152.4.4 系统功效图逻辑阐明 162.4.5 计算平台业务流程图 162.5 尚未解决的问题 173. 模块/功效设计 173.1 计算驱动模块 173.1.1 设计思路 173.1.2 流程图 193.1.3 解决逻辑 203.2 调度模块 203.2.1 设计思路 203.2.2 流程图 223.2.3 解决逻辑 233.3 自动化安装布署模块 233.3.1 设计思路 233.3.2 解决逻辑 233.4 调度模块与计算驱动模块交互流程 243.4.1 解决流程图 243.4.2 解决逻辑 243.4.3 hadoop驱动模块调用驱动接口 253.4.4 调度模块接受hadoop执行状态接口 253.5 调度模块与kettle交互流程 263.5.1 解决流程图 263.5.2 解决逻辑 273.6 对调度任务运行过程进行监控流程 273.6.1 解决流程图 273.6.2 解决逻辑 273.7 对hadoop驱动任务运行过程进行监控流程 283.7.1 解决流程图 283.7.2 解决逻辑 283.8 对操作系统/应用程序监控流程 293.8.1 解决流程图 293.8.2 解决逻辑 293.9 监控报警模块 303.9.1 设计思路 303.9.2 流程图 313.9.3 解决逻辑 314. 系统数据构造设计 324.1 数据实体关系图 324.2 数据逻辑构造 324.2.1 驱动任务设立表 324.2.2 驱动设立表 334.2.3 驱动任务执行明细表 344.2.4 调度任务表 344.2.5 调度环节表 354.2.6 调度环节执行统计表 364.2.7 操作系统监控数据表 374.2.8 应用程序监控数据表 384.2.9 监控系统配备表 384.2.10 业务数据统计表 394.3 数据物理构造 395. 安全设计 396. 容错设计 406.1 挽救方法 406.2 系统维护设计 407. 日志设计 40

引言编写目的大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领将来繁华的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一种创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发运用大数据作为夺取新一轮竞争制高点的重要抓手。互联网特别是移动互联网的发展，加紧了信息化向社会经济各方面、大众日常生活的渗入。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），是10MB，是100MB，是1GB（1GB等于1024MB），将是10GB。全网流量累计达成1EB（即10亿GB或1000PB）的时间在是一年，在是一种月，在是一周，而仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超出数千万笔交易，单日数据产生量超出50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司现在数据总量靠近1000PB，存储网页数量靠近1万亿页，每天大概要解决60亿次搜索请求，几十PB数据。一种8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB数据，一种都市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一种病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一种大数据时代正在到来。信息爆炸不自今天起，但近年来人们更加感受到大数据的来势迅猛。首先，网民数量不停增加，另首先，以物联网和家电为代表的联网设备数量增加更快。全球有5亿个设备联网，人均0.1个；全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也快速提高。全球新产生数据年增40%，即信息总量每两年就能够翻番，这一趋势还将持续。现在，单一数据集容量超出几十TB甚至数PB已不罕见，其规模大到无法在允许的时间内用常规软件工具对其内容进行抓取、管理和解决。数据规模越大，解决的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的因素。鉴于越来越大的数据规模，采用常规基于DBMS的数据分析工具和办法已经无法满足大规模数据分析的需求，现在某些大型互联网公司采用hadoop体系进行大规模数据的运算，结合hadoop体系构造与实际的运算需求结合，采用hadoop体系构造的分布式运算模型，通过集群的方式实现大数据运算，为公司提供大数据的价值。为适应大数据计算的规定，同时提供大数据运算平台的系统设计的根据，特制订计算平台的系统概要设计文档，为后期的系统具体设计和实现提供根据。术语与缩略词下列术语、定义和缩略语合用于本原则：术语与缩略词解释备注NamenodeHDFS采用master/slave架构。一种HDFS集群是由一种Namenode和一定数目的Datanodes构成。Namenode是一种中心服务器，负责管理文献系统的名字空间(namespace)以及客户端对文献的访问。Namenode执行文献系统的名字空间操作，例如打开、关闭、重命名文献或目录。它也负责拟定数据块到具体Datanode节点的映射Datanode集群中的Datanode普通是一种节点一种，负责管理它所在节点上的存储。HDFS暴露了文献系统的名字空间，顾客能够以文献的形式在上面存储数据。从内部看，一种文献其实被分成一种或多个数据块，这些块存储在一组Datanode上。Datanode负责解决文献系统客户端的读写请求。在Namenode的统一调度下进行数据块的创立、删除和复制Secondnamenode光从字面上来理解，很容易让某些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一种构成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFSmetadata的信息的备份，并减少namenode重启的时间JobtrackerJobTracker是MapReduce框架中最重要的类之一，全部job的执行都由它来调度，并且Hadoop系统中只配备一种JobTracker应用。

它们都是由一种master服务JobTracker和多个运行于多个节点的slaver服务TaskTracker两个类提供的服务调度的。master负责调度job的每一种子任务task运行于slave上，并监控它们，如果发现有失败的task就重新运行它，slave则负责直接执行每一种taskTaskTrackerTaskTracker都需要运行在HDFS的DataNode上，而JobTracker则不需要，普通状况应当把JobTracker布署在单独的机器上HBaseHBase是一种分布式的、面对列的开源数据库，该技术来源于Changetal所撰写的Google论文“Bigtable：一种构造化数据的分布式存储系统”。就像Bigtable运用了Google文献系统（FileSystem）所提供的分布式数据存储同样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于普通的关系数据库，它是一种适合于非构造化数据存储的数据库。另一种不同的是HBase基于列的而不是基于行的模式。Hivehive是基于Hadoop的一种数据仓库工具，能够将构造化的数据文献映射为一张数据库表，并提供完整的sql查询功效，能够将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，能够通过类SQL语句快速实现简朴的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。StormStorm为分布式实时计算提供了一组通用原语，可被用于“流解决”之中，实时解决消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm也可被用于“持续计算”（continuouscomputation），对数据流做持续查询，在计算时就将成果以流的形式输出给顾客。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。FlumeFlume是Cloudera提供的一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简朴解决，并写到多种数据接受方（可定制）的能力。ETLETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，顾客从数据源抽取出所需的数据，通过数据清洗,最后按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。KettleKettle是一款国外开源的ETL工具，纯java编写，能够在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。MySQLMySQL是一种开放源码的小型关联式数据库管理系统，开发者为瑞典MySQLAB公司。现在MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，特别是开放源码这一特点，许多中小型网站为了减少网站总体拥有成本而选择了MySQL作为网站数据库。MongoDBMongoDB是一种介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功效最丰富，最像关系数据库的。他支持的数据构造非常松散，是类似json的bson格式，因此能够存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面对对象的查询语言，几乎能够实现类似关系数据库单表查询的绝大部分功效，并且还支持对数据建立索引。对象及范畴1、开发人员、DBA、测试人员；2、研发主管领导、产品人员；参考资料1、《大数据解决体系架构》2、《HBaseTheDefinitiveGuide》3、《The.Definitive.Guide.3rd.Edition.May.》4、《Programming_Hive》系统总体设计需求规定运行环境操作系统：RedHadEnterprise5.5软件环境：Java1.6Hadoop-1.0.4HBase-0.94.9Hive-0.10.0sqoop-1.4.2zookeeper-3.4.5Kettle4.3MySQL5.1硬件环境：8核16G内存PC服务器8台基本设计思路和解决流程1、按照数据分析的实时性，分为在线数据分析和离线数据分析。2、在线数据分析：往往规定系统在数秒内返回上亿行数据的分析，从而才干达成不影响顾客体验的目的。3、离线数据分析：对大多数反馈时间规定不高的应用，例如离线统计分析、机器学习等，应采用离线分析的方式，通过数据采集工具将日志数据导入专门的分析平台进行分析。4、系统重要以离线数据分析为主，采用现在在互联网业界流行的hadoop体系构造对大批量的数据进行运算，采用hadoop集群的方式对大数据进行运算。5、数据运算平台以调度为根本，作为运算平台的核心控制系统，对运算平台的各个环节进行控制，且对运算过程中的环节依赖关系进行控制，同时对各个环节进行监控，通过监控异常报警来提高系统的稳定性和异常响应速度。系统构造大数据运算系统架构图日志存储日志存储统计分析数据应用Hadoop(HDFS、HBASE)在线计算：Storm流计算框架离线计算：Hadoop(Map/Reduce、Hive、pig)日志采集日志采集系统Flume数据服务数据提取，报表呈现，功效、网页展示……统计、分析数据存储，数据接口MongoDB、MySql大数据平台系统功效图系统功效图逻辑阐明生产系统的源数据通过sqoop，flume，Kettle等获取后保存在Kafka消息队列中或者保存到hadoop的hdfs系统中。调度系统负责本身的控制功效，通过读取调度控制的配备信息调用驱动代理程序解决有关的运算功效。驱动代理程序负责全部基于运算平台的有关组件的驱动任务，读取调度系统传递过来的模版信息，读取模版信息，并执行对应的驱动操作。系统管理功效部分完毕系统有关配备，管理等有关信息的维护操作。监控系统对整个系统的运行状况进行监控，由各个业务子系统按照监控系统的规定实现对应的监控功效。大数据平台功效构造图大数据平台功效构造图阐明：1）大数据平台功效构造重要划分为计算平台，应用平台，系统管理以及监控，配备等有关应用功效。2）计算平台分为基础运算部分，模版管理部分，驱动代理部分，系统调度部分。3）计算平台分为离线计算与实时计算两种形式。4）计算平台基于模版的功效开发，实际应用中做到模版的热插拔，对于功效需求只需要开发对应的模版，并布署上计算平台即可应用。5）驱动代理程序管理全部的基于大数据运算的有关组件的代理功效，对外提供应调度系统应用，调用模版设立的对应的类型，进行对应类型的驱动操作。6）调度系统只关心其本身的系统控制能力，不参加具体的业务以及计算功效组件的调用。尚未解决的问题无模块/功效设计调度模块设计思路一：调度模块实现功效思路二：流程阐明以及注意事项：任务与环节采用配备表的方式保存在mysql中，调度程序定时扫描任务表，判断与否有启动的任务，如果有启动的任务，则启动任务。调度任务需要判断任务中环节之间的依赖关系，根据依赖关系判断与否能够执行下一步的执行环节。一种任务中能够包含多个环节，每个环节为一种具体的任务，环节与环节直接存在依赖关系。对于具体的执行任务将由驱动代理自动完毕。流程图解决逻辑1、调度任务启动后扫描任务配备表，看任务配备表与否存在需要解决的任务信息，如果不存在需要解决的任务信息，则线程执行休眠，否则执行环节2；2、生成数据日期，并检查任务依赖关系，如果依赖关系未执行完，则现成等待操作，等待依赖的任务执行完毕，如果依赖关系都执行完，则获取符合条件的任务，执行环节3：3、读取任务信息表，获取任务信息，根据任务信息读取环节信息，执行对应的环节操作，执行环节4；4、根据环节信息的配备获取需要执行的对应的模版信息，调用驱动代理程序执行对应的功效，执行环节5；5、驱动代理程序执行模版初始化，初始化完毕后获取对应的参数数据，并根据模版类型选择具体的驱动程序，执行对应的操作。6、判断该任务的下环节与否执行完毕，如果未执行完毕，则执行环节3，继续下一种环节的执行，否则执行环节7；7、写环节完毕信息表，判断与否还存在要执行的任务，如果没有等待，存在需要执行的任务则执行环节3.驱动代理模块设计思路一：计算驱动模块实现功效思路二：流程阐明以及注意事项：1、计算平台的驱动提供针对Hive，MapReduce，Hbase等有关的驱动应用。2、基于业务模版的设立操作，调度执行业务模版，不关心模版具体业务形态。3、一种驱动应用包含四个环节：1）删除不用的数据；2）加载数据；3）运算；4）导出成果文献。4、提供监控需要的对应信息。5、对于文献的操作，会涉及到多个文献或者目录操作，多个文献或者目录以逗号分隔，对文献操作中涉及到某些按照小时，天，月份的文献命名的操作，配备中以特殊字符进行替代。流程图解决逻辑1、由调度程序驱动代理模块，调用驱动代理模块的驱动应用，传递需要驱动的模版编号，解决时间范畴等有关信息，执行流程2；2、驱动程序首先查询与否存在该模版，如果不存在模版，、则执行流程3，否则执行流程4；3、则直接返回任务失败信息，不存在有关的模版，整个流程结束；4、如果查询到有关的模版信息，先执行初始化模版信息以及需要删除的中间文献，多个文献以逗号分割，如果为空则表达不需要清理中间文献，执行流程5；5、清理hive表数据操作，多个hive语句以逗号分割，如果为空则表达不需要进行分割，执行流程66、判断该操作是hive驱动mapreduce还是自定义的mapreduce，如果是自定义的mapreduce则走自定义的mapreduce操作，执行流程7，否则如果是hive驱动的mapreduce，则走hive操作流程，否则执行流程8；7、如果mapreduce的操作流程，第一步执行加载文本文献数据，多个文本文献以逗号进行分割，第二步执行mapreduce操作，通过shell脚本的方式执行mapreduce操作，第三步执行完后将成果输出。8、如果是hive的操作流程，第一步先执行加载文本文献到hive表，如果有多个文献操作一逗号分割，第二步执行hive语句，多个hive语句以逗号分割的方式，第三步将成果输出到对应的hive表中。9、根据设立导出的方式，将成果文献导出到mysql，或者mongodb，或者直接将文本文献从hdfs文献系统中导出。对操作系统/应用程序监控流程解决流程图解决逻辑1、读取监控服务器列表，判断与否需要监控，如果需要监控，则执行环节2，如果不需要监控，执行环节5；2、监控模块向监控服务器发送监控请求，等到被监控服务器的返回，执行环节3；3、被监控服务器接受到请求监控信息后，将有关的信息返回给监控模块，执行环节4；4、监控服务器将返回的数据进行解析后入库，执行环节5；5、判断被监控服务器与否都请求完毕，如果请求完毕，则执行环节6，否则执行环节1；6、监控模块线程休眠10分钟，等待下次进行监控，执行环节1.监控报警模块设计思路一：监控模块实现功效思路二：流程阐明以及注意事项：1、监控报警模块重要完毕三个级别的监控报警，分为：1）操作系统级别，检测运行的机器的操作系统与否正常运行，CPU，内存，I/O，存储等资源的运用状况，采用Linux的Shell脚本对有关的信息进行收集并上报；2）应用程序级别监控，检测kettle，hadoop，hive，hbase，zookeeper等有关程序与否正常启动，以及应用程序的有关资源的监控。3）程序数据级别的监控，对数据状况进行监控，重要是数据异常的监控。2、监控模块重要负责监控数据的采集，数据异常报警，以及后期的监控数据展示等功效。3、对于系统级别和应用程序级别的监控数据采集采用由监控模块主动调用对应的应用接口的方式采集数据，对于应用数据级别的监控则由各个应用将有关的数据写入到数据库表，由监控系统对其进行扫描。4、监控模块的报警机制支持优先级报警模式，对于优先级较高，需要紧急解决的报警，需要不间断的进行报警，但需要设立报警的频率，如10分钟重复一次。5、监控的报警模式采用邮件监控的方式，辅助以短信提示的方式。流程图解决逻辑1、监控报警启动采用启动启动的方式进行，当监控报警线程启动后判断与否达成监控时间点，如果未达成监控时间点，则线程休眠1分钟后再次进行判断，如果达成监控时间点则执行环节2。2、读取需要监控任务列表，得到需要监控的任务，执行环节3。3、对监控任务的源数据进行扫描，判断与否存在异常，如果存在异常则保存监控异常数据，执行环节4，否则执行环节1。4、判断监控列表与否都执行完，如果执行完，对于异常状况以邮件的方式告知有关人，否则执行环节3。系统数据构造设计数据实体关系图具体图例见附件数据逻辑构造调度任务表字段阐明数据类型与否为空主键备注TaskId任务IDint否是主键,自增加IDTaskName任务名称Varchar(255)否TaskDesc任务描述Varchar(500)是Priority优先级int是数值1~10值越大优先级越高,默认5CycleType周期类型int否0.执行一次1.分钟2.小时3.天4.月Interval频次间隔Int是整数PlanRunTime预期执行时长Int是单位：分钟LastRunDate最后执行日期int否0101Status任务状态int否0.正常1.暂停CreateUser创立人Varchar(255)否CreateTime创立时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是调度环节表字段阐明数据类型与否为空主键备注StepId环节IDint否是主键,自增加IDTaskId任务IDint否“任务表”主键StepSort执行次序int否相似则表达并行StepName环节名称Varchar(255)否TemplateID模板IDInt否PlanRunTime预期执行时长Int是单位：分钟CreateUser创立人Varchar(255)否CreateTime创立时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是调度任务依赖表字段阐明数据类型与否为空主键备注TaskId任务IDint否FatherId父任务IDint否调度任务运行日志表字段阐明数据类型与否为空主键备注SerialId统计IDInt否是主键，自增加IDTaskDate任务日期Int否TaskId任务IDInt否“任务表”主键Status任务状态Int否0.初始化1执行中2.已完毕-99.执行错误RetryTimes重试次数IntBeginTime开始执行时间Date是EndTime结束执行时间Date是CreateTime创立时间Date否ModifyTime修改时间Date是调度环节运行日志表字段阐明数据类型与否为空主键备注SerialId统计IDInt否是主键，自增加IDTaskDate环节日期Int否TaskId任务IDInt否“任务表”主键StepId环节IDInt否“环节表”主键StepSort环节序号int否Status环节状态Int否0.初始化1.执行中2.已完毕-99.执行错误RetryTimes重试次数IntBeginTime开始执行时间Date是EndTime结束执行时间Date是CreateTime创立时间Date否ModifyTime修改时间Date是调度环节运行错误日志表字段阐明数据类型与否为空主键备注SerialId统计IDInt否是主键，自增加IDTaskDate任务日期Int否TaskId任务IDInt否StepId环节IDInt否ErrorInfo错误信息Varchar(4000)否InsertTime统计时间Date是系统资源表字段阐明数据类型与否为空主键备注ResourceId资源IDInt否是主键，自增加IDCpuInfoCpu信息Varchar(4000)是MemoryInfo内存信息Varchar(4000)是DiskInfo硬盘信息Varchar(4000)是CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否服务器机器表字段阐明数据类型与否为空主键备注MachineId机型IDInt否是主键，自增加IDCpuInfoCpu信息Varchar(4000)是MemoryInfo内存信息Varchar(4000)是DiskInfo硬盘信息Varchar(4000)是CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否服务器信息表字段阐明数据类型与否为空主键备注ServerId服务器IDInt否是主键，自增加IDServerName服务器名称Varchar(256)是ServerIp服务器IPVarchar(256)是CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否系统管理信息表字段阐明数据类型与否为空主键备注SystemId服务器IDInt否是主键，自增加IDMachineId机型IDInt否ResourceId资源IDInt否ServerId服务器IDInt否CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否集群信息表字段阐明数据类型与否为空主键备注ClusterId集群IDInt否是主键，自增加IDClusterName集群名称Varchar(256)是ClusterPath集群配备目录Varchar(256)是Remark集群配备备注Varchar(256)是CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否集群列表字段阐明数据类型与否为空主键备注ListId集群列表IDInt否是主键，自增加IDClusterId集群IDInt否ServerId服务器IDInt否CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否系统配备表字段阐明数据类型与否为空主键备注ConfigId系统配备IDInt否是主键，自增加IDConfigName配备名称Varchar(256)否ConfigValue配备信息Varchar(256)否ClusterId集群IDInt否CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否Hadoop参数配备表字段阐明数据类型与否为空主键备注ConfigId系统配备IDInt否是主键，自增加IDConfigName配备名称Varchar(256)否ConfigValue配备信息Varchar(256)否ClusterId集群IDInt否CreateTime统计创立时间date否CreateName统计创立人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否Jar配备表字段阐明数据类型与否为空主键备注ConfigId系统配备IDInt否是主键，自增加IDConfigName配备名称Varchar(256)否ConfigVal