大数据体系架构及其应用介绍课件

大数据体系架构及其应用介绍大数据体系架构11大数据的基本概念和核心问题2大数据的核心体系架构3大数据的应用目录1大数据的基本概念和核心问题2大数据的核心体系架构3大数据的21CHAPTER大数据的基本概念和核心问题1CHAPTER大数据的基本概念和核心问题3大数据的基本概念和核心问题1什么是大数据？及其要解决的核心问题什么是数据仓库？OLTP和OLAP大数据的理论基础大数据的基本概念和核心问题1什么是大数据？及其要解决的核心问4什么是大数据？及其要解决的核心问题大数据（BigData），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。核心问题：数据的存储数据的计算1什么是大数据？及其要解决的核心问题大数据（BigData）5大数据的5个特征（IBM提出）Volume大量Variety多样Velocity高速Value价值Veracity真实性1大数据的5个特征（IBM提出）Volume大量Variety6什么是数据仓库？数据仓库英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。1数据仓库Hadoop、Spark都可以看成是数据仓库的一种实现方式。什么是数据仓库？数据仓库英文名称为DataWarehous7如果没有数据仓库？1业务源数据客户销售点员工订单库存财务商业用途财务系统客户管理销售管理产品服务运营不一致的报表数据不准确维护成本高缺乏汇总报表重复工作报表创建慢如果没有数据仓库？1业务源数据客户销售点员工订单库存财务商业8具备了数据仓库1业务源数据客户销售点员工订单库存财务商业用途财务系统客户管理销售管理产品服务运营一致性报表重用业务源中抽取的数据成本效益高的报表支持所有源和报表类型可扩展性具备了数据仓库1业务源数据客户销售点员工订单库存财务商业用途9OLTP和OLAPOn-LineTransactionProcessing（联机事务处理过程）也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。On-LineAnalyticProcessing（联机分析处理过程）OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型案例：商品推荐。1OLTP和OLAPOn-LineTransactionP10大数据的理论基础一分布式文件系统（DistributedFileSystem）：当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分布式存储到若干台单独的计算机上。管理网络中夸多台计算机存储的文件系统。这种系统构架于网络之上，肯定会引入网络编程的复杂性，因此它比普通的磁盘文件系统更为复杂。GoogleFileSystem：是由Google开发并设计的一个面向大规模数据处理的一个分布式文件系统。为了满足Google日益增长的数据存储和数据处理需求，Google设计并实现了GFS。它是有几百甚至几千台普通的廉价PC机组成。1大数据的理论基础一分布式文件系统（DistributedF11分布式文件系统的典型架构：HDFS1NameNodeDataNode存储元数据存储文件内容元数据保存在内存中文件内容保存在磁盘保存文件，block,datanode之间的映射关系维护了blockid到datanode本地文件的映射关系分布式文件系统的典型架构：HDFS1NameNodeData12大数据的理论基础二Google在其发展的过程中，遇到了PageRank的问题。即：网页搜索排名。过去的排序算法是比如使用网页名字，关键词出现的次数，人工等方法，但是这种方法一方面搜索结果不准确，另一方面搜索结果容易被人为因素影响。所以，PageRank应运而生。PageRank算法计算每一个网页的PageRank值，然后根据这个值的大小对网页的重要性进行排序。它的思想是模拟一个悠闲的上网者，上网者首先随机选择一个网页打开，然后在这个网页上呆了几分钟后，跳转到该网页。网页当中所指向的链接，这样毫无目地在网页上跳来跳去，PageRank算法提出就是估计这个悠闲上网者分布在各个网页上的概率。1大数据的理论基础二Google在其发展的过程中，遇到了Pag13PageRank模型如下:1AABCDA→B、C、DB→A、DC→AD→B、CPageRank模型如下:1AABCDA→B、C、D14大数据典型应用场景一：零售商品大数据1

有一位父亲怒气冲冲地跑到塔吉特卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿?然而后来证实，他的女儿果真怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她的怀孕信息。模型发现，许多孕妇在第2个妊娠期的开始会买许多大包装的无香味护手霜；在怀孕的最初20周大量购买补充钙、镁、锌的善存片之类的保健品。最后塔吉特选出了25种典型商品的消费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优惠广告寄发给顾客。大数据典型应用场景一：零售商品大数据1有一位父15大数据典型应用场景二：交通大数据1

UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。大数据典型应用场景二：交通大数据1UPS最新的162CHAPTER大数据的核心体系架构2CHAPTER大数据的核心体系架构17Hadoop的体系架构及其生态组件2Hadoop的体系架构及其生态组件218Yarn：Hadoop的资源和任务管理器YARN（另一种资源协调者，YetAnotherResourceNegotiator）是一种新的Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它是一个通用资源管理系统，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN的基本思想是主要方法是创建一个全局的资源管理器和若干个针对应用程序的应用程序管理器，将JobTracker的两个主要功能（资源管理和作业调度/监控）分离。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。该框架是hadoop2.x以后对hadoop1.x之前JobTracker和TaskTracker模型的优化，将JobTracker的资源分配和作业调度及监督分开。该框架主要有资源管理器，应用程序管理器，节点管理器。2Yarn：Hadoop的资源和任务管理器YARN（另一种资19源自Google的Bigtable论文，发表于2006年11月，传统的关系型数据库是对面向行的数据库。HBase是GoogleBigtable克隆版，HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。HBase：基于HDFS的NoSQL数据库2源自Google的Bigtable论文，发表于20Spark：大数据处理引擎Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。2Spark：大数据处理引擎Spark是专为大规21Flink：新一代大数据处理引擎2Flink：新一代大数据处理引擎2223CHAPTER项目实施计划3CHAPTER项目实施计划23大数据平台BDP简介数据应用数据直通车（Plumber）数据处理MapReduceSparkYarn数据存储HDFS数据防火墙UDFHiveShark数据访问统一查询引擎数据缓存三峡（多维分析查询）Hbase索引元数据服务汉江（实时计算）分布式消息队列实时计算集群长江（实时抽取）实时数据拉链实时数据镜像3结构化非结构化内部/外部数据源大数据平台BDP简介数据应用数据直通车（Plumber）数据24

为东海提供大数据基础服务、数据分析及展现、数据应用、人工智能等产品和服务。大数据生态体系为东海下游40个业务集市的12000多位数据分析人员、数据开发人员提供360度的数据产品。包括：数据接入产品、数据调度产品、算法产品、AI产品等。为东海12000个数据分析人员提供数据产品东海白条、东海智能、东海云、东海开普勒、东海数据罗盘、精准通、精准选品、数立方、MK