大数据基础技术概述2

大数据基础技术概述日期：一月23杭州华三通信技术有限公司夏飞03621

大数据基础技术概述大数据处理的基本流程大数据关键技术Hadoop介绍流计算介绍图计算介绍NoSQL介绍大数据面临的其他问题大数据处理的基本流程整个大数据的处理流程可以定义为：在合适工具的辅助下，对广泛异构的数据源进行抽取和集成，结果按照一定的标准进行统一存储，并利用合适的数据分析技术对存储的数据进行分析，从中提取有益的知识并利用恰当的方式将结果展现给终端用户。具体来说，可以分为数据抽取与集成、数据分析以及数据解释。数据抽取与集成

大数据的一个重要特点就是多样性，这就意味着数据来源极其广泛，数据类型极为繁杂。这种复杂的数据环境给大数据的处理带来极大的挑战。要想处理大数据，首先必须对所需数据源的数据进行抽取和集成，从中提取出关系和实体，经过关联和聚合之后采用统一定义的结构来存储这些数据。在数据集成和提取时需要对数据进行清洗，保证数据质量及可信性。现有的数据抽取与集成方式可以大致分为以下四种类型：数据整合、数据联邦、数据传播和混合方法等。

(1)数据整合（DataConsolidation）：不同数据源的数据被物理地集成到数据目标。利用ETL工具把数据源中的数据批量地加载到数据仓库，就属于数据整合的方式。

（2）数据联邦（DataFederation）：在多个数据源的基础上建立一个统一的逻辑视图，对外界应用屏蔽数据在各个数据源的分布细节。对于这些应用而言，只有一个统一的数据访问入口，但是实际上，被请求的数据只是逻辑意义上的集中，在物理上仍然分布在各个数据源中，只有被请求时，才临时从不同数据源获取相关数据，进行集成后提交给数据请求者。当数据整合方式代价太大或者为了满足一些突发的实时数据需求时，可以考虑采用数据联邦的方式建立企业范围内的全局统一数据视图。

（3）数据传播（DataPropagation）：数据在多个应用之间的传播。比如，在企业应用集成（EAI）解决方案中，不同应用之间可以通过传播消息进行交互。

（4）混合方式（AHybridApproach）：在这种方式中，对于那些不同应用都使用的数据采用数据整合的方式进行集成，而对那些只有特定应用才使用的数据则采用数据联邦的方式进行集成。

数据分析传统的分析技术如数据挖掘、机器学习、统计分析等在大数据时代需要做出调整，因为这些技术在大数据时代面临着一些新的挑战，主要有：数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多大数据时代的算法需要进行调整（邦弗朗尼原理）数据结果好坏的衡量

数据解释数据分析是大数据处理的核心，但是用户往往更关心结果的展示。如果分析的结果正确但是没有采用适当的解释方法，则所得到的结果很可能让用户难以理解，极端情况下甚至会误导用户。大数据时代的数据分析结果往往也是海量的，同时结果之间的关联关系极其复杂，采用传统的解释方法基本不可行可以考虑从下面两个方面提升数据解释能力：

--引入可视化技术

--让用户能够在一定程度上了解和参与具体的分析过程

大数据基础技术概述大数据处理的基本流程大数据关键技术Hadoop介绍流计算介绍图计算介绍NoSQL介绍大数据面临的其他问题大数据技术分类分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案,内存数据库等存储计算应用MapReduce流计算图计算………HIVE,pig,mahout，Sqoop以及ETL工具，统计与报告工具等Google的技术演进 Google于2006年首先提出了云计算的概念，并研发了一系列云计算技术和工具。难能可贵的是Google并未将这些技术完全封闭，而是以论文的形式逐步公开其实现。正是这些公开的论文，使得以GFS、MapReduce、Bigtable为代表的一系列大数据处理技术被广泛了解并得到应用，同时还催生出以Hadoop为代表的一系列云计算开源工具。下图展示了Google的技术演化过程：

大数据处理工具 Hadoop是目前最为流行的大数据处理平台。除了Hadoop，还有很多针对大数据的处理工具。这些工具有些是完整的处理平台，有些则是专门针对特定的大数据处理应用。下表归纳总结了现今一些主流的处理平台和工具。

大数数据据基基础础技技术术概概述述大数数据据处处理理的的基基本本流流程程大数数据据关关键键技技术术Hadoop介绍绍流计计算算介介绍绍图计计算算介介绍绍NoSQL介绍绍大数数据据面面临临的的其其他他问问题题Hadoop简介介Hadoop一个个分分布布式式系系统统基基础础架架构构，，由由Apache基金金会会开开发发。Hadoop是一一个个开开源源的的可可运运行行于于大大规规模模集集群群上上的的分分布布式式并并行行编编程程框框架架，，借借助助于于Hadoop，程程序序员员可可以以轻轻松松地地编编写写分分布布式式并并行行程程序序，，将将其其运运行行于于计计算算机机集集群群上上，，完完成成海海量量数数据据的的计计算算。Hadoop已经经发发展展成成为为目目前前最最流流行行的的大大数数据据处处理理平平台台Hadoop的作作用用和和功功能能Hadoop采用用了了分分布布式式存存储储方方式式，，提提高高了了读读写写速速度度，，并并扩扩大大了了存存储储容容量量。。采采用用MapReduce来整整合合分分布布式式文文件件系系统统上上的的数数据据，，可可保保证证分分析析和和处处理理数数据据的的高高效效。。与与此此同同时时，，Hadoop还采采用用存存储储冗冗余余数数据据的的方方式式保保证证了了数数据据的的安安全全性性。Hadoop中HDFS的高高容容错错特特性性，，以以及及它它是是基基于于Java语言言开开发发的的，，这这使使得得Hadoop可以以部部署署在在低低廉廉的的计计算算机机集集群群中中，，同同时时不不限限于于某某个个操操作作系系统统。。Hadoop中HDFS的数数据据管管理理能能力力，，MapReduce处理理任任务务时时的的高高效效率率，，以以及及它它的的开开源源特特性性，，使使其其在在同同类类的的分分布布式式系系统统中中大大放放异异彩彩，，并并在在众众多多行行业业和和科科研研领领域域中中被被广广泛泛采采用用。。Hadoop的优优点点可扩扩展展：：不不论论是是存存储储的的可可扩扩展展还还是是计计算算的的可可扩扩展展都都是是Hadoop的设设计计根根本本。经济济：：框框架架可可以以运运行行在在任任何何普普通通的的PC上。可靠靠：：分分布布式式文文件件系系统统的的备备份份恢恢复复机机制制以以及及MapReduce的任任务务监监控控保保证证了了分分布布式式处处理理的的可可靠靠性性。。（（元元数数据据磁磁盘盘错错误误，，心心跳跳测测试试，，副副本本数））高效效：：分分布布式式文文件件系系统统的的高高效效数数据据交交互互实实现现以以及及MapReduce结合合LocalData处理理的的模模式式，，为为高高效效处处理理海海量量的的信信息息作作了了基基础础准准备备。。Hadoop生态态系系统统Hadoop生态态系系统统Avro用于于数数据据序序列列化化的的系系统统；HDFS是一一种种分分布布式式文文件件系系统统，，运运行行于于大大型型商商用用机机集集群群，，HDFS为HBase提供供了了高高可可靠靠性性的的底底层层存存储储支支持持；；HBase位于于结结构构化化存存储储层层，，是是一一个个分分布布式式的的列列存存储储数数据据库库；；MapReduce是一一种种分分布布式式数数据据处处理理模模式式和和执执行行环环境境，，为为HBase提供供了了高高性性能能的的计计算算能能力力；；Zookeeper是一一个个分分布布式式的的、、高高可可用用性性的的协协调调服服务务，，提提供供分分布布式式锁锁之之类类的的基基本本服服务务，，用用于于构构建建分分布布式式应应用用，，为为HBase提供供了了稳稳定定服服务务和和failover机制制；；Hive是一一个个建建立立在在Hadoop基础础之之上上的的数数据据仓仓库库，，它它提提供供了了一一些些用用于于数数据据整整理理、、特特殊殊查查询询和和分分析析存存储储在在Hadoop文件件中中的的数数据据集集的的工工具具；；Pig是一一种种数数据据流流语语言言和和运运行行环环境境，，用用以以检检索索非非常常大大的的数数据据集集，，大大大大简简化化了了Hadoop常见见的的工工作作任任务务；；Sqoop为HBase提供供了了方方便便的的RDBMS数据据导导入入功功能能，，使使得得传传统统数数据据库库数数据据向向HBase中迁迁移移变变的的非非常常方方便便。。Hadoop的新新发发展展Google后Hadoop时代代的的新新““三三驾驾马马车车””———Caffeine、Pregel、Dremel在2010年，，Google搜索索引引擎擎发发生生了了重重大大变变革革。。Google将其其搜搜索索迁迁移移到到新新的的软软件件平平台台，，他他们们称称之之为为““Caffeine””（bigtable）。。Pregel主要要绘绘制制大大量量网网上上信信息息之之间间关关系系的的““图图形形数数据据库库”Dremel可以以在在极极快快的的速速度度处处理理网网络络规规模模的的海海量量数数据据。。据据Google提交交的的文文件件显显示示你你可可以以在在几几秒秒的的时时间间处处理理PB级的的数数据据查查询询。。大数数据据基基础础技技术术概概述述大数数据据处处理理的的基基本本流流程程大数数据据关关键键技技术术Hadoop介绍绍流计算介介绍图计算介介绍NoSQL介绍大数据面面临的其其他问题题什么是流流计算流计算来来自于一一个信念念：数据的价价值随着着时间的的流逝而而降低，，所以事事件出现现后必须须尽快地地对它们们进行处处理，最最好数据据出现时时便立刻刻对其进进行处理理，发生生一个事事件进行行一次处处理，而而不是缓缓存起来来成一批批再处理理。流计算的的概念：：流计算是是针对流流式数据据的实时时计算。。流式数据据（流数数据）：：是指将将数据看看作数据据流的形形式来处处理。数数据流是是在时间间分布和和数量上上无限的的一系列列动态数数据集合合体；数数据记录录是数据据流的最最小组成成单元。。流数据具具有数据据实时持持续不断断到达、、到达次次序独立立、数据据来源众众多格式式复杂、、数据规规模大且且不十分分关注存存储、注注重数据据的整体体价值而而不关注注个别数数据等特特点。流计算的的应用场场景流计算是是针对流流数据的的实时计计算，其其主要应应用在于于产生大大量流数数据、同同时对实实时性要要求高的的领域。。流计算一一方面可可应用于于处理金金融服务务如股票票交易、、银行交交易等产产生的大大量实时时数据。。另一方面面流计算算主要应应用于各各种实时时Web服务中，，如搜索索引擎、、购物网网站的实实时广告告推荐，，SNS社交类网网站的实实时个性性化内容容推荐，，大型网网站、网网店的实实时用户户访问情情况分析析等。流计算与与Hadoop流计算与与其他大数数据解决决方案的的不同之之处在于于它的处处理方式式:Hadoop在本质上上是一个个批处理理系统。。数据被被引入Hadoop文件系统统(HDFS)并分发到到各个节节点进行行处理。。当处理理完成时时，结果果数据返返回到HDFS供始发者者使用。。流计算支持创建拓拓扑结构构来转换换没有终终点的数数据流。。不同于于Hadoop作业，这这些转换换从不停停止，它它们会持持续处理理到达的的数据。。为了支持持流式处处理，MapReduce需要被改改造成Pipeline的模式，，而不是是reduce直接输出出；考虑虑到效率率，中间间结果最最好只保保存在内内存中等等等。这这些改动动使得原原有的MapReduce框架的复复杂度大大大增加加，不利利于系统统的维护护和扩展展。用户被迫迫使用MapReduce的接口来来定义流流式作业业，这使使得用户户程序的的可伸缩缩性降低低。流计算模模型流计算实实现了一种种数据流流模型，，其中数数据持续续地流经经一个转转换实体体网络。。一个数数据流的的抽象称称为一个个流，这这是一个个无限的的元组序序列。元元组就像像一种使使用一些些附加的的序列化化代码来来表示标标准数据据类型（（比如整整数、浮浮点和字字节数组组）或用用户定义义类型的的结构。。每个流流由一个个惟一ID定义，这个ID可用于构建建数据源源和接收收器(sink)的拓扑结结构。流流起源于于喷嘴，，喷嘴将将数据从从外部来来源流入入流计算拓拓扑结构中中。接收收器（或或提供转转换的实实体）称称为螺栓栓使用流计计算为词词频轻松松地实现现MapReduce功能。如如图中所所示，喷喷嘴生成成文本数数据流，，螺栓实实现Map功能（令令牌化一一个流的的各个单单词）。。来自““map””螺栓的流流然后流流入一个个实现Reduce功能的螺螺栓中（（以将单单词聚合合到总数数中）。。流计算产产品Yahoo的S4S4是一个通通用的、、分布式式的、可可扩展的的、分区区容错的的、可插插拔的流流式系统统，Yahoo！开发S4系统，主主要是为为了解决决：搜索索广告的的展现、、处理用用户的点点击反馈馈。Twitter的stormTwitter的storm：Storm是一个分分布式的的、容错错的实时时计算系系统。Storm用途：可可用于处处理消息息和更新新数据库库（流处处理），，在数据据流上进进行持续续查询，，并以流流的形式式返回结结果到客客户端（（持续计计算），，并行化化一个类类似实时时查询的的热点查查询（分分布式的的RPC）。流计算产产品Items\ProjectsYahoo!s4TwitterStorm协议Apachelicense2.0EclipsePublicLicense1.0开发语言JavaClojure,Java,Clojure编写了核心代码结构去中心化的对等结构有中心节点nimbus，但非关键通信可插拔的通讯层，目前是基于UDP的实现基于facebook开源的thrift框架事件/Stream<K,A>序列，用户可自定义事件类提供Tuple类，用户不可自定义事件类，但是可以命名field和注册序列化器处理单元ProcessingElements，内置PE处理Bolt，没有内置任务，提供IBasicBolt处理count,join和aggregate等常见任务自动ack第三方交互提供API,ClientAdapter/Driver，第三方客户端输入或者输出事件定义Spout用于产生Stream，没有标准输出API持久化提供PersistAPI规范，可根据频率或者次数做持久化无特定API，用户可自行选择处理可靠处理无，可能会丢失事件提供对事件处理的可靠保证（可选）多语言支持暂时只支持Java多语言支持良好，本身支持Java,Clojure，其他非JVM语言通过thrift和进程间通讯Failover部分支持，数据无法failover部分支持，数据同样无法failoverLoadBalance不支持不支持并行处理取决于节点数目，不可调节可配置worker和task数目，storm会尽量将worker和task均匀分布动态增删节点不支持支持动态部署不支持支持web管理不支持支持代码成熟度半成品成熟活跃度低活跃编程编程+XML配置纯编程大数据基基础技术术概述大数据处处理的基基本流程程大数据关关键技术术Hadoop介绍流计算介介绍图计算介介绍NoSQL介绍大数据面面临的其其他问题题图计算遇遇到的问问题大型图（像像社交网网络和网网络图等等）常常常作为现现在系统统计算需需要的一一部分。。现在存存在许多多图计算算问题像像最短路路径、集集群、网网页排名名、最小小切割、、连通分分支等等等，但还还没有一一个可扩扩展的通通用系统统来解决决这些问问题。解决这些问问题的算算法的特特点：它它们常常常表现为为比较差差的内存存访问局局部性、、针对单单个顶点点的处理理工作过过少、以以及计算算过程中中伴随着着的并行行度的改改变等问问题。可能的解决决方法：：1、为特定定的图应应用定制制相应的的分布式式实现2、基于现现有的分分布式计计算平台台3、使用单单机的图图算法库库——如BGL，LEAD，NetworkX，JDSL，Standford，GraphBase，FGL等4、使用已已有的并并行图计计算系统统——如ParallelBGL，CGMgraph等图计算通通用软件件正是因为传传统的图图计算解解决方案案无法解解决大型型图的计计算问题题，因此此，就需需要设计计能够用用来解决决这些问问题的通通用图计计算软件件。针对大型图图的计算算，目前前通用的的图处理理软件主主要包括括两种：第一种主要要是基于于遍历算算法和实实时的图图数据库库，如Neo4j、OrientDB、DEX和InfiniteGraph。第二种则是是以图顶顶点为中中心的消消息传递递批处理理的并行行引擎，，如Hama、GoldenOrb、Giraph和Pregel。Tinkerpop下图为Tinkerpor框架图，，各层功功能见下下面的备备注BSP模型以图顶点点为中心心的消息息传递批批处理的的并行引引擎主要要是基于于BSP(BulkSynchronousParallel)模型所实实现的并并行图处处理包。。BSP是由哈佛佛大学Viliant和牛津大大学BillMcColl提出的并并行计算算模型。。一个BSP模型由大大量相互互关联的的处理器器(processor)所组成，，它们之之间形成成了一个个通信网网络。每每个处理理器都有有快速的的本地内内存和不不同的计计算线程程。一次次BSP计算过程程由一系系列全局局超步组组成，超超步就是是计算中中一次迭迭代。每每个超步步主要包包括三个个组件：：1、并发计计算(Concurrentcomputation)：每个参参与的处处理器都都有自身身的计算算任务，，它们只只读取存存储在本本地内存存的值。。这些计计算都是是异步并并且独立立的。2、通讯(Communication):处理器群群相互交交换数据据，交换换的形式式：由一一方发起起推送(put)和获取(get)操作。3、栅栏同同步(Barriersynchronisation):当一个处处理器遇遇到路障障，会等等到其他他所有处处理器完完成它们们的计算算步骤。。每一次次同步也也是一个个超步的的完成和和下一个个超步的的开始。。大数据基基础技术术概述大数据据处理理的基基本流流程大数据据关键键技术术Hadoop介绍流计算算介绍绍图计算算介绍绍NoSQL介绍大数据据面临临的其其他问问题NoSQL概念NoSQL：意即即反SQL运动，，是一一项全全新的的数据据库革革命性性运动动。NoSQL数据库库，指指的是是非关关系型型的数数据库库。NoSQL项目的的名字字上看看不出出什么么相同同之处处，但但是，，它们们通常常在某某些方方面相相同：：它们们可以以处理理超大大量的的数据据。关系数数据库库的缺缺陷关系数数据库库并不不适合合所有有的数数据模模型关系数数据库库扩展展难度度大标准化化通常常会伤伤害到到性能能NoSQL的目标标反标准准化，，通常常是无无模式式的，，文档档型存存储以key/value为基础础，支支持通通过key进行查查找水平平扩展展内置置复制制HTTP/REST或很容容易编编程的的API支持持MapReduce风格的的编程程最终终一致致性为什么么需要要NoSQLNoSQL特点和和挑战战NoSQL的特点点灵活的的可扩扩展性性大数据据降低管管理难难度经济灵活的的数据据模型型NoSQL五大挑挑战成熟度度支持分析和和商业业智能能化管理专业知知识对NoSQL的质疑疑关系型型数据据库在在设计计时更更能够够体现现实际际开源数数据库库从出出现到到被用用户接接受需需要一一个漫漫长的的过程程NoSQL缺乏强强有力力的技技术支支持NoSQL很难实实现数数据的的完整整性CAP理论NoSQL与关系系型数数据库库的