Spark大数据分析 课件 1.3 其他数据处理框架

其他数据处理框架目录/Contents01Hadoop02Storm03Flink04BeamHadoop01HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop的核心是HDFS和MapReduce、YARN。HadoopDHDFS是一个高度容错性的系统，能检测和应对硬件故障，适合部署在廉价的机器上HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。EMapReduce是一个基于java的并行分布式计算框架，使用它来编写的数据处理应用可以运行在大型的商用硬件集群上来处理大型数据集中的可并行化问题，数据处理可以发生在存储在文件系统（非结构化）或数据库（结构化）中的数据上。FApacheHadoopYARN是开源Hadoop分布式处理框架中的资源管理和作业调度技术。作为ApacheHadoop的核心组件之一，YARN负责将系统资源分配给在Hadoop集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。(1)HDFS(2)

MapReduce(3)

YARNStorm02Storm简单的编程模型：类似于MapReduce降低了并行批处理复杂性，Storm降低了实时处理的复杂性，只需实现几个接口即可（Spout实现ISpout接口，Bolt实现IBolt接口）。支持多种语言：你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。容错性：nimbus、supervisor都是无状态的,可以用kill-9来杀死Nimbus和Supervisor进程,然后再重启它们,任务照常进行;当worker失败后,supervisor会尝试在本机重启它。分布式：计算是在多个线程、进程和服务器之间并行进行的。持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。可靠的消息处理：Storm保证每个消息至少能得到一次完整处理。任务失败时，它会负责从消息源重试消息（ack机制）。快速、实时：Storm保证每个消息能能得到快速的处理。StormStorm的核心组件Nimbus：即Storm的Master，负责资源分配和任务调度。一个Storm集群只有一个Nimbus。Supervisor：即Storm的Slave，负责接收Nimbus分配的任务，管理所有Worker，一个Supervisor节点中包含多个Worker进程。Worker：工作进程，每个工作进程中都有多个Task。Task：任务，在Storm集群中每个Spout和Bolt都由若干个任务（tasks）来执行。每个任务都与一个执行线程相对应。Topology：计算拓扑，Storm的拓扑是对实时计算应用逻辑的封装，它的作用与MapReduce的任务（Job）很相似，区别在于MapReduce的一个Job在得到结果之后总会结束，而拓扑会一直在集群中运行，直到你手动去终止它。Stream：数据流（Streams）是Storm中最核心的抽象概念。一个数据流指的是在分布式环境中并行创建、处理的一组元组（tuple）的无界序列。StormStorm的核心组件Spout：数据源（Spout）是拓扑中数据流的来源。一般Spout会从一个外部的数据源读取元组然后将他们发送到拓扑中。Bolt：拓扑中所有的数据处理均是由Bolt完成的。通过数据过滤（filtering）、函数处理（functions）、聚合（aggregations）、联结（joins）、数据库交互等功能，Bolt几乎能够完成任何一种数据处理需求。Streamgrouping：为拓扑中的每个Bolt的确定输入数据流是定义一个拓扑的重要环节。数据流分组定义了在Bolt的不同任务（tasks）中划分数据流的方式。在Storm中有八种内置的数据流分组方式。Reliability：可靠性。Storm可以通过拓扑来确保每个发送的元组都能得到正确处理。通过跟踪由Spout发出的每个元组构成的元组树可以确定元组是否已经完成处理。Flink03Flink1．处理无界和有界数据任何类型的数据都是作为事件流产生的。信用卡交易，传感器测量，机器日志或网站或移动应用程序上的用户交互，所有这些数据都作为流生成。2．随处部署应用程序ApacheFlink是一个分布式系统，需要计算资源才能执行应用程序。Flink与所有常见的集群资源管理器（如HadoopYARN，ApacheMesos和Kubernetes）集成，但也可以设置为作为独立群集运行。3．运行任意规模应用Flink旨在任意规模上运行有状态流式应用。因此，应用程序被并行化为可能数千个任务，这些任务分布在集群中并发执行。所以应用程序能够充分利用无尽的CPU、内存、磁盘和网络IO。4．利用内存性能有状态的Flink程序针对本地状态访问进行了优化。任务的状态始终保留在内存中，如果状态大小超过可用内存，则会保存在能高效访问的磁盘数据结构中。5．Flink组件栈运行时层以JobGraph形式接收程序。JobGraph即为一个一般化的并行数据流图（dataflow），它拥有任意数量的Task来接收和产生datastream。Beam04Beam1．ApacheBeamSDKBeamSDK提供了一个统一的编程模型，该模型可以表示和转换任何大小的数据集，无论输入是来自批处理数据源的有限数据集，还是来自流数据源的无限数据集。BeamSDK使用相同的类来表示有界和无界数据，并且使用相同的转换对这些数据进行操作。您可以使用选择的BeamSDK来构建定义数据处理管道的程序。Beam当前支持以下特定于语言的SDK：①Java②Python③Go2．ApacheBeamPipelineRunnersBeamPipeline运行器将您使用Beam程序定义的数据处理管道转换为与您选择的分布式处理后端兼容的API。运行Beam程序时，需要为要在其中执行管道的后端指定适当的运行程序。Beam当前支持与以下分布