云计算与大数据(第二版) 课件 第9章 分布式文件系统及并行计算框架

分布式文件系统及并行计算框架第9章《云计算与大数据》第二版课件目录

29.2并行计算框架MapReduce9.1分布式文件系统HDFS3《云计算与大数据》第二版课件重点难点HDFS结构及文件访问MapReduce原理274《云计算与大数据》第二版课件9.1分布式文件系统HDFS1、HDFS架构9.1.1HDFS的结构及文件访问NameNode客户端客户端元数据操作读机架2复制数据块操作DataNode写DataNode275《云计算与大数据》第二版课件NameNode管理者文件系统的Namespace。它通过Namespace镜像文件（NamespaceImage）和操作日志文件（EditLog）管理文件系统树（FileSystemtree）以及文件树中所有的文件和文件夹的元数据（Metadata）。Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是它并不持久化存储这些信息，因为这些信息会在系统启动时从数据节点重建。27《云计算与大数据》第二版课件DataNode是文件系统的工作节点，它们根据客户端或者是NameNode的调度来存储和检索数据，并且定期向Namenode发送它们所存储的块（block）的列表。集群中的每个服务器都运行一个DataNode后台程序，这个后台程序负责把HDFS数据块读写到本地的文件系统。627《云计算与大数据》第二版课件HDFS的基本文件访问过程：1）用户的应用程序通过HDFS的客户端程序将文件名发送至NameNode。2）NameNode接收到文件名之后，在HDFS目录中检索文件名对应的数据块，再根据数据块信息找到保存数据块的DataNode地址，将这些地址回送给客户端。3）客户端接收到这些DataNode地址之后，与这些DataNode并行地进行数据传输操作，同时将操作结果的相关日志提交到NameNode。727《云计算与大数据》第二版课件2、相关概念1）数据块Block为了提高硬盘的效率，文件系统中最小的数据读写单位不是字节，而是一个更大的概念——数据块。HDFS数据块的默认大小是64MB，而且在不少实际部署中，HDFS的数据块甚至会被设置成128MB甚至更多。278《云计算与大数据》第二版课件2）命名空间HDFS中的文件命名遵循了传统的“目录/子目录/文件”格式。通过命令行或者是API可以创建目录，并且将文件保存在目录中；命名空间由NameNode管理，所有对命名空间的改动都会被HDFS记录下来。927《云计算与大数据》第二版课件3）通信协议作为一个分布式文件系统，HDFS中大部分的数据都是通过网络进行传输的。为了保证传输的可靠性，HDFS采用TCP协议作为底层的支撑协议。1027《云计算与大数据》第二版课件4）客户端严格来讲，客户端并不能算是HDFS的一部分，但是客户端是用户和HDFS通信最常见也是最方便的渠道，而且部署的HDFS都会提供客户端。1127《云计算与大数据》第二版课件129.1.2HDFS的数据管理27HDFS通过三个重要角色NameNodeDataNodeClient《云计算与大数据》第二版课件1327

Client向NameNode发起文件写入的请求；NameNode根据文件大小和文件块配置情况，

返回给Client它所管理部分DataNode的信息。第二第一Client将文件划分为多个Block，根据DataNode

的地址信息，按顺序写入到每一个DataNode块中。第三第二文件写入过程《云计算与大数据》第二版课件1427Client向NameNode发起文件读取的请求。NameNode返回文件存储的DataNode的信息。第二第一Client读取文件信息第三第二文件读取过程《云计算与大数据》第二版课件1527

NameNode发现部分文件的block不符合

最小复制数的要求或者部分DataNode失效。通知DataNode相互复制Block。第二第一DataNode开始直接相互复制。第三第二文件块复制过程《云计算与大数据》第二版课件写过程：1627《云计算与大数据》第二版课件读过程：1727《云计算与大数据》第二版课件①Block：一个Block会有三份备份。②心跳检测：用心跳检测DataNode的健康状况，如果发现问题就采取数据备份的方式来保证数据的安全性。③数据复制：使用HDFS的balancer命令配置一个Threshold来平衡每一个DataNode磁盘利用率。④数据校验。采用CRC32作数据交验。⑤单个NameNode。如果单个NameNode失败，任务处理信息将会记录在本地文件系统和远端的文件系统中。

1827《云计算与大数据》第二版课件9.2并行计算框架MapReduceMapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。199.2.1MapReduce原理27《云计算与大数据》第二版课件在Hadoop中，每个MapReduce任务都被初始化为一个Job，每个Job又可以分为两种阶段：map阶段和reduce阶段。这两个阶段分别用两个函数表示，即map函数和reduce函数。209.2.2MapReduce处理过程27《云计算与大数据》第二版课件2127《云计算与大数据》第二版课件单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“HelloWorld”，该程序的完整代码可以在Hadoop安装包的“src/examples”目录下找到。单词计数主