Hadooop大数据平台部署与运维 课件 项目三：Hadoop核心组件应用

项目三

Hadoop

核心组件应用目录任务3.1：HDFS基础操作任务3.2：MapReduce编程实践任务3.1：HDFS基础操作学习HDFS基本概念与文件系统操作学习指导知识目标1.学习HDFS架构原理知识，包括NameNode、DataNode的功能及协作关系。2.掌握HDFS文件系统知识，涵盖文件权限、目录结构及特点等内容。技能目标1.能够熟练运用HDFS命令行工具，进行文件创建、上传、删除等基础操作。2.学会管理HDFS文件权限，如修改所有者、用户组及权限设置等操作。素养目标1.培养对分布式文件系统的管理意识，提升数据管理的规范性和安全性认知。2.锻炼操作分布式文件系统的实践能力，增强解决实际问题的信心与能力。任务准备HDFS概念和基本架构HDFS核心概念与架构组成1HDFS基本概念HDFS是分布式文件系统，运行在普通商用服务器，提供高容错性和可靠性。2HDFS的数据块与副本数据被分割成默认128MB的块，每个块默认复制三份存储在不同节点。3HDFS的数据模型采用“一次写入多次读取”模型，文件关闭后不能修改，简化一致性处理。4HDFS的数据完整性通过校验和机制保证数据完整性，支持机架感知优化数据分布。8HDFS的安全性支持POSIX权限模型，可与Kerberos集成保障数据访问安全。7HDFS的基本架构采用Master/Slave架构，包含NameNode和DataNode两个重要角色。6NameNode的功能NameNode管理命名空间和客户端访问，维护目录结构、块映射等。5DataNode的功能DataNode存储实际数据块，按指示存储、删除块，定期发送心跳报告。HDFS概念和基本架构文件系统基本概念HDFS文件权限支持类Unix权限模型，控制用户对文件和目录的访问。HDFS文件系统相关特性HDFS目录结构采用树形层次结构，根目录为“/”，有用户和系统目录。HDFS的特点支持大文件、副本机制，文件只读且支持目录快照。HDFS权限类型权限包括读（r）、写（w）和执行（x），目录执行表示可访问。HDFS权限管理命令使用-chmod、-chown、-chgrp命令管理文件权限、所有者、用户组。HDFS的访问控制列表支持ACL，提供更细粒度的访问控制。HDFS用户目录通常为“/user”，每个用户有自己的子目录。HDFS系统目录如“/tmp”和“/hadoop”用于存放系统运行相关的临时或配置文件。任务实施HDFS文件系统基本命令查看当前根目录使用“hdfsdfs-ls/”命令查看HDFS根目录内容。创建文件通过“hdfsdfs-mkdir”命令创建目录，如“/user”和“/user/test/data”。准备上传用的文件用“echo"hdfs1234">test1”命令创建本地文件“test1”。上传文件使用“hdfsdfs-puttest1/user/test/data”上传文件到HDFS。查看目录利用“hdfsdfs-ls/user/test/data”查看HDFS指定目录内容。下载文件通过“hdfsdfs-get/user/test/data/test1./”将文件下载到本地。删除文件用“hdfsdfs-rm/user/test/data/test1”删除HDFS文件。查看文件和目录使用“hdfsdfs-ls/user/test”查看指定文件和目录。常用HDFS文件系统操作命令HDFS权限管理命令HDFS权限管理操作流程修改配置文件hdfs-site.xml将“dfs.permissions.enabled”属性值设为“true”，启用权限管理。1创建用户组和用户使用“groupadd”和“useradd”命令创建用户组和用户。2创建测试目录和文件创建“/user/hadoopuser/test”目录，并上传“testfile”文件。3权限管理操作使用相关命令更改文件权限、所有者和用户组。4验证权限设置切换用户验证权限设置，查看和上传文件测试权限。5恢复权限管理设置修改配置文件，关闭权限管理，重启HDFS服务。6任务3.2：MapReduce编程实践学习MapReduce编程模型与案例实践学习指导知识目标1.学习MapReduce编程模型知识，包括Map和Reduce函数的工作原理及数据处理流程。2.掌握Hadoop生态系统中MapReduce应用知识，涵盖任务调度、资源分配等相关内容技能目标1.能够使用Java编写MapReduce程序，实现数据的统计、排序等常见功能。2.学会在Hadoop集群上运行和调试MapReduce作业，解决常见问题。素养目标1.培养大数据处理编程思维，提升运用分布式计算解决复杂数据问题的能力。2.增强自主学习与探索精神，在实践中不断优化MapReduce程序性能。任务准备MapReduce概念MapReduce编程模型及局限性HadoopMapReduce是分布式计算框架，用于并行处理大规模数据集。MapReduce编程模型实时计算性能差，不支持流式计算，适用于离线作业。MapReduce的局限性MRAppMaster负责调度，MapTask处理Map阶段，ReduceTask处理Reduce阶段。MapReduce程序执行流程核心是“先分再合，分而治之”，分解问题并行处理。MapReduce的设计理念无法满足秒级或亚秒级数据响应需求，适合离线处理。MapReduce的实时性主要针对静态数据集，无法有效处理动态变化数据。MapReduce的数据处理模式MapReduce概念Map阶段执行流程Map阶段详细执行过程包含切片规划、数据解析、调用map方法、分区、写入内存缓冲及合并文件等步骤。Map阶段执行过程1将输入目录文件按标准逻辑切片，形成切片规划。切片规划2按规则读取切片数据，返回键值对。数据解析3调用Mapper类中的map方法处理数据，输出中间结果。map方法调用4对Map输出的键值对进行分区操作。分区5将中间结果写入内存缓冲区，达比例后溢写到磁盘。写入内存缓冲6对所有溢出文件进行最终合并，形成单个文件。合并文件7Map阶段执行流程Reduce阶段执行流程Reduce阶段执行过程包括拉取数据、合并排序、调用reduce方法和输出结果等步骤。01拉取数据ReduceTask从MapTask拉取属于自己的数据。02合并排序对拉取的数据进行合并和排序操作。03reduce方法调用对排序后键值对调用reduce方法进行聚合。04输出结果将聚合后的结果输出为最终结果。05Reduce阶段执行步骤Shuffle机制Shuffle过程与弊端包含Map端和Reduce端的多个阶段，实现数据的分组、排序和传输。Shuffle过程有Collect、Spill和Merge阶段，处理Map输出数据。Map端Shuffle包括Copy、Merge和Sort阶段，处理Reduce输入数据。Reduce端Shuffle数据多次在内存、磁盘间往复，过程复杂易出现性能问题。Shuffle机制的弊端收集MapTask结果到缓冲区，对键进行分区计算。Collect阶段缓冲区达阈值，数据写入磁盘，排序并可能合并。Spill阶段合并所有溢出临时文件，生成一个中间数据文件。Merge阶段Shuffle机制Shuffle机制Shuffle机制任务实施案例学习WordCount案例分析与代码展示WordCount案例统计文本中单词出现次数的经典案例。Map阶段Map函数分割文本，对单词输出键值对（word,1）。Shuffle阶段框架自动按单词排序和分组。Reduce阶段Reduce函数累加单词计数，输出最终键值对。官方案例代码展示WordCount的Mapper和Reducer类代码实现。Map函数逻辑将每行文本分割成单词，输出单词和1的键值对。Shuffle操作自动按照单词键进行排序和分组。Reduce函数逻辑接收Shuffle后数据，累加单词计数并输出结果。运行程序WordCount程序运行与结果查看准备包含森林相关内容的文本文件“forest.txt”。文章准备使用Hadoop命令运行WordCount程序，指定输入输出路径。运行WordCount程序查看输出目录，并查看部分结果文件内容。查看运行结果使用“hdfsdfs-mkdir-p/wordcount/input”创建输入目录。创建输入目录通过“hdfsdfs-putforest.txt/wordcount/input/”上传文件。上传文件执行“hadoopjarwordcount/wordcount/input/wordcount/output”命令。运行命令使用“hdfsdfs-ls/wordcount/output”查看输出目录内容。查看输出目录通过“hdfsdfs-cat/wordcount/output/part-r-00000”查看部分结果。查看部分结果文件程序优化WordCount程序优化方法010203040506Map阶段优化使用CompressionCodec压缩Map输出，实现Combiner本地聚合。业务逻辑优化用StringTokenizer替代String.split()，添加停用词过滤。使用CompressionCodec配置相关属性，压缩Map输出，减少传输数据量。实现Combiner设置Combiner类，在Map端对数据进行局部聚合。使用StringTokenizer替代String.split()，提高单词分割效率。添加停用词过滤过滤无用单词，提高统计准确性。扩展提高MapReduce数据操作包括Reduce端连接和Map端连接，适用于不同表连接场景。连接操作有全局排序和二次排序，满足不同排序需求。排序操作适用于大表连接，将小表数据加载到内存。Reduce端连接适用于小表与大表连接，同样将小表数据加载到内存。Map端连接对整个数据集排序，使用单个Reducer完全有序。全局排序按多字段排序，先按主键再按次键排序。二次排序连接