2023学年完整公开课版各种Hadoop的版本1

主讲教师：覃凯《大数据导论》课程Introductiontobigdata各种Hadoop版本Hadoop1.0Hadoop2.00102>由分布式文件系统HDFS和分布式计算框架MapReduce组成。>HDFS由一个NameNode和多个DataNode组成。>MapReduce由一个JobTracker和多个TaskTracker组成。1Hadoop1.0MapReducedusterresourcemanagement&dataprocessingHDFSredundant,reliablestorageHADOOP1.01.1HDFS对HDFS来说，其主要的运行架构则是master-slave架构，即主从架构。其中master主节点称之为NameNode节点，而slave从节点称为DataNode节点。NameNodeDataNodeDataNodeDataNodeDataNodeClientClientClientHDFSHDFS（1）NameNode的职责>管理整个文件系统，负责接收用户的操作请求>管理整个文件系统的目录结构>管理着整个文件系统的元数据信息>保管着文件与block块序列之间的对应关系以及block块与DataNode节点之间的对应关系NameNodeDataNodeDataNodeDataNodeDataNodeClientClientClientHDFS1.1HDFSNameNodeDataNodeDataNodeDataNodeDataNodeClientClientClientHDFShadoop1.0中，NameNode有且只有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。1.1HDFS（2）HDFS局限性A.单点故障问题B.拓展性问题C.性能问题D.隔离性问题。NameNodeDataNodeDataNodeDataNodeDataNodeClientClientClientHDFS1.1TaskTrackerreducetaskMaptaskMaptaskTaskTrackerreducetaskMaptaskMaptask1.2MapReduceJobTrackerClientClientClientMapReduceTaskTrackerreducetaskMaptaskMaptaskHeartbeatHeartbeatHeartbeat（1）JobTracker的职责>负责接收client提交给的计算任务>负责将接收的计算任务分配给各个的TaskTracker进行执行>通过heartbeat(心跳)来管理TaskTracker机器的情况>同时监控任务task的执行状况TaskTrackerreducetaskMaptaskMaptaskTaskTrackerreducetaskMaptaskMaptask1.2MapReduceJobTrackerClientClientClientMapReduceTaskTrackerreducetaskMaptaskMaptaskHeartbeatHeartbeatHeartbeat（2）MapReduce局限性A.单点故障问题B.资源浪费问题C.只支持简单的MapReduce编程