2023学年完整公开课版总结

主讲：朱佳目录0102HDFS元数据检查点操作0302联合NameNodeHDFS元数据1HDFS元数据NameNode的主要工作是存储HDFS命名空间。HDFS元数据或HDFS命名空间是由inode表示的文件和目录的层次结构。inode存储属性，如权限、修改、访问时间和磁盘空间配额。命名空间还包括文件到块ID的映射信息。NameNode存储HDFS元数据，而DataNode存储实际的HDFS数据。当客户端连接到Hadoop读取和写入数据时，它们首先连接到NameNode,从而知道实际数据块存储在哪里或往哪个DataNode写入其数据。HDFS元数据HDFS元数据包括以下信息：HDFS文件位置HDFS数据块的名称HDFS数据块的位置文件所有权和权限检查点操作2检查点操作下面是使用StandbyNameNode进行检查点操作的步骤:.1.StandbyNameNode检查自上次执行检查点操作以来所经过的时间或累积编辑数是否与配置的检查点阈值相匹配。2.StandbyNameNode将其命名空间数据保存到fsimage.ckpt_txid新中间文件。文件名中的txid指最近的编辑日志事务的ID.为fsimage文件写入MD5文件后，将文件重命名为fsimage_xxx3.StandbyNameNode向活动的NameNode发送HTTPGET消息。GetImageServlet(/getimage?putimage=1)检查点操作4.活动的NameNode对StandbyNameNode的GetImageServlet执行自己的GET操作。它将新检索的fsimage文件重命名为中间名称(fsimage.ckpt)，为其创建MD5文件，然后将其重命名为fsimage_xxxx.下面是使用SecondaryNameNode进行检查点操作的步骤:.1.SecondaryNameNode检查自上次执行检查点操作以来经过的时间或累积编辑次数是否满足配置的检查点阈值。2.SecondaryNameNodeRPC调用NameNode检索最近的编辑日志事务ID.3.SecondaryNameNode结束当前编辑日志段，并启动新的编辑段，然后请求NameNode滚动当前编辑文件。检查点操作4.NameNode继续将更改写入新的编辑日志段，SecondaryNameNode压缩旧的编辑日志。SecondaryNameNode还获取当前fsimage文件和滚动的编辑日志段的事务ID.5.使用在步骤4中检索的两个事务ID，SecondaryNameNode对NameNode的GetImageServlet执行GET操作以获取fsimage和编辑文件6.SecondaryNamcNode重放编辑日志段，来捕获当前事务ID并刷新其命名空间。7.SecondaryNameNode将其刷新的命名空间写入新的fsimage文件。检查点操作8.SecondaryNameNode对NameNode执行HTTPGET操作(/getimage?putimage=1).NameNode依次对SecondaryNameNode执行GET操作，并下载新的fsimage文件。9.最后，NameNode用新的fsimage文件替换以前的fsimage文件。还将先前的编辑文件替换为在步骤3中创建的新编辑文件。联合NameNode3联合NameNode在非常大的Hadoop环境中，存在数以千计的具有数百万个文件和数据块的数据节点，存储量超过PB。在这种环境中，虽然可以通过添加新节点来扩展HDFS，但命名空间无法跟上存储的增长。单命名空间的吞吐量设计仅支持大约60000个任务。联合体系结构中的每个命名空间都被分配一个块池，这是属于单个命名空间的一组特定的HDFS块。命名空间(元数据)及其块池一起被称为命名空间卷。联合NameNode每个命名空间卷是一个自包含的管理单元，每个命名空间管理自己的块池，其能够为新块生成自己的块ID，而不与其他命名空间冲突。如果其中一个联合NameNode失效，并且没有为其配置