管理Hadoop_系统维护管理及其升级

1、HDFS监控维护管理Hadoop永久性数据结构安全模式日志审计HDFSHDFS ：永久性数据结构namenode的目录结构：.dirVERSIONnamespaceIDcTimestorageTypeHDFS ：文件系统映像和编辑日志namenode维护文件系统的元数据fsimage文件是文件系统的一个永久检查点HDFS ：文件系统映像和编辑日志由于需要恢复编辑日志中的各项操作，会导致namenode重启操作较慢。此时间内，文件系统将处于离线状态。运行辅助namenodeHDFS ：文件系统映像和编辑日志创建检查点的过程HDFS ：辅助namenode辅助namenode的目录

2、结构HDFS ：datanodedatanode的目录结构HDFS ：安全模式在安全模式下，namenode的文件系统对于客户端来说是只读的HDFS ：安全模式查看namenode是否进入安全模式：%hadoop dfssdmin safemode getSafe mode is ON退出安全模式：%hadoop dfsadmin safemode wait# command to read or write a file进入安全模式：%hadoop dfsadmin safemode enterSafe mode is ON离开安全模式：%hadoop dfsadmin safemode l

3、eaveSafe mode is OFFHDFS ：日志审计HDFS 的日志能够记录所有文件的访问请求，对日志进行审计是log4j在INFO级别实现的。在默认配置下，log4j。Properties属性文件中的阈值被设为WARN（未启动）。 HDFS ：dfsadmindfsadmin工具既可以查找HDFS状态信息，又可在HDFS上执行管理操作。HDFS ：fsckfsck工具可以用来检测HDFS中文件的健康状况HDFS ：fsck对于损坏或者丢失的块-移动-删除寻找特定文件的数据块HDFS ：datanode块扫描器每个datanode运行一个块扫描器，定期检查本节点上的所有块，从而在客户端

4、客端读到坏块之前及时的检测和修复坏块。周期：dfs.datanode.scan.period.hours设置HDFS ：均衡器目的：均衡器将块从忙碌的datanode移到相对空闲的datanode，重新分配块启动均衡器：%start balancer.sh-threshold监控日志度量Java管理扩展监控监控 日志日志有助于查明系统中发生的事件设置日志级别：通过Hadoop守护进程的网页来改变任何log4j日志名称的日志级别获取堆栈轨迹：Hadoop守护进程提供一个网页对正在守护进程的JVM中运行着的线程执行线程转储。监控 度量HDFS和MapReduce守护进程收集相关的事件和度量信息。监

5、控 度量监控 度量监控 度量监控 Java管理扩展(JMX)监控 Java管理扩展(JVM)许多第三方监控和报警系统均可查询Mbean，因此通过这些系统使用JMX能够监控一个Hadoop集群。维护日常管理过程元数据备份数据备份fsck工具文件系统均衡器委任和解除节点委任新节点解除旧节点升级版本兼容HDFS的数据和元数据升级维护 元数据备份如果namenode的永久性性元数据丢失或者损坏，则整个文件系统无法使用，因此数据备份非常关键。方法一：直接保存这些元数据文件的副本方法二：整合倒namenode正在使用的文件上维护 数据备份为数据划分不同的优先级最高优先级是那些无法重新产生数据，对业务非常关键的数据，通常备份。优先级低的数据则无需备份。distcp备份工具维护 fsck工具定期地对整个文件系统运行HDFS的fsck（文件系统检查）工具，主动查找丢失或损坏的块维护 文件系统均衡器定期地运行均衡器工具，保存文件系统的各个datanode比较均衡。维护 委任和解除节点维护 委任新节