hadoop常用命令

所有 hadoop 命令均由 hadoop 主目录下 bin hadoop 脚本引发 部分在 bin hadoop 一 HADOOP 的启动与关闭 sh sbin start all sh 启动 注意启动环境 必须从 hadoop 主目录 sh sbin stop all sh bin Hadoop version 查看版本 http localhost 50070 localhost 也可是 master 的 ip jps OS 级查看 hadoop 进程 二 文件操作 Hadoop fs 选项 应用较广 包括本地文件系统 推荐 hdfs 对应命令 dfs bin hdfs dfsadmin report 查看节点运行状态 bin hdfs dfs mkdir t2 在 hdfs 根目录创建子目录 t2 bin hdfs dfs ls 列出目录 bin hdfs dfs put hadoop hadoop test4178 txt t2 上传本地文件到 HDFS 的 T2 bin hdfs dfs get t3 test2 下载 test2 到本地根目录 位置相反 bin hdfs dfs cat t2 test2 显示文件内容 bin hadoop fs put hadoop hadoop test4178 txt t2 cp 本地文件到 HDFS 的 T2 bin hdfs dfs rmdir t2 删除非空目录 bin hdfs dfs rm t2 test2 删除文件 bin hdfs dfs rm r t2 删除目录及其下所有文件 bin hadoop dfs cat ctom4178 test4178 txt 1 列出所有 Hadoop Shell 支持的命令 bin hadoop fs help 2 显示关于某个命令的详细信息 bin hadoop fs help command name 3 用户可使用以下命令在指定路径下查看历史日志汇总 bin hadoop job history output dir 这条命令会显示作业的细节信息 失败和终止的任务细节 4 关于作业的更多细节 比如成功的任务 以及对每个任务的所做的尝试次数等可以用下 面的命令查看 bin hadoop job history all output dir 5 格式化一个新的分布式文件系统 bin hadoop namenode format 6 在分配的 NameNode 上 运行下面的命令启动 HDFS bin start dfs sh bin start dfs sh 脚本会参照 NameNode 上 HADOOP CONF DIR slaves 文件的内容 在所 有列出的 slave 上启动 DataNode 守护进程 7 在分配的 JobTracker 上 运行下面的命令启动 Map Reduce bin start mapred sh bin start mapred sh 脚本会参照 JobTracker 上 HADOOP CONF DIR slaves 文件的内容 在所有列出的 slave 上启动 TaskTracker 守护进程 8 在分配的 NameNode 上 执行下面的命令停止 HDFS bin stop dfs sh bin stop dfs sh 脚本会参照 NameNode 上 HADOOP CONF DIR slaves 文件的内容 在所 有列出的 slave 上停止 DataNode 守护进程 9 在分配的 JobTracker 上 运行下面的命令停止 Map Reduce bin stop mapred sh bin stop mapred sh 脚本会参照 JobTracker 上 HADOOP CONF DIR slaves 文件的内容 在所有列出的 slave 上停止 TaskTracker 守护进程 DFSShell 10 创建一个名为 foodir 的目录 bin hadoop dfs mkdir foodir 11 创建一个名为 foodir 的目录 bin hadoop dfs mkdir foodir 12 查看名为 foodir myfile txt 的文件内容 bin hadoop dfs cat foodir myfile txt DFSAdmin 13 将集群置于安全模式 bin hadoop dfsadmin safemode enter 14 显示 Datanode 列表 bin hadoop dfsadmin report 15 使 Datanode 节点 datanodename 退役 bin hadoop dfsadmin decommission datanodename 16 bin hadoop dfsadmin help 命令能列出所有当前支持的命令 比如 report 报告 HDFS 的基本统计信息 有些信息也可以在 NameNode Web 服务首页看 到 safemode 虽然通常并不需要 但是管理员的确可以手动让 NameNode 进入或离开 安全模式 finalizeUpgrade 删除上一次升级时制作的集群备份 17 显式地将 HDFS 置于安全模式 bin hadoop dfsadmin safemode 18 在升级之前 管理员需要用 升级终结操作 命令删除存在的备份文件 bin hadoop dfsadmin finalizeUpgrade 19 能够知道是否需要对一个集群执行升级终结操作 dfsadmin upgradeProgress status 20 使用 upgrade 选项运行新的版本 bin start dfs sh upgrade 21 如果需要退回到老版本 就必须停止集群并且部署老版本的 Hadoop 用回滚选项启动 集群 bin start dfs h rollback 22 下面的新命令或新选项是用于支持配额的 前两个是管理员命令 dfsadmin setquota 把每个目录配额设为 N 这个命令会在每个目录上尝试 如果 N 不是一个正的长整 型数 目录不存在或是文件名 或者目录超过配额 则会产生错误报告 dfsadmin clrquota 为每个目录删除配额 这个命令会在每个目录上尝试 如果目录不存在或者是文件 则会产生错误报告 如果目录原来没有设置配额不会报错 fs count q 使用 q 选项 会报告每个目录设置的配额 以及剩余配额 如果目录没有设置配 额 会报告 none 和 inf 23 创建一个 hadoop 档案文件 hadoop archive archiveName NAME archiveName NAME 要创建的档案的名字 src 文件系统的路径名 和通常含正则表达的一样 dest 保存档案文件的目标目录 24 递归地拷贝文件或目录 hadoop distcp srcurl 源 Url desturl 目标 Url 25 运行 HDFS 文件系统检查工具 fsck tools 用法 hadoop fsck GENERIC OPTIONS move delete openforwrite files blocks locations racks 命令选项 描述 检查的起始目录 move 移动受损文件到 lost found delete 删除受损文件 openforwrite 打印出写打开的文件 files 打印出正被检查的文件 blocks 打印出块信息报告 locations 打印出每个块的位置信息 racks 打印出 data node 的网络拓扑结构 26 用于和 Map Reduce 作业交互和命令 jar 用法 hadoop job GENERIC OPTIONS submit status counter kill events history all list all kill task fail task 命令选项 描述 submit 提交作业 status 打印 map 和 reduce 完成 百分比和所有计数器 counter 打印计数器的值 kill 杀死指定作业 events 打印给定范围内 jobtracker 接 收到的事件细节 history all history 打印作业的细节 失败及 被杀死原因的细节 更多的关于一个作业的细节比如 成功的任务 做过的任务尝试等信 息可以通过指定 all 选项查看 list all list all 显示所有作业 list 只显示 将要完成的作业 kill task 杀死任务 被杀死的任 务不会不利于失败尝试 fail task 使任务失败 被失败的 任务会对失败尝试不利 27 运行 pipes 作业 用法 hadoop pipes conf jobconf input output jar inputformat map partitioner reduce writer program reduces 命令选项 描述 conf 作业的配置 jobconf 增加 覆盖作业的配置项 input 输入目录 output 输出目录 jar Jar 文件名 inputformat InputFormat 类 map Java Map 类 partitioner Java Partitioner reduce Java Reduce 类 writer Java RecordWriter program 可执行程序的 URI reduces reduce 个数 28 打印版本信息 用法 hadoop version 29 hadoop 脚本可用于调调用任何类 用法 hadoop CLASSNAME 运行名字为 CLASSNAME 的类 30 运行集群平衡工具 管理员可以简单的按 Ctrl C 来停止平衡过程 balancer 用法 hadoop balancer threshold 命令选项 描述 threshold 磁盘容量的百分比 这会覆盖缺省的阀值 31 获取或设置每个守护进程的日志级别 daemonlog 用法 hadoop daemonlog getlevel 用法 hadoop daemonlog setlevel 命令选项 描述 getlevel 打印运行在的守护进程 的日志级别 这个命令内部会连接 http logLevel log setlevel 设置运行在的守护进程的 日志级别 这个命令内部会连接 http logLevel log 32 运行一个 HDFS 的 datanode 用法 hadoop datanode rollback 命令选项 描述 rollback 将 datanode 回滚到前一个版本 这需 要在停止 datanode 分发老的 hadoop 版本之后使用 33 运行一个 HDFS 的 dfsadmin 客户端 用法 hadoop dfsadmin GENERIC OPTIONS report safemode enter leave get wait refreshNodes finalizeUpgrade upgradeProgress status details force metasave filename setQuota clrQuota help cmd 命令选项 描述 report 报告文件系统的基本信息和统计信 息 safemode enter leave get wait 安全模式维护命令 安全模式是 Namenode 的一个状态 这种状态下 Namenode 1 不接受对名字空间的更改 只读 2 不复制或删除块 Namenode 会在启动时自动进入安全模式 当配置的块最小百分比数满足最小的副本数条 件时 会自动离开安全模式 安全模式可以手动进入 但是这样的话也必须手动关闭安全 模式 refreshNodes 重新读取 hosts 和 exclude 文件 更新允许连到 Namenode 的或那些需要退出或入编的 Datanode 的集合 finalizeUpgrade 终结 HDFS 的升级操作 Datanode 删除 前一个版本的工作目录 之后 Namenode 也这样做 这个操作完结整个升级过程 upgradeProgress status details force 请求当前系统的升级状态 状态的细节 或者 强制升级操作进行 metasave filename 保存 Namenode 的主要数据结构到 hadoop log dir 属性指定的目录下的文件 对于下面的每一项 中都会一行内容与之对应 1 Namenode 收到的 Datanode 的心跳信号 2 等待被复制的块 3 正在被复制的块 4 等待被删除的块 setQuota 为每个目录 设定配额 目 录配额是一个长整型整数 强制限定了目录树下的名字个数 命令会在这个目录上工作良好 以下情况会报错 1 N 不是一个正整数 或者 2 用户不是管理员 或者 3 这个目录不存在或是文件 或者 4 目录会马上超出新设定的配额 clrQuota 为每一个目录清除配额设定 命令会在这个目录上工作良好 以下情况会报错 1 这个目录不存在或是文件 或者 2 用户不是管理员 如果目录原来没有配额不会报错 help cmd 显示给定命令的帮助信息 如果没有给定命令 则显示所有命令的帮助信 息 34 运行 MapReduce job Tracker 节点 jobtracker 用法 hadoop jobtracker 35 运行 namenode 有关升级 回滚 升级终结的更多信息请参考升级和回滚 用法 hadoop namenode format upgrade rollback fi