7-Hadoop Streaming 实战： 文件分发与打包

Hadoop Streaming 实战 文件分发与打包 分类 hadoop2011 05 06 14 56432 人阅读评论 0 收藏举报 如果程序运行所需要的可执行文件 脚本或者配置文件在 Hadoop 集群的计算节点上不存 在 则首先需要将这些文件分发到集群上才能成功进行计算 Hadoop 提供了自动分发文件和压缩包的机制 只需要在启动 Streaming 作业时配置相应 的参数 1 file 将本地文件分发到计算结点 2 cacheFile 文件已经存放在 HDFS 中 希望计算时在每个计算节点上将文件当作本地 文件处理 3 cacheArchive 将存放在 HDFS 中的压缩包分发并解压 file 实战实战 使用使用 file 分发本地可执行文件和其他文件分发本地可执行文件和其他文件 a 待计算的数据放入 hdfs hadoop fs put localfile user hadoop hadoopfile b 编写 map reduce 脚本 记得给脚本加可执行权限 mapper sh view plaincopy to clipboardprint 1 bin sh 2 wc l bin sh wc l reducer sh view plaincopy to clipboardprint 1 bin sh 2 a 0 3 while read i 4 do 5 let a i 6 done 7 echo a bin sh a 0 while read i do let a i done echo a hello txt 文件内容 hello world c 运行 hadoop streaming input user hadoop hadoopfile output user hadoop result mapper mapper sh reducer reducer sh file mapper sh file reducer sh file hello txt jobconf mapred reduce tasks 1 jobconf mapre job name sum test d 查看结果 hadoop fs cat user hadoop result part 00000 cacheFile 实战实战 a 待计算的数据和文件放入 hdfs hadoop fs put hello txt user hadoop b 运行命令 mapper sh 和 reducer sh 脚本内容同上 hadoop streaming input user hadoop hadoopfile output user hadoop result mapper mapper sh reducer reducer sh file mapper sh file reducer sh cacheFilehdfs host port user hadoop hello txt hello txt jobconf mapred reduce tasks 1 jobconf mapre job name sum test 可以通过配置文件 hadoop site xml 中的 fs default name 配置参数的值得到文件所在的 host 和 port c 查看结果 hadoop fs cat user hadoop result part 00000 cacheArchive 实战实战 a 创建一个目录 test 目录中包含文件 mapper txt reducer hello txt 修改 mapper sh view plaincopy to clipboardprint 1 bin sh 2 a wc l 3 使用参数 4 b wc l 1 awk print 1 5 let c a b 6 echo c bin sh a wc l 使用参数 b wc l 1 awk print 1 let c a b echo c b 压缩文件夹并将压缩文件放入 hdfs cd test tar zcvf test tar gz hadoop fs put test tar gz user hadoop test c 运行命令 hadoop streaming input user hadoop hadoopfile output user hadoop result mapper test mapper sh test hello txt reducer test reducer sh cacheArchive hdfs host port user hadoop test test tar gz test jobconf mapred reduce tasks 1 jobconf mapre job name sum test d 查看结果 hadoop fs cat user hadoop result part 00000 首先将本地 test 目录中的所有文件和目录打包压缩 然后上传到 HDFS 中 启动 streaming 任务时使用 cacheArchive 选项将 test tar gz 分发到计算节点并解压到 test 目录 然后在当前工作目录创建到 test 目录的链接 mapper 选项指定为 map