《大数据平台搭建与运维 第2版》5大数据搭建与运维（项目五）

项目五使用Python语言编写MapReduce程序任务一WordCount案例准备工作。编程IDE：pycharm社区版，可以去官网下载最新版，地址如下：

/pycharm/download/?section=windows编程语言：python2.7或python3.7，两者在本例中的区别仅print输出语句不同。

下载地址：/downloads/准备一份英文文档，将格式转换成utf-8，也可以直接使用项目四的数据集。Windows环境下只能测试程序，测试成功后需要提交到虚拟机的Hadoop集群，借助hadoop-streaming-2.7.3.jar工具完成计算。在Pycharm中编写map.py程序。程序运行成功后，会在当前目录下生成tmp.txt文件，这个文件做为reduce的输入。编写reduce.py程序。运行时，使用tmp.txt为数据输入，生成分析结果。修改map.py和reduce.py程序，为提交到Hadoop系统准备。将map.py、reduce.py、data.txt上传到安装有Hadoop的ubuntu主机上。检查map.py和reduce.py程序，去掉一些windows的特殊字符。命令行下单独测试map.py和reduce.py程序如果测试通过，我们就可以放心提交给Hadoop执行。获取streaming执行包。

这个包位于share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar。在hdfs上建立目录，并将处理数据data.txt上传。在Hadoop环境下执行MapReduce应用程序，查看结果。任务二母婴产品销售数据分析准备工作。分析要求：统计每月的销售量。数据集请从百度网盘下载。链接:/s/1DKCc9fgSepbFJwSlxChgUw?pwd=giw4（链接更新时间：2026/7/2）

请认真阅读教材的对应内容，了解数据特点。编写map1.py程序。编写reduce1.py程序。使用xftp将数据文件和程序文件传送到Hadoop主机中。处理程序和数据中的特殊字符。在hdfs用户目录下中新建input1目录，并上传数据文件（csv）。处理map1.py和reduce1.py文件（请按照教材对应内容逐步处理）。本地测试map1.py和reduce1.py。提交MapReduce应用程序：map1.py和reduce1.py。任务三移动通讯基站数据分析准备工作。下载数据：（百度网盘链接更新时间：2026/7/2）/s/1DKCc9fgSepbFJwSlxChgUw?pwd=giw4分析要求一：检索出某用户的位置变化（经度、纬度）。分析要求二：统计用户的性别数。编写map2.py程序，执行数据切片。

代码如下：

将代码上传到虚拟机，增加可执行权限、处理特殊字符。提交到Hadoop系统，注意本次提交只有map程序，没有reduce程序。查看计算结果（共检索出192条信息）。分析要求一的任务完成。编写map3.py和reduce3.py程序，对数据进行去重处理。