《大数据平台搭建与运维 第2版》4大数据搭建与运维（项目四）

项目四使用Java语言编写MapReduce程序任务一安装与配置Maven本地仓库下载Maven软件包。版本选择：建议选择3.5.4，太高或者太低都不行。下载地址：/dist/maven/maven-3/3.5.4/binaries/本次安装是在Windows环境上操作，不是在虚拟机上操作。安装Maven将maven解压到D盘，并创建一个新目录，做为Maven的本地仓库。配置Maven的环境变量。在“我的电脑”桌面图标上点击右键，打开“属性”窗口中创建。在PATH中添加Maven的bin路径。请连续点击“确定”关闭窗口。配置Maven本地仓库。修改Maven的conf/settings.xml文件。初始化Maven本地仓库。

执行命令：mvn

help:system。任务二配置IdeaIDE编程环境下载软件包并安装。IDEA共有企业版、企业EAP版、社区版共三个版本，其中社区版可以免费使用。IDEA的下载地址：/idea/download/?section=windows下载完成后，双击exe执行文件，即可完成安装过程。配置IDEA编程环境。配置界面风格，建议使用默认风格：Darcula。配置插件，可以使用默认值，点击Next。下载插件，建议下载Scala插件，Scala是Spark编程语言。在Idea中配置Maven基本参数。打开配置界面。配置界面的左侧，找到Maven配置项。修改Maven配置。修改完成后点击“OK”按钮保存配置。修改编辑器的字体。配置默认的项目参数。打开配置界面。配置JDK。SDK配置使用Maven面板。Maven面板。面板菜单。clean清除上一次编译信息。compile编译源码。package把编译好的源码打包，如jar包。install把项目包安装到本地仓库中，作为本地其他项目的依赖。deploy把最终的包上传到远程仓库，以便于其他开发者和项目分享。任务三编写第一个Java应用程序准备工作。程序功能：逐行读取一个文本文件，打印输出文件内容。准备数据：一个英文文本文件（可以将maven的licenses复制一部分），放置在本地目录中（/src/main/data.txt）,也可以从教材资源的数据集中获取,源文件名为：data_maven.txt，复制后请改名为data.txt。此数据文件在任务四中会再次用到。百度网盘数据集下载链接：/s/1DKCc9fgSepbFJwSlxChgUw?pwd=giw4提取码:giw4(链接更新日期：2026/7/2)按照教材步骤，创建一个java程序项目。编写perties文件。功能：细致地控制日志的生成过程。文件保存特定位置：项目的src/main/resources目录，存放目录则无法控制日志输出。文件典型内容。编写pom.xml文件（具体内容参考教材）。源代码。调试、编译、打包应用程序。上传jar包到Ubuntu虚拟机并运行。任务四编写经典案例程序WordCount在IDEA中创建名为wordcoun的Java项目。如下图。检查确认项目的maven配置。在pom.xml中编写Hadoop依赖项。编写MyMapper、MyReducer类。MyMapper类框架。MyReducer类框架。编写主执行类MyWordCount重写MyMapper、MyReducer类中的map、reduce方法MyMapper.java代码。MyReducer代码。本地调试。在下面的注释语句和执行语句之间切换，可以实现本地与远程调试的切换。程序打包和数据一起上传到虚拟机。程序Jar包上传到用户目录，数据上传到虚拟机的hdfs目录。在虚拟机的Ubuntu环境下，执行jar包、输出结果。任务五分析移动通讯基站数据创建项目、编写pom.xml文件（在项目四pom.xml文件基础上修改）。任务要求：分析每位用户在数据中出现的次数，具体要求请阅读教材。特别提醒：数据请从教材的数据集获取。作者特意准备了大小两份数据集，小数据集(data_small.txt)用于调试，大数据集(data_big.txt)用于提交到集群运行。百度网盘下载链接：通过网盘分享的文件：数据集链接:/s/1DKCc9fgSepbFJwSlxChgUw?pwd=giw4提