大数据Hadoop系统实操习题集

大数据Hadoop系统实操习题集2.思考：上述程序的Shuffle过程主要做了哪些事情？如果输入数据中有大量重复的长单词，Shuffle过程会对性能产生什么影响？习题3：YARN资源管理基础1.使用YARN命令行工具查看集群的资源使用情况，包括总内存、总CPU核数、已使用资源和剩余资源。2.查看YARN集群中所有应用的历史记录（包括已完成的）。3.思考：YARN中的ResourceManager和NodeManager分别扮演什么角色？ApplicationMaster的主要功能是什么？参考答案与提示（部分）：*习题1中WordCount示例命令通常为：`hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jarwordcount/user/你的用户名/exercise/local_data.txt/user/你的用户名/exercise/wordcount_output`。注意输出目录不能提前存在。*YARN命令行常用`yarnapplication-list`、`yarnapplication-kill<appId>`、`yarnresourcemanager-webapp`（WebUI）、`yarnnode-list`等。第三章：Hive数据仓库实操习题1：Hive数据库与表操作1.环境准备：确保HiveMetastore服务和HiveServer2（可选）正常运行。2.启动Hive命令行客户端。3.创建一个名为`exercise_db`的数据库。4.切换到`exercise_db`数据库。5.创建一个内部表`employee`，包含以下字段：id(INT),name(STRING),age(INT),department(STRING),salary(FLOAT)，并指定字段分隔符为逗号','。6.创建一个外部表`external_employee`，字段与`employee`表相同，数据存储路径为HDFS的`/user/你的用户名/exercise/external_data/`。7.查看`exercise_db`数据库下所有表的元数据信息。8.比较内部表和外部表在删除时的区别。习题2：Hive数据加载与查询1.在本地文件系统创建一个`employee_data.csv`文件，包含几条模拟的员工数据，字段用逗号分隔。2.将本地的`employee_data.csv`文件加载到`employee`内部表中。3.将HDFS上`/user/你的用户名/exercise/another_employee_data.csv`（如有）加载到`external_employee`外部表中。4.编写HQL查询所有员工信息。5.编写HQL查询`department`为"IT"的员工姓名和薪水。6.编写HQL查询每个部门的员工人数，并按人数降序排列。7.编写HQL查询员工的平均薪水，按部门分组。习题3：Hive高级查询与优化（入门）1.使用`LIKE`操作符查询姓名以"张"开头的员工信息。2.思考：什么是Hive的分区表？为什么要使用分区表？尝试创建一个按`department`分区的员工表。3.思考：Hive查询时，如何开启本地模式加速小数据集查询？参考答案与提示（部分）：*习题1中创建表语句示例：`CREATETABLEemployee(idINT,nameSTRING,ageINT,departmentSTRING,salaryFLOAT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY',';`外部表加上`EXTERNAL`关键字和`LOCATION'/path'`。*习题2中加载数据使用`LOADDATALOCALINPATH'/local/path'INTOTABLEtable_name;`（本地）或`LOADDATAINPATH'/hdfs/path'INTOTABLEtable_name;`（HDFS）。*习题3中分区表创建示例：`CREATETABLEemployee_partitioned(idINT,nameSTRING,ageINT,salaryFLOAT)PARTITIONEDBY(departmentSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY',';`第四章：HBase实操（选做）习题1：HBase表设计与基本操作1.环境准备：确保HBase集群正常运行。2.启动HBaseShell。3.创建一个名为`user_profile`的表，包含一个列族`info`（存储用户基本信息）和一个列族`preferences`（存储用户偏好设置）。4.向`user_profile`表中插入几条数据，例如：*RowKey:user001,preferences:language"zh-CN",preferences:theme"dark"*RowKey:user002,info:name"李四",info:age"25"5.获取user001的所有列族数据。6.只获取user001的`info`列族下的`name`和`age`字段。7.删除user002的`info:age`字段。8.禁用并删除`user_profile`表（谨慎操作！）。参考答案与提示：*HBaseShell创建表：`create'user_profile','info','preferences'`。*插入数据：`put'user_profile','user001','info:name','张三'`。*获取数据：`get'user_profile','user001'`或`get'user_profile','user001',['info:name','info:age']`。第五章：Hadoop集群管理与维护（基础）习题1：集群状态检查1.分别通过命令行和WebUI查看HDFS集群的整体状态、节点信息、存储空间使用情况。2.分别通过命令行和WebUI查看YARN集群的整体状态、节点资源、运行中的作业。3.查看Hadoop各服务（如NameNode,DataNode,ResourceManager,NodeManager）的日志文件存放路径，并尝试查看最近的日志内容。习题2：基本配置与参数理解1.找到HDFS的核心配置文件（`hdfs-site.xml`）和YARN的核心配置文件（`yarn-site.xml`）。2.解释`hdfs-site.xml`中`dfs.replication`参数的作用，以及`yarn-site.xml`中`yarn.nodemanager.resource.memory-mb`和`yarn.scheduler.minimum-allocation-mb`参数的含义。3.思考：如果集群中DataNode节点的磁盘空间不足，可能的原因有哪些？如何处理？参考答案与提示：*HDFSWebUI通常在NameNode节点的____端口，YARNWebUI在ResourceManager节点的8088端口。*日志文件通常位于Hadoop安装目录下的`logs/`子目录。总结本习题集涵盖了Had