任务9.2 使用Spark实现水稻信息数据分析

使用Spark实现水稻信息数据分析任务描述部署好完全分布式Spark集群后，便可以通过Scala语言在Spark中实现水稻信息数据分析了。在本任务中，小数将读取水稻信息数据并对其进行简单分析，以测试Spark集群的部分功能。任务环境已部署Hadoop集群和Spark集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1分析水稻数量情况读取水稻基本信息数据2水稻是全球最重要的粮食作物之一，水稻审定数据可以为农业科技创新提供重要的参考和依据，可以帮助选择高产、优质、抗逆性强的水稻品种，促进绿色、可持续的农业生产方式，有助于推动农业的可持续发展。对水稻审定信息进行数据处理是对其进行分析之前的不可或缺的步骤。读取水稻基本信息数据本任务采用的数据是经过数据预处理的水稻数据，可直接用于分析，部分水稻数据如下表。读取水稻基本信息数据序号品种名称亲本来源（"×"前为母本）类型原产地/选育单位审定编号省份/部门1滇禾优801H479A×南801粳型三系杂交稻云南农业大学稻作研究所等国审稻20234003农业部2旱两优8208沪旱82S×旱恢808籼型两系杂交稻上海市农业生物基因中心国审稻20234002农业部3西子3号黄华占×珞红4A/IR28籼型常规稻湖南杂交水稻研究中心国审稻20234001农业部4中龙粳13号哈07-021×龙盘5号粳型常规稻黑龙江省农业科学院生物技术研究所国审稻20233271农业部5泰荣1号L6A×L100R粳型三系杂交稻国家粳稻工程技术研究中心等国审稻20233270农业部首先通过Xftp工具将rice.csv文件上传至master虚拟机的/opt/data/目录下。使用“$HADOOP_HOME/sbin/start-all.sh”命令启动Hadoop集群，并上传水稻信息数据至HDFS的/user/root中。使用“$SPARK_HOME/sbin/start-all.sh”命令启动Spark集群。使用“spark-shell”命令进入SparkShell界面。读取水稻基本信息数据调用系统自动初始化的SparkSession对象“spark”读取rice.csv文件的数据，并以DataFrame形式打印数据，通过spark中的read()方法中的option()设置首行为表头、编码格式为gbk、自动推断数据类型，再计算数据记录数。读取水稻基本信息数据在spark-shell默认的交互式命令行界面中，不会自动识别未完成的多行输入，这可能会导致在输入长语句或复杂表达式时出现错误。若想在spark-shell中能换行输出，可以输入“:paste”进入多行编辑模式，在编辑好代码后，键盘输入“Ctrl”+“D”，退出编辑模式并运行代码。目录1分析水稻数量情况读取水稻基本信息数据2深入探究农产品数量状况，是洞察农产品市场全局的关键。这一分析不仅对农业生产规划和供应链优化至关重要，而且是制定精准营销策略的基石。通过对市场现状的全面了解，相关方可确保农产品的生产与市场需求相匹配，进而提升产品质量，增强市场竞争力，为农业的可持续发展注入活力。水稻信息情况分析流程如下。分析水稻数量情况用groupBy()方法对“省份/部门”列进行分组，使用count()方法计算每个“省份/部门”水稻数量，最后使用sort()方法按数量降序排列对水稻数据进行处理和分析，统计“省份/部门”的数量。统计省级以上部门审定的水稻数量展示统计结果。“省份/部门”的一共有29个，其中审定数量前10的分别为农业部、广西、广东、湖南、黑龙江、江西、安徽、四川、湖北、福建。统计省级以上部门审定的水稻数量展示统计结果。结合统计结果可以看到农业部、广西和广东等数量最多，且均在平均值以上，水稻在中国的主要产区分布广泛，涵盖了南方、中部和东北部分地区，这些地区多为水资源丰富的地区，包括江河湖泊等水体，提供了充足的灌溉水源，有利于水稻的种植。统计省级以上部门审定的水稻数量提取水稻信息数据水稻类型字段，统计不同水稻类型的数量。由于水稻品种数量差异过大，将除了数量最多的六个水稻品种以外的品种当作其它品种进行统计。统计水稻品种数量展示统计结果。