全国职业院校技能大赛双数年 中职组赛题 ZZ052-大数据应用与服务 赛项赛题汇总 第01-5套

1一、背景描述随着中国数字化转型战略的推进，传统通信行业正面临着数字化转型的挑战和机遇；用户对通信服务的需求已经发生了根本性的变化，通信运营商正在通过技术创新和服务升级来满足这些需求；数字化转型涉及到网络建设、数据管理、服务创新等方面，大数据技术成为关键驱动力之一。为了应对这一转型，我们要求参赛者搭建通信行业大数据分析平台，并利用Hive数仓技术和Spark计算引擎对通信用户行为数据进行操作和分析；通过这样的平台，可以快速处理和挖掘海量数据，得出有价值的洞察和分析结果。同时，在展示数据分析结果方面，我们要求参赛者结合建交互式的数据可视化图表；这些图表能够直观地展示数据分析结果，帮助管理者更好地决策企业的发展战略，并对销售、营销、客服和技术等部门的目标策略进行全面部署；通过数据可视化，销售部门可以了解产品销售趋势和市场份额；营销部门可以优化营销活动和广告投放策略；客服部门可以提供更好的客户服务；技术部门可以进行网络优化和故障排2(一)任务一：大数据平台搭建本模块需要使用root用户完成相关配置；所有组件均1.子任务一：基础环境准备(2)在“/etc/profile”文件中配置JDK环境变量(3)查看JDK版本，检测JDK是否安装成功。在master节点操作(2)将master上的公钥拷贝到slave1和slave2上；master、slavel、slave2三台节点都需要安装Hadoop3历史日志服务器(3)在master节点的Hadoop安装目录下依次创建hadoopDatas/tempDatas、hadoopDatas/namenodeDatas、hadoopDatas/dfs/snn/name和(4)在master节点上使用scp命令将配置完的Hadoop安装目录直接拷贝至slave1和slave2;(5)三台节点的“/etc/profile”文件中配置Hadoop(7)在主节点依次启动HDFS、YARN集群和历史服务只在master节点操作4(3)安装好MySQL后，使用mysq1用户初始化和启动数(4)使用root用户无密码登录MySQL,然后将root用户的密码修改为123456,修改完成退出MySQL,重新登录验更改“mysq1”数据库里的user表里的host项，从localhost改成%即可实现用户远程登录；设置完成刷新配置(1)将Hive3.1.2的安装包解压到/root/software(2)在“/etc/profile”文件中配置Hive环境变量(3)查看Hive版本，检测Hive环境变量是否设置成5env.sh.template文件复制一份并重命名为hive-env.sh;然后，使用vim编辑器进行编辑，在文件中配置值删除并将前面的注释符#去掉；配置完成，保存退出；mysq1-connector-java-5.1.47-bin.jar(6)在$HIVE_HOME/conf目录下创建一个名为hive-site.xml的文件，并使用vim编辑器进行编辑；配置如下内容：连接元数据库的链接信息?createDatabaseIfNotExist=true&useSSL=false&=true&characterEnc动连接数据库用户名称6连接数据库用户密码“mysq1”,来初始化源数据库的元数据；(8)使用CLI启动Hive,进入Hive客户端；在Hive默认数据库下创建一个名为student的管理表；(9)通过insert语句往student表只在master节点操作。(2)在“/etc/profile”文件中配置Flume环境变量FLUME_HOME和PATH的值，并让配置文件立即生效；env.sh.template文件复制一份，并重命名为flume-env.sh;7使用vim命令打开“flume-env.sh”配置文件，找到参数位置，将前面的“#”去掉，将值修改为本机JDK的实际位置；修改完成，保存退出；(4)查看Flume版本，检测Flume是否安装成功。(二)任务二：数据库配置维护1.子任务一：数据库配置在Hive中创建一个名为comm的数据库，如果数据库已2.子任务二：创建相关表ods_behavior-log的外部表，如果表已存在，则先删除；分区字段为dt,即根据日期进行分区；同时，使用location关/behavior/ods/ods_behavior-log目录；字段类型如下表所数据类型说明一整行JSON数据日期，分区字段/root/eduhq/data/app-log/behavior目录下的每个数据文8件依次加载到外部表ods_behavior-log的对应分区中，按照日志文件对应日期定义静态分区(例如：dt='2023-01-01′)(3)查看ods_behavior-log表的所有现有分区、前3行数据，并统计外部表ods_behavior-log数据总行数；dwd_behavior-log的外部表，如果表已存在，则先删除；分区字段为dt,即根据日期进行分区；另外，要求指定表的存储文件类型为“orc”,文件的压缩类型为“snappy”;字段类型如下表所示；数据类型说明客户端请求的IP地址上网的模式，4G、5G或设备ID省份城市时间戳日期，分区字段9(一)任务一：数据获取与清洗1.子任务一：数据获取目录，用于存储采集到的用户行为日志；(2)目录创建完成，使用HDFSShel1指令，将本地/root/eduhq/data/app-log/behavior目录下的所有用户行(3)采集完成，在本机打开浏览器，访问http://本2.子任务二：数据清洗(2)对数据进行清洗，专注处理名为"behavior2023-01-01.csv"的文件中的"time"列。将时间日期格式进行分列,分别处理为日期和时间两列。(二)任务二：数据标注org.apache.hadoop.hive.ql.udf.gen法；该类需要实现通过IP从/root/eduhq/data/area.json(三)任务三：数据统计(2)将打包文件hive-udf-behavior-1.0.0.jar上传到(3)在Hive客户端，创建永久函数url-trans和get-city_by-ip,并将它们与开发好的clas(4)在Hive客户端，使用select语句测试url_trans(5)启动Hive的动态分区功能，并将Hive设置为非严(6)使用insertoverwrite...select...子句将ods_behavior_log表中数据插入分区表dwd_behavior-log中，并实现根据dt进行动态分区。2.子任务二：数据统计(2)查看外部表dwd_behavior-log的前3行数据，并验证URL协议是否被统一为“http”,以及通过IP是否能够获取到“省份”和“城市”信息；(3)统计外部表dwd_behavior-1og数据总行数。四、模块三：业务分析与可视化(一)任务一：数据可视化1.子任务一：数据分析dws_behavior-log的外部表，如果表已存在，则先删除；分区字段为dt,即根据日期进行分区；另外，要求指定表的存储路径为HDFS的/behavior/储文件类型为“orc”,文件的压缩类型为“snappy”;字段类型如下表所示；数据类型说明客户端请求的IP地址者电脑pc上网的模式，4G、5G或WiFi设备ID省份城市(2)启动Hive的动态分区功能，并将Hive设置为非dwd_behavior-1og表中数据插入分区表dws_behavior-log(4)查看dws_behavior-log表的所有现有分区、前3行数据，并统计统计表数据总行数；(5)在comm数据库下创建一个名为dim-date的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim-date目录，字段分隔符为(skip.header.line.count'='1')语句让Hive读取外表数据时跳过文件行首(表头);字段类型如下表所示；数据类型说明日期周星期一个月的第几天月份季度是否是工作日国家法定假日标识(6)在comm数据库下创建一个名为dim-area的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim-area目录，字段分隔符为说明省份地区录下的“dim-date_2023.txt”和“dim-area.txt”文件分别加载到外部表dim-date和dim-area中；(8)分别查看外部表dim-date和dim-area的前3行数(9)分别统计外部表dim-date和dim-area数据总行(10)统计不同省份用户访问量；将统计结果导出到本地文件系统的/root/eduhq/result/ads-user-pro目录下，并指定列的分隔符为逗号(特别注意：因为省份是随机获取的，所以结果会有所差异);(11)统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads-user_hour目录下，并指定列的分隔符为逗号；(12)不同网站访客的设备类型统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads_visit_mode目录下，并指定列的分隔符为逗号；(13)不同网站的上网模式统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads-online-type目录下，并指定列的分隔符为逗号；2.子任务二：数据可视化(1)使用Pyecharts库绘制中国地图，以直观展示不同省份用户访问量分布情况；●文件存放地址：/root/eduhq/python/●背景地址：/root/eduhq/images/img-1.png●图表名称：不同省份用户访问量分布图.html●图表存放地址：/root/eduhq/html/(2)使用Pyecharts库绘制一个带时间轴的柱形图，以直观展示不同经济大区用户的访问量统计情况；●文件存放地址：/root/eduhq/python/●背景地址：/root/eduhq/images/img-2.pngE图表名称：不同经济大区用户访问量统计柱形图E图表名称：不同经济大区用户访问量统计柱形图●图表存放地址：/root/eduhq/html/(3)使用Pyecharts绘制网页浏览量统计折线图，直观展示不同时间段内的访问量变化趋势；●文件存放地址：/root/eduhq/python/●数据目录：/root/eduhq/result/ads-user-hour目录●背景地址：/root/eduhq/images/img-3.png●图表名称：不同时间段网页浏览量统计曲线图.html●图表存放地址：/root/eduhq/html/(4)使用Pyecharts绘制网页浏览量统计折线图，直观展示节假日和工作日不同时间段内的访问量变化趋势；●文件存放地址：/root/eduhq/python/●背景地址：/root/eduhq/images/img-3.png●图表名称：节假日和工作日各时间段网页浏览量统(5)使用Pyecharts绘制堆积柱形图，直观地展示访客在不同设备类型上的访问次数情况；●文件存放地址：/root/eduhq/python/●背景地址：/root/eduhq/images/img-2.png0图表名称：网站访客设备类型统计堆积柱形图(6)使用Pyecharts绘制堆积柱形图，直观地展示访客在不同上网模式下的访问次数情况；●文件存放地址：/root/eduhq/python/●背景地址：/root/eduhq/images/img-2.png●图表名称：网站访客上网模式统计堆积柱形图●图表存放地址：/root/eduhq/html/(7)使用Pyecharts绘制词云图，直观地展示不同域●文件存放地址：/root/eduhq/python/●背景地址：/root/eduhq/images/img-2.png●图表名称：不同域名用户访问统计词云.html●图表存放地址：/root/eduhq/html/(二)任务二：业务分析(1)统计每天不同经济大区用户访问量；将统计(2)统计节假日和工作日的浏览量差异；将统计(3)统计不同域名的用户访问量；将统计结果导1一、背景描述随着互联网、大数据等技术的高速发展，通用设备制造业在“中国制造2025”计划的推动下正向定制化服务转型。传统的设备销售模式正在向销售服务模式转变，这为企业带来了新的机遇和挑战。在这个转型过程中，商业模式的创新变得至关重要。信息化与现代服务的结合成为制造企业转型从管理角度来看，企业需要全局掌握已售出设备的整体运行状况，以提高服务效率、满意度和及时率。同时，企业还需要提升决策效率，降低服务成本。这些挑战可以通过大数据综合开发来解决，通过对设备数据进行采集、存储和分析，企业可以实现对设备运行状况的全面监控和管理。利用大数据分析与应用服务，可以优化服务调度和资源分配，提可以提升企业的决策效率，并降低服务成本。2(一)任务一：大数据平台搭建1.子任务一：基础环境准备作为时钟源并进行时间同步；(2)执行命令生成公钥、私钥，实现三台机器间的免秘(3)从宿主机/root目录下将文件jdk-8u212-linux-x64.tar.gz复制到容器node01中的/root/software路径中(若路径不存在，则需新建),将node01节点JDK安装包解压到/root/software路径中(若路径不存在，则需新建);(4)修改容器中/etc/profile文件，设置JDK环境变量并使其生效，配置完毕后在node01节点分别执行“java-本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如径不存在，则需新建)目录下，并将解压包分发至node02、node03中，其中三个节点节点均作为datanode,配置好相关环境，初始化Hadoop环境namenode;3(2)开启集群，查看各节点进程。(1)从宿主机/root目录下将文件apache-hive-3.1.2-器node03中的/root/software路径中(若路径不存在，则需新建),将node03节点Hive安装包解压到/root/software(2)设置Hive环境变量，并使环境变量生效，执行命令hive--version查看版本信息；(3)修改相关配置，添加依赖包，将MySQL数据库作为Hive元数据库，初始化Hive元数据。1.11.0-bin.tar.gz复制到容器node03中的/root/software路径中(若路径不存在，则需新建),将node03节点Flume(2)完善相关配置，配置Flume环境变量，并使环境变量生效，执行命令flume-ngversion。4(二)任务二：数据库配置维护1.子任务一：数据库配置(1)在主机node3上安装mysql-community-server,码为“123456”;(2)开启MySQL远程连接权限，所有root用户都可以使用123456进行登录连接。2.子任务二：导入相关表(1)将本地/root/eduhq/equipment/目录下的数据文(2)将本地/root/eduhq/equipment/目录下的数据文3.子任务三：维护数据表结合已导入的两份sq1数据，对其中的数据进行如下查(1)对‘rootslsrc’数据库中的‘province’数据表进行修改，修改字段province_id为24的记录的province-name,修改为‘内蒙古自治区’;(2)对‘root_sl-src’数据库中的‘city’数据表进行删除，删除字段city-id为142的记录。5(一)任务一：数据获取与清洗1.子任务一：数据获取(1)使用load命令将提供的数据导入到Hive,全部数据表如下所示，结合要求对指定数据进行获取：在获取数据时，对应要求如下：*数据存储位置为Hive数据库equipment_dashboard*创建省份表ods-province,将province.csv数据导入ods-province,自行定义表结构*创建城市表ods-city,将city.csv数据导入ods-city,自行定义表结构*其他数据已存入Hive对应数据库中，可直接进行操作6hdfs*设备数据文件为province-iso-shel1.txt*写入位置为HDFS上/source/logs/province_iso/(1)对/root/eduhq/equipment/目录下工单故障记录表sms_so_failure_logs.txt进行文本清(二)任务二：数据标注_failure-logs进行操作，其中针对7一处理，添加设备状态标签“未获取”;*判断每行字段的长度，保证字段一致*针对时间字段，进行时间格式化，统一时间*针对空字段，统一清洗，如设置为未获取，根据实际8(三)任务三：数据统计1.子任务一：文件上传下载数据仓库公用的数据，并切换到此数据库下；(2)将标注后/source/mr/sms_so-failure_logs数据，上传至Hive表ods-sms-so-(3)将/source/mr/province_iso/数据，上传至Hive2.子任务二：数据统计(1)统计设备数量；(2)统计用户数量。9(一)任务一：数据可视化1.子任务一：数据分析(1)分析故障类型分布，进行正序排序展示前五名；(2)对交付状态分析，进行正序排序展示前五名；(3)对设备状态分析，查看各状态分布。2.子任务二：数据可视化(1)制作设备类型TOP5饼状图；(2)制作设备状态饼状图；(3)制作交付状态条形图；(4)制作设备数量数字卡片；(5)制作用户数量数字卡片；(6)制作设备省份分布TOP5饼状图；(7)制作设备维保分析折线图；(8)制作故障类型分布TOP5柱状图。(二)任务二：业务分析1.子任务一：业务分析(1)对设备类型进行分析，进行正序排序展示前五名；(2)对设备维保进行分析，了解设备维保时间变化趋势；(3)对设备分布省份进行分析，了解设备在不同地域的2.子任务二：报表分析成报表对regionname区域数据进行透视分析，及时把握市1一、背景描述大数据时代背景下，人们生活习惯发生了很多改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。平台可以根据用户的浏览，点击，评论等行为信息数据进行收集和整理。通过大量用户的行为可以对某一个产品进行比较准确客观的评分和评价，或者进行相应的用户画像，将产品推荐给喜欢该产品的用户进行相应的消费。因数据驱动的大数据时代已经到来，没有大数据，我们无法为用户提供大部分服务，为完成互联网酒店的大数据分析工作，你所在的小组将应用大数据技术，通过Python语言以数据采集为基础，将采集的数据进行相应处理，并且进行数据标注、数据分析与可视化、通过大数据业务分析方法实现相应数据分析。运行维护数据库系统保障存储数据的安全性。通过运用相关大数据工具软件解决具体业务问题。你们作为该小组的技术人员，请按照下面任务完成本次工作。2(一)任务一：大数据平台搭建1.子任务一：Hadoop完全分布式安装配置本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如/opt/module路径中(若路径不存在，则需新建),将JDK解压(2)修改Master中/etc/profile文件，设置JDK环境变量并使其生效，配置完毕后在Master节点分别执行“java-version”和“javac”命令，将命令行执行结果分别截图并粘(3)请完成host相关配置，将三个节点分别命名为master、slave1、slave2,并做免密登录，用scp命令并对路径从Master复制JDK解压后的安装文件到slavel、slave2节点(若路径不存在，则需新建),并配置slavel、slave2相关环境变量，将全部scp复制JDK的命令复制并粘贴至客户3好相关环境，初始化Hadoop环境namenode,将初始化命令及初始化结果截图(截取初始化结果日志最后20行即可)粘(5)启动Hadoop集群(包括hdfs和yarn),使用jps命令查看Master节点与slave1节点的Java进程，将jps命令本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：/opt/module目录下，将Kafka解压命令复制并粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下；(2)配置好zookeeper,其中zookeeper使用集群模式，分别将master、slavel、slave2作为其节点(若zookpeer已安装配置好，则无需再次配置),配置好Kafka的环境变量，并将命令和结果截图粘贴至客户端桌面【Releasel提交结4(3)完善其他配置并分发Kafka文件到slavel、slave2中，并在每个节点启动Kafka,创建Topic,其中Topic名称分区数为2,副本数为2,将创建命令和创建3.子任务三：Hive安装配置本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：hive-3.1.2-bin.tar.gz、mysql-connector-java-5.1.37.jar解压到/opt/module目录下，将命令复制并粘贴至客户端桌面(2)设置Hive环境变量，并使环境变量生效，执行命令hive--version并将命令与结果截图粘贴至客户端桌面(3)完成相关配置并添加所依赖包，将MySQL数据库相关命令执行初始化，将初始化结果截图(范围为命令执行(二)任务二：数据库配置维护1.子任务一：数据库配置(1)配置服务端MySQL数据库的远程连接。5(2)初始化MySQL数据库系统，将完整命令及初始化(3)配置root用户允许任意ip连接，将完整命令截图(4)通过root用户登录MySQL数据库系统，查看mysql库下的所有表，将完整命令及执行命令后的结果的截图复制(5)输入命令以创建新的用户。完整命令及执行命令后的结果的截图复制粘贴至客户端桌面【Release\提交结(6)授予新用户访问数据的权限。完整命令及执行命令后的结果的截图复制粘贴至客户端桌面【Releasel提交结(7)刷新权限。完整命令及执行命令后的结果的截图复2.子任务二：创建相关表(1)根据以下数据字段在MySQL数据库中创建酒店表(hotel)。酒店表字段如下：字段类型中文含义备注6酒店编号酒店名称城市省份星级房间数(2)根据以下数据字段在MySQL数据库中创建评论表(comment)。评论表字段如下：字段类型中文含义备注评论编号酒店名称评论人评分评论时间评论内容将这两个SQL建表语句分别截图复制粘贴至客户端桌3.子任务三：维护数据表根据已给到的sql文件将这两份数据导入任意自己创建的数据库中，并对其中的数据进行如下操作：7在comment_all表中将id为30的评分改为5;将这两个SQL语句分别截图复制粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。88(一)任务一：数据获取与清洗1.子任务一：数据获取商圈、是否为客栈、星级、房间数、评论数、评分、城市平均订单、城市平均间夜、城市平均实住订单、城市平均实住住宿场所实住间夜、住宿场所直销订单、住宿场所直销间夜、住宿场所直销实住间夜、住宿场所直销拒单、城市直销订单、城市实住订单、城市直销拒单率，并且存入到hotel.csv文件端的截图复制粘贴至客户端桌面【Release\提交结果.docx】2.子任务二：使用Python进行数据清洗现已从相关网站及平台获取到原始数据集，为保障用户隐私和行业敏感信息，已进行数据脱敏。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况、不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号等个人信息都需要进行相关数据文件中已经包含了数据采集阶段从企业消费平台网站上爬取的数据集，其中包含了来自不同城市的多家9住宿场所的销售信息，你的小组需要通过编写代码或脚本完成对相关数据文件中住宿场所销售管理数据的清洗和整理。请使用pandas库加载并分析相关数据集，根据题目规定要求使用pandas库实现数据处理，具体要求如下：中商圈为空的数据并且存入(2)删除hotel.csv中缺失值大于3个的数据列并且存线“”间隔无顺序要求；(3)将hotel.csv中评分为空的数据设置为0并且存入(4)将hotel.csv中评分为空的数据设置为总平均并且存入hotel2_c4_N.csv,N为总平均评分保留一位小数。将该4个文件名截一张图复制粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。现有一个信息化项目，项目小组分别针对一幢建筑的四、五两层进行了设备调研，并分工撰写了针对实验基础设施和网络计算设施两个大类的设备预算，设备预算按照楼层和类别分别存储在四个Excel文件里面。你的小组需要通过Excel对这四个文件进行合并和处理。(1)合并四个Excel文件到一个Excel文件中；将四个Excel文件合并加载的截图(不用下拉)复制粘通过列拆分出楼层和一级分类两个字段；(2)将拆分两个字段的结果分别进行截图(不用下拉)(3)通过添加一列实现合计(万元)字段将合计数转化为将添加列的定义界面进行截图(不用下拉)复制粘贴至(4)通过删除不需要进行统计的列和调整列顺序，四个将包含最终列的结果和非数据行计数界面进行截图(不(二)任务二：数据标注使用SnowNLP对酒店评论数据hotelcomment.csv进行标注，获取情感倾向评分(sentiments),具体的(1)对情感倾向分数大于等于0.6评论数据标注为正向；(2)对情感倾向分数大于0.4小于0.6评论数据为中性；(3)对情感倾向分数小于等于0.4评论数据标注为负向。根据采集到的评论信息，给出三类标注好的数据，存入编号酒店名称评论信息情感倾向备注1全季酒店中性将standard.csv打开后直接截图(不用下拉)复制粘贴至(三)任务三：数据统计1.子任务一：HDFS文件上传下载本任务需要使用Hadoop、HDFS命令，已安装Hadoop及需要配置前置环境，具体要求如下：(2)修改权限，赋予目录/file2_1最高777权限，查看(3)下载HDFS新建目录/file2_1,到本地容器Master2.子任务二：处理异常数据数据，数据中有以下内容：id:主键非空，bigint类型，长度为20login_name:用户名，varchar类型，长度200nick_name:用户昵称，varchar类型，长度200passwd:密码，varchar类型，长度200name:姓名，varchar类型，长度200phone_num:手机号，varchar类型，长度200email:邮箱，varchar类型，长度200head_img:头像，varchar类型，长度200userlevel:用户级别，varchar类型，长度200_operate_time:修改时间，datetime类型，格式为yyyy-数据的分隔符“,”转换为“”,输出文件到HDFS,然后在在控制台按顺序打印输出前10条数据，将结果截图粘贴3.子任务三：数据统计order_info.csv文件存储了电商互联网平台上收集的订单信息表数据，数据中有以下内容：id:主键非空，bigint类型，长度为20consignee_tel:收件人电话，varchar类型，长度20final_total_amount:总金额，decimorder_status:订单状态，varchar类型，长度20user_id:用户id,bigint类型，长度20delivery_address:送货地址，varchar类型，长度1000order_comment:订单备注，varchar类型，长度200out_trade_no:订单交易编号(第三型，长度50trade_body:订单描述(第三方支付用),varchar类型，长度200operate_time:操作时间，datetime类型，格式为yyyy-tracking_no:物流单编号，varchar类型，长度100parent_order_id:父订单编号，bigint类型，长度20province_id:省份id,int类型，长度20original_total_amount:原价金额，decimal类型，长度16order_status这一字段统计每种状态的订单总数，将结果写入HDFS,在控制台读取HDFS文件，将结果截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。(一)任务一：数据分析与可视化(1)数据分析城市游客接纳能力是城市规划建设中的重要指标，其中城市的酒店房间数量是城市游客接纳能力的关键要素。请编写程序或脚本根据模块二任务一中子任务一所采集到的数据文件hotel.csv统计以下的相关信息，具体要求如下：(1)分别统计各个商圈的的酒店总数，进行倒序排序展(2)统计各个商圈酒店的平均房间数，进行正序排序展(3)统计所有五星级酒店的平均评分。将该3个统计结果在IDE的控制台中打印并分别截图复(2)数据可视化在企业消费平台上，各地区的酒店信息能够反映一个地区商业活动的密集程度。例如酒店总量多的城市大都具有强烈的吸纳外来人员的能力，订单数量能够反映该地区的有较多的商业往来。根据现有数据及给定参数完成酒店数据统计。使用Python代码编写数据可视化的相关功能，所用数据为模块二任务一中子任务一所采集到的hotel.csv数据，具体(1)用柱状图显示各个商圈的酒店总数；(2)用折线图显示各星级酒店平均评分走势。将该2个可视化图表分别截图复制粘贴至客户端桌面在模块二任务一中子任务三中处理好的数据作为待分使用数据透视图表完成针对四、五层设备预算的统计分(1)使用表中一级分类、二级分类作为行统计项，楼层将数据透视表字段配置截图复制粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。表格形式显示项目标签，汇总的合计(万元)数据使用保留小(3)与数据透视表搭配的数据透视图使用柱状图，不需要纵坐标轴和网格线，为柱状图每组数据添加数据标签，设置数据透视图的标题为“信息化项目统计图表单位(万元)”(二)任务二：业务分析与方案设计1.子任务一：业务分析完成模块二任务二已标注数据standard.csv评论情感分析功能，以月度为单位统计每月该酒店的正向、中性、负向评价数量，绘制折线图，并对酒店的发展趋势将图表截图复制粘贴至客户端桌面【Release\提交结2.子任务二：报表分析根据模块二任务二已标注数据standard.csv文件中的结果，通过Excel生成报表信息方便酒店运营方在后续服务中进行优化，及时准确的把握用户体验，具体要求如下：(2)该酒店的整体评价趋势数量饼状图。将两张图表截一张图复制粘贴至客户端桌面【Release\提一、背景描述大数据时代背景下，人们生活习惯发生了很多改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。平台可以根据用户的浏览，点击，评论等行为信息数据进行收集和整理。通过大量用户的行为可以对某一个产品进行比较准确客观的评分和评价，或者进行相应的用户画像，将产品推荐给喜欢该产品的用户进行相应的消费。因数据驱动的大数据时代已经到来，没有大数据，我们无法为用户提供大部分服务，为完成互联网酒店、电商的大数据分析工作，你所在的小组将应用大数据技术，通过Python语言以数据采集为基础，将采集的数据进行相应处理，并且进行数据标注、数据分析与可视化、通过大数据业务分析方法实现相应数据分析。运行维护数据库系统保障存储数据的安全性。通过运用相关大数据工具软件解决具体业务问题。你们作为该小组的技术人员，请按照下面2(一)任务一：大数据平台搭建1.子任务一：Hadoop完全分布式安装配置要配置前置环境。命令中要求使用绝对路径，具体要求如3.1.3.tar.gz、jdk-8u191-linux-x64.tar.gz安装包解压到/opt/module路径中(若路径不存在，则需新建),将JDK解压(2)修改Master中/etc/profile文件，设置JDK环境变量并使其生效，配置完毕后在Master节点分别执行“java-version”和“javac”命令，将命令行执行结果分别截图并粘贴至客户端桌面【Release\提交结果.docx】中对应的任务(3)请完成host相关配置，将三个节点分别命名为master、slave1、slave2,并做免密登录，用scp命令并使用绝对路径从Master复制JDK解压后的安装文件到slave1、slave2节点(若路径不存在，则需新建),并配置slave1、3至客户端桌面【Release\提交结果.docx】相关环境，初始化Hadoop环境namenode,将初始化命令及初始化结果截图(截取初始化结果日志最后20行即可)粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序(5)启动Hadoop集群(包括hdfs和yarn),使用jps命令查看Master节点与slave1节点的Java进程，将jps命令与结本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：(2)完善相关配置设置，配置Flume环境变量，并使4(3)启动Flume传输Hadoop日志(namenode或datanode看命令及结果(至少5条结果)截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：1.14.0-bin-scala_2.12.t存在，则需新建),将完整解压命令复制粘贴至客户端桌面(2)修改容器中/etc/profile文件，设置Flink环境变量并使环境变量生效。在容器中/opt目录下运行命令flink--version,将命令与结果截图粘贴至客户端桌面【Release\提(3)开启Hadoop集群，在yarn上以perjob模式(即Job分离模式，不采用Session模式)运行$FLINK_HOME/examples/batch/WordCount.jar,将运行结果5$FLINK_HOME/example(二)任务二：数据库配置维护1.子任务一：数据库配置(1)配置服务端MySQL数据库的远程连接。(2)初始化MySQL数据库系统，将完整命令及初始化(3)配置root用户允许任意ip连接，将完整命令截图复务序号下(4)通过root用户登录MySQL数据库系统，查看mysql库下的所有表，将完整命令及执行命令后的结果的截图复(5)输入命令以创建新的用户。完整命令及执行命令后的结果的截图复制粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。(6)授予新用户访问数据的权限。完整命令及执行命令后的结果的截图复制粘贴至客户端桌面【Release\提交结6(7)刷新权限。完整命令及执行命令后的结果的截图2.子任务二：创建相关表(1)根据以下数据字段在MySQL数据库中创建酒店表字段类型中文含义备注酒店编号酒店名称城市省份星级房间数(2)根据以下数据字段在MySQL数据库中创建评论表字段类型中文含义备注评论编号酒店名称评论人7评论时间评论内容将这两个SQL建表语句分别截图复制粘贴至客户端桌面3.子任务三：维护数据表根据已给到的sql文件将这两份数据导入任意自己创建的数据库中，并对其中的数据进行如下操作：将这两个SQL语句分别截图复制粘贴至客户端桌面【8(一)任务一：数据获取与清洗1.子任务一：数据获取有一份购物平台列表数据：商品ID、名称、价格、浏pandas读取shopping.csv并将读取的csv打印在IDE终端的截2.子任务二：数据处理现已从相关网站及平台获取到原始数据集，为保障用户隐私和行业敏感信息，已进行数据脱敏。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。同时为了正确保护消费者权益，对于刷单或僵尸商户要进行及时监管，你的小组为此对数据相关数据文件中已经包含了数据采集阶段从购物网站爬取的数据集，需要通过编写代码或脚本完成对相关数据请使用pandas库加载并分析相关数据集，根据题目规定要求使用pandas库实现数据处理，具体要求如下：(1)删除shopping.csv中库存小于10或库存大于9(3)将商品中涉及“女装”字段的数据删除，并存入价格区间的平均数，存入shop4.csv。将该4个文件名截一张图复制粘贴至客户端桌面【(二)任务二：数据标注1.子任务一：分类标注使用Python工具库SnowNLP对手机商城评论数据model_comment.csv进行标注，获取情感倾向评分(sentiments),具体的对情感倾向的标注规则如下：(1)对分数大于等于0.6的评论数据标注为正向；(2)对分数大于0.4小于0.6的评论数据标注为中性；(3)对分数小于等于0.4的评论数据标注为负向。根据采集到的评论信息，给出三类标注好的数据，存编号手机品牌评论信息情感倾向编号1华为正向1将mode1_sen.csv打开后直接截图(不用下拉)复制粘贴至客户端桌面【Release\提交结果.docx】中对应的任务(三)任务二：数据统计1.子任务一：HDFS文件上传下载本任务需要使用Hadoop、HDFS命令，已安装Hadoop及需要配置前置环境，具体要求如下：,查看文件截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下；目录下，查看文件截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。2.子任务二：处理异常数值mobile.txt文件存储了用户购买行为数据，数据中有字段名称字段说明数据类型示例型号标题华为荣耀4A双卡双待4G手机白色移动4G版标配评论给我叔叔买的价格合理功能完善用着还OK等过段时间再来评价会员等级金牌会员购买平台京东PC客户端地区辽宁n用户印象国民手机信号稳定外观漂亮照相不错颜色金色价格网络类型移动4G版标配时间编写MapReduce程序，实现以下功能：清除数据中分隔符混乱的，多于11个字段的数据，输出文件到HDFS;在控制台按顺序打印输出前10条数据，将结果截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下3.子任务三：数据统计mobile.txt文件存储了用户购买行为数据，数据中有字段名称字段说明数据类型示例型号标题华为荣耀4A双卡双待标配评论给我叔叔买的价格合理功能完善用着还OK等过段时间再来评价会员等级金牌会员购买平台京东PC客户端地区辽宁n用户印象国民手机信号稳定外观漂亮照相不错颜色金色价格网络类型移动4G版标配时间编写MapReduce程序，实现以下功能：根据user_impression这一字段，统计买家对商家销售的手机商品的印象，结果按照印象数降序排序，格式为：(user_impression,次数),如：(性价比高，10),结果保存至HDFS,在控制台读取HDFS文件输出各组人数，将结果截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。(一)任务一：数据分析与可视化1.子任务一：数据分析品牌价值和商品特性对用户的购物习惯有着重要的影响，不同的商品特性能够满足消费者不同的需求和偏好，消费者往往也会根据自己对品牌的认知和评价以及对商品特性的需求进行选择和购买决策。请编写程序或脚本根据模块二任务一子任务一采集到的数据文件shopping.csv进行处理，要求对商品名称进行分割，第一个元素作为对应商品品牌，其他元素作为对应特征，统计以下的相关信息，(1)对各品牌进行统计，进行正序排序展示前十名；(2)对各商品特征进行统计，进行正序排序前六名；(3)统计各品牌的销量，进行正序排序展示前五名。将该3个统计结果在PyCharm的控制台中打印并分别截2.子任务二：数据可视化在购物平台上，各地区的商品购物信息能够反映一不同区域对于不同产品需求成都。例如同品牌商品在不同区域，其销售量和热销产品线、产品价格能够反映该地区人群的购物习惯。根据现有数据及给定参数完成手机商城销使用Python可视化库Matplotlib编写数据可视化的相关功能，所用数据为模块一任务一子任务一所采集到的(1)用柱状图显示不同价格区间手机销售情况，了解(2)用饼图显示不同地区手机品牌销售统计占比。将该2个可视化图表分别截图复制粘贴至客户端桌面【(二)任务二：业务分析与方案设计1.子任务一：业务分析完成模块二任务二已标注数据model_sen.csv评论情感分析功能，以月度为单位统计每月某品牌商户的正向、中性、负向评价数量，绘制折线图，并对此品牌发展趋势作出简要分析。将图表截图复制粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下，并在其下方编写发展趋势分析。2.子任务二：报表分析根据模块二任务二已标注数据model_sen.csv文件中的结果，通过Excel生成报表信息方便品牌商户在后续服务中进行优化，及时准确的把握用户体验，具体要求如下：(1)该品牌商户的评论正向、负向、中性的评论趋势柱状图，按评论数量倒序排序；(2)该品牌商户的整体评价趋势数量饼状图。将两张图表截一张图复制粘贴至客户端桌面【Release\提交结果.docx】中对1ZZ052-大数据应用与服务赛项试题05一、背景描述网产生的全部内容可以达到EB级别，能够轻松刻满1.68亿张光盘。在商业、经济及其它领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。那么,要怎样基于大数据做出正确的决策呢?大数据首先需要解决的问题就是数据存储的问题，由于数据量非常之大，想通过传统单一的节点的存储显得力不从心，搭建分布式的文件存储系统成为了一个完美的解决方案。解决了数据存储的问题，我们需要从数据中提取有用信息，通过数据分析手段让数据发挥出真正的价值。但往往采集的原始数据中包含了一些无用数据以及噪声数据，如果直接基于这些脏数据进行分析，往往会让分析结果产生偏差甚至错误，从而造成决策上的失准。因此，我们有必要对这些原始数据进行清洗，以保证其数据准确性、完整性和可用性，提高数据的质量。在解决脏数据的困扰后，我们需要采取各种数据分析手段，提取数据中的价值，得到可靠的结果，并以图表等直观的方式将分析结果进行展现。然后从业务层面对分析结果进行分析和解释，从而气候变化正在迅速地改变地球。随着全球气温不断升高、2海平面上升、极端天气事件频繁发生，人们对于地球的未来更加担忧。为了更好地了解气候变化的趋势、预测未来天气趋势，指引相关部门尽早做出举措以应对气候变化，保护人类赖以生存的家园，你的团队将运用大数据技术对天气数据进行分析及决策。搭建大数据平台集群环境以应对海量天气数据的存储，结合数据库的毫秒级的响应，为天气决策系统提供数据存储及查询保障。通过数据清洗技术，去除数据中对数据进行分类标注，为后续通过人工智能算法模型决策奠定基础。通过各种数据分析技术，让看似杂乱无章的数据，让数据分析结果及天气变化规律以一种最为直观的方式呈现。最后从业务层面对天气数据分析结果进行分析及解释，使气象学家更好的了解气候变化，并做出精准决策应对气候问题。你们作为该大数据小组的技术人员，请按照下面任务(一)任务一：大数据平台搭建1.子任务一：Zookeeper集群安装配置本任务需要使用root用户完成相关配置，具体要求如(1)在master节点将/usr/local/src目录下的apache-zookeeper-3.5.7-bin.tar.3将完整命令截图粘贴到对应答题报告中；(2)在master节点上面将配置的Zookeeper环境变量文件及Zookeeper解压包拷贝到slave1、slave2节点，将命令和结果截图粘贴到对应答题报告中；/opt/zookeeper-3.5.7/data目录下的myid文件内容修改为3,将命令和结果截图粘贴到对应答题报告中；启动zookeeper,将命令和结果截图粘贴到对应答题报告中；本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如.hadoop-3.1.3.tar.gz包解压到/opt路径下，将完整命令截图粘贴到对应答题报告中；设置Hadoop环境变量，将环境变量配置内容截图粘贴到对应答题报告中；(3)在master节点上面修改Hadoop的配置文件hdfs-site.xml,需要在该文件中指定上传的文件的副本数4为3,将修改的内容截图粘贴到对应答题报告中；(4)在master节点上面修改Hadoop的配置文件ResourceManager的地址为slave2,将修改的内容截图粘贴件及Hadoop解压包拷贝到slave1、slave2节点，将命令和结果截图粘贴到对应答题报告中；(6)在master节点上面初始化Hadoop环境namenode,将初始化命令及初始化结果截图粘贴到对应答题报告中；(7)启动Hadoop集群(在master节点启动hdfs,在slave2节点启动yarn),使用jps查看master节点、slave1节点、slave2节点的进程，将查看结果截图粘贴到对应答题本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：apache-hive-3.1.2-bin.tar.gz安装包解压到/opt路径下，将完整命令截图粘贴到对应答题报告中；(2)修改hive-site.xml配置文作为Hive元数据库。将配置Hive元数据库的相关内容截图5粘贴到对应答题报告中；(3)将/usr/local/src目录下的MySQL数据库JDBC驱动mysq1-connector-java-5.1.27-bin.jar拷贝到Hive安装目录的lib文件夹下，将完整命令截图粘贴到对应答题报(4)初始化Hive元数据库，将初始化命令及结果截图粘贴到对应答题报告中；(5)启动Hive,将命令输出结果截图粘贴到对应答题(二)任务二：数据库配置维护1.子任务一：数据库配置MySQL是一个多用户数据库，具有功能强大的访问控制系统，可以为不同用户指定不同权限。root用户是超级管理员，拥有所有权限，包括创建用户、删除用户和修改用户密码等管理权限。为了实际项目的需要，可以定义不同的用户角色，并为不同的角色赋予不同的操作权限。当用户访问数据库时，需要先验证该用户是否为合法用户，再约束该用户只能在被赋予的权限范围内操作。具体任务要求如下：(1)为本地主机数据库创建一个名为staff的用户，密码为staff123456,将完整命令及结果截图粘贴到对应答题报告中；6(2)查看用户，确认有刚才创建的staff用户，将完整命令及结果截图粘贴到对应答题报告中；(3)将用户名staff修改为newstaff,将完整命令及结果截图粘贴到对应答题报告中；weather-month表的查询、插入、删除权限，将完整命令及结果截图粘贴到对应答题报告中(MySQL数据库中已创建好WeatherDB数据库，如果不存在则需要自己建库并导入数据，提供的几个sq1是数据源文件);(5)使用新用户newstaff登录MySQL数据库，查看是否有WeatherDB数据库，并查看WeatherDB数据库下有哪些表，将完整命令及结果截图粘贴到对应答题报告中；(6)删除newstaff的用户，并确认是否已经删除newstaff用户，将完整命令及结果截图粘贴到对应答题报告2.子任务二：数据表与数据管理气候变化正在迅速地改变地球。随着全球气温不断升高、海平面上升、极端天气事件频繁发生，人们对于地球的未来更加担忧。为了更好地了解气候变化的趋势、预测未来天气趋势，我们创建了“天气数据库”,用于收集、组织和记录来自全球各地的气象数据和天气预报信息。它的作用不仅仅是记录过去的天气情况，更是提供了一个全球性、长期性的7气候趋势预测工具，使气象学家和气候学家能够更好地了解气候变化的趋势，从而采取适当的措施应对未来的气候变化。为province-city的数据表，数据库引擎为InnoDB,默认字符集为utf8。将完整命令及运行结果截图粘贴到对应答题报列名数据类型说明城市名称省份名称(2)使用SQL命令修改province-city表中climate列的列名为climate-new,将完整命令及结果截图粘贴到对(3)使用SQL命令给province-city表增加一个字段zip-code(代表邮编),字段类型应符合实际意义，将完整命令及结果截图粘贴到对应答题报告中；(4)使用SQL语句给province-city表中插入一条数据，数据的具体信息如下：城市ID为10001、城市名称为阆中市、省份名称为四川省、气候条件为亚热带季风气候、邮编为637400。将完整SQL语句及运行结果截图粘贴到对应答8(5)使用SQL语句批量给province-city表中插入三条数据，将完整SQL语句及运行结果截图粘贴到对应答题报告中。数据的具体信息如下：城市名称省份名称邮编江油市四川省亚热带季风性湿润气候灯塔市辽宁省北温带大陆性气候玉环市浙江省暖温带大陆性季风气候(6)使用SQL语句修改province-city表中城市ID为10004的城市信息，将气候修改为亚热带海洋性季风气候，将邮编修改为317600。将完整SQL语句及运行结果截图粘贴3.子任务三：维护数据表SQL作为一种全球通用的语言，任何人都可以学习使用。虽然看起来很复杂，除开特定数据库系统专用的SQL命令，其它基本上不需要任何事先的知识，而且命令通常比较少。SQL能够快速的查询和统计大量数据，发现数据的趋势和数据之间的关系。SQL是一种与数据库打交道的标准语言，熟练地使用SQL可以确保每个使用数据库的人都会使用相同的命令，使得开发人员更容易创建与多个数据库一起工作的应用程序。本任务的具体要求如下：(1)使用SQL命令查看weather-month表中第20000至第20100条数据(查询结果只显示第20000至第20100条数据),将完整SQL语句和运行结果的后5条数据以及总数9据行数截图粘贴到对应答题报告中；(2)使用SQL语句分别查询四川省、广东省、浙江省名称、邮编、城市等级、气候条件。将完整SQL语句和各省份相关城市查询结果的后5条数据以及总数据行数截图粘贴(3)使用SQL语句查询weather_month表，筛选出哪些城市在2018年的月度温差大于等于5度的(平均最高气温-平均最低气温),输出城市id、城市名称、日期、平均最高气温、平均最低气温。将完整SQL语句和运行结果的后5条数据以及总数据行数截图粘贴到对应答题报告中；(4)使用SQL语句查询weather_day表中各个城市每年的最高温度和最低温度分别是多少度，输出城市id、城市名称、日期(格式为年)、最高温度、最低温度。将完整SQL语句和运行结果的后5条数据以及总数据行数截图粘贴到对(一)任务一：数据获取与清洗1.子任务一：数据获取读取已经爬取到的distribution.csv数据文件，根据表头字段名统计每一列缺失值个数，并保存到代码同级目录下的result-1.csv文件中，result-1.csv文件应包括如下字段名字段说明字段名称当前列缺失值计数将result_1.csv文件内容截图粘贴至结果文件中。本任务需要使用Hadoop,HDFS命令，已安装Hadoop及需要配置前置环境，具体要求如下：(1)在master节点HDFS根目录下创建student目录，将完整命令及结果截图粘贴到对应答题报告中；(2)使用命令将/root/clean-month.csv文件上传到HDFS文件系统的/student目录下，将完整命令及结果截图(3)使用命令查看HDFS中/student/clean-month.csv文件的后5条数据，将完整命令及结果截图粘贴到对应答题(4)使用命令查看HDFS中/student目录下每个文件所占磁盘空间，人性化显示文件大小，将完整命令及结果截图粘贴到对应答题报告中。(二)任务二：数据标注数据标注是人工智能产业的基础，是机器感知现实世界的起点。随着AI行业的蓬勃发展，对数据的需求呈井喷式增长，从某种程度上来说，没有经过标注的数据就是无用数据。数据标注的越精准、对算法