基于Hive“智慧农网”农产品数据分析可视化系统

代码5.19所示。代码STYLEREF1\s5.SEQ代码\*ARABIC\s119农产品价格查询结果$('.layui-btn').click(function(){varinputVal=$('.layui-input').val()table.render({elem:'#demo',height:312,url:'http://localhost:8080/getPart6'//数据接口,page:true//开启分页,where:{query:inputVal},cols:[[//表头 {field:'style',title:'名称',width:120,sort:true,fixed:'left'},{field:'adress',title:'市场名称',width:120},{field:'minprice',title:'最低价',width:120},{field:'maxprice',title:'最高价',width:120},{field:'avgprice',title:'平均价',width:120},{field:'time',title:'时间',width:120}]]})}本章小结本章对设计的系统进行了实现，首先对网页数据使用Python技术进行爬取，其次使用MapReduce计算框架对爬取的数据进行清洗，再将清洗后的数据放入HDSF中储存，使用Hive技术将数据分别创建各类表进行分类分析。最后，使用Echarts可视化技术对已经分析好的数据进行可视化操作。使数据可视化便于系统用户便捷使用。系统测试系统测试，是对系统的验证，也是整个系统发展重要的步骤。测试结果直接关系系统成功与否。通过测试，保障系统的质量、性能和安全性。在系统试验中，要严格规范，重视细节，进行综合试验。系统测试的主要目的是找出系统中可能存在的问题或错误，及时修复这些问题，确保系统安全稳定运行。功能测试系统采集数据测试系统采集数据测试用例如REF_Ref161145581\h表6.1所示表STYLEREF1\s6.SEQ表\*ARABIC\s11采集数据用例表系统测试测试用例用例编号001用例名称系统采集数据用例测试目的确保采集农产品数据的完整性。测试步骤通过随机抓取已采集的数据，查看数据库中数据与页面数据是否一致。测试过程如所示。期望结果所采集的数据与网页显示数据保持一致测试结果测试结果如REF_Ref161020274\h图6.1所示，数据库中所储存的数据与页面一致。具体步骤如下。图STYLEREF1\s6.SEQ图\*ARABIC\s11数据库中爬取数据系统清洗数据测试系统清洗数据测试用例如REF_Ref161147084\h表6.2所示。表STYLEREF1\s6.SEQ表\*ARABIC\s12清洗数据用例表系统测试测试用例用例编号002用例名称系统清洗数据用例测试目的确保将缺失值、异常值、超出范围的数据清洗成功。测试步骤通过Hive查询是否将异常农产品数据清洗。测试过程如REF_Ref161148362\h图6.2所示。期望结果采集的数据完成数据清洗。测试结果Hive命令执行后已将缺省值、异常值、超出范围数据清洗成功。结果如REF_Ref161148368\h图6.3所示。具体步骤如下。图STYLEREF1\s6.SEQ图\*ARABIC\s12进行数据清洗图STYLEREF1\s6.SEQ图\*ARABIC\s13清洗后数据系统分析数据测试系统分析数据测试用例如REF_Ref161148530\h表6.3所示。表STYLEREF1\s6.SEQ表\*ARABIC\s13分析数据用例表系统测试测试用例用例编号003用例名称系统分析数据用例测试目的测试是否将清洗的农产品数据通过Hive进行数据分析。测试步骤通过MySQL数据库查询是否完成数据分析。测试过程如REF_Ref161149840\h图6.4REF_Ref161149844\h图6.5所示。期望结果清洗的数据完成数据分析。测试结果结果如REF_Ref161067492\h图6.6所示。已将清洗后数据通过Hive数据分析实现分类。具体步骤如下。图STYLEREF1\s6.SEQ图\*ARABIC\s14执行白菜最高价数据分析图STYLEREF1\s6.SEQ图\*ARABIC\s15hive中所有分析表图STYLEREF1\s6.SEQ图\*ARABIC\s16数据库中数据分析分类表系统预测功能测试系统预测功能测试用例表如REF_Ref161149935\h表6.4所示。表STYLEREF1\s6.SEQ表\*ARABIC\s14预测功能用例表系统测试测试用例用例编号004用例名称系统预测功能用例测试目的评估系统在不同环境和条件下对农产品的数据预测结果。测试步骤通过Python代码实现价格的预测测试。期望结果成功进行价格的预测。测试结果农产品价格分析预测如REF_Ref160904793\h图6.7REF_Ref160904794\h图6.8REF_Ref160904797\h图6.9所示。具体步骤如下所示。图STYLEREF1\s6.SEQ图\*ARABIC\s17线性回归预测结果图STYLEREF1\s6.SEQ图\*ARABIC\s18霍尔特线性趋势法预测结果图STYLEREF1\s6.SEQ图\*ARABIC\s19自回归移动平均模型（ARIMA）预测结果系统可视化功能测试系统业务功能测试包含了多个功能测试。1.系统登陆注册测试：登陆注册测试用例如REF_Ref161150515\h表6.5所示。表STYLEREF1\s6.SEQ表\*ARABIC\s15登陆组成测试用例表系统测试测试用例用例编号005用例名称系统登陆注册功能用例测试目的测试系统是否可以通过识别后台数据库用户并成功登陆系统。测试步骤登录界面网页输入已存在用户名和密码查看是否可以成功登陆。注册界面创建新用户时，查看后端数据库是否更新新创建的用户名和密码。期望结果用户成功进行登陆注册进入系统。测试结果测试结果如REF_Ref160904688\h图6.10REF_Ref160904689\h图6.11REF_Ref160904690\h图6.12所示。具体实现步骤。图STYLEREF1\s6.SEQ图\*ARABIC\s110系统登陆测试图STYLEREF1\s6.SEQ图\*ARABIC\s111系统注册测试图STYLEREF1\s6.SEQ图\*ARABIC\s112后台数据库是否更新数据测试2.系统数据分析可视化功能测试：数据分析可视化测试用例表如REF_Ref161150761\h表6.6所示。表STYLEREF1\s6.SEQ表\*ARABIC\s16系统数据分析可视化用例表系统测试测试用例用例编号006用例名称系统数据分析可视化功能用例测试目的检查系统是否对农产品数据可视化成功实现。测试步骤通过登陆本系统查看网页是否形成数据分析后的可视化界面。期望结果数据可视化界面完整展现。测试结果测试结果如REF_Ref160904750\h图6.13REF_Ref160904751\h图6.14REF_Ref160904752\h图6.15REF_Ref160904754\h图6.16REF_Ref160904755\h图6.17所示。图STYLEREF1\s6.SEQ图\*ARABIC\s113各类农产品价格分析测试图STYLEREF1\s6.SEQ图\*ARABIC\s114各个市场的白菜价格分析测试图STYLEREF1\s6.SEQ图\*ARABIC\s115各类农产品的价格变化测试图STYLEREF1\s6.SEQ图\*ARABIC\s116各个市场的农产品数量分析测试图STYLEREF1\s6.SEQ图\*ARABIC\s117数据查询测试测试总结该系统的开发过程中，收集了许多优秀网站平台的设计案例，并从中吸取经验。无论是界面设计还是系统性能优化，都以客户需求为导向，旨在为用户和管理员提供极致的操作体验。本系统的应用具有以下两大优点：1.针对性强：在系统开发设计阶段，始终以客户需求为导向，不仅能够满足用户需求，还能够实现多个操作系统的兼容性，满足用户多方面的要求。2.便于管理：该系统具有丰富的功能板块，当出现漏洞时，系统会报错并及时处理。通过系统测试，发现可视化资源存储系统的功能和性能都能满足用户的要求。此外，系统操作具有良好的兼容性。对农业信息化技术的提升具有一定的促进作用，因此在市场上具有良好的前景。本章小结本章对系统的实现进行了测试，对系统的登陆注册功能、农产品数据可视化功能和农产品数据预测功能进行了测试，确保了基于Hive的“智慧农网”农产品数据分析可视化系统的完整性和实用性。结论与展望本次研究中，以农产品数据分析作为研究内容。设计思路如下。首先，进行系统需求分析，确定此次需要用到的技术。其次设计系统框架，在系统设计实现之后，还需进行软硬件测试。具体言，分为以下四个步骤：1、研究背景。随着网络技术的快速发展升级，对各个行业的影响都是深远的，而且都意识到了计算机信息技术的重要性。当前，管理型系统成为研发领域的重点。在此次的农产品价格采集与挖掘设计与研发项目中，综合运用了Java语言、spring框架和Python算法等技术。2、系统需求分析。在这一环节中，首先分析系统的功能需求和非功能需求，非功能需求是指系统的性能需求，性能需求与系统的软件规模、复杂程度等有管关，对系统的流畅性和实用性构成直接影响。3、搭建数据模型。设计系统的数据模型时系统设计项目的重中之重。模型和模块中要包括所有与之相关的数据，而且模型并非是一成不变的，需要进行动态调整的，确定各个实体间的内在联系。4、研发项目完成。要明确系统运行配置，制定出数据过滤和数据延展的功能实现方案对农产品价格采集与挖掘功能进行代码编写，确保系统各个功能的实现。测试工作的完成，标志着农产品价格采集与挖掘研发项目正式告一段落，用户通过登录该系统能够实现相关操作，但该系统也存在一些缺陷，从系统测试结果来看，主要体现在三个方面：（1）数据库运算能力有待加强：在信息化时代，数据是最宝贵的资源，数据库性能决定了系统的整体运行质量，因此，针对数据库的运算和存储两个方面要进行不断提升，此外，保障数据安全也尤为重要。（2）系统界面不够整洁美观：尽管界面功能较多，符合用户的基本需求，但是整体上来看，各个功能菜单设计不够美观，需要进行不断优化设计，给用户提供更良好的体验。（3）系统响应速度慢：此次系统的服务器tomcat服务器，该服务器属于Apache基金会，作为一款免费服务器，与商业服务器在性能方面有一定差距，主要是运行不够稳定。当系统上线后，随着用户规模的扩大，系统获得效益后需要更换性能更佳的服务器，为广大用户提供流畅、稳定的操作体验。参考文献樊飞转.基于大数据分析的农产品市场预测与调控研究[J].中国果树,2023(08):152.HuM.BigDataMiningandAnalysisofAgriculturalProductsBasedone-CommercePlatform[J].WirelessCommunicationsandMobileComputing,2022,2022.LuyanD.AnalysisonInfluencingFactorsofConsumerTrustinE-CommerceMarketingofGreenAgriculturalProductsBasedonBigDataAnalysis[J].MathematicalProblemsinEngineering,2022,2022.黄浩锋.利用大数据进行农产品电商发展分析[J].科技风,2022(16):67-69.DOI:10.19392/ki.1671-7341.202216022.WenjingY,ZeshengZ,QingchuanZ,etal.DeepDataAnalysis-BasedAgriculturalProductsManagementforSmartPublicHealthcare[J].FrontiersinPublicHealth,2022,10.何乐为,江晨宇,杨龚蕾等.大数据时代下农产品销售平台发展现状分析[J].商展经济,2022(05):35-37.DOI:10.19995/ki.CN10-1617/F7.2022.05.035.YuxinW,SvetlanaA,YuriyS.EvaluatingtheEfficiencyoftheClassifierMethodWhenAnalysingthe