惠农网农产品数据分析与展示_第1页
惠农网农产品数据分析与展示_第2页
惠农网农产品数据分析与展示_第3页
惠农网农产品数据分析与展示_第4页
惠农网农产品数据分析与展示_第5页
已阅读5页,还剩17页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

湖南商务职业技术学院毕业设计

目录

1引言............................................................................................................................1

1.1项目背景......................................................................................................1

1.2开发环境与工具..........................................................................................2

1.2.1Python简介..........................................................................................2

1.2.2PyCharm简介........................................................................................2

1.2.3Python第三方库简介..........................................................................2

2需求分析....................................................................................................................4

2.1可行性需求分析..........................................................................................4

2.2采集目标功能分析......................................................................................4

2.3关键技术分析..............................................................................................5

2.3.1网络爬虫技术.......................................................................................5

2.3.2文件存取技术.......................................................................................5

2.3.3可视化技术...........................................................................................6

3数据采集....................................................................................................................6

3.1采集页面分析..............................................................................................6

3.2字段分析......................................................................................................8

3.3编程实现......................................................................................................9

4数据清洗与处理......................................................................................................11

4.1数据清洗....................................................................................................12

4.2数据储存....................................................................................................13

4.3编程实现....................................................................................................14

5数据统计与分析......................................................................................................14

5.1数据准备....................................................................................................14

5.2数据展示....................................................................................................16

5.2.1依据农产品购买后发布次数进行统计和分析.................................16

5.2.2依据农产品期望货源地统计和分析.................................................17

5.2.3依据农产品采购商实人和实名认证进行统计和分析.....................18

I

湖南商务职业技术学院毕业设计

5.2.4依据农产品品种浏览次数排名进行统计和分析.............................19

5.3综述............................................................................................................19

6小结..........................................................................................................................20

参考资料.........................................................................................................................20

II

湖南商务职业技术学院毕业设计

惠农网农产品数据分析与展示

1引言

时光荏苒,光阴如剑,日月如梭。当今社会发展的越来越好,人们的衣食住

行各方面发生了很大的改变。世界正发生着翻天覆地的变化,作为新时代的新青

年处在时代的风口有很多的机遇。互联网时代是信息爆炸的时代,抓住了信息

差就抓住了机遇,而今越来越多的行业都与互联网结合起来,像如今的直播带

货、直播聊天,从产业数字化到智慧生活到智慧城市,无一不彰显出互联网的

重要作用。互联网的时代来临,改变了人们以往靠书信,车马交流的方式;改变

了人们的消费观念,互联网时代的到来,缩短了时间和距离;还改变了人们的

生活习惯;也给大家带来了许多的机遇以及改变了大多数人的思维方式。互联

网时代的到来,人们可以使用“虚拟”货币购物,不用出门就可以购买到商

品,不知不觉中,人们的消费观念在不知不知不觉中改变了。

民以食为天,农产品的供应体系等方面产生大量信息值得人们去探索分

析。现在是在信息飞速发展的一代,人们在一个信息快速传播分享的阶段。大数

据行业人员近年来快速增加,越来越多的人都想赶上时代的浪潮。而作为大数

据的学习者,数据中的价值也等待着大家去探索发现,大数据技术是现在互联网

领域的一个热门的领域,未来的世界是数据的时代!

1.1项目背景

网络上庞大的互联网农产品网站不仅仅是农产品的买卖,农产品网上交易平

台还提供了农产品的信息、质检、结算、交易运输等功能于一体。

随着人们的生活水平不断提高,恩格尔系数占比不断减低,人们对物质生

活的要求越来越高,人们对农产品的需求也在不断发生着改变,那人们对农产

品的产地、销售数量、如何销售等又了解多少呢?。

本项目就是针对乡村振兴农产品销售需要,然后爬取惠农网网站数据,对其

进行处理,分析,然后可视化。大量复杂的数据经过处理分析后,可以非常清晰有

规律的呈现在创业者的眼里,对于乡村振兴的相关人员而言可以了解到这些农产

品相关信息,哪些农产品销售量最高、农产品都产自哪里、哪些是销售农产品大

户等等都可以一目了然的呈现在大家的眼里。在大家做决定时可以作为参考依

据。

1

湖南商务职业技术学院毕业设计

1.2开发环境与工具

1.2.1Python简介

Python的语法清楚、干净、易读、易维护,编程直接简单,非常适合初学

者,Python更加注重编辑逻辑,不会让使用者困于语法。

Python具有很多的特点,如简单易学,是一种简单主义思想语言,使用

Python开发程序时,只需要专注于解决问题,不用纠结于语法本身的问题。免

费开源,可以自由的使用代码。可移植性,可以在众多平台上运行并且不需要

修改。而且Python不仅支持面向过程编程也支持面向对象编程。除此之外

Python有丰富的库,Python的标准库非常强大,可以帮助使用者处理各种工

作,包括正则、线程、数据库、网页浏览器、单元测试、图形界面用户等等。

从上述Python的特点可见,选择Python编程采集数据、处理数据、数据

可视化是非常不错的选择。

1.2.2PyCharm简介

PyCharm是提高Python语言开发效率的一种工具,专门针对专业开发人员

和刚起步人员使用,特别适合做项目使用。

首先PyCharm是Python最好用的编辑器,支持GoogleAppEngine等编码

协助,项目代写等,可以进行调试、语法高亮、项目管理、代码跳转、智能提

示、智能提示、自动完成、单元测试、版本控制等。其次PyCharm为现代Web

开发框架提供了丰富的框架针对性支持,支持Django框架下的专业Web开发。

并且,PyCharm与IPythonNotebook集成,提供交互式Python控制台,而且

支持Anaconda和多种科学化的包(例如matplotlib和NumPy)。

这次项目主要就是使用PyCharm工具。

1.2.3Python第三方库简介

requests:requests是Python语言的第三方库,专门用于发送http请

求,使用起来比urlib简洁很多。是客户端库,爬虫和测试服务器响应数据时

会经常用到。最大的优点是程序编写过程更直接接近正常URL访问过程。

lxml:lxml是xml和html的解析器,主要功能是解析和提取xml和html

中的数据;lxml和re一样,也是用c语言实现的,是一款高性能的python、

xml、html解析器,也可以利用xpath语法来定位特定的元素及节点信息。

Print:print是Python程序中最常出现、也是最基本的函数,它用于将

信息输出到控制台,即在控制台窗口打印,可以打印字符串、格式化输出、不

2

湖南商务职业技术学院毕业设计

换行输出、更换间隔字符。

Csv:是Python的内置模块,实现了CSV格式文件的读写,可以同时将文

件中数据读取的细节隐去,是一种常见的文本格式,用以常用的文本格式、存

储表格数据,包括数字或者字符。

NumPy:NumPy是Python的一种开源的数值计算扩展。这种工具可以用来

存储和处理大型矩阵,支持大量的维度数组和矩阵计算,除此之外也针对数组

运算提供大量的数学函数库,包括数学运算、数据处理、数据存储等。

pandas:pandas是Python语言的一个高级拓展程序,用于数据分析。

Pandas提供了高性能、易于使用的数据结构和数据分析工具。其功能包括:数

据处理、数据存储、数据分析等。

Matplotlib:是一个比较重要的Python绘图库,基于NumPy的数组运算功

能,绘画功能非常强大,几行代码即可生成线图、直方图、功率图、条形图、

错误图、散点图等。

G2plot是一套简单、易用、并具备一定扩展能力和组合能力的统计图标

库,基于图形语法理论搭建而成,“G2plot”中的G2即意指图形语法(the

GrammaofGraphics),同时也致敬了ggplot2。它的特性是开箱即用、默认好

用的高质量统计图表,而起是响应式图表(致力于解决图表在任何数据和显示

尺寸下的基本可读性问题),另一方面它还是图层画设计方法即在G2plot体系

下,图表不仅仅只是各不相关的案例,图层概念的引入提供了许多图表组合叠

联动,共同讲述了一个数据故事的可能性。函数包含的种类包括:对象的比较

运算、逻辑运算、数字运算及序列运算。

Collections:是Python内建的一个集合模块,提供了很多方便且性能高

的关于集合的操作,掌握这些知识有助于提高代码的性能和可读性,实现了特

定目标的容器。

Operator:标准功能性操作符接口,提供了一套与Python的内置运算符对

应的高效率函数,许多函数名与特殊方法名相同,只是没有双下划线。为了向

后兼容,也保留了许多包含双下划线的函数

Multiprocessing:类似于一个多线程,multiprocessing库提供了一致的

本地和远程的方法,使用子线程替代线程处理全局解释锁。因此,

multiprocessing库允许编程者在给定机器上使用多个线程。

3

湖南商务职业技术学院毕业设计

2需求分析

2.1可行性需求分析

1、技术可行性

这次项目本项目使用Python编程来来完成,对惠农网网站进行数据采集、

清洗、存储然后可视化。首先使用Python网络爬虫技术对网页进行解析数据采

集,然后使用PyCharm工具对爬取的数据进行清洗存储,然后再用到Python的

内置文件储存方式CSV对清理后的数据进行存储。首先使用到的是Chrome开发

者工具,用开发者工具打开网页的元素面板,查看到元素所对应的位置,再切

换到网络面板可以看到该资源的头部信息、预览、响应信息和cookie等信息。

然后利用Python的第三方库requests库中的GET方法生成请求,再使用lxml

库的etree模块通过Xpath获取网页内容中的标题、节点下的文本内容,再利

用Python内置文件的储存方式CSV爬取下来经过清洗预处理的数据存为csv格

式文件。最后用G2plot统计图标库对清洗预处理后的数据进行数据可视化,把

这些数据用图表的形式更加直观的表现出来。

这些就是这次项目的技术可行性,本项目将在后续的工作过程中展示出来,

保证数据是准确无误的、是值得参考利用的。

2、项目可行性

食物是人生存之根本,而食物的产量跟农业的发展息息相关,中国是人口

大国,解决好吃饭问题才有精力发展其他产业,才能保障社会稳定。

本次项目通过采集比较大型的农产品网站内的数据,来分析国家的农产品各

方面的情况。从中发现中国农产品发展中存在的利弊,可以让广大农业生产者

发现自身不足,找到正确的营销方式、促销策略,实现买和卖的流畅,找出弊

端之所在,然后解决弊端,更好的实现农业现代化发展。通过对此农产品网站

的各项分析也有利于农产品企业网站的建设、运营和推广,打造优质的农产品

企业网站。

2.2采集目标功能分析

本次项目的数据集的来源是惠农网站,是通过python爬取惠农网农产品的

信息。清洗后共763条数据,爬取尽可能保证数据的完整性、准确性,确定爬取

出来的数据属于惠农网站所有。

分析惠农网网站,明确本项目需要爬取的数据有采购品种、采购数量、货

源地、发布人、是否实人认证、是否实地认证、收货地、农产品的浏览次数等

4

湖南商务职业技术学院毕业设计

数据,在对原始数据进行处理后本项目会对其数据进行多个层面、多个方向分

析。例如,从产品的采购数量方向,可以分析出人们哪款农产品的需求量大;从

采购品种可以分析出中国的农产品种类丰富;从农产品货源地本项目可以分析

出农产品的生长地区主要产自哪里;从浏览次数排名可以分析出哪款农产品最

受人们的欢迎。

2.3关键技术分析

2.3.1网络爬虫技术

爬虫的功能一般范围数据采集、数据处理、数据储存,想要分析数据那么

首先就要采集数据,采集数据就要用到网络爬虫,这次项目主要用到的是

Python中的requests模块,Requests是Python中实现HTTP请求的一种方

式,该模块在实现HTTP请求操作更加人性化,会自动解码来自服务器的内容,

在使用的时候要实行命令pipinstallrequests代码进行该模块的安装,

Requests最常用的是POST和Get请求方法,这次项目中要用到GET方法请求

头部。

这次爬虫用到的解析网页的工具是lxml库,lxml库使用的是Xpath语

法,是爬虫中效率较高的解析库。是一门在xml中文档中找到信息的语言,可

以在文档中对元素和属性进行遍历,是一个非常好用的解析网页的工具,此

外,在爬取网站的时候会对网站所有者的利益造成损害,使用网站所有者通常

会设置一系列的反爬策略,可以通过发送user-agent、调整访问频率、通过验

证码校验、应对网站结构变化、通过账号权限设置、通过代理IP规避这些策略

来对付反爬虫。从而达到此次使用爬虫的目的。

2.3.2文件存取技术

Python内置文件的存储方式,如图2-1显示:

图2-1python内置csv模块

Python中的pandas模块读取csv文件中的数据,如图2-2显示:

5

湖南商务职业技术学院毕业设计

图2-2pandas模块方法

2.3.3可视化技术

爬取下来的数据经过预处理、保存下来。还不能达到这次项目的目的,需

要将数据更加直观地展示在大家面前,这就需要用到数据可视化工具

经过先前的一系列操作,得到的只有一大堆的数字、汉字、字母,而本项

目并不能直接从数字汉字字母中得出结论,那么这个时候就要对数据进行可视

化,就是导入Python中的可视化库,通过可视化可以把各个数据的各个属性加

以组合,通过图表展示出数据之间的关联信息,更加方便用户观察、分析和挖

掘。

这次项目就是将爬取到的数据进行数据可视化,主要操作就是利用Python

可视化库PyG2Plot来进行可视化,Pyg2Plot是一个基于配置、体验优雅、面

向数据Python基础教程场景分析的统计图标库,可以帮助开发者以最小成本绘

制高质量的图表。可以绘制折线图、柱状图、饼图、漏斗图等多种图形,非常

易用,具备扩展能力和组合能力。有开箱即用、视觉效果佳、响应式图表以及

图层化设计方法等特性。可以很好的展示出图形便于分析得出结论。

3数据采集

3.1采集页面分析

首先通过谷歌浏览器搜索惠农网的官方网页,然后进入网页采购大厅,可以

看到网页上的数据,观察图3-1,其中URL为:

/purchase/0-0-0-0-0-2/

6

湖南商务职业技术学院毕业设计

图3-1数据网址页面

进入网站的采购大厅,然后调出开发者工具,点击鼠标右键检查,然后刷

新页面,就可以看到如图3-2的信息。

图3-2开发者工具

利用全局搜索工具定位所需数据位置,可以发现这是一个GET请求。所以本

项目需要找到详情页数据的大致层次数据层次,如图3-3。

7

湖南商务职业技术学院毕业设计

图3-3数据页面大致层次

3.2字段分析

此项目中需要抓取“采购品种”、“采购数量”、“发布人”、“认证情况”、

“详情url”这几个字段,首先打开网页,在选择栏输入需要数据的网址,然

后使用开发者工具本项目可以看到浏览器请求的url地址就是真实数据资源的

地址,还能直接看到需要爬取的数据的结构。如图3-4所示。浏览器请求到服

务器资源的响应内容有本项目需要的数据,它的结构是ul下面有很多个标签组

成的,每一个li标签对应网页中的一条数据,如图3-5所示。通过以上特点可

以通过Requests方法中的GET方法来获取数据的响应,然后将数据存为csv格

式的文件中。

图3-4数据字段、结构、地址的页面

8

湖南商务职业技术学院毕业设计

图3-5分析数据结构页面

3.3编程实现

首先导入所需要库。如图3-6

图3-6导入所需库页面

设置请求头部,目的是伪装成浏览器访问服务器。如图3-7

9

湖南商务职业技术学院毕业设计

图3-7请求头内容页面

线程爬取步骤,如图3-8

图3-8爬取原理

代码实现如下:

图3-9爬取过程代码

图3-10爬取过程代码

10

湖南商务职业技术学院毕业设计

图3-11爬取过程代码

图3-12爬取过程代码

4数据清洗与处理

数据的不断增加是时代的特征,但是众多数据中总是存在着许多脏数据,

即不完整、不规范、不准确的数据,因此数据清洗就是指彻底清洗脏数据,包

括检查数据一致性,处理无效信和缺失值等,从而提高数据质量。

数据清洗的含义是检测和去除数据集中的噪声数据和无关数据,处理遗落

数据,及去除空白数据域和知识背景下的白噪音。数据清洗主要运用于三个领

域:数据库、数据挖掘和数据质量管理。

本次项目中需要将爬取下来的数据和原数据进行对比,查看有没有缺失

值、错误值,提高数据质量。

11

湖南商务职业技术学院毕业设计

4.1数据清洗

图4-1准备进行清洗的数据页面

图4-2准备清洗数据的代码

清洗后经过观察对比,发现数据没有缺失值、错误值和空值,但是有15个

重复值,通过使用Dataframe的drop_duplicates方法对数据中的重复值进行

处去除。如图4-3

12

湖南商务职业技术学院毕业设计

图4-3数据清洗完成界面

4.2数据储存

数据时代首先要解决的就是数据存储问题,大数据存储是大数据的关键技

术除了传统的结构化数据之外,大数据更多的是非结构化和半结构化数据。

常见的非结构化数据有文本、图形、声音、网页等。这类数据无法用数字

或者统一的结构表示。结构化数据主要使用NOSQL非关系型数据库进行存放,

这类数据主要指的能够用数据或者统一的结构加以表示,如数字、符号。

这次项目主要用到的是csv。

如图4-4所示:

图4-4数据存储为csv页面

13

湖南商务职业技术学院毕业设计

4.3编程实现

图4-5数据列表转换为Dataframe页面

查看存储数据是否正确

图4-6数据的数据查看页面

5数据统计与分析

5.1数据准备

导入相关库,运行代码,得到原本的数据,如图5-1、5-2、5-3。

图5-1获取源数据代码页面

14

湖南商务职业技术学院毕业设计

图5-2数据准备页面

图5-3数据加载页面

15

湖南商务职业技术学院毕业设计

5.2数据展示

5.2.1依据农产品购买后发布次数进行统计和分析

图5-4数据展示页面

这一步是将数据中农产品购买后发布的次数的字段数据进行汇总和处理后

得出发布次数最多的农产品,使用counter计数器迭代序列中的各个元素数

量,然后遍历,生成字典添加进入列表,列表中的字段按照name排序,最后使

用pyg2plot绘制词云图,如图5-3中可以看出柑桔出现的次数最高,其次就是猪

副作产品,然后再是甘蔗。在惠农网上柑桔的发布频数多说明柑桔是销售的非

常好的农产品,深受广大人民群众的喜爱。

而且还可以从中看出,发布的农产品种类非常之多,有水果、蔬菜、禽畜

肉蛋、水产、农副加工、粮玉米面、种子种苗等等,可以看出来中国的农业目

前发展的很好,有了越来越多的“有文化,懂技术,会经营”的农业生产者,

正因为这些生产者的加入,让中国农业发展的越来越好、农产品种类越来越

多,农产品的多样性也说明了了人民的生活水平越来越高、生活质量越来越

好。也可以从侧面反映出来农业的生产规模扩大了、农业技术进步了、农业的

劳动生产率提高了。随着乡村振兴的号召、越来越多的青年投入的基层服务,

国家政策的响应、青年的觉醒响应号召,以及农业技术提高、农产品交易平台

兴起、互联网的发展等各方面条优势,相信农业的生产效益肯定会越来越好。

16

湖南商务职业技术学院毕业设计

5.2.2依据农产品期望货源地统计和分析

图5-4数据展示页面

从图5-4中可以看出来绝大部分采购商都可以接受全国各地的货源,占比

百分之74.44,所占比例非常的高,以往的采购商们都会找那种稳定的、标准

的、优质、高效的货源供应方。然而现在大部分采购商可以接受全国范围内的

货源,这种改变到底是什么原因呢?

原因是因为现在全国各地的响应振兴农业的号召,农业一体化越来越好,

基本上当地农产品生产地都有团队协作,以及专业的技术人员指导,对各个农

产品供销服务基地都有统一的指导和培训,规范化了农产品供应链,提高了产

地管理效率。使得采购方式变得简单、有条理、便利。并且可以获取最大化的

利益,多方合作伙伴的参与协调工作同时让果品品质可控、产品可以溯源,使

得采购各方面权益更加有保障。而每一次的合作愉快也使得越来越多的采购商

相信这种采购方式,基于全国范围内挑选最符合自己利益的货源地合作,因此

农产品采购商可以更加放心的从全国范围内采购货物。

其次期望的货源地就是甘肃,甘肃农耕文化底蕴深厚、与丝绸之路沿线国

家和地区农业交往历史悠久、通道枢纽功能明显,而且甘肃省地域狭长,光照

充足,昼夜温差大,病虫害发生少,是特色农产品生长的“温室”。不仅有政策

扶持,再加上本身的地域优势。近年来,甘肃农业稳步增长,种植结构多样,

优质特色的产业多,加上甘肃的气候条件农产品品质高,而且政策好,基于以

上优势,采购商们会更意向甘肃采购,所以甘肃会成为主要的货源地。

17

湖南商务职业技术学院毕业设计

5.2.3依据农产品采购商实人和实名认证进行统计和分析

图5-5数据展示页面

从图5-5中可以得出中国农产品采购商实人实名认证情况比较少,未实名

认证的占了绝大部分,而且从图中可以看出1月10号的认证情况比1月11号

多,从中可以看出农产品产销“实名制”实施的不到位。

民以食为天,食以安为先。舌尖的安全,永远是民生的重点。看似只是没

有实名制不会有什么问题,但是农产品实名制是防止造假的治本之策,这些年

来,食品安全越来越严重,“土坑酸菜、过期食品、保健蜂蜜………”这些关键

词频繁成为网络热搜,成为公众关心的食品安全与健康舆论热点。中国食品安

全涉及的面越来越广、危害程度越来越深、制毒制劣手段越来越多样化。所以

农产品产销实名制势在必行,强化源头监管,才可以保证舌尖安全,一旦发生

食品问题就可以追根溯源,降低损失,可以极大的保证采购者的利益,同时有

效的促进市场诚信经营,也可以一定程度上保证农产品的安全性、很大程度上

能促进中国农业的发展。所以农产品必须加快实名制步伐。

18

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论