基于Python的美食城网数据采集与分析

湖南商务职业技术学院毕业设计

目录

1引言1

1.1毕业设计背景1

1.2开发环境与工具1

1.2.1Python简介1

1.2.2MYSQL简介2

1.2.3Jypyternotebook简介2

1.2.4Python第三方库简介3

2需求分析3

2.1可行性需求分析3

2.2采集目标功能分析4

2.3关键技术分析4

2.3.1网络爬虫技术4

2.3.2文件存取技术5

2.3.3可视化技术5

3数据采集6

3.1采集页面分析6

3.2字段分析9

3.3编程实现11

4数据清洗与处理13

4.1数据清洗13

4.2数据存储15

4.3编程实现16

5数据统计与分析19

5.1数据准备19

5.2数据展示22

5.2.1根据菜品名称进行分析22

5.2.2根据荤菜种类进行统计23

I

湖南商务职业技术学院毕业设计

5.2.3根据厨房调料种类进行频率统计24

5.3综述24

6小结25

参考资料27

II

湖南商务职业技术学院毕业设计

基于Python的美食城网数据采集与分析

1引言

在这个高速发展的时代，数据已经成为了数字时代的重要战略资源。通过

利用大数据，我们可以更深入地了解并利用底层数据，而这些数据往往被传统

的数据挖掘和处理方式所忽略。由于关系型数据库引擎不能有效地处理复杂的、

具有高度时延性和规模性的数据，因此，采用大规模数据分析技术成为了必不

可少的。

1.1毕业设计背景

不管是对于家庭还是餐馆来说，了解人们平时的饮食习惯和爱好的菜品就

至关重要，这不仅仅可以给餐馆带来更多的收入，也可以让每个家庭的一日三

餐吃得更有韵味。中国有着悠久的历史和广阔的国土，这些造就了丰富且极具

地域特色的饮食文化。由于每个地区气候、风俗习惯和物产的不同，从古至今，

中国餐饮文化就形成了大量不同的菜系，最终形成了鲁、川、粤、闽、浙、湘、

徽这八大菜系。中国传统饮食文化中，“药膳同功”一直被视为一种重要的养

生方式，它强调利用食材原料的药用价值，精心烹制出各种美味佳肴，以期望

能够有效预防和治疗各种疾病。

涉及到菜品的信息有很多，我们通过对网页进行解析和数据爬取，从而获

得我们所需要的菜品及其制作方式。

我的毕业设计就是针对美食城网站的菜品和制作方式爬取，对其进行处理，

分析，然后可视化。大量的数据经过清洗加分析后，我们更好的了解平时大众

爱好的口味和菜类。所以我的毕业设计部分包含数据爬取、清洗处理、储存、

可视化。

1.2开发环境与工具

1.2.1Python简介

Python本义是“蟒蛇”，在1989年的圣诞节，是Guido（Guidovan

Rossum）为了解闷开发出的一个新的脚本程序。

1

湖南商务职业技术学院毕业设计

ABC语言拥有很强的功能，它在设计上就是为了给非专业程序员服务的，而

Python语言就是以ABC语言为基础的教学语言，但是很遗憾的是，ABC语言并

没有被广泛地使用，Guido也对这一现象进行了分析，认为这很有可能是因为

ABC语言的非开放性造成的。

在编程语言发展至今，Python的排名已经与老牌的C语言和JAVA语言不相

上下，它也逐渐走进非IT行业工作者的视野内。由于python的设计哲学是非

常简单、明确、优雅的，也导致如今网络上流传着“人生苦短，我用Python”

的说法。Python语言上手十分地简单易懂，其语法像自然语言，对于非专业人

士来说可以说是选择其成本最低。

由于其这些特性，在1991年第一个公开发行版问世之后，Python便得到

了程序员们的广泛欢迎和喜爱，它的使用率呈直线性增长。从2004年开始，

Python的使用率迅速上升。到2010年，Python成为TIOBE2010年度语言冠军。

在2017IEEESpectrum发布的2017年度编程排行榜中，Python获得第一名。

大量的数据表明python已经成为了一门被人们广泛使用的高级编程语言，

并且易学，第三方库足够丰富、并且免费开源、支持跨多平台且可移植性比较

强。

1.2.2MYSQL简介

计算机最开始是用于各国战争中用来破译个计算敌军密码的工具，后来发

展到需要计算一些实验中的数据和公式。在计算中会产生大量的实验数据，后

面人们把每个数据按一定的顺序存到硬盘中并按照进行排序，这种一定结构存

入数据的容器，人们将之称为数据库。

数据库，又叫数据管理系统，是存储电子文件的处所，也可当做电子化的

文件柜，用户可以对文件中的资料运行新增、查询、更新、删除等操作。

MYSQL数据库图表是一个小海豚，其象征了数据库读取，存取速度和优秀准

确的含义，其不仅简单高效安全，还可和大量主流计算机语言结合，这也体现

了MYSQL数据库的简单，并且这也是一个免费开源，深受普通中小企业欢迎。

1.2.3Jypyternotebook简介

Jupyternotebook是基于网页的交互计算的应用程度，可用于全过程计算：

开发，文档编写、运行代码和展示结果。能够通过网页的形式打开，能够直接

在网页的页面中编写代码并运行，而且会在代码块下显示运行结果。可谓是一

枝独秀。它在大数据方面应用非常广泛，特别是用于数据清洗和处理，数据可

2

湖南商务职业技术学院毕业设计

视化和数据挖掘方面也是相当的方便快捷。

1.2.4Python第三方库简介

Scrapy：用Python实现的一个为了爬取网络数据、提取结构性数据编写的

应用框架。

Re：包含的正则表达式的字符串创建模式对象，有多种字符串匹配方法。

Csv：是python自带的模块，可以读取csv文件和将数据存入csv表格中。

Pandas：是python的核心数据分析支持库，一款非常强大、非常灵活、并

且可以支持任何语言的开源数据分析工具。

Pyecharts：是一个用来产生Echarts图的库.因为Echarts所产生的图形

具有很好的视觉效果，所以pycharts被设计成与Python相衔接，便于在Python

中直接利用数据来创建图表。

2需求分析

2.1可行性需求分析

1、技术可行性

python编程语言是一门通俗易懂，动态地面向对象的计算机编程语言，在

这次项目中，将使用python进行数据的获取，然后通过数据清洗对数据进行预

处理，通过数据可视化将我们爬取的数据进行具体的体现。

由于美食城网站是静态的，所以我们只需要模拟浏览器的真实请求，构造

请求消息，然后发送人为构造的请求信息，获取网站响应的网页源代码，并进

行网站源代码进行解析、清洗，找到自己想要的数据并保存就行了。在后续的

数据预处理和可视化中再进行调用。最后我们会将准确的数据存入MySQL数据

库中作持久化储存。

以上为此次项目的技术可行性，我也将在后续的工作中将所有的步骤实现

到位，保证数据的准确性和安全性。

2、项目可行性

中国是一个餐饮文化大国，长期以来在某一地区由于地理环境、气候物产、

文化传统以及民族习俗等因素的影响，称为菜系。而不同的菜系和口味也决定

了东西南北的口味差异和不同的饮食习惯。快速了解人们平时的吃得比较多的

菜品名称和肉类、以及用的比较多调料，对于餐厅和不同家庭的快速找到自己

的喜好菜品至关重要，也可以让别人更好地去了解到什么样的荤菜是人们最常

3

湖南商务职业技术学院毕业设计

吃的，从而加快餐馆招揽生意以及市场的流通，还能够让我们了解更多的饮食

文化，丰富我们对于美食的认识。

2.2采集目标功能分析

本毕业设计的数据集来源是美食城网站，是通过python爬取美食城网站的

所有美食及其美食制作方式的信息。数据清洗后的数据一共有3211条数据，在

爬取完成后反复确认了数据的准确性，验证并确认了爬取数据是美食城网站的

实时数据。

本次爬取了美食城网站的美食名称及其美食制作方式，在对初步数据预处

理后我们会对这些数据进行多方面的分析。比如从菜品名称进行分析、查看人

们常吃的荤类、从调料品进行分析，那么我们就可以知道大众口味的细类以及

平时炒菜时应该加入的调料。

2.3关键技术分析

2.3.1网络爬虫技术

我们平时浏览数据的时候可以通过敲取或者粘贴复制的方式去得到我们想

要的数据和信息，这仅仅只局限于少量数据，但是对于一个网站来说数据量都

是非常恐怖的，那我们就没有那么多的时间和精力去获得和筛选我们的想要得

到的信息和数据。这个时候通过网络爬虫手段自动爬取我们想要的数据，然后

对其进行筛选和分析。

根据其体系结构及实现技术，爬虫技术可以将其划分为：1、通用爬虫；2、

聚焦爬虫；3、增量爬虫；4、深度爬虫。事实上，网络爬虫系统通常是由多个

爬虫技术组合而成的。。

通用网络爬虫：又叫全网爬虫，通用网络爬虫爬取的资源来自于全互联网。

对于此类爬虫来说，其爬取性能要求非常高，这种爬行工具主要是在大型的搜

索引擎上使用，具有很高的实用价值。

聚焦网络爬虫：聚焦网络爬虫又被称为主题网络爬虫，它指的是一种对预

定好的主题有选择性地进行网页爬取的一种爬虫。聚焦网络爬虫与通用网络爬

虫不同的地方在于，它将目标资源定位在全互联网中，它是将爬取的目标网页

定位在与主题有关的页面中，这样就可以极大地节省爬虫爬取时所需要的服务

器资源和带宽资源。

4

湖南商务职业技术学院毕业设计

增量式网络爬虫通常指的是对已下载的网页采取增量式更新，并只对新产

生的或者已经发生变化的网页进行爬行。

深层网络爬虫可以爬取互联网中的深层页面。深层网络爬虫主要有URL列

表、LVS列表、解析器、爬行控制器、LVS控制器、表单分析器、表单处理器、

响应分析器等部分构成。

2.3.2文件存取技术

Python内置方法，如图2-1。

图2-1python内置方法图

数据清洗内置数据存储方法，如图2-2。

图2-2数据清洗内置方法图

2.3.3可视化技术

爬取下来的数据先进行预处理，然后存储为csv文件，此数据集是我们爬

取到的所有数据的，那么我们怎样才能突出我们爬取数据的特点呢。

这个时候就到了数据可视化技术的重要性，我们可以通过这项技术将我们

爬取到的数据处理为图形展现出来，这种表达会更加直观和突出其特色。让我

们一眼就可以看到亮点，这就是数据可视化技术。

数据可视化技术对于一组数据的分析起到至关重要的作用。我们只要选择

适合的图表来展现数据就可以得到大量信息，并且其有很高的性价比，视觉表

现，简单的私有化部署和非常强的可拓展性。这对于大量数据的处理是至关重

5

湖南商务职业技术学院毕业设计

要的。

数据可视化能够更加轻松地识别异常值，这有助于了解数据的表现已经其

差异性，使每一个人都能迅速而容易地把数据转化成观察能力。

数据可视化的优点就是它能改变传统的管理模式，使数据呈现更为及时、

直观和简便。同时加深数据的针对性和客观性。我们就针对这一特点，对我们

爬取所获得的数据用python第三方库pyecharts去进行可视化。可视化结果一

目了然，对数据用词云图、折线图和条形图表现出来，从而得出结论。

3数据采集

3.1采集页面分析

我们通过谷歌浏览器搜索美食城官方网站，找到美食城网站其URL为：

，如图3-1。

图3-1数据网址页面图

在网站主页找到菜谱页面的家常菜，这时候URL变为：

/caipu/jiachang/，如图3-2。

6

湖南商务职业技术学院毕业设计

图3-2数据分页页面1图

点击页面下方的分页按钮切换至第2页和第3页，同时观察URL，可以发现

/caipu/jiachang/2.html变为

/caipu/jiachang/3.html，如图3-3，图3-4。

7

湖南商务职业技术学院毕业设计

图3-3数据分页页面2图

图3-4数据分页页面3图

按F12调出开发者模式，刷新页面，点击Netbook。通过全局搜索工具来定

位到我们所需要的数据位置，然后点击开发者工具上的Headers字段，来分析

这是个什么请求，发现这是个GET请求，如图3-5。翻到页面底部，找到

User-Agent，如图3-6。

图3-5分析数据请求图

8

湖南商务职业技术学院毕业设计

图3-6http的请求头User-Agent图

3.2字段分析

首先找到网站需要被爬取的数据字段：美食名称及其制作方式。由于初步

得出的数据会有重复现象，如菜名和制作方式字段里面同时出现“红三鱼”这

个字段，所以首先从制作方式中统计调料的词频，再将除了菜名以外的字段删

除后来统计荤菜词频数据，由于制作方式不会重复出现同一种厨房调料，而一

个菜名也不会出现相同的荤菜名字，由此也保证了我们的数据准确度。

进入一个美食的详情页面，拿“酱香红三鱼”为例。然后进去开发者工具

页面，点击检查按钮或者按住ctrl+shift+c点击菜名“酱香红三鱼”如图3-7。

可以看到菜名为单列表，那么只需要右击此列表找到复制（copy）然后点击复

制完整的xpath（copyfullxpath）即可，如图3-8。

9

湖南商务职业技术学院毕业设计

图3-7菜名字段分析图

图3-8菜名字段的xpath获取图

同理，再找到需要爬取的美食制作方式字段的列表，可以发现美食制作方

式是多个列表组成的列表项，就要找到这组标签的主标签（包含所需内容的全

部标签）。对其复制完整的xpath。如图3-9，3-10。

图3-9制作方式字段分析图

10

湖南商务职业技术学院毕业设计

图3-10制作方式字段xpath获取图

复制出来的xpath后续只需要在运行代码中使用xpath解析就可以爬取到

想要的菜名和制作方式，如图3-11。

图3-11将获取的xpath进行解析图

3.3编程实现

导入所需库，如图3-12。

图3-12导入所需库页面图

设置请求头，伪装成浏览器访问服务器，如图3-13。

图3-13请求头内容页面图

11

湖南商务职业技术学院毕业设计

代码实现如下：

importscrapy

importre

fromscrapy.selectorimportSelector

from..itemsimportFoodsItem

classFoodsSpiderSpider(scrapy.Spider):

name="foods_spider"

allowed_domains=[""]

defstart_requests(self):

cuisines={

"chuancai":45,

"xiangcai":7,

"huicai":2,

"lucaicaipu":8,

"mincaicaipu":5,

"sucaicaipu":6,

"zhecaicaipu":12,

"yuecaicaipu":22,

"jingcaicaipu":5,

"dongbeicaipu":7,

"xibeicai":2,

"qingzhencaipu":5

}

base_url="/caipu/"

#遍历菜系，第一页为index.html,往后依次为page.html

forcuisine,pagesincuisines.items():

#遍历页面

forpageinrange(1,pages+1):

ifpage==1:

yieldscrapy.Request(

url=base_url+cuisine+"/index.html",

callback=self.parse_foods_list

)

else:

yieldscrapy.Request(

url=base_url+cuisine+"/"+str(page)+".html",

callback=self.parse_foods_list

)

defparse_foods_list(self,response):

sel=Selector(response)

foods_list=sel.xpath("/html/body/div/div[2]/div[1]/div[3]/div")

12

湖南商务职业技术学院毕业设计

forfoodinfoods_list:

details_link=food.xpath("./div[2]/h4/a/@href").extract_first()

yieldscrapy.Request(

url=details_link,

callback=self.parse_foods_method

)

defparse_foods_method(self,response):

sel=Selector(response)

name=sel.xpath("/html/body/div/div[2]/div[1]/div[2]/h1/text()").extract_first()

content=sel.xpath("/html/body/div/div[2]/div[1]/div[2]/div[2]//text()").extract()

method=""

fortextincontent:

method+=text

method=method.replace("上一页12下一页查看更多","").replace("上一页123

下一页查看更多","").strip()

method=re.sub(r"[\n\r]","",method)

food_item=FoodsItem()

food_item["name"]=name

food_item["method"]=method

yieldfood_item

4数据清洗与处理

数据清洗是一种在数据文件中发现并改正可辨识错误的过程，它包括数据

一致性的检查，无效值和缺失值的处理等。在获得庞大数据后，我们便获得了

初始数据，对这部分数据进行清洗检查得出的最终数据才能保证数据的真实性

和权威性。

4.1数据清洗

使用utf-8的字符编码读取名为data的Excel文件，如图4-1。

13

湖南商务职业技术学院毕业设计

图4-1数据清洗准备页面图

对数据进行清点然后排查数据有无空值，无空值则显示为“False”。通过

图4-2查询空值数据发现，没有数据空值错位等情况。

图4-2查看数据空值图

通过观察图4-1可知：我们需要对数字列进行去除，得到一个有菜品名称

和做法的Excel文件，如图4-3。

14

湖南商务职业技术学院毕业设计

图4-3删除数字列图

4.2数据存储

我们在存储数据时，经常使用的技术有：txt、excel、json、csv等。

这些存储技术所能保存的数据量都是很小的，如果数据量比较大，就需要用到

关系数据库mysql和oracle，以及非关系型数据库MongoDB和Redis等。

本项目用到的是xlsx、MYSQL，如图4-4，图4-5。

图4-4数据存储为excel图

15

湖南商务职业技术学院毕业设计

图4-5数据存储为MYSQL图

4.3编程实现

使用utf-8的字符文件编码对清洗后的名为data的Excel进行读取，如图

4-6。

图4-6源数据页面图

创建数据库“hh”，如图4-7,数据库“hh”在NavicatPremium12中的展

示页面，如图4-8。

图4-7创建数据库图

16

湖南商务职业技术学院毕业设计

图4-8数据库展示图

设置库的字符集，否则显示不出中文，如图4-9。

图4-9修改数据库的字符集图

创建数据表，修改字符集,否则显示不出中文，如图4-10，图4-11。

图4-10修改表的字符集图

17

湖南商务职业技术学院毕业设计

图4-11创建表并命名为美食图

导入本地data.excel表格数据，如图4-12，验证存入数据是否成功，如图

4-13。

图4-12导入数据图

18

湖南商务职业技术学院毕业设计

图4-13mysql美食表展示图

5数据统计与分析

5.1数据准备

导入相关库，使用pandas加载源数据，显示字体为默认如图5-1。

图5-1数据准备页面图

设置默认字体，正常显示负数、符号如图5-2。

图5-2数据符号、负数处理图

清洗后菜名字段，做法展示，如图5-3。

19

湖南商务职业技术学院毕业设计

图5-3菜名及其做法数据准备图

读取处理后的数据，并且绘制出关于菜品名称的词云图，如图5-4。

图5-4词云图的绘制图

如图我们只需要更改like函数里面的字段就可以得到文件字段出处及其

出现次数。在获取荤菜数据时需要对代码进行修改，只查询美食名称里面的荤

菜词频。代码实现，如图5-5。

20

湖南商务职业技术学院毕业设计

图5-5数据统计实现图

通过mysql的like函数查询存在响应字段的逐条数据，由于mysql自带统

计功能，这样也可以更好地得到词频次数，这便是得出的最终数据，如图5-6，

图5-7。

图5-6mysql荤菜字段查询

图5-7mysql调料字段查询图

得出字段词频数据如图5-8，图5-9。

图5-8调料数据准备图

21

湖南商务职业技术学院毕业设计

图5-9荤菜数据准备图

5.2数据展示

5.2.1根据菜品名称进行分析

图5-10数据展示页面图

将菜名字段数据汇总，生成字符串，按照词频生成词云，如图5-10中可以

看出肉，排骨出现频率最高，其次是牛肉，鱼土豆次之。

在结果图可以看到一些生活中常见的菜品。如麻辣烫，麻辣兔腿，麻辣豆

腐。麻辣烫最显著的为益阳麻辣烫，在全国各地都开着门店，而麻辣兔腿则是

特别容易让爱吃辣的朋友上瘾，可谓是又麻又辣，特别容易上瘾，并且比起麻

辣兔头，兔腿的肉更加肥美，对于一些想要摆地摊的朋友可谓是相当大的商业

价值。麻辣豆腐则是饭店的一款的热销产品，其制作难度可谓是相当之大，并

且想要炒好这道菜的味道更是难上加难，因为豆腐是一款特别难入味的食材，

想要完美嵌入那个味道是需要大量的经验和尝试的。

其次相对比较明显的则是土豆泥，干煸土豆条，川味土豆烧排骨和麻辣土

豆片，虽然说是同一种食材，但是不同的做法其不同的味觉体验感也是天差地

别。土豆泥是一道特别健康的菜，味道较淡，但是却能突出土豆的清香和颗粒

感，可谓是舌尖上的美味。而麻辣土豆片则是在调料上下文章，将土豆切片，

然后让提前配好的调料充分浸入土豆内部，让每一片土豆都麻麻辣辣，多姿多

彩。土豆烧排骨则是比较类似红烧肉，用红烧肉的做法，然后加入少许土豆，

土豆本就高淀粉，在加入糖分之后，只要控制好量就可以让他做好甜而不腻，

22

湖南商务职业技术学院毕业设计

不过这道对于糖尿病患者就得劝退了，毕竟健康才是最重要的。而干煸土豆条

在我们生活中，也是一道比较简单的家常菜，做法也非常简单，对于不喜欢炒

菜的朋友，可以快速地出餐以解决午晚饭。

比较显眼的还有馋嘴三文鱼和花栀绵掌则很少出现在大众眼中，更多地是

流行于高档奢侈餐厅。三文鱼作为日式文化的主要食材，但是这道馋嘴三文鱼

却依靠独特的滋味诞生了许多死忠粉。但是其也需要大量的努力和调整其味道

和手法。

5.2.2根据荤菜种类进行统计

图5-11数据展示页面图

从图5-11可以看出，这些肉类虽然都是我们平时常见的荤菜原材料，但是

其中鸡和鱼占据着主体作用，当然这肯定也是有其依据的。

猪肉因为18,19年猪瘟的影响，导致猪肉价格起伏很大，这也导致鸡肉慢

慢替代了猪肉巅峰的地位；鱼肉则是比较稳定的一道荤菜，由于其种类的繁多，

数量基数大，做法和味道都让人久久难以忘怀，以及其优质的蛋白质含量，导

致其一直霸榜人们生活肉类的前三。但是数据量最少的兔，蟹和腊肉则是耐人

寻味的三款食材，兔类在不管是麻辣兔头还是麻辣兔腿都是有着非常多的死忠

粉，但是由于其做法的单调以及对其可爱形象的怜悯也造成了这个数据的原因；

蟹的话则是常年出现于高档餐桌上，不过由于其处理比较麻烦，并且主吃蟹黄

和蟹腿，而每一只螃蟹的肉却非常少，可谓是“一蟹难求”；而腊肉则是作为

一个固定味道出现的，由于腊肉在腌制过程中需要大量的盐，需要控制多少量

23

湖南商务职业技术学院毕业设计

全凭经验，少了容易臭，多了容易咸，这也致使腊肉“一块肉一碗饭的由来”。

5.2.3根据厨房调料种类进行频率统计

图5-12数据展示页面图

从图5-12中得知油盐作为厨房必需品以超高出现频率出线。

古人云：“生活就是“柴米油盐”。”柴用来生火维持万家灯火通明；米

来维持人们生活能量所需；而油则是用来润锅，防止菜品粘锅和糊锅；盐则是

用来调节菜品味道，让每道菜都有滋有味，也可以维持人体正常无机盐的摄入；

然后就是并列第三的味精和酱油，这两好哥们可以说经常出现在肉类中，只要

有肉基本都是这两一起出马，不管是酱油对肉类色泽的调整还是味精对汤汁的

调味，都可谓是一绝；醋则是更多的出现在面类菜品的调味，因为主要占据的

类型比