版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
湖南商务职业技术学院毕业设计
目录
1引言1
1.1项目背景1
1.2开发环境与工具1
1.2.1Python简介1
1.2.2Mapreduce简介1
1.2.3Pyecharts简介1
2需求分析2
2.1可行性需求分析2
2.2采集目标功能分析2
2.3关键技术分析2
2.3.1网络爬虫技术2
2.3.2文件存取技术2
2.3.3可视化技术3
3数据采集3
3.1采集页面分析3
3.2爬虫策略分析4
3.3翻页策略5
3.4解析各个字段6
3.5保存所有字段7
3.6运行爬虫程序7
4数据清洗与处理8
4.1数据清洗说明8
4.2数据清洗需求8
4.3解析name字段9
4.4处理mileage字段10
4.5处理licenseDate字段11
4.6新增省份字段11
I
湖南商务职业技术学院毕业设计
4.7字段拼接11
4.8启动mapreduce程序12
5数据统计与分析13
5.1数据准备13
5.2数据分析与展示13
5.2.1统计各省份二手车的数量和平均价格13
5.2.2统计每年二手汽车数量和平均价格16
5.2.3统计每个品牌汽车数量和平均价格17
5.2.4统计各个排量的数量和平均价格18
5.3综述19
6设计小结20
参考资料21
II
湖南商务职业技术学院毕业设计
基于Python的太平洋汽车网数据采集与分析
1引言
太平洋汽车网是中国最大的汽车垂直门户网站之一,它提供了大量的二手
车信息。本文旨在使用Python编程语言,结合Requests、MapReduce、Pandas、
PyEcharts等工具,从太平洋汽车网爬取二手车数据,对数据进行清洗和分析,
并用可视化的方式展示分析结果。
1.1项目背景
随着二手车市场的快速发展,越来越多的人选择购买二手车。然而,在二
手车市场上,消费者往往难以获得准确的信息,导致购买决策的困难。因此,
了解二手车市场的情况对消费者来说是非常重要的。
1.2开发环境与工具
1.2.1Python简介
Python是一种高级编程语言,具有简洁、易读的语法和强大的功能。它被
广泛应用于各种领域,如Web开发、数据分析、人工智能、科学计算等。Python
还有丰富的第三方库和工具,方便用户快速开发各种应用。
1.2.2Mapreduce简介
MapReduce是一种分布式计算模型,能够高效地处理大规模数据集。它将数
据处理任务分解为两个阶段:Map和Reduce。Map将输入数据转换为键值对,Reduc
e将具有相同键的数据合并在一起。它适用于大数据处理和分析。
1.2.3Pyecharts简介
Pyecharts是一个基于Python的数据可视化库,它的目标是成为Python数
据可视化领域的工具之一。Pyecharts具有开箱即用、易于使用、高度定制和美
观的图表等特点。Pyecharts采用了Echarts的JavaScript库作为其底层图表
库,这使得它可以生成高质量的交互式图表。
1
湖南商务职业技术学院毕业设计
2需求分析
2.1可行性需求分析
根据目前互联网的发展和二手汽车市场的需求,太平洋汽车网二手车数据
的采集与分析是具有可行性的。采用Python等工具,可以有效地从太平洋汽车
网上爬取并清洗数据,并利用数据分析和可视化技术提取有用信息,为二手车
买卖、评估等提供有价值的参考。
2.2采集目标功能分析
这些字段涵盖了二手汽车信息的核心要素,可以提供用户进行基本的筛选
和比较。品牌名、型号、上市时间、排量、版本等信息可以让用户初步了解该
车型的基本情况,行驶里程数、上牌年份、上牌月份等信息则可以评估车辆的
使用状况,城市id、城市名称、省份等信息则可以帮助用户快速定位车辆所在
地,价格则是用户最关心的因素之一,详情页id和图片url可以提供更加详细
和直观的信息。
2.3关键技术分析
2.3.1网络爬虫技术
requests和etree都是Python中非常常用的网络爬虫工具。requests是
用于发送HTTP请求的库,而etree则是用于解析HTML和XML文档的库。在进
行网络爬虫时,首先需要使用requests库发送HTTP请求,获取网页内容。具
体来说,我们可以使用requests.get()方法向指定的URL发送请求,从而获取
该网页的内容。该方法会返回一个Response对象,其中包含了请求的响应内容。
接着,我们可以使用etree库来解析HTML或XML文档,从而提取出我们需要的
信息。通常情况下,我们会使用etree.HTML()方法将HTML文档转换成Element
对象,然后使用XPath语法来定位所需的元素。
2.3.2文件存取技术
JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,易于
阅读和编写,广泛应用于web服务和API中。在Python中,JSON通常用于将
Python对象转换为字符串以进行数据交换,或将JSON字符串解析为Python对
2
湖南商务职业技术学院毕业设计
象。
Python内置的json库提供了从Python对象到JSON格式字符串的转换方法
dumps(),以及从JSON格式字符串到Python对象的转换方法loads()。在使用
json库进行文件存取时,通常使用dump()方法将Python对象转换为JSON格式
字符串,并写入到文件中;使用load()方法从文件中读取JSON格式字符串,并
解析为Python对象。
2.3.3可视化技术
Pyecharts是一个Python数据可视化库,能够快速生成各种类型的图表,
包括但不限于折线图、散点图、饼图、柱状图、地图等。它的优点包括简单易
用、功能强大、美观大方、支持多种数据格式以及高度可定制性。Pyecharts通
过提供一系列的类来实现各种图表的生成。其中,主要的类包括:Chart类:所
有图表类的基类,提供图表的基本属性、样式、数据等配置。Line类:生成折
线图。Scatter类:生成散点图。Bar类:生成柱状图。Pie类:生成饼图。Map
类:生成地图。在使用Pyecharts时,我们可以通过链式调用的方式进行图表
的生成和配置。
3数据采集
3.1采集页面分析
打开太平洋汽车网站,点击购买二手车页面。为了保证能够采集到全量的数
据,所以在城市选择栏中选择全国选项。如下图3-1所示:
图3-1太平洋汽车二手车页面
3
湖南商务职业技术学院毕业设计
本次二手车数据采集的字段有:汽车基本信息、城市、行驶里程、上牌日期、
价格、图片等。这些字段在页面的html文档中都有显示,通过xpath方法就可
以获取到。通过抓包工具分析接口发现,页面上的汽车信息是通过
/library/usedCar/getCarList接口返回的。如下图3-2所示:
图3-2接口分析
接口的response响应内容如下图3-3所示:
图3-3response响应
Response对象的响应内容中汽车信息列表中pageResult中,后续可以将
response对象转换成json对象,再通过键值对的方式将有效的字段提取出来。
3.2爬虫策略分析
通过采集页面分析已经基本清晰了数据采集的策略,通过向对应接口发起
post请求,传入一些必要参数,如下图3-4所示,即可获取到响应。但是由于
数据的采集量比较大,在不做任何反爬措施的情况下程序很容易被拦截导致数
据采集中断,所以在发起请求时要随机的更换请求头,达到伪装程序的效果。
图3-4请求参数
请求头列表如下图3-5所示,在后续翻页请求中随机中请求头列表中选择。
4
湖南商务职业技术学院毕业设计
self.USER_AGENTS=[
"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,
likeGecko)Chrome/58.0.3029.110Safari/537.36Edge/16.16299",
"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,like
Gecko)Chrome/50.0.2661.102Safari/537.36",
"Mozilla/5.0(WindowsNT6.1;WOW64;rv:54.0)Gecko/20100101
Firefox/54.0",
"Mozilla/5.0(Macintosh;IntelMacOSX10_12_6)AppleWebKit/537.36
(KHTML,likeGecko)Chrome/61.0.3163.100Safari/537.36",
"Mozilla/5.0(Macintosh;IntelMacOSX10_12_6)AppleWebKit/604.1.38
(KHTML,likeGecko)Version/11.0Safari/604.1.38",
"Mozilla/5.0(X11;Ubuntu;Linuxx86_64;rv:55.0)Gecko/20100101
Firefox/55.0",
"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,like
Gecko)Chrome/61.0.3163.79Safari/537.36",
"Mozilla/5.0(WindowsNT10.0;WOW64;Trident/7.0;rv:11.0)likeGecko",
"Mozilla/5.0(WindowsNT6.1;WOW64;rv:61.0)Gecko/20100101Firefox/61.0"
]
3.3翻页策略
在前面的小结已经找到获取数据的关键接口,通过不断更换接口的请求参数
即可实现翻页的效果。代码如下所示:
defturn_page(self,page_num:int):
try:
tip="正在采集第{page_num}页".format(page_num=page_num)
print(tip)
self.data.update(pageNo=page_num)
headers={
'sec-ch-ua-platform':"Windows",
'sec-fetch-dest':'empty',
'sec-fetch-mode':'cors',
'sec-fetch-site':'same-site',
5
湖南商务职业技术学院毕业设计
'user-agent':random.choice(self.USER_AGENTS)}
response=requests.post(self.url,json.dumps(self.data),headers=headers)
print(response)
self.parse_data(response)
page_num+=1
self.turn_page(page_num)
except:
print("出错!")
该方法首先尝试打印一个字符串,表示正在采集第几页,然后更新请求参数
中的页面编号,设置请求头部,并发送一个POST请求。接着,它调用parse_data
方法解析响应数据,并将页面编号加一。最后,该函数递归调用自身,以处理
下一页的数据。如果任何异常发生,函数将打印出错信息。
3.4解析各个字段
将获取到response对象使用json的loads方法转换成字典类型,在逐一
获取其中的字段。代码如下所示:
defparse_data(self,response):
dict_obj=json.loads(response.text)
page_result_list=dict_obj['data']['pageResult']
car_info={}
foriteminpage_result_list:
car_info['id']=item['id']
car_info['name']=item['name']
car_info['mileage']=item['mileage']
car_info['licenseDate']=item['licenseDate']
car_info['cityId']=item['cityId']
car_info['cityName']=item['cityName']
car_info['phone']=item['phone']
car_info['serialGroupId']=item['serialGroupId']
car_info['price']=item['price']
car_info['platform']=item['infoId']
car_info['image']=item['image']['image']
self.saveData(car_info)
该函数首先将响应文本转换为一个Python字典对象,然后提取出其中的
6
湖南商务职业技术学院毕业设计
pageResult字段,该字段包含了当前页面的车辆信息。接着,对于每一辆车,
该函数将其各个属性提取出来,存储到一个字典对象car_info中,并打印出该
字典对象。最后,函数调用saveData方法,将这些数据保存到本地磁盘。
3.5保存所有字段
创建saveData函数对数据进行落盘处理。代码如下所示:
defsaveData(self,result):
json_str=json.dumps(result,ensure_ascii=False)
withopen("pcauto.json","a",encoding="utf-8")asf:
f.write(json_str+"\n")
该函数接受一个字典对象作为参数,并将其转换为JSON字符串,然后将其
写入到一个名为pcauto.json的文件中。如果该文件不存在,则会创建一个新
文件;如果文件已经存在,则会将新数据追加到文件的末尾。
json.dumps方法将Python对象转换为JSON格式的字符串,
ensure_ascii=False参数表示允许写入非ASCII字符,否则默认会将其转换为
Unicode转义序列。
withopen(...)语句用于打开文件并创建一个上下文管理器,以确保文件被
正确关闭。文件写入操作在该上下文中执行,最后关闭文件。在每个JSON字符
串后面添加了一个换行符,以便每个记录都可以单独占一行。
3.6运行爬虫程序
编写main方法,创建爬虫对象,调用其中的start方法启动爬虫。代码如
下所示:
defstart(self):
self.turn_page(1)
if__name__=='__main__':
spider=Spider()
spider.start()
程序运行日志如下图3-5所示:
图3-5爬虫运行日志
7
湖南商务职业技术学院毕业设计
4数据清洗与处理
4.1数据清洗说明
数据采集完毕后还需要对数据进行预处理。MapReduce是一种分布式计算模
型,可用于大规模数据的处理和分析。在数据清洗方面,MapReduce通常用于对
数据进行初步处理,例如数据预处理、数据去重、数据格式化等操作。
MapReduce可以执行如下操作:
数据去重:使用MapReduce计算每个记录的哈希值,并使用Reduce函数删
除重复记录。
数据格式化:使用MapReduce将所有记录转换为标准格式,例如将日期格
式化为特定的格式,将地址转换为标准格式等。
数据聚合:使用MapReduce计算数据的统计信息,例如平均值、中位数、
标准差等。
数据清洗:使用MapReduce清除无效数据、错误数据和异常值。
数据过滤:使用MapReduce筛选出需要的数据,例如只保留特定类型的数
据或满足特定条件的数据。
数据转换:使用MapReduce将数据转换为另一种格式或结构,例如将关系
型数据转换为文档型数据或图形数据。
原始数据格式如下所示:
图4-1原始数据格式
4.2数据清洗需求
从name字段中提取出汽车品牌、版本、排放标准等字段;
将mileage字段的行驶里程单位从"万公里"改成"公里";
将licenseDate上牌日期字段切分成"年"和"月"两个字段;
8
湖南商务职业技术学院毕业设计
根据城市名称到省份编码表中查找对应的省份;
将所有字段用逗号进行拼接,并存储到clean.txt文件中。
4.3解析name字段
创建cleanName方法,从一个字符串中提取与汽车相关的几个字段,例如品
牌、型号、年份、排量和汽车类型。该方法使用空格字符作为分隔符来拆分输
入字符串name,然后通过对数组中的字段进行迭代,使用一组if语句来提取相
关字段。第一个字段被认为是品牌,第二个字段被认为是型号,而任何后续字
段都将被检查以查看它们是否是数字,以提取汽车的年份。如果一个字段包含
字母'L',则它被认为是引擎排量。最后一个字段被认为是类型。提取的字段以
逗号分隔的格式化字符串返回。
privateStringcleanName(Stringname){
Stringbrand="";
Stringmodel="";
Stringyear="";
Stringdisplacement="";
Stringmotorcycle="";
String[]fields=name.split("");
for(inti=0;i<fields.length;i++){
if(i==0){
brand=fields[0];
}elseif(i==1){
model=fields[1];
}else{
if(isNumeric(fields[i])){
year=fields[i];
}elseif(fields[i].contains("L")){
displacement=fields[i];
}else{
motorcycle=fields[fields.length-1];
}
}
9
湖南商务职业技术学院毕业设计
}
returnString.format("%s,%s,%s,%s,%s",brand,model,year,displacement,motorcycle);
}
图4-2name字段解析
总的来说,该方法提供了一种简单的方法,可以从表示汽车名称的字符串中
提取一些基本信息。然而,它可能无法适应输入字符串格式的变化,并且可能
无法提取更详细的信息,如汽车的级别或变速器类型。
4.4处理mileage字段
创建cleanMileage方法,它将包含"万公里"单位的字符串里程转换为公里,
并返回一个新的字符串表示。如果输入字符串不包含"万公里",则直接返回原
始字符串。该方法首先检查输入字符串是否包含"万公里",如果包含,它将使
用字符串替换方法将"万公里"替换为空字符串。然后,它将替换后的字符串转
换为浮点数并将其乘以1000,以将单位从"万公里"转换为公里。最后,它将转
换后的里程数作为字符串返回,并附加上"公里"作为单位。如果输入字符串不
包含"万公里",则该方法直接返回原始字符串,不做任何处理。
privateStringcleanMileage(Stringmileage){
if(mileage.contains("万公里")){
Stringreplace=mileage.replace("万公里","");
floatnum=Float.parseFloat(replace)*1000;
returnnum+"公里";
}else{
returnmileage;
}
}
总体而言,该方法提供了一种将里程数从"万公里"转换为公里的简单方法,
可以在处理中文数据时使用。
10
湖南商务职业技术学院毕业设计
4.5处理licenseDate字段
创建cleanLicenseDate方法,它将包含日期的字符串格式化为一个逗号分
隔的年份和月份字符串,并返回这个新的字符串。该方法使用字符串分割方法
将输入字符串按照"-"分割成一个数组,然后将分割后的数组的第一个元素(即
年份)和第二个元素(即月份)连接成一个逗号分隔的字符串,并返回这个新
的字符串。
privateStringcleanLicenseDate(StringlicenseDate){
String[]split=licenseDate.split("-");
returnsplit[0]+","+split[1];
}
总体而言,该方法提供了一种将日期字符串格式化为年份和月份的简单方法,
可以在处理需要这些信息的情况下使用。但是,该方法假设输入字符串的格式
是正确的,并且将不进行任何验证。在实际使用中,必须注意确保输入数据的
准确性和正确性。
4.6新增省份字段
在setup方法中实现。该方法的目的是读取一个包含省份信息的文件。代码
中,首先指定了文件的路径,然后创建了一个HashMap。接着,使用带缓冲的流
读取文件的内容,并将每行按逗号分割成一个字符串数组。然后,判断字符串
数组中第四个元素(表示城市)是否包含"市"字,如果包含则将"市"字或"地区
"字删除,然后将省份编码和城市名称拼接成一个字符串作为HashMap的键,将
这个键值对存储到HashMap中。
编写getProvinceAndCode方法,用于获取给定城市名称所对应的省份名称
和省份编码,返回格式为"城市名称,省份名称"。方法首先从之前读取的HashMap
中获取给定城市名称对应的省份编码,如果未找到则返回格式为","的字符串。
如果找到了对应的省份编码,则将该编码按"|"分割成省份编码和省份名称两个
部分,提取出省份名称并与给定城市名称拼接成返回字符串。需要注意的是,
方法中对"|"字符进行了转义,使用了"\|"。
4.7字段拼接
创建connect方法,它将多个字符串连接成一个逗号分隔的单个字符串,并
11
湖南商务职业技术学院毕业设计
返回该字符串。该方法使用了可变参数的语法,可以接受任意数量的字符串参
数。
该方法使用一个StringBuilder对象来创建一个新的字符串。对于传递给方
法的每个字符串参数,它将其附加到StringBuilder对象的末尾,并添加一个
逗号作为分隔符。最后,该方法使用substring方法从StringBuilder对象中
截取掉最后一个逗号,并将剩余的字符串作为结果返回。
privateStringconnect(String...fields){
StringBuilderstringBuffer=newStringBuilder();
for(Stringfield:fields){stringBuffer.append(field).append(",");}
returnstringBuffer.substring(0,stringBuffer.length()-1);}
总体而言,该方法提供了一种将多个字符串连接成一个逗号分隔的单个字符
串的简单方法。在处理需要将多个字符串组合成一个字符串的情况下,该方法
是非常有用的。
4.8启动mapreduce程序
编写main方法,该程序实现了将一个JSON格式的文件作为输入,清洗并输
出为另一个文件的功能。它使用了Hadoop框架来实现分布式处理。
在程序开始时,它将命令行参数设置为输入文件路径和输出文件路径。然后,
它创建一个HadoopJob对象,设置了它的Mapper类为Dataclean,并指定了Map
任务的输出键和值的类型。接下来,它设置了输出键和值的类型,并指定了输
入和输出路径。最后,它启动了Job并等待完成。
总体而言,该程序提供了一种使用Hadoop框架来处理大规模数据集的方法。
它通过将任务分发到多个计算节点并使用并行计算来加速数据处理过程。在处
理大量数据时,这种方法可以提高效率并减少处理时间。
图4-3数据清洗结果
12
湖南商务职业技术学院毕业设计
5数据统计与分析
5.1数据准备
Pandas是一种Python数据分析库,它可以帮助我们对大量数据进行清洗、
转换和分析。我们可以使用Pandas来读取MapReduce数据清洗的结果,从而方
便地进行后续的数据分析和可视化。
读取MapReduce数据清洗的结果通常需要将输出文件转换为Pandas可以识
别的格式,例如CSV格式。一旦转换完成,我们可以使用Pandas中的read_csv
函数读取文件并将其转换为DataFrame对象。DataFrame对象是Pandas中最常
用的数据结构,它类似于电子表格,并提供了丰富的数据操作和分析功能。
数据格式如下图5-1所示:
图5-1数据格式
字段依次为:品牌名、型号、上市时间、排量、版本、行驶里程数、上牌
年份、上牌月份、城市id、城市名称、价格、详情页id、图片url。
5.2数据分析与展示
5.2.1统计各省份二手车的数量和平均价格
读取“clean.txt”文件,使用逗号作为分隔符,将其转化为DataFrame。
然后,它对每个省份的二手车数量和平均价格进行了统计,并将结果存储在名
为“province_data”的DataFrame中。接下来,使用pyecharts绘制地图,其
中包括两个序列(“二手车数量”和“二手车平均价格”),每个序列对应一
个地图数据。最后,使用set_global_opts()设置地图的全局选项,使用
set_series_opts()设置序列的选项,并使用render()生成名为“二手车数量和
平均价格地图.html”的html文件,其中包括生成的地图。
13
湖南商务职业技术学院毕业设计
importpandasaspd
frompyechartsimportoptionsasopts
frompyecharts.chartsimportMap
#读取clean.txt文件,分隔符为逗号
df=pd.read_csv('clean.txt',sep=',',header=None,names=['brand',
'model','launch_time','displacement','version','mileage','year',
'month','city_id','city_name','province','price','detail_id',
'pic_url'])
#统计每个省份的二手车数量和平均价格
province_count=
df.groupby(['province'])['price'].count().reset_index(name='count')
province_avg_price=
df.groupby(['province'])['price'].mean().reset_index(name='avg_price
')
province_data=pd.merge(province_count,province_avg_price,
on='province')
province_data['count']=province_data['count'].map(lambdax:str(x))
province_data['avg_price']=province_data['count'].map(lambda
x:round(float(x),2))
#使用pyecharts绘制地图
map_data1=[(province_data['province'][i],province_data['count'][i])
foriinrange(len(province_data))]
map_data2=[(province_data['province'][i],
province_data['avg_price'][i])foriinrange(len(province_data))]
c=Map()
c.add("二手车数量",map_data1,"china")
c.add("二手车平均价格",map_data2,"china")
c.set_global_opts(
title_opts=opts.TitleOpts(title="二手车数量和平均价格地图"),
visualmap_opts=opts.VisualMapOpts(max_=max(province_data['count']),
is_piecewise=False,
14
湖南商务职业技术学院毕业设计
pieces=[{"max":1000,"min":
501,"label":">500","color":"#993300"},
{"max":500,"min":101,
"label":"100-500","color":"#CC6600"},
{"max":100,"min":1,
"label":"1-100","color":"#FFCC66"}]),
toolbox_opts=opts.ToolboxOpts(is_show=False,orient="vertical",
pos_left="right")
)
c.set_series_opts(
label_opts=opts.LabelOpts(is_show=False),
tooltip_opts=opts.TooltipOpts(formatter='{b}:{c}<br>平均价格:
{@avg_price:.0f}元'))
c.render("二手车数量和平均价格地图.html")
图5-2二手车数量和平均价格地图
上图是二手车数量和平均价格的地图,颜色越深代表数量或者价格越高,点
击图例可以切换数量和平均价格的显示。山东省的二手车交易量最大,达到1011
辆,其次是浙江省和广东省,分别为999辆和927辆。其他省份的交易量相对
较小,最小的是西藏自治区,只有2辆。从数量的分布情况来看,二手车交易
量前10的省份中,有3个位于东部沿海地区,还有1个位于华中地区,其余6
15
湖南商务职业技术学院毕业设计
个位于华北和华南地区。
5.2.2统计每年二手汽车上架数量和平均价格
在Python中使用pandas和pyecharts库读取并处理数据,然后绘制了每年
二手车汽车数量和平均价格的折线图,并将图表保存为一个HTML文件。
具体地,这段代码首先使用pandas的read_csv函数读取了名为'clean.txt'
的文件,文件的分隔符为逗号,且没有列名。读取的数据被存储在名为'df'的
DataFrame对象中,这个对象包含了二手车的各种属性信息。
然后,代码将'df'中的'year'列转换为字符串类型,并使用pandas的groupby
函数对每年的二手车数量和平均价格进行了统计,将结果存储在名为
'year_data'的DataFrame对象中。
最后,代码使用pyecharts的Line类创建了一个折线图,并分别添加了"汽
车数量"和"平均价格"两条线,然后设置了图表的标题和y轴的标签,并将图表
保存为一个HTML文件。详细的代码与上一小结类似,这里就不再详细说明。
程序运行结果如下图所示:
图5-3每年二手汽车数量和平均价格
在1996年到2004年,二手车的数量非常少,价格也较低。从2005年到2017
年,二手车数量开始稳步增加,价格也随之上涨。在2018年到2020年,二手
车数量有所增加,但价格增长速度开始放缓。而2021年二手车数量大幅增加,
但平均价格反而下降了,这可能是因为市场上二手车的品质和类型多样化导致
的。到2022年和2023年,二手车的数量呈现指数级增长,但平均价格仍然相
16
湖南商务职业技术学院毕业设计
对较低,这可能是由于新车市场竞争的激烈和汽车产业链的发展导致的。总的
来说,随着时间的推移,人们对于二手车的需求和接受程度不断提高,二手车
市场也在逐步发展壮大。
5.2.3统计每个品牌汽车数量和平均价格
使用pandas的read_csv()函数读取clean.txt文件,将其转换成DataFrame
数据结构,命名为df。对df进行分组,使用groupby()函数以brand字段进行
分组,然后使用count()和mean()函数统计数量和平均价格,分别命名为
brand_count和brand_avg_price。使用merge()函数将brand_count和
brand_avg_price进行合并,以brand字段作为合并的关键字,命名为
brand_data。对brand_data按照数量降序排列,使用sort_values()函数,取
前十个品牌,使用head()函数,命名为brand_data。
使用pyecharts中的Pie()函数创建一个饼图对象,命名为c。使用add()
函数添加数据,将brand_data中的品牌名和数量转化为列表,然后使用zip()
函数打包成一个元组的列表,并使用list()函数将其转化为列表类型,最后作
为参数传递给add()函数。注意,传入的数据需要使用列表嵌套列表的形式,即
[[品牌名1,数量1],[品牌名2,数量2],...]。使用set_series_opts()函数
设置数据标签的格式,其中formatter="{b}:{c}"表示显示品牌名和数量。使
用render()函数将饼图保存为一个html文件。
运行结果如下所示:
图5-4统计每个品牌汽车数量和平均价格
17
湖南商务职业技术学院毕业设计
可以发现在这份数据集中销量最高的五个品牌分别是丰田、大众、比亚迪、
奔驰和别克。其中丰田和大众的销量非常接近,分别为654和652,其次是比亚
迪,销量为424。奔驰虽然数量相对较少,但是平均价格最高,为47.41。跟在
奔驰后面的是路虎和宝马,平均价格分别为49.93和25.60。在这五个品牌中,
五菱汽车的平均价格最低,只有3.13,而且销量也相对较高,为274。本田和
日产在销量和平均价格方面都处于中等水平,分别为268和222,平均价格分别
为10.75和12.77。
总体来说,这份数据集的销售数据比较均衡,没有出现明显的“巨头”品牌。
在这些品牌中,奔驰和路虎是高端品牌,而五菱汽车则是低端品牌。对于消费
者来说,这份数据集可以提供他们购买二手车时的一些参考信息。
5.2.4统计各个排量的数量和平均价格
使用pandas库中的read_csv函数读取指定路径下的数据集文件
clean.txt,将其转换为DataFrame格式,并指定文件的分隔符为逗号,同时指
定DataFrame中各列的名称。
使用groupby函数将DataFrame中的数据按照排量(displacement)进行
分组,并使用count和mean函数对每组数据进行计数和求平均值,得到每种
排量的汽车数量和平均价格,最后将两个结果合并为一个DataFrame。
使用Pyecharts库中的Bar函数创建一个柱状图对象,并通过add_xaxis
和add_yaxis函数设置柱状图的横坐标和纵坐标的数据源,同时可以通过
label_opts参数来设置标签的位置和显示方式。
使用set_global_opts函数来设置图表的标题、坐标轴名称和刻度等属性,
并通过render函数将生成的柱状图保存为HTML文件。
总的来说,这段代码主要是针对给定数据集中汽车排量和价格的统计和可视
化,通过Pyecharts可视化库的支持,生成了一张柱状图,方便用户直观了解
汽车排量和价格的分布情况。
程序运行结果如下所示:
18
湖南商务职业技术学院毕业设计
图5-5统计各个排量的汽车数量和平均价格
汽车排量在1.5L以下的车型数量最多,占比超过50%,平均价格在3.7万
左右。而
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 淘宝手机客户端推广经典案例-有米广告
- 生育力保存与辅助生殖技术
- 114例高血压与颈椎病关系的调查附92例临床表现与手法治疗效果观察
- 高二化学试卷(2026-2027学年上学期第一次月考)
- 八年级生物真题卷(2027年春季开学考试)
- 八年级历史测试卷(2027年春季开学考试)
- 2027年春季开学考试高三生物基础卷及答案解析
- 2027年春季开学考试九年级生物试卷电子版
- 肝肺吸虫医学知识培训专家讲座
- 长期口服尼群地平治疗高血压病引起牙龈增生大面积皮疹2例
- 二十届五中全会客观测试题及答案解析
- GB/T 48188.2-2026光伏系统用额定电压1.5 kV直流电缆第2部分:铝合金导体电缆
- 2027中国华能校园招聘考试模拟试题及答案解析
- JJF(苏) 317-2026 差压式流量计(气体)在线校准规范
- 新版小学道德与法治新部编版六年级上册全册教案(2026秋版)合集
- 2027届初三中考全年备考统筹实施方案
- 重卡充电站项目可行性研究报告
- 2026年青海中考(地生会考)真题(含答案)
- 2025年浙江省杭州市余杭区事业单位招聘考试真题及答案(回忆版)
- DL 5106-2017 跨越电力线路架线施工规程
- 2026年体育单招真题卷全套及答案
评论
0/150
提交评论