版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
目录摘要 [15]。本项目借助Python的数据处理库Pandas以及NumPy等,努力去完成数据清洗与预处理的相关任务,以此来保证数据的精确性与统一性,在可视化这一方面,运用ECharts技术达成多种图表类型的可视化展示,像折线图、柱状图、饼图等,可直观地呈现出汽车销售数据的变化趋势以及分布情况。系统需求分析针对基于Django构建的汽车销售数据分析系统展开了全面系统需求分析,其中涉及可行性分析、功能需求分析以及系统性能分析等方面,从技术角度而言,Django框架联合Python的数据分析处理库以及ECharts可视化工具,得以实现数据的收集、处理以及数据分析展示。在操作层面,该系统界面简洁且交互性良好,便于用户进行操作,从社会需求角度看,汽车行业的数字化转型促使了数据分析与可视化技术的应用,其功能需求包含数据的收集、存储、分析以及可视化,支持实时更新以及多种图表展示,在系统性能方面,有高效的数据处理能力、稳定性以及出色的可扩展性。可行性分析技术可行性Django框架有高效、稳定以及高度可扩展性等特性,在大型Web应用开发领域有着广泛应用,它借助Python的数据处理能力以及ECharts可视化工具的支持,可实现高效的数据清洗、预处理以及对数据的深入分析,这些库在数据科学领域应用广泛,能契合汽车销售数据分析的需求。ECharts是一款备受青睐的开源可视化工具,提供多种图表形式,善于以直观方式呈现数据信息,已有多个基于Django框架的项目成功实施,比如设计作品交易平台,Python的爬虫技术可高效地从销售网站抓取数据,MySQL数据库是一款广泛应用的开源型关系数据库系统,其性能卓越且安全性高,特别适合高效存储与管理汽车销售数据。经济可行性本系统是以Django为基础进行开发的,融合了Python爬虫技术、MySql数据库以及ECharts可视化工具,这些工具都是开源或者免费的,不需要额外去购买软件许可,这在很大程度上降低了开发成本,Django框架有高效开发的特性,再加上Python语言本身简洁,开发周期相对比较短,提升了开发效率。MySql数据库有稳定性,而且运维成本低,运用Python爬虫技术从网站抓取数据,数据来源是免费的,数据存储选用MySql数据库,其开源特点让存储成本非常低,还可以支持大规模数据存储,不需要额外的存储费用。借助数据分析以及可视化手段,汽车销售企业可更为精准地掌握市场动态以及消费者需求,对库存管理加以优化,提升销售精准程度,如此一来,企业的竞争力会直接得到提升,市场份额得以增加,带来更高的经济效益,这也为消费者提供了透明的市场信息与详细的汽车数据,可消费者做出购车决策。随着汽车行业朝着数字化方向转变,汽车销售企业对于数据分析以及可视化的需求呈现出不断增长的态势,借助数据分析和可视化工具,企业可更加精准地察觉到市场机遇,调整并优化销售策略,全面考虑市场以及用户的需求,让数据呈现得更加清晰明了,本项目所运用的技术和方法并非仅适用于汽车销售行业,还可拓展至其他销售行业。像是农产品销售预测系统以及手机销售数据可视化系统等,均证实了数据分析与可视化技术在不同行业有广阔的应用前景。管理可行性该系统专门设计了用户登录界面,实现了用户登录以及权限管理的功能,借助用户管理功能,此系统可保证不同用户依据各自权限访问对应的相关数据与功能模块,比如说,普通用户可查看数据分析得出的结果以及可视化图表,而管理员则可以开展数据的导入、导出以及系统配置等操作。这样一种分层管理机制,可切实保障系统的安全性,提升用户体验,运用Python爬虫技术从网站抓取数据,并借助MySql数据库进行数据的存储与管理,数据管理模块支持对数据的清洗、预处理以及整合,以此保证数据的准确性和一致性,成熟的Django框架和MySql数据库,保证了系统有高可用性和稳定性。系统界面简洁清晰,交互性良好,便于用户操作,凭借直观的可视化图表,用户可迅速获取所需信息,而无需经历复杂的操作流程。功能需求分析本系统的界面囊括了油车与电车销售数据的排行榜、品牌销售数据的图表以及汽车排行榜等内容,若要获取这些可视化数据,首先需运用Python技术进行数据爬取,随后对所爬取的数据加以处理,便于开展后续的分析工作,在完成后续分析之后,最终要设计并生成可视化内容,用以呈现这些数据分析结果。以下是具体的需求分析情况:数据收集功能是利用Python爬虫技术从网络上获取所需数据。数据存储功能选用MySql数据库进行数据存储操作。数据分析功能提供基础的统计分析类工具,帮助用户可更高效地去洞察数据的整体概况,比如识别出最高的汽车销量,以及计算平均汽车价格等这些关键信息。数据可视化功能有生成多种类型图表的能力,像是柱状图、词云图等等,可以直观的形式将数据展示出来,它还提供数据即时更新服务,以此保证所呈现的数据处于最新状态,借助可视化的方式来提升用户对于数据的理解程度。系统性能分析系统呈现出非常出色的数据处理能力,可较快地去执行数据清理、预处理以及针对大体量数据的分析任务,它依靠成熟的Django框架以及MySql数据库,保障了系统有较高的稳定性和实用性,并且采用模块化设计方式,容易进行功能扩展和升级,可适应数据量的增长,支持大规模的数据存储与处理。以下为具体系统性能分析:数据处理能力系统呈现出了十分出色的能力,在数据清理以及预处理这个阶段表现得颇为高效,保证了数据的精准且有较高的一致性,该系统配备了先进的数据分析算法,可以快速地处理数量庞大的数据,并且可马上提供分析结果。系统稳定性其借助稳定的Django框架以及MySql数据库,该系统保证了较高的可用性与稳定性。可扩展性是系统采用模块化设计方式,如此一来可方便后续功能实现扩展以及进行升级操作,该系统可支持大规模数据的存储,同时也可以对其展开处理,可适应数据量不断增长的情况。数据收集与存储数据收集采用Python爬虫从网站抓取所需数据,以实现对汽车销售数据的收集,并将这些数据存储导入MySql数据库中,为后续的数据分析和可视化提供数据支持。数据爬虫的具体思路如下图4-1:图4-1爬虫思路利用Python的爬虫代码对网站进行数据的爬取,爬取网站为懂车帝的排行榜的数据,导入requests库,用于发送HTTP请求,导入csv库,使用pandas库对存储在.csv文件中的数据进行清洗和预处理,去除重复数据和缺失值。将清洗后的数据导入MySql数据库中进行存储,用于爬取数据的Pycharm的数据存取。在网页异步请求中找到所需URL,实现数据的连续抓取请求爬取数据,URL如下图4-2所示:图4-2排行榜url在图4-2中找到所需爬取的数据名称字段如下表4-1所示:表4-1数据名称数据名称名称解释brand品牌名称carName车名carImg汽车图片saleVolume销量price价格manufacture厂商rank销量排行carModel汽车车型级别energyType能源类型marketTime上市时间Insure保修期限获取排行榜页面数据:URL:/motor/pc/car/rank_data?aid=1839&app_name=auto_web_pc&city_name=%E6%98%86%E6%98%8E&count=10&offset=10&month=&new_energy_type=&rank_data_type=11&brand_id=&price=&manufacturer=&series_type=&nation=0其中的offset=XX是表示排名顺序。获取排行榜车辆的参数页面:URL:/auto/params-carIds-x-9689最后四位数字是排行榜f12中rank_中的series_id。排行榜数据爬取部分代码如下图的代码图所示:图4-3部分爬虫代码图4-4爬虫数据字段(1)图4-5爬虫数据字段(2)数据的清洗与存储数据清洗数据清洗是数据分析的重要前置步骤,目的是确保数据的准确性和一致性。主要针对通过Python爬虫技术从懂车帝等网站抓取汽车销售数据,其中包括了品牌的名称、车名、销量、价格、厂商、排名、车型级别、能源类型、上市时间、保修期限等信息。爬取的数据中可能存在某些字段为空或缺失的情况,例如部分车型缺少价格或销量信息。对于数值类字段(如销量、价格),使用均值或中位数填充缺失值。对于文本的字段(如品牌名称、车型级别),直接删除缺失记录或标记为“未知”。爬取的数据可能存在重复,使用drop_duplicates()去除完全重复的记录,确保每条数据的唯一性。因为爬取的数据格式可能不一致,所以需要对数据进行标准化处理,将价格统一转换为数值型,将上市时间之类的日期字段转换为统一的日期格式。品牌名称、车型级别等文本字段可能包含多余字符或格式不统一,可以去除文本中的空格、换行符,统一大小写或缩写格式。数据清洗的部分代码如下所示:图4-6数据清洗部分代码数据存储在数据存储方面,主要采用MySQL数据库进行存储。在数据收集模块完成数据爬取后,将爬取到的数据先以.csv文件格式存储,随后将.csv文件中的数据导入MySQL数据库中,与MySql链接,把.csv的数据存储至MySql数据库中,具体代码如下图4-7:图4-7连接数据库以下是数据存储部分代码的示例:图4-8数据存储部分代码爬取的数据存储至MySql数据如下图4-9所示:图4-9MySql数据展示此外需要注意的数据存储的事项有:在将所需的数据存储到MySQL数据库之前,需要确保数据库已经创建好,已定义好了相应的数据表和所需的字段。存储数据时,需要注意数据的类型和格式,确保与数据库中字段的类型和格式一致。导入数据的时候,需要考虑数据的完整性和一致性,避免出现导入重复数据或缺失数据的情况。数据分析与可视化数据分析数据分析主要针对汽车销售领域的数据进行分析,是通过对收集到的汽车销售数据进行深入挖掘和分析,提取有价值的信息,如汽车销量、价格分布、品牌竞争态势等,为汽车销售企业提供决策支持,帮助企业优化销售策略、提升市场竞争力。数据分析模块利用Python的数据处理库Pandas和NumPy等工具对数据进行清洗和预处理工作,以确保数据的准确性和一致性,实现了柱状图、饼图、词云图等多种图表类型的可视化呈现,为用户提供了直观的数据。使用Python的库连接MySql数据库,获取存储在数据库中的汽车销售数据。先设置与MySql库链接,与Mysql库连接的代码如下:图5-1获取数据库数据获取车辆的总数据sunCar就是获取数据库存储数据的长度,以确定车辆的总数据量。具体代码如下图5-2:图5-2获取车辆总数据获取销售量最多的汽车就是字段carName,分析字段carName排名第一的车辆,确定销售量最多的汽车。图5-3销售最多汽车要得到车辆最高销售额就获取saleVolume字段,字段saleVolume的第一名,确定车辆最高销售额。图5-4车辆最高销售分析销售数据,确定销售最多的车型,销售最多的车型数据分析代码如下。图5-5销售最多车型分析销售数据,确定拥有最多车型的品牌,获取车型最多品牌代码下图所示。图5-6车型最多品牌计算车辆价格的平均值确定车辆的平均价格。车辆销售平均价格:图5-7车辆平均价格分析不同汽车品牌的销售量的占比情况,通过饼图展示各品牌的销售量比例,部分代码如下:图5-8销售饼图词云图的文字提取部分代码:图5-9汽车品牌词云图展示不同车型的销售情况和车辆价格,使用柱状图表示销售情况,折线图表示车辆价格,汽车销售柱状图的数据分析数据代码:图5-10销售数据柱状图分析汽车销售价格的分布情况,使用条形图和环形图展示不同价格区间的汽车销售数量和比例,价格分布的数据分析处理代码:图5-11平均价格分布油车和电车的销售排行榜展示销量位居前列的车型及其销售数量,油车和电车的数据分析数据代码:图5-12油电车排行榜汽车排行榜数据分析汽车销售排行榜,覆盖有排名的车型及其具体详细信息,包括车型、销量、厂商、保修政策、上市时间等,代码如下:图5-13汽车排行榜数据可视化数据可视化的数据来源于从懂车帝爬取相关数据进行分析处理形成可视化,对采集到的数据进行处理,确保数据的准确性和可用性。将汽车销售数据以直观的图表形式呈现出来,帮助用户更快速地理解数据,为汽车销售企业及消费者提供决策支持。将经过清洗、处理和分析后的数据转化为各种可视化图表,如柱状图、饼图、词云图等,使用户能够清晰地看到汽车销售的各种趋势和特征。将上述从懂车帝爬取的数据进行处理后,把处理好的数据传递到前端模板上,实现前后端的连接,对数据进行了全局的配置。图5-14前后端连接图5-15配置全局接下来为展示数据的分析完成结果的展现可视化渲染的代码:中间部分的数据传递至前端模板,并通过可视化渲染展示的代码如下:图5-16中间部分数据传递传递完成后的中间模板呈现如以下图示,其中的数据说明ModelY的销量体现出其于电动车市场中的强劲态势,尽管油车占有率相对较高,然而电车占有率的一定比例彰显出电动车市场有增长潜力的趋势,这些数据为汽车制造商带来市场趋势的洞察,能帮他们规划未来的产品与市场策略,还为消费者给予购车决策的参考内容。图5-17中间模板展示品牌销售量饼图呈现出不同汽车品牌销售量的占比情况,帮助用户快速了解各品牌在市场中的地位。图中借助不同颜色对各个汽车品牌加以区分,同时借助扇形区域大小来体现各品牌的销售量比例,最终呈现出比亚迪在图中占据较大比例,呈现出其在市场上有强劲的销售表现,属于销售量最大的品牌之一,大众同样占据较大比例,说明其拥有广泛的市场接受度以及较高的销售量,丰田和本田这两个品牌的销售量也颇为可观,显示出日系车在市场中占据关键地位。丰田、本田、长安、吉利汽车等品牌之间存在着激烈竞争,它们在市场上的表现较为相近,特斯拉作为电动汽车的代表,其市场份额体现出消费者对新能源汽车的兴趣和接受度,下图展示的是销售饼图的可视化部分代码以及结果展示:5-18销售量饼图部分代码图5-19品牌销售饼图词云图作为一种可视化工具,其作用在于呈现文本数据里词语的频率或者关键程度,借助不同大小以及颜色的文字来展示,词语出现的频率越高,在图里显示的尺寸就越大,图中呈现出上汽大众、长安汽车以及长城汽车等在市场里占据着关键地位,说不定是消费者购车时主要会考虑的对象。以下是词云图的图片保存并展示代码和结果:图5-20词云图图片保存图5-21词云图展示代码图5-22结果数据分析汽车销售柱状图展示了不同车型的销售情况和车辆价格。图中使用了两种数据表示方法:柱状图表示销售情况,折线图表示车辆价格。其各车型的销售数量大致在100,000至200,000之间波动;车辆价格在不同车型间有一定波动,但整体变化不大,价格大致在10万至15万之间,中等价位的车型数量较多,竞争可能较为激烈,高价位车型可能具有更高的品牌价值或性能,而低价位车型则可能更注重性价比。下面是柱状图数据的渲染部分代码和结果展示:图5-23车辆价格图5-24销售情况图5-25异步请求前端向后端获取数据并赋值图5-26柱状图结果汽车销售价格的分布情况使用了条形图和环形图两种形式来表示不同价格区间的汽车销售数量和比例。其中数据展示了10-20万元的价格区间是汽车销售的主流市场,这个价格区间的汽车销售数量最多,表明消费者更倾向于购买中等价位的汽车;5-10万元和20-30万元区间也有一定的市场份额,显示出市场的细分需求;30万元以上的高端市场销售数量较少,表明高端汽车的市场需求相对较小,可能受到消费者购买力和市场定位的影响。下图为汽车销量价格分布的部分代码和可视化结果:图5-27价格分布图5-28异步请求前端向后端获取数据并赋值图5-29汽车价格分布结果以下是分析电车油车排行榜的部分代码还有结果展示:图5-30油电排行图5-31前后端连接图5-32油电排行榜上述所呈现的图片呈现出了一份关于车型的销售排行榜单,清晰地罗列了销量位居前九的车型以及它们各自的销售数量,这些车型有较高的销量,这说不定体现出消费者对于这些品牌以及车型所抱有的偏好,可为制造商给予有关键价值的市场洞察。下面来呈现的是汽车排行榜数据的部分可视化代码以及结果,包括排名、车型、销售数量、保修政策、上市时间等详细信息,汽车销售排行榜覆盖了有排名的车型及其具体详细信息,ModelY凭借销量方面的优势占据榜首位置,呈现出特斯拉在电动车市场的强劲态势,比亚迪有两款车型进入榜单,分别是海鸥和秦PLUSDM-i,体现出比亚迪在电动车市场有一定竞争力。不同车型的保修政策存在较大差异,范围在3年或10万公里至6年或15万公里之间,这或许会对消费者的购买决策产生影响,而且所有上榜车型的上市时间均处于2022年8月至2023年9月这个区间,说明这些车型都是比较新的产品,排行榜可为汽车制造商和销售商提供有关市场趋势的洞察情况,辅助他们制定未来的产品及市场策略。也可为作为消费者提供购车决策时的参考信息的依据。图5-33汽车排行榜可视化图5-34前后端连接展示图5-35汽车排行榜结果可视化大屏展示在系统开发阶段,通过实施测试并优化系统性能,以提高其数据处理能力与提升系统响应速度。最终呈现结果如下:图5-36最终展示数据来源于车辆销售数据库,从懂车帝网站爬取数据,数据涵盖了不同车型的销售数量、价格、保修时间以及上市时间等信息。选择的数据包括车型名称、销售数量、销售价格区间、保修时间、上市时间,这些数据被用于分析不同车型的市场表现和消费者偏好。可视化结果包括了汽车排行榜展示了不同车型的销售排名;品牌销售量饼图包含不同品牌的市场份额;汽车销售柱状图表示不同车型的销售数量和价格分布;词云图里包含着展示汽车品牌名称出现的词频率。可视化大屏中展示销售的趋势是ModelY和五菱宏光MINIEV等车型销售表现强劲,显示出市场对电动车和经济型车的需求。价格大部分车型的销售价格集中在10-20万元区间,表明这一价格区间的车型更受消费者欢迎。品牌中特斯拉和比亚迪等品牌在电动车市场占据重要地位,显示出品牌影响力对销售的推动作用。根据上述数据建议汽车制造商关注电动车和经济型车的研发,以满足市场需求。市场定位针对10-20万元价格区间的车型进行市场推广,以吸引更多消费者。加强品牌建设和市场宣传,提高品牌知名度和影响力。利用数据分析结果指导产品开发和市场策略,提高市场竞争力。系统测试环境测试系统开发完成之后,针对基于Django框架构建的汽车销售数据分析与可视化系统展开测试,使其在不同环境下运行,以此检验系统的稳定性,经测试,该系统运行流畅,数据加载速度较快,图表渲染不存在延迟现象,如此可保障系统有良好的兼容性与稳定性,对系统的硬件资源占用状况给予评估,目的在于优化系统的性能表现。测试用例对功能测试用例中,数据处理性能的测试里包含了验证Python爬虫是否能成功抓取懂车帝排行榜数据;验证CSV文件数据是否能正确导入MySql数据库中;验证系统是否能正确统计汽车销售量、平均价格等数据;验证系统是否能正确生成词云图、柱状图等可视化数据;验证用户登录功能是否正常;验证前端页面是否能正确显示图表。对性能测试用例里,验证系统是否能在短时间内完成大规模的数据的清洗和预处理,验证系统的稳定性,以确保系统的健壮性和可靠性。验证系统在数据丢失或错误时是否能正确处理;验证系统在网络中断或超时时是否能正确处理。测试结果分析历经一番细致的测试工作之后,紧接着针对测试所获取的结果展开深入分析与全面总结,探寻出系统之中所存在的各类问题以及尚显不足的地方,以此对系统的功能和性能做的完善,系统于功能以及性能方面呈现出较为出色的表现,关于功能的测试结果具体如下:数据收集模块:爬虫成功抓取数据,异常处理机制正常;数据存储模块:CSV文件数据成功导入数据库,数据存储正常;数据分析模块:统计结果准确,图表生成正常;数据可视化模块:图表正常渲染,实时更新正常;用户管理模块:用户登录和权限管理正常。对于数据采集测试结果如下:爬虫成功抓取了懂车帝排行榜的数据,异常处理机制正常。能够从异步请求中找到所需URL,并爬取到品牌名称、车名、汽车图片、销量、价格、厂商、排名、汽车车型级别、能源类型、上市时间、保修期限的数据,确保爬虫爬取数据的准确性、数据的完整性、爬取的数据格式正确,例日期格式。数据存储功能测试数据是否能够正确存储到数据库中,爬取的数据能否正确导入到CSV文件中,并且格式和内容是否正确。CSV文件中的数据是否能够成功导入到MySQL数据库。针对数据分析测试,能够正确统计汽车销售量、平均价格等关键数据。例如,可以获取车辆的总数据,找出销售量最多的汽车、车辆最高销售额、销售最多的车型、车型最多品牌等信息。根据数据分析结果,生成词云图、柱状图、饼图等多种可视化图表。如品牌销售量饼图能够准确地呈现出不同汽车品牌销售量的占比情况;汽车销售柱状图能够正确展示不同车型的销售情况和车辆价格等图表。关于数据可视化大屏的测试,前端页面能够正确显示各种图表,图表渲染不存在延迟现象,数据从后端传递到前端模板,配置全局后各种图表能够正常展示。例如,中间部分的模板能正常展示ModelY的销量等数据;品牌销售量饼图能够正常展示比亚迪、大众、丰田、本田等品牌销售量的占比;词云图能够正常保存并展示上汽大众、长安汽车、长城汽车等品牌等,都可以正常展示所有图表内容。对性能测试结果,数据处理性能:系统能在短时间内完成大规模数据的清洗和预处理;系统稳定性:在高并发访问的情况下,系统运行稳定。对异常测试结果如下展示:数据异常:系统在数据丢失或错误时能提示错误;网络异常:系统在网络中断或超时会报错。结论本项目所研究的是一款基于Django框架的汽车销售数据深度分析及可视化系统,达成了从数据采集一直到可视化的完整流程,涉及了数据的爬取、存储、清洗、分析以及可视化展示等诸多环节,运用Python爬虫技术,该系统可高效提取外部网站上的销售信息,并且借助MySQL数据库来保证数据的存储。数据分析模块利用Pandas和NumPy等工具对数据做精细化处理,保障了数据的精确性与统一性,成功实现了包括柱状图、饼图、词云图等多种图表类型的可视化呈现,为用户提供了直观的数据解析途径。在系统开发进程里,成功处理了数据整合以及可视化展示方面的难题,同时开展了细致的系统测试与效果评估工作,测试得出的结果显示,该系统有较高的稳定性与可用性,然而在测试与开发期间还是发现了一些问题,比如图表渲染存在兼容性方面的状况,在处理大规模数据的时候,系统的响应时间出现了些许延迟,并且系统在数据实时更新这块仍存在可改进的地方。未来会持续优化系统功能,提高系统性能,能契合需求并推动行业向前发展。
参考文献林建业,何娅玲,刘莉.基于FineReport的3D汽车行业数据可视化系统设计与实现[J].现代计算机,2024,30(09):86-90.张菁,石天恩,李秋,等.基于大数据分析的农产品销售预测系统设计与实现[J].辽宁师范大学学报(自然科学版),2024,47(01):50-58.丁海洋,王昊翔,姚全珠.基于MVVM框架的汽车销售管理系统设计与实现[J].电子制作,2021,(22):55-56+8.DOI:10.16589/11-3571/tn.2021.22.019.W.EG,BryanH,NickH,etal.TheSpacePhysicsEnvironmentDataAnalysisSysteminPython[J].FrontiersinAstronomyandSpaceSciences,2022,9ZhaoK,SunR,DengC,etal.VisualAnalysisSystemforMarketSalesDataofAgriculturalProducts[J].IFACPapersOnLine,2018,51(17):741-746.张智浩,鞠爽爽.基于Python语言的罗技设备数据可视化系统[J].南通职业大学学报,2024,38(01):77-80.姜永成.基于Django的网络招聘数据可视化分析系统的设计与实现[J].科技资讯,2023,21(19):57-60.DOI:10.16661/ki.1672-3791.2306-5042-4316.张同硕,廖明军,张荣华,等.基于Django的交通事故数据可视分析系统设计与实现[J].软件导刊,2023,22(07):112-117.程潇林.基于区块链的汽车销售服务管理系统的设计与实现[D].湖南大学,2021.DOI:10.27135/ki.ghudu.2021.000782.胡从寅,杨文远,赵鑫,等.基于Django+Vue.js的设计作品交易平台的实现[J].软件,2023,44(11):42-46.林彬,杨彬彬,孙芳.基于Django框架的高校就业信息可视化平台的设计与实现[J].辽宁师范大学学报(自然科学版),2022,45(02):201-208.HeY,YuX,LiangQ,etal.IntelligentMonitoringandVisualizationSystemforHighBuildingNighttimeUtilizationBasedonImageProcessing[J].Sensors,2024,24(21):6793-6793.TaizhiL,PeiyiT,YujuanZ.DesignandImplementationofWastewaterPollutantDataAnalysisandVisualizationSystemforVessels[J].JournalofPhysics:ConferenceSeries,2022,2400(1):范路桥,高洁,段班祥,等.基于Python+ECharts的手机销售数据可视化系统[J].电脑编程技巧与维护,2022,(06):78-81.DOI:10.16184/prg.2022.06.046.YongC,XiaoS,QingleiH,etal.Bigdatavisualizationusingmultimodalfeedbackineducation[J].ComputersandElectricalEngineering,2021,96(PA):
附录爬虫数据代码:importrequests
fromlxmlimportetree
importcsv
importos
importtime
importjson
importpandasaspd
importre
importdjango
os.environ.setdefault('DJANGO_SETTINGS_MODULE','车辆大屏可视化.settings')
django.setup()
frommyApp.modelsimportcarInfo
classspider(object):
def__init__(self):
self.spiderUrl='/motor/pc/car/rank_data?aid=1839&app_name=auto_web_pc&city_name=%E6%98%86%E6%98%8E&count=10&month=&new_energy_type=&rank_data_type=11&brand_id=&price=&manufacturer=&series_type=&nation=0'
self.headers={
'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/Safari/537.36Edg/'
}
definit(self):
ifnotos.path.exists('./temp.csv'):
withopen('./temp.csv','a',newline='',encoding='utf-8')aswf:
write=csv.writer(wf)
write.writerow(["brand","carName","carImg","saleVolume","price","manufacturer","rank","carModel",
"energyType","marketTime","insure"])
defget_page(self):
withopen('./spiderPage.txt','r')asr_f:
returnr_f.readlines()[-1].strip()
defset_page(self,newPage):
withopen('./spiderPage.txt','a')asa_f:
a_f.write('\n'+str(newPage))
defmain(self):
count=self.get_page()
params={
'offset':int(count)
}
print("数据从{}开始爬取".format(int(count)+1))
pageJson=requests.get(self.spiderUrl,headers=self.headers,params=params).json()
pageJson=pageJson["data"]["list"]
try:
forindex,carinenumerate(pageJson):
carData=[]
print("正在爬取第%d"%(index+1)+"数据")
#品牌名
carData.append(car["brand_name"])
#车名
carData.append(car["series_name"])
#图片链接
carData.append(car["image"])
#销量
carData.append(car["count"])
#价格
price=[]
price.append(car["min_price"])
price.append(car["max_price"])
carData.append(price)
#厂商
carData.append(car["sub_brand_name"])
#排名
carData.append(car["rank"])
#第二个页面,二次请求
carNumber=car["series_id"]
infoHTML=requests.get("/auto/params-carIds-x-%s"%carNumber,
headers=self.headers)
infoHTMLpath=etree.HTML(infoHTML.text)
#carModel
carModel=infoHTMLpath.xpath("//div[@data-row-anchor='jb']/div[2]/div/text()")[0]
carData.append(carModel)
#energyType
energyType=infoHTMLpath.xpath("//div[@data-row-anchor='fuel_form']/div[2]/div/text()")[0]
carData.append
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年4月江苏扬州市邗江区卫生健康系统事业单位招聘专业技术人员20人备考题库附参考答案详解(突破训练)
- 2026湖北武汉市三级医院招聘14人备考题库带答案详解(b卷)
- 2026甘肃金昌永昌县红山窑镇卫生院招聘1人备考题库附参考答案详解(精练)
- 2026春季山东济宁市鱼台邮政校园招聘备考题库附参考答案详解(培优)
- 2026内蒙古呼和浩特市实验幼儿园招聘教师1人备考题库及答案详解【各地真题】
- 雨课堂学堂在线学堂云《食品理化检测技术(贵州农业职业学院)》单元测试考核答案
- 酿酒厂发酵工艺规范
- 2026山东济南市中心医院招聘卫生高级人才(控制总量)10人备考题库含答案详解(轻巧夺冠)
- 2026山东济南市第二妇幼保健院招聘卫生高级人才(控制总量)2人备考题库及参考答案详解(模拟题)
- 2026浙江丽水开放大学招聘专业技术人员1人备考题库附答案详解(完整版)
- GB/T 47241-2026虚拟电厂技术导则
- 泰州市土地资产经营有限公司招聘笔试题库2026
- 2026浙江省储备粮管理集团有限公司所属企业招聘人员6人(第一批)笔试模拟试题及答案解析
- 2025“魅力嘉定精彩国资”上海嘉定区区属国有企业春季专场招聘136人笔试历年难易错考点试卷带答案解析
- (2025年)供应链岗位招聘笔试题与参考答案(某大型国企)
- 汽车钣金薪酬考核制度
- 建筑工程质量检测培训课件2026年
- 2026年行政职业能力测试试题解析(答案+解析)
- DZ∕T 0211-2020 矿产地质勘查规范 重晶石、毒重石、萤石、硼(正式版)
- 医院财务制度专家讲座
- 2023年上海市杨浦区中考一模(暨上学期期末)语文试题(含答案解析)
评论
0/150
提交评论