【《基于python的新冠疫情数据可视化分析设计》9600字（论文）】

基于python的新冠疫情数据可视化分析设计目录TOC\o"1-3"\h\u217461引言 2176241.1研究背景及意义 2189821.2研究流程 3211661.3关键技术 3269901.3.1爬虫 3263891.3.2JSON 3285681.3.3HTML超文本语言 4153831.3.4ECharts和pyecharts 495211.3.5Flask 4153752疫情数据抓取与处理 518272.1数据来源 592962.2网络爬虫相关技术 623622.2.1网络爬虫流程 6158952.2.2反爬虫技术 6271022.2.3疫情数据爬取 6265942.3数据处理分析 1021752.3.1数据处理 10150072.3.2数据存储 11318812.3.3数据分析 12126363疫情数据可视化 13227503.1各可视化图表 13121193.1.1中国各地区总确诊人数——地图 13102723.1.2世界各国今日确诊人数——地图 14244743.1.3确诊人数前15的国家——柱状图 15205663.1.4中国当日确诊人数前15的省份——饼图 166613.1.5近10天里中国的新增趋势——线型图 17165603.1.6中国、英国和美国疫情对比——柱状图 1885193.1.7中国累计治愈人数——词云图 1988233.1.8世界各国累计死亡人数——词云图 1969063.2全国疫情实时监控显示卡 20200743.3Flask展示 22270413.4疫情传播现状分析及建议 2346314系统测试 2367395总结 2427894参考文献 25[摘要]对新型冠状病毒肺炎感染的防控不仅是中国更是世界各国安全体系的重要“战场”，对疫情的科学防控和精准防控的重要前提措施是需要对疫情趋势有一个正确的认识。本文对新型冠状病毒肺炎疫情的发展进行了研究,整个设计都基于python语言，首先对新型冠状病毒肺炎进行了背景分析，接着寻找新冠肺炎疫情的数据源，然后通过爬虫相关抓取技术从网易新闻网站和腾讯新闻网站等收集相关数据，对所收集得到的数据进行数据处理、保存为.csv文件后将数据进行可视化分析设计，利用pyecharts图表技术进行全球疫情的可视化来展示各国、各地近期疫情的变化趋势线型图、累计确诊人数柱状图等多种图形，使用Flask结合HTML超文本语言进行展示，让人们更加直观清晰地获取疫情的关键信息、了解疫情形势，为疫情防控提供直观、形象的数据支持，并给出一定的防疫建议措施。 [关键词]数据可视化;新冠肺炎;Python;疫情;网络爬虫;pyecharts1引言1.1研究背景及意义自从2019年年底新型冠状病毒肺炎的爆发，不仅给人们带来了噩耗更是对人类的各方面都带来了巨大的影响，特别是人类的生命安全和经济方面都面临挑战。直到今天疫情仍在蔓延，特别近期是在美国、印度等多国的新增病例数仍在不断地增加，令人恐慌后怕的是印度近期的每日增长量竟高达二三十万例，甚者三天就超出百万例，我国多地区也在反复增加疫情病例数，可想疫情的传播发展是多么的可怕！所以对本课题的研究是很有必要的。本研究的主要做法是爬取新型冠状病毒肺炎发展的数据进行数据处理，对得到的结果进行可视化展示,更为直观地快速发现疫情传播情况，分析全球新冠疫情传播的特征，对疫情走势进行分析判断,从而为中国政府及普通百姓对新冠肺炎疫情做出相应的预防和对经济生产的恢复提供一定的参考，具有一定的研究意义，对疫情防控的指导有较高的理论价值。本设计选择Python开源语言作为编程语言，所使用的版本为python3.8。它是一种简单易学,功能强大的编程语言，它有高效率的高层数据结构,简单而有效地实现面向对象编程REF_Ref27291\r\h[1]。python程序具有容易读写、容易维护和修改的特点，因此受到了广大使用户的喜爱。同时python的编程语言也较为高级，有着一些易于使用的数据功能，使人让人们能够很轻松地处理和生成大量的数据。本设计使用的编辑器是PyCharm，其版本是“PyCharmCommunityEdition2020.1.1x64”版，虽然是普通社区的版本，对于本设计而言足够使用了。1.2研究流程本研究的研究流程:首先确定研究目的：本课题的研究目标是设计实现一个基于python对新型冠状病毒肺炎疫情的数据进行可视化分析设计网页。其次爬取数据：寻找合适的恰当的数据源，必须是国家权威机构网站发布的数据。再使用爬虫采集器采集这些网站上的疫情数据。然后使用Python开源编程语言将数据进行预处理,并将最新数据及过往数据汇整,保存为.csv文件便于使用。接着对全球各地区的疫情数据进行分析，使用多种合适的pyecharts图表可视化技术手段进行Flask展示，同时也结合了HTML超文本语言，使我们能够更直观、全面地分析疫情发展状况。最后观察所得数据的特点，结合pyecharts图表分析疫情发展传播的情况，为疫情防控提供直观、形象的数据支持，进而提出结论与一定的防疫建议措施。1.3关键技术1.3.1爬虫网络爬虫又可以叫做网络蜘蛛，在网络上按照一定的算法和逻辑去抓取和下载网页，按照人们的需求从网络上抓取数据，可以定义数据的保存方式，常见的保存方式是存到mysql数据库、excel文件等。爬虫的方式也有很多种，如正则表达式大法、requests-html、lxml的XPath等，本设计使用的是requests库，然后将爬取的疫情数据存为了.csv文件。requests库是获取接口数据的。该方法能构造一个向服务器请求资源的Request对象，并将响应对象返回，该对象是ResPonse类型REF_Ref22019\r\h[2]。1.3.2JSON在本设计中是通过网络爬虫获取疫情数据的，但得到的数据会是很杂乱无序的，不能够直接使用，所以需要将数据用request库接口去获取，然结合Json工具来使用，让疫情数据变成了Json的格式。Json格式的数据在查阅和编写的时候都很方便，同时也可以更快速地使用。1.3.3HTML超文本语言超文本标记语言Html(HyperTextMarkupLanguage)是一种格式化语言,它用“标记”(tag)组成格式化命令来描述网页内容和外观,指示Web浏览器应该如何显示网页元素,以及如何响应使用者的操作REF_Ref23590\r\h[3]。本设计的脚本设计技术使用的是JavaScript，嵌入了多个js库，如：中国地图所需的china.js、词云图所需的wordcloud.min.js、各种图表工具库echarts.min.js等。对于HTML网页的外观布局设计可以用css模块来指定样式表。1.3.4ECharts和pyechartsECharts是一个使用JavaScript实现的开源可视化库，提供直观、交互丰富且可高度个性化定制的数据可视化图表，适用于多种不同的可视化场景REF_Ref28886\r\h[4]。而pyecharts就是用于生成Echarts图表的一个类库。pyecharts能在flask等结合同时使用，也可以单独生成HTML网页。1.3.5FlaskFlask是用Python语言编写的一个Web应用程序框架，使得我们能用Python来快速完成一个Web服务器或者网站。首先需要导入一个flask库，在实现flask前先创建两个文件夹：static和templates，JS库和CSS模块等网站的外观设计的文件要先放入static文件夹里，也要提前建好一个html文件index0.html放进template文件夹里，这些放进文件夹里的文件都需要提前编写好。然后再建一个.py文件app.py来实现flask展示，最后编写相关的程序代码:图1创建Flask2疫情数据抓取与处理2.1数据来源对于这个可视化设计最重要的就是首先需要找到合适的可信的数据源，经过寻找对比，本研究选择了网易新闻网和腾讯新闻网的数据作为疫情数据源，这些数据都是来自各省市的政府和国家卫健委等的公开数据，具有一定的可信度、真实性，实时更新的时间也较为及时。本研究选择了两个新闻网的疫情数据还可以做一个对比，也能验证数据是否一致。网易新闻网的疫情数据和腾讯新闻网的数据网址分别为：/163/page/news/virus_report/index.html?_nw_=1&_anw_=1和/zt2020/page/feiyan.htm#/?nojump=1。基于网易新闻网和腾讯新闻网的实时播报平台寻找数据，由于它是一个实时的动态平台，因此数据一般在Network标签下可以找到，直接在浏览器中就可寻找数据源。不建议使用电脑自带的浏览器，不仅卡顿，有延迟而且难找到数据，GoogleChrome浏览器、QQ浏览器等是个不错的选择。本研究使用的是QQ浏览器，查看数据源的大体步骤：在浏览器页面的任意位置右击，会出现一个选项卡，选择“检查”点击进去，会看到一个控制台，点击“Network”标签下方的“XHR”，同时按住“Ctrl+R”组合见进行刷新，所看到的就是对应的数据结构。在“Name”中就是各项数据结构，点击“preview”就可以看到具体的数据：图2查看数据源2.2网络爬虫相关技术网络爬虫就是用规定的准则去爬取各种网页中用户所需要的数据，然后将数据根据自己的需求保存下来。2.2.1网络爬虫流程一般先指定一个或多个初始的URL作为种子,在不断抓取网页信息的过程中将爬取到的新URL存入URL访问队列中,在爬取完当前网页资源后从URL访问队列中调出一个再次进行爬取,一直重复到满足程序设计者的停止条件或者爬完URL队列为止,爬取出的网页资源会进行一定的解析、筛选然后存储入文件或数据库中REF_Ref5171\r\h[5]。大概的网络爬虫过程如图3：图3爬虫流程图2.2.2反爬虫技术通常情况下我们想要爬取一些数据时就会很密集地去访问一个网址，特别是初学者对爬虫技术不熟悉，又为了验证数据的正确性就会在短时间内反复地去浏览一个网址，但因此也会很留下很多足迹，很可能被拉入黑名单，造成了被限制自己的ID，然后在短时间内无法再进此网址，数据也就爬取不了了。一些网站为了保护自己的数据权益也会增加反爬虫技术，但有技术的人员还是会有办法去破解反爬虫技术。反爬虫技术也有很多种，比如：User-Agent控制请求、使用验证码等。User-Agent中可以携带一串用户设备信息的字符串，包括浏览器、操作系统、cpu等信息，我们可以通过在服务器设置user-agent白名单，只有符合条件的user-agent才能访问服务REF_Ref11128\r\h[6]。2.2.3疫情数据爬取本设计爬取的是网易新闻网的疫情数据，在爬取数据时首先要导入相关的库，如requests库，然后设置一个请求头，要伪装成一个浏览器，URL就是要爬取访问的目标地址，再使用requests发起请求开始爬取，相关代码如图4：图4数据爬取查看请求状态时运行代码返回“Response[200]”说明请求成功。爬取的内容返回后的内容是字符串，字符串的格式不方便我们进行查看和分析，而且要爬取的数据很多，字符串长达几十万长度，所以考虑将字符串转json格式，先要导入json库，然后转格式：data_json=json.loads(r.text)。经观察发现返回的json文件中的“data”列是研究所需的数据，所以将“data”取出来：data=data_json['data']，得到的“data”数据：图5爬取的数据由以上数据可以看到里面都按类别存放着想要的疫情数据：有历史数据和实时数据，还分国内数据和世界各国数据，用“areaTree”列表寻找世界各国的数据，相关代码如图6：图6areaTree列表按当天疫情数据“today”和历史所有疫情数据“total”提取出来，然后合并，将得到的数据封装起来得到中国各省的当天疫情数据“today_province”，关键代码和数据输出如图7：图7获取today_province数据可以看到数据已经按更新时间、今日确诊病例数、今日治愈病例数等的每一列输出了。以上是中国各省份的当日数据“today_province”，即实时数据，世界各国的实时数据爬取也是一样的原理和方法。接下来看一下疫情历史数据的爬取，在历史数据中也包括了当日的数据，中国各省的历史数据是先爬取其中一个省的数据，本设计爬取数据时是以湖北省为例，每个省份都有自己的“id”，即行政代码，各id对应各省的名称，其他省也可以使用这样的方法遍历来获取数据代码如图8：图8全国各省历史数据爬取将得到的各省数据合并起来就可以得到中国各个省份的疫情历史数据了。在数据输时本设计设置了延迟一秒等待的时间，以免爬取速度过快导致IP被封，全国34个省的数据全部输出大概需要70秒：图9全国各省数据输出世界各国和中国各省的历史疫情数据的爬取方法是一样的，同样先以其中一个国家为例，这里选择了意大利，像爬取中国数据的地址一样爬取意大利的数据地址，然后像中国各省的id与之对应的省份名称一样，世界各国也有各国家的编号id与之对应的国家名称，使之生成键值对，遍历获取每一个国家的历史疫情数据，最后将爬取得到的各国数据合并在一起，就可以得到了世界各国的历史疫情数据了。一共爬取了207个国家，大概累计花费了310秒，即爬取世界各国疫情的历史数据需要花费五六分钟。2.3数据处理分析2.3.1数据处理网页上爬取得到的数据通常都是杂乱的、不完整的、不一致的，而数据预处理就可以改进数据的质量，从而提高数据的正确性和使用率。高质量的数据在可视化时才可以得到更好的运用，进行了数据处理后的数据也便于对数据的存储，所以数据处理是很重要很必要的一步。数据的清洗可以使用Pandas库，它提供了方便的类表格的统计操作和类SQL操作，同时还提供了强大的缺失值处理功能，使用数据预处理工作更加方便快捷REF_Ref1289\r\h[7]。本设计对数据的处理方式有：将字符串格式转为json格式、导入了pandas库等。用“DataFrame”以字典的格式生成数据，将其传入列表：图10DataFrame生成数据也使用了“DataFrame”生成国家编号和国家名称的键值对，使国家名与其对应数据一一对应，数据一体化清洗后的数据为全球范围的疫情数据。2.3.2数据存储数据储存的方法有很多种：csv文件存储，关系型数据库存储，本地Excel表储存，JSON文件存储等，本研究的数据是储存为csv文件中的，将json转化为csv文件，得到的数据也较为清晰明了，易于后期使用，在将每一条数据数据存入csv中也便于for循环的使用。将爬取得到的疫情数据存为csv文件，首先要定义一个数据的保存方法，如今日中国各省的疫情数据的保存“today_province”：图11定义数据保存方法同时调用了“time”函数，使用当地时间，保证数据实时更新，每运行一次数据爬取的.py文件csv文件就会同步更新一次文件。其他文件也是同样的保存方法，本设计分类名命保存了5个csv文件，分别是中国疫情历史数据、中国各省疫情历史数据、世界各国疫情历史数据、中国各省今日疫情数据、世界各国今日疫情数据：图12得到的csv文件2.3.3数据分析将爬取得到的全球疫情数据经过数据的过滤处理与整合得到中国各个省份、世界各个国家每一天的详细疫情数据。爬虫抓取的数据保存为5个csv文件，csv文件里的字段都是以英文名命的，其英译也一目了然，以下展示的数据都是2021年4月24日下午六点多更新的疫情数据。(1)alltime_China.csv。如下图：主要字段包括日期“date”、累计确诊人数“total_confirm”、累计疑似人数“total_suspect”、累计治愈人数“total_heal”、今日确诊人数“today_confirm”等。图13alltime_China.csv(2)alltime_province.csv。主要字段包括日期“date”、累计确诊人数“total_confirm”、今日新增疑似人数“today_suspect”、各省名称“name”等。(3)alltime_world.csv。主要字段包括日期“date”、累计确诊人数“total_confirm”、累计境外输入人数“total_input”、今日死亡人数“today_dead”等。(4)today_province.csv。主要字段包括省名“name”、累计确诊人数“total_confirm”、累计治愈人数“total_heal”、累计境外输入人数“total_input”等，从全国疫情发展层面分析疫情数据，便可清晰地观我国目前疫情发展情况。(5)today_world.csv。主要字段包括国家名称“name”、累计确诊人数“total_confirm”、累计死亡人数“total_dead”、今日确诊人数“today_confirm”等。3疫情数据可视化3.1各可视化图表本设计使用pyecharts进行的数据可视化分析设计，其可以直接生成相应的html文件，需要编写时也可以直接在前端进行编写等操作，简单的几行代码就可以将数据生成图式多样的Echarts图表，而且本设计的数据都是动态实时更新的。3.1.1中国各地区总确诊人数——地图可视化系统分析了新冠病毒的整体情况，本文选取了today_province.csv文档的数据，将全国各省名称和各个省份的累计确诊人数作为key和data，然后使用pyecharts绘制我国各地区总确诊人数地图，对数据大小进行了颜色分段，颜色越深说明对应省份的累计确诊人数越高，对应部分主要代码如图14：图14作中国各地区总确诊人数——地图得到的可视化图：图15中国各地区总确诊人数——地图由此中国地图可以看出湖北地区的颜色最深，截止到2021年4月24日湖北已经累计确诊新冠肺炎疫情病例数68157例了，西藏的确诊病例数最少，到目前为止还是1例。3.1.2世界各国今日确诊人数——地图对today_world.csv文档的数据，将世界各国国名和各国今日的确诊人数作为key和data来对比，然后使用pyecharts绘制世界各国今日确诊人数世界地图，也对数据大小进行了颜色分段，颜色越深说明对应国家今日的确诊人数越高，得到的可视化图：图16世界各国今日确诊人数——地图由世界各国今日确诊人数地图可以看出美国、印度、巴西三个国家的颜色都是一样的最深，日确诊病例数已超5万例，特别是印度的新冠肺炎日确诊人数最为严重，2021年4月24日竟已高达346786例了，远超30万，相当骇人。中国24日的确诊病例数为24例，说明疫情还没战胜，我们不能放松警惕。有一些国家不显示数据是因为在爬取数据的时候某一国家在24日没有发布关与疫情的数据，所以为空值。世界地图比较特殊，只能识别英文的国家名称，所以在使用时一定要将csv文件里的中文国家名转为英文的，才会在地图上显示数据。3.1.3确诊人数前15的国家——柱状图选择了today_world.csv文档中的世界各国总确诊数据作为Y轴、各国名称作为X轴制作一个柱状图，只显示确诊总人数前15的国家数据，使用了sort排序的倒序，数据从大到小来排序，同时使用的datazoom组件的slider，数据较多时可以拖动横轴来观察数据，得到的可视化图：图17确诊人数前15的国家——柱状图由此柱状图可以看到，世界各国累计确诊总人数前15的国家从多到少分别为：美国、印度、巴西等国。截止到2021年4月24日美国竟已累计确诊32735704例了，印度也高达16610481例了，还有巴西的确诊人数也是超过了一千万例了。3.1.4中国当日确诊人数前15的省份——饼图选择了today_province.csv文档中的中国各省今日确诊数据和各省名称作为data和key制作一个饼图显示中国疫情确诊最高的省份，只显示了确诊总人数的前15个省，使用了sort排序的倒序，数据从大到小来排序，在饼图上显示数据时用百分比显示，更明了地看出各省份的当日确诊比例，得到的可视化图：图18中国当日确诊人数前15的省份——饼图由饼图可以看到，我国在2021年4月24日当天的确诊人数前15个省从高到低分别为：台湾有11例，占37.93%；香港有9例，占31.03%；上海有3例，占10.34%；重庆、广东、陕西、江苏、云南、四川各1例，各占3.45%。说明我国的疫情还没完全消灭，所以我们需要做好防疫准备，共同抗议是我们每个人的责任。3.1.5近10天里中国的新增趋势——线型图选择了alltime_China.csv文档中的日期“data”列作为X轴，只取了最近10天的日期，然后用文档中对应日期的新增确诊、新增疑似、新增境外输入三个数据做为三条Y轴数据，制作了一个线型图，显示近10日内中国疫情的新增趋势，得到的可视化图：图19近10天里中国的新增趋势——线型图由此线型图可以看到，从2021年4月14日以来，我国的新冠肺炎确诊的病例数都在20例以上；近10天里每一天都有境外输入的疫情病例，基本上境外输入线条的走势和新增确诊线条的走势成正比，在2021年4月19日竟有19例境外输入的病例；10天里有7天是存在疑似确诊病例的，只有三天不存在疑似。3.1.6中国、英国和美国疫情对比——柱状图对美国、中国和英国的疫情进行比较，以三个国家的国家名称作为X轴，以各国的累计确诊病例作为Y轴来制作一个柱状图，读取alltime_world.csv文档的数据来展示，本研究只显示了近一周内的数据，得到的可视化图：图20中国、英国和美国疫情对比——柱状图由此柱状图可以看到，在2021年4月17日到2021年4月24日的近一周里美国的累计确诊数都在三千二百万例以上，英国的累计确诊数在四百三十万例到四百四十万例以上，中国的累计确诊人数在十万零三千多例以上。由此可见美国的疫情爆发的很快也很严重，做好正确的防疫措施是很重要的，也能侧面反映出我国政府的正确领导。3.1.7中国累计治愈人数——词云图选择了today_province.csv文档中的中国各省的肺炎疫情累计治愈总人数和各省名称作为data和key制作了一个星型形状的词云图来显示中国的累计治愈人数，省名占的位置比例越大说明此省份被治愈的病例数越多，得到的可视化图：图21中国累计治愈人数——词云图由此词云图可以看到，湖北的占比面积最大，截止到2021年4月24日累计被治愈了六万三千六百四十例，广西累计被治愈了二百六十五例。由这些累计被治愈的数据可以看出我国在面对肺炎疫情的抗战是很成功的，也看到了我国政府领导对肺炎疫情的投入不惜一切，一切都将人民百姓的生命放第一位。3.1.8世界各国累计死亡人数——词云图选择了today_world.csv文档中的世界各国的肺炎疫情累计死亡总人数和各国国名作为data和key制作了一个词云图来显示世界各国的累计死亡人数，各国的国名占的位置比例越大说明此国因肺炎疫情而死亡的病例数越多，得到的可视化图：图22世界各国累计死亡人数——词云图由此词云图可以看到，美国的占比面积最大，截止到2021年4月24日因肺炎疫情而死亡的累计人数有五十八万五千零七十五例，巴西累计死亡人数有三十八万六千四百一十六例，中国累计死亡人数有四千八百五十七例。由这些累计死亡人数的数据可以看出美国的肺炎疫情累计确诊病例数是最高的，死亡人数也是最多的，由此可以看出美国虽然是发达国家，经济大国，但对疫情的防护没有得到很好的重视和对公民的保护，相比于中国之下，可以由这些数据看出一个国家的一些政策，对人民的关心重视和人权平等。3.2全国疫情实时监控显示卡在templates文件夹内的index0.html文件里设一个<frameset>标签，将index0.html一个页面按rows分成两个框架，一个是全国疫情实时监控的显示卡：index1.html，另一个是以上得到的可视化图表整合为分页组件：tab_base.html。index1.html文件是放在static文件夹里，此文件夹里还放着index1.html文件所需要的js1文件夹和css1文件夹，js1文件夹里的index.js文件就是获取全国疫情实时监控显示卡数据的，数据源来自腾讯新闻网，相关代码：图23获取全国疫情实时监控显示卡数据并采用实时显示，以确保获取的疫情数据的时效性。将所得到的全国疫情实时监控显示卡与以上在网易新闻网所得到的数据进行对比，证明所得到的数据是一样的，说明数据的真实有效性更具说服力。如2021年4月24日我国的累计确诊与“中国、英国和美国疫情对比——柱状图”24号的数据一致，我国的累计死亡数与“世界各国累计死亡人数——词云图”中国的累计治愈数一致等。所得到的全国疫情实时监控显示卡如图24：图24全国疫情实时监控显示卡3.3Flask展示Flask是一种微小的、成熟的且易于理解的PythonWeb框架,虽然体量微小但它具有极强的可扩展性,Flask的核心吸引力在于其进入门槛低，可以使开发变得简单易行且无冗余功能REF_Ref16543\r\h[8]。本研究在进行数据可视化时采用了Flask展示，首先导入Flask包，引用刚才Pyecharts返回生成的HTML文件,引用提前设好的网页外观设置html文件"index0.html"的代码如图25：图25Flask配置提前设好展示的框架，即index0.html文件，在此html文件中引用所需要的.js文件，如地图的js文件：中国地图所需要的china.js等，如图26:图26index0.html代码最后调用主函数，就可启动应用程序：if__name__=="__main__":app.run()。3.4疫情传播现状分析及建议由以上爬取得到的疫情数据和疫情数据可视化展示可以直观明了地看出近期我国的确诊病例又在增加了，中高风险地区也在增多，特别是台湾、香港等地近期基本都有新增病例；国外地美国、巴西、印度的疫情还在剧增，得不到有效的控制，特别是印度的疫情数据，令人毛骨悚然，近期每日的增长量竟高达二三十万例，三天就破上百万例！因疫情而死亡的病例数据更是不忍直视，更多的原因可能是印度的经济不发达、人口巨多、政府没有好的应对措施、人民健康得不到保障吧，愿早日战胜这一场疫情之战。疫情还没结束，我们绝不能放松警惕，这是一场持久战，我们要尽可能地做到：注重自己的卫生健康，多洗手，出门戴口罩，特别是不前往人多的公共场所，尽量不去人流量多的地方；