新冠肺炎大数据分析及预测案例实战

1、新冠肺炎大数据分析及预测案例实战（1）第1页知识点1【项目介绍】新冠肺炎疫情传输在全社会范围内造成了巨大影响，对网络上涌现各类历史数据进行爬取、汇总、分析，利用AI算法对经典传染病模型进行细化、调参、优化，设计出可实时更新疫情峰值预测模型，肺炎疫情预测数据。经过我们大数据预测出可能感染到人数，分析出增加人数等指标。第2页知识点1【项目介绍】第3页知识点1【项目介绍】基础技能：linux管理、scala开发、SQL开发、数学基础大数据技能：hadoop安装、hive HQL、spark core、spark ML第4页知识点1【项目介绍】项目流程1.数据源2.创建表3.数据预处理4.数据分析5.

2、数据预测第5页知识点2【数据源】1. 各省x月x日-y月y日，截至当日0时累计数据，形如：时间，id，确认，疑似，死亡，恢复date,province_id,confirmed,suspected,death,recovered0128,1,1000,2000,30,200128,2,100,200,3,20128,3,10,20,0,1第6页知识点2【数据源】2. x月x日-y月y日全部航班和上座率信息时间，抵达，航班，座位，上座率date,arrive,flight_no,seat,occupancy0116,PEK,CZ6585,161,1000116,PEK,MU2459,175,90

3、0116,PEK,CA8211,159,0第7页知识点2【数据源】3. x月x日-y月y日全部火车信息时间，经停站，终点，车次，座位数 ptdate,t_province,finishing_point,train_number,t_sea 0128,hubei,hubei,g101,1600 0128,hubei,guangdong,g505,1800第8页知识点2【数据源】第9页知识点2【数据源】第10页知识点2【数据源】第11页知识点2【数据源】第12页知识点2【数据源】第13页知识点3【创建原始数据】第14页知识点4【数据分箱】什么是数据分箱数据分箱（也称为离散分箱或分段）是一个数据预

4、处理技术，用于降低次要观察误差影响，是一个将多个连续值分组为较少数量“分箱”方法。第15页知识点4【数据分箱】我们有一组关于人年纪数据 。 希望：年纪分组到更少间隔第16页知识点4【数据分箱】数据分箱好处1离散特征可变性强，易于模型快速迭代2稀疏向量运算速度快，方便存放3变量离散化后对异常数据有很强鲁棒性4特征离散以后，模型会愈加稳定第17页知识点4【数据分箱】数据分箱方法(无监督)1.等宽分箱：将变量取值范围分为k个等宽区间，每个区间看成一个分箱。2.等频分箱：把观察值按照从小到大次序排列，依据观察个数等分为k部分，每部分看成一个分箱，比如，数值最小1/k百分比观察形成第一个分箱。3.基于k

5、均值聚类分箱第18页知识点5【kmeans】什么是kmeansk是聚类算法当中类个数,means是均值算法将一组向量分成若干组，组内数据是相同，而组间数据是有较显著差异。与分类区分,分类与聚类最大区分在于分类目标事先已知，聚类也被称为无监督机器学习第19页知识点5【kmeans】1 初始k个中心点第20页知识点5【kmeans】2 每个点划分进对应簇第21页知识点5【kmeans】3重新计算中心点第22页知识点5【kmeans】4迭代计算中心点第23页知识点6【数据降噪1】hive load data local inpath /home/hadoop/wh/p_info2.txt into

6、table p_info;第24页知识点6【数据降噪1】（1）缺失值清洗某一些字段在获取原始数据时存在缺失确认有空值字段hive set hive.cli.print.header=true;hive select a.co,b.su from (select row_number() over() as id,count(*) as co from p_info where confirmed is null) a,(select row_number() over() as id,count(*) as su from p_info where suspected is null) b w

7、here a.id = b.id;第25页知识点6【数据降噪1】方法1：可删除存死亡人数为空行。hive insert overwrite table p_info select * from p_info where suspected is not null;第26页知识点6【数据降噪1】方法2：连续数据：使用总体样本平均值、中位数(Mediam，全部数据值从大到小排序最中间那个值)、众数(Mode，数据中出现次数最多那个值) 来代替该样本缺失值。离散数据：多数用众数来填补缺失值。比如一组数据为(1,1,1,1,null,0,1,1) 用什么值来填充null比较适当呢？可能这组数据表达是姓

8、别(0=男、1=女)，显然使用中位数或均值都不能代表样本特征，所以选择众数。第27页知识点6【数据降噪1】方法2：平均值select cast(sum(recovered)/count(*) as int) from p_info where recovered is not null; （结果为6）替换hive insert overwrite table p_info select pdate,province_id,confirmed,suspected,death,nvl(recovered,6) from p_info;第28页知识点7【数据降噪2】hive load data lo

9、cal inpath /home/hadoop/wh/p_info2.txt into table p_info;第29页知识点7【数据降噪2】（2）重复值清洗一行中全部字段值都一样，假如这些行过多话，会影响后续算法计算准确性。方法：删除全部重复行hive insert into p_info select * from p_info;hive insert overwrite table p_info select distinct pdate,province_id,confirmed,suspected,death,recovered from p_info;第30页知识点7【数据降噪2

10、】（3）数据不正当清洗死亡人数超出整月患病方法：删除全部不正当字段行查看不正当字段select vince_id as id1,a.death as dea,b.ss,a.pdate from p_info a,(select sum(confirmed) as ss ,province_id as id2 from p_info where substring(pdate,5,2)=01 group by province_id) bwhere vince_id =b.id2 and a.deathb.ss;第31页知识点7【数据降噪2】（3）数据不正当清洗方法：删除全部不正当字段行hive insert overwrite table p_info select a.pdate,vince_id,a.confirmed,a.suspected,a.death,a.recovered from p_info a,(selec