Python数据分析与可视化（第2版） 课件6.2 房产数据预处理与分析

6.2房产数据预处理与分析当今时代，房价问题一直处于风口浪尖，房价的上涨抑或下跌都牵动着整个社会的利益，即便是政府出台各种政策方针也只能是暂时抑制楼市的涨势，对于需要买房的人来说，除了关注这些变化和政策外，还有一个非常头疼的问题，在哪里买房，房价怎样。普通客户会不停花大量精力逛链家、安居客等房地产网站，借助他们展示的内容进行筛选，但因地区众多，各个地段、房价差异的对比以及入手时机的把握，都得一个个去查阅与分析，非常麻烦。如果可以通过数据的爬取，再按照用户希望的维度统计与分析，会让数据变得清晰明了。本案例旨在对房产数据进行预处理与分析，为刚需购房者提供有用信息。一、数据源本案例利用某爬虫软件爬取某房产网站中苏州地区的房产数据，数据文件为house.xlsx，如图6-*所示。图6-*数据源二、目标1.数据爬取时缺失数据是常见的现象，通过某爬取软件从网站爬取的数据时，如果没有爬取到的数据会返回“暂无数据”，这会影响后期的空值处理，将这些“暂无数据”转换为空值，并统计各列的空值频数，查看缺失数据情况。2.数据爬取的数据往往是带有单位的字符串，这也会影响后期的数据分析，所以需要将这些数去掉单位，再转换为数值型数据。如将字符串“均价”的40000元/m2转换为数值40000。3.为了分析不同区的房产数据，从地址中提取出区的数据。为了分析房龄的数据，从建造年代中提取出房龄数据。4.筛选出区为“工业园”，均价在50000以下，容积率在1.5以下的房源数据。5.查询房价最贵小区的前5名。6. 查询停车位最少小区的前5名。7.统计所有数据的平均房价以及二手房总和数量。8.分析均价40000以上小区中，房源最多是哪个区。三、步骤步骤1：导入库，设置参数。导入所需要的库pandas，利用pd.set_option解除显示宽度的显示，设置数据对齐。步骤1代码如下：importpandasaspdpd.set_option('display.width',None)pd.set_option('display.unicode.east_asian_width',True)步骤2：导入数据并查看。利用read_excel导入house.xlsx（house.xlsx存放在c:\data路径中），将读入的数据命名为data。查看data的行数、列数、列名以及数据的前5行。步骤2代码如下：data=pd.read_excel("c:/data/house.xlsx")print("数据的行数=%d\n数据的列数=%d"%(data.shape[0],data.shape[1]))print("数据的所有列名为:\n",data.columns)print("数据的前5行为:\n",data.head())输出结果如图6-*所示。图6-*步骤2输出结果步骤3：数据空值处理。将数据中的“暂无数据”改为空值，统计出现空值的列及其空值数量，并按降序排序。步骤3代码如下：importnumpyasnpdata=data.replace('暂无数据',np.nan)nun_result=data.isnull().sum()nun_result=nun_result[nun_result>0]nun_result=nun_result.sort_values(ascending=False)print("各列的空值数量为:\n",nun_result)输出结果如图6-*所示。图6-*步骤3输出结果步骤4：数据单位处理。将所有数据的单位去掉，并转换为数值型数据。如将“均价”列中的单位去掉，并将剩下的数据转换为数值。步骤4代码如下：data['均价']=data['均价'].str.replace('元/m²','')data['物业费']=data['物业费'].str.replace('元/㎡/月','')data['总建面积']=data['总建面积'].str.replace('m²','')data['总户数']=data['总户数'].str.replace('户','')data['二手房房源数']=data['二手房房源数'].str.replace('套','')data['租房源数']=data['租房源数'].str.replace('套','')data['建造年代']=data['建造年代'].str.replace('年','')columns_list=['均价','物业费','总建面积','停车位','二手房房源数','租房源数','建造年代','容积率']print(data.head())forcolumnincolumns_list:data[column]=data[column].astype("float")输出结果如图6-*所示。图6-*步骤4输出结果步骤5：添加新列。（1）将“地址”列拆分为3个部分，第1个部分生成新列“区”。（2）生成新列“房龄”，“房龄”列计算公式为：房龄=当前年份（2020）-建造年代。步骤5（1）代码如下：data['区']=data['地址'].str.split('-',expand=True)[0]print(data[['地址','区']][:5])输出结果如图6-*所示。图6-*步骤5（1）输出结果步骤5（2）代码如下：data['房龄']=2020-data['建造年代']print(data[['建造年代','房龄']][:5])输出结果如图6-*所示。图6-*步骤5（2）输出结果步骤6：数据筛选。筛选出区为“工业园”，均价在50000以下，容积率在1.5以下的房源数据。步骤6代码如下：data_loc=data.loc[(data['区']=='工业园')&(data['均价']<50000)&(data['容积率']<1.5)]print(data_loc[['小区名称','区','均价','容积率']])输出结果如图6-*所示。图6-*步骤6输出结果步骤7：数据排序。（1）按照“均价”降序排序，并输出“小区名称”、“区”、“均价”的前5条数据。（2）按照“停车位”升序排序，并输出“小区名称”、“区”、“停车位”的前5条数据。步骤7（1）代码如下：sort1=data.sort_values(by='均价',ascending=False)sort1=sort1[['小区名称','区','均价']][:5]print(sort1)输出结果如图6-*所示。步骤7（2）代码如下：sort2=data.sort_values(by='停车位',ascending=True)sort2=sort2[['小区名称','区','停车位']][:5]print(sort2)输出结果如图7-*所示。图6-*步骤7输出结果步骤8：描述性统计分析。（1）计算所有数据的平均房价、二手房总和。（2）统计均价大于40000的数据中不同区的频数。步骤8（1）代码如下：mean=data['均价'].mean()mean=round(mean,0)sum=data['二手房房源数'].sum()print("房屋总均价为=",mean)print("二手房总房源数=",sum)输出结果如图6-*所示。图6-*步骤8（1）输出结果步骤8（2）代码如下：data_loc=data.loc[data['均价']>40000]count=data_loc['区'].value_counts(ascending=False)print("均价40000以上小区的各区频数统计结果为:\n",count)输出结果如图6-*所示。图6-*步骤8（2）输出结果四、结论1.工业园区中，均价为50000以下