数据分析与可视化 课件 3.10.2检测与处理缺失值

清洗数据1.检测缺失值数据中的某个或某些特征的值是不完整的，这些值称为缺失值。

Series.isna()或Series.isnull()，返回Series

Series.notna()或Series.notnull()，返回Series

DataFrame.isna()或DataFrame.isnull()，返回DataFrame

DataFrame.notna()或DataFrame.notnull()，返回DataFrame1.检测缺失值运行结果：检测Series的缺失值20False1False2False3False4True5False6Truedtype:bool示例：检测Series缺失值。代码：ser=pd.Series([.2,.0,.6,.2,np.nan,1,np.nan])

print('检测Series的缺失值',ser.isna().sum())

print(ser.isna())1.检测缺失值运行结果：检测DataFrame的缺失值c12c21dtype:int64c1c20FalseFalse1TrueFalse2TrueFalse3FalseTrue示例：检测DataFrame缺失值。代码：df=pd.DataFrame([(.2,.3),(np.nan,.6),(np.nan,.0),(.2,np.nan)],

columns=['c1','c2'])

print('检测DataFrame的缺失值',df.isna().sum())

print(df.isna())2.删除缺失值Pandas中提供了简便地删除缺失值的dropna函数，该函数既可以删除观测记录，亦可以删除特征。根据数据类型的不同，使用Series、DataFrame对象调用的参数存在差异。2.删除缺失值(1)删除Series对象缺失值Series.dropna(*,axis:Axis=0,inplace:bool=False,how:AnyAll|None=None,ignore_index:bool=False)->Series|None2.删除缺失值运行结果：删除Series对象缺失值：1235Istaydtype:object0NaN122NaT34None5Istaydtype:object示例：使用dropna函数删除Series对象缺失值。代码：ser=pd.Series([np.NaN,2,pd.NaT,'',None,'Istay'])

print('删除Series对象缺失值：\n%s'%ser.dropna())2.删除缺失值(2)删除DataFrame对象缺失值DataFrame.dropna(*,axis:Axis=0,how:AnyAll|lib.NoDefault=lib.no_default,thresh:int|lib.NoDefault=lib.no_default,subset:IndexLabel|None=None,inplace:bool=False,ignore_index:bool=False)->DataFrame|None2.删除缺失值运行结果：删除DataFrame对象缺失值：景区位置时间1东北烈士纪念馆一曼街241号1948-10-102哈尔滨烈士陵园体育街1号NaT示例：使用dropna函数删除DataFrame对象缺失值。代码：df=pd.DataFrame({"景区":['哈尔滨防洪纪念塔','东北烈士纪念馆','哈尔滨烈士陵园'],

"位置":[np.nan,'一曼街241号','体育街1号'],

"时间":[pd.NaT,pd.Timestamp("1948-10-10"),pd.NaT]})print('删除DataFrame对象缺失值：\n%s'%df.dropna(subset=['景区','位置']))3.替换缺失值DataFrame或Series.fillna(value:Hashable|Mapping|Series|DataFrame=None,method:FillnaOptions|None=None,axis:Axis|None=None,inplace:bool=False,limit:int|None=None,downcast:dict|None=None)->DataFrame|Series|None3.替换缺失值示例：使用fillna函数填充缺失值。代码：ser=pd.Series([np.NaN,2,pd.NaT,'',None,'IloveChina'])print('填充Series对象缺失值：\n%s'%ser.fillna(value=0))df=pd.DataFrame({"景区":['哈尔滨防洪纪念塔','东北烈士纪念馆','哈尔滨烈士陵园'],

"位置":[np.nan,'一曼街241号','体育街1号'],

"时间":[pd.NaT,pd.Timestamp("1948-10-10"),pd.NaT]})print('填充DataFrame对象缺失值：\n%s'%df.fillna(value=0))3.替换缺失值运行结果：填充Series对象缺失值：0012203405IloveChinadtype:object填充DataFrame对象缺失值：景区位置