工业互联网预测性维护 课件 0701 工业互联网预测性维护数据预处理

工业互联网预测性维护—数据预处理2023年10月任务描述请根据系统提供的订单数据表，按要求完成以下任务：统计订单表格中，商品描述(choice_description)中为“NaN”的数量，并将其批量替换为“fault”任务要求1.获取数据。数据地址：http://72.:80/JS001/data/user/15098/63/fj_order_data.csv2.统计NaN的数量3.将“NaN”

批量替换为“fault”isna函数NaN即NotANumber，在Python中通常用来表示空值，或者除0错误。NaN的判断常用isna函数，isna函数是pandas库中的一个函数，因此其用法为：pandas.isna(obj)obj：要检查是否为空或缺少值的对象。isna函数使用示例isna().sum()在数组中，isna().sum()用来统计某个数组的NaN数量在Dataframe中，isna().sum()用来统计每一列的NaN数量对上一页的示例使用sum():空值的处理在用python处理数据时，我们通常会遇到数据不完整的情况，比如有空值的时候，我们想要删除控制所在的行或列，或者是我们给空值设置为某一个值。这时候就可以用dropna和fillna两个函数来实现空值的处理。空值的处理-dropna()dropna(axis,how,thresh,subset,inplace)空值的处理-dropna()示例importnumpyasnpimportpandasaspddataSet=pd.DataFrame(np.arange(12).reshape(4,3),index=[0,1,2,3],columns=['a','b','c'])dataSet.iloc[1,[1]]=np.nandataSet.iloc[2,[1,2]]=np.nanprint(dataSet)空值的处理-dropna()示例空值的处理-dropna()示例调用函数dataSet.dropna(axis=1),其他参数默认，删除空值nan所在的列。空值的处理-dropna()示例调用函数dataSet.dropna(axis=1,how='all'),我们会删除整列都是空值的=列，但是我们的数据中，没有一列都为空值nan的列，所以，结果还是原数据的结果，没有改变。空值的处理-dropna()示例调用函数dataSet.dropna(axis=1,thresh=3),意思是我每一列的非空的值的数量只要大于等于3我就保留，否则删除这一列。因为原数据中，b这一列的非空值的数量为2，并不大于3，所以要删除b这一列。空值的处理-dropna()示例调用函数dataSet.dropna(axis=1,subset=[1])，如果axis=0，表示如果指定行x中有空值，则删除所在的列；如果axis=1，表示如果指定列x有空值，则删除空值所在的行。空值的处理-dropna()示例调用函数dataSet.dropna(inplace=True),参数为True时，表明是在原数据上操作的，没有原数据的副本，上面调用的那些函数的参数inplace都是默认值False，在调用上面那些函数之后，可以打印输出一下dataSet这个原数据，他并没用改变。如果inplace=True的话，则原数据也改变了。空值的处理-fillna()fillna(axis,mthod,limit,inplace)空值的处理-fillna()示例继续使用前面的例子。调用函数dataSet.fillna(100),如果不指定任何参数的时候，可以用一个数值来代替数据中的所有空值nan。如下如所示空值的处理-fillna()示例通过字典来将指定的地方的空值改为我们想要设置的值。空值的处理-fillna()示例调用method参数进行前值填充或后值填充，在没有声明axis情况下，axis默认为0空值的处理-fillna()示例后值填充示例如下。这里的method等于bfill，这里没有声明axis，则axis默认为0，即按照列进行处理，在这里空值nan将会由它所在的列的后一个不是空值的值来赋值给它，并且我们限制，每一列最多只能填充一个空值，剩下的我们不管。如下图所示。空值的处理-fillna()示例请根据系统提供的订单数据表，按要求完成以下三个任务：传入一个字符串，返回订单总金额(quantity*item_price)最大或最小的商品，并返回商品的名称(item_name)。任务2任务详情请根据系统提供的订单数据表，按要求完成以下三个任务：传入一个字符串，返回订单总金额(quantity*item_price)最大或最小的商品，并返回商品的名称(item_name)。任务要求1.传入一个字符串('max'

或

'min')，返回订单总金额最大或最小的商品的名称(item_name)；

2.传入的字符串不区分大小写，即传入值可能是"Max"，也可能是"max"；3.传入"max"，返回订单总金额(quantity*item_price)最大的商品名称；传入“min”，返回订单总金额(quantity*item_price)最小的商品名称；loc和iloc函数

loc函数：通过行索引“Index”中的具体值来取行数据（如取"Index"为"A"的行）

iloc函数：通过行号来取行数据（如取第二行的数据）loc和iloc函数示例importnumpyasnpimportpandasaspd#创建一个Dataframedata=pd.DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('ABCD'))

loc和iloc函数示例利用loc、iloc提取列数据取'A'列所有行，多取几列格式为data.loc[:,['A','B']]取第0列所有行，多取几列格式为data.iloc[:,[0,1]]loc和iloc函数示例利用loc