2023《数据技术及应用》实验指导书_第1页
2023《数据技术及应用》实验指导书_第2页
2023《数据技术及应用》实验指导书_第3页
2023《数据技术及应用》实验指导书_第4页
2023《数据技术及应用》实验指导书_第5页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

未知驱动探索，专注成就专业《数据技术及应用》实验指导书实验一：数据清洗与预处理实验目的本实验旨在通过对实际数据进行清洗和预处理的过程，理解数据清洗的重要性以及常用的数据清洗方法。实验材料计算机安装有Python环境的操作系统实验步骤下载并导入所需的Python库。importpandasaspd

importnumpyasnp加载待清洗的数据集。df=pd.read_csv('data.csv')进行数据查看和初步探索分析。#查看数据前几行

print(df.head())

#统计数据维度

print(df.shape)

#查看数据基本统计信息

print(df.describe())

#查看缺失值情况

print(df.isnull().sum())处理缺失值。#删除含有缺失值的行

df=df.dropna()

#填充缺失值为0

df=df.fillna(0)

#使用均值填充缺失值

df=df.fillna(df.mean())处理异常值。#删除数值超过3倍标准差的异常值

df=df[(np.abs(df-df.mean())/df.std())<=3].dropna()数据类型转换。#转换日期格式

df['date']=pd.to_datetime(df['date'])

#转换数据类型为整数

df['age']=df['age'].astype(int)数据重复处理。#查找重复值

duplicate_rows=df[df.duplicated()]

#删除重复值

df=df.drop_duplicates()数据标准化。fromsklearn.preprocessingimportStandardScaler

#创建标准化对象

scaler=StandardScaler()

#标准化数据

df_scaled=scaler.fit_transform(df)数据集划分。fromsklearn.model_selectionimporttrain_test_split

#划分特征和标签

X=df.iloc[:,:-1]

y=df.iloc[:,-1]

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)实验总结通过本次实验，我们学习了数据清洗的基本步骤和常用方法。数据清洗是数据分析的前提，只有经过合理的数据清洗和预处理，我们才能得到准确可信的分析结果。在实际工作中，要根据数据的具体情况选择合适的清洗方法，并进行多次迭代和

人人文库> 全部分类> 行业资料 > 各类标准

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论