数据库技术与应用项目式教程课件 项目8：任务3 数据清洗

数据清洗与整理DataCleaningandOrganization目录Contents01020304数据清洗概述必要性与目标实战示例提炼总结数据清洗概述01OverviewofDataCleaning数据清洗概述数据清洗的定义：数据清洗与整理指的是识别并处理数据集中的“脏数据”，确保数据质量符合后续分析或应用的要求。应用背景：原始数据普遍存在质量问题（未处理的“脏数据”），将会导致分析结果失真、业务决策失误。“脏数据”的定义：符合数据质量要求的记录，干扰数据应用效果。四大典型类型：缺失值、数据格式不一致、重复数据、逻辑错误。必要性与目标02NecessityandObjectives必要性与目标必要性01目标02保障数据分析准确性提升数据应用效率支撑业务决策可靠性数据完整性数据一致性数据唯一性数据有效性实战示例03

PracticalExamples实战示例核心函数：isnull().sum()缺失值检测01方法1：删除法（dropna()）方法2：替换法（fillna()）缺失值处理方法02任务1：查看上例中df_course中的缺失值情况print('df_course中每个特征缺失值的数目为：\n',df_course.isnull().sum())任务2：将df_course中的credit（学分）字段的缺失值用该列的均值进行填充。mean_credit=df_course['credit'].mean()df_course.fillna(mean_credit,inplace=True)print('df_course中credit特征缺失值的数目为：\n',df_course['credit'].isnull().sum())任务与实施03实战示例字段格式混乱，干扰查询统计，增加处理成本统一数据格式01将df_course中的cname（课程名）字段统一为不带书名号；将course_hours（学时数）字段统一为纯数字任务描述02df_course['cname']=df_course['cname'].apply(lambdax:x.strip('《》'))df_course['course_hours']=df_course['course_hours'].str.replace('学时','').astype(int)print(df_course[['cname','course_hours']])任务实施03实战示例重复记录夸大统计结果（如总学时、课程总数），导致分析失真去除重复值01pandas.DataFrame.drop_duplicates(subset=None,keep='first',inplace=False,ignore_index=False)语法02将此时df_course中的所有的重复记录去除，并输出去除前后总的记录数。print(f'去除重复值之前的记录数为：{len(df_course)}')df_course.drop_duplicates(inplace=True)print(f'去除重复值之后的记录数为：{len(df_course)}')任务描述与实施03实战示例数据格式正确但违反业务规则异常值修正01将df_course中的credit（学分）字段按上述业务规则进行异常值修正，修正的规则为：学分为负值的修正为0.5，超过10的修正为10，其他符合规则的统一保留1位小数。任务描述02deffix_credit(credit):ifcredit<0.5:#处理小于最小学分的数值（如“-1”）return0.5elifcredit>10:#处理超过最大学分的数值（如“12”）return10.0else:#符合规则的数值保留returnround(credit,1)#统一精度（1位小数）df_course['credit']=df_course['credit'].apply(fix_credit)print(df_course['credit'])任务实施03提炼总结04RefiningandSummarizing提炼总结010203数据清洗=“识别问题→选择方法→实战处理→验证效果”清洗规则需匹配实际业务需求；尽量用替换法而非删除法，减少样本损失；处理后需检查数据质量（如缺失值数量、格式统一性