2026年数据分析师数据清洗竞赛题含答案

2026年数据分析师数据清洗竞赛题含答案一、选择题（共5题，每题2分，总计10分）背景：某电商平台销售数据分析团队需要清洗2025年11月的中国地区用户交易数据，数据包含用户ID、购买金额、购买时间、商品类别、收货地址等信息。部分数据存在缺失、异常或格式错误。1.以下哪种方法最适合处理用户ID为空的数据？A.直接删除该记录B.使用均值填补C.使用随机数生成IDD.使用前一个有效ID填充2.发现某用户购买金额为-500元，最合理的处理方式是？A.保留该数据，可能存在退款记录B.将金额改为正数C.删除该记录D.替换为该用户的平均消费金额3.“收货地址”字段中存在“北京市朝阳区”、“北京朝阳区”、“朝阳区”等重复但格式不同的数据，最适合采用哪种标准化方法？A.全部统一为“北京市朝阳区”B.使用分词技术提取关键词统一C.直接删除重复数据D.不做处理4.某商品类别名称存在“服装”、“衣服”、“服装类”等不同写法，以下哪种方法最适合统一分类？A.手动修改为“服装”B.使用模糊匹配规则统一为“服装”C.删除该类别的数据D.不做处理5.对于“购买时间”字段中存在“2025-11-3125:00:00”这样的异常时间，最合理的处理方式是？A.删除该记录B.将时间修正为“2025-11-3019:00:00”C.使用时间均值填充D.不做处理二、填空题（共5题，每题2分，总计10分）背景：某银行需要清洗中国地区的信用卡交易数据，数据包含交易时间、交易金额、交易类型（消费、取现、还款）、商户类别等信息，但存在缺失值、异常值和重复值。6.若某条记录的交易金额为0，但交易类型为“消费”，最可能的清洗方法是__________。7.对于“商户类别”字段中“餐饮”、“餐饮店”、“餐”等不同描述，应使用__________方法进行统一。8.若交易时间存在“2025-12-0100:00:00”这样的无效时间，应使用__________方法处理。9.若发现同一笔交易被记录了两次，应使用__________方法去重。10.若某条记录的交易金额缺失，且该用户有完整的历史交易数据，可以使用__________方法填补。三、简答题（共4题，每题5分，总计20分）背景：某外卖平台需要清洗中国地区用户订单数据，数据包含订单号、用户ID、骑手ID、配送时长、支付方式等信息，但存在缺失、异常和逻辑错误。11.简述如何处理订单号重复的数据，并说明可能的重复原因。12.若发现配送时长存在负数（如-5分钟），请提出至少两种合理的处理方法。13.对于“支付方式”字段中存在“微信支付”、“微信”、“微信钱包”等不同描述，如何进行标准化？14.若某用户订单数据中配送时长为空，骑手ID也为空，请说明应如何处理，并解释理由。四、操作题（共2题，每题10分，总计20分）背景：某电商平台提供一份中国地区用户注册数据（CSV格式），包含用户ID、注册时间、注册来源（搜索引擎、广告、社交媒体）、设备类型等信息，部分数据存在缺失、异常或格式错误。请根据以下要求进行清洗。15.数据清洗步骤：（1）删除用户ID为空的记录；（2）将注册时间统一为“YYYY-MM-DD”格式；（3）将注册来源“搜索引擎”、“搜狗”、“百度”统一为“搜索引擎”；（4）处理设备类型中的异常值（如“未知设备”改为“其他”）；请写出清洗步骤的Python代码示例（使用Pandas库）。16.数据质量评估：请列出至少3个数据质量评估指标，并说明如何计算每个指标。例如，缺失率、异常值比例等。答案与解析一、选择题答案1.A-用户ID是唯一标识符，若为空则无法关联其他数据，直接删除是合理的。2.A-负数可能代表退款，应保留该数据并标记为负交易。3.B-使用分词技术提取关键词（如“北京市朝阳区”）可以标准化不同格式的数据。4.B-模糊匹配规则（如基于TF-IDF或余弦相似度）可以有效统一相似但描述不同的类别。5.B-异常时间可能是录入错误，应修正为合理时间（如前一天的对应时间）。二、填空题答案6.删除该记录-交易金额为0且类型为“消费”可能存在逻辑错误，应删除。7.模糊匹配规则-通过文本相似度匹配（如编辑距离）统一不同描述。8.修正为合理时间-将无效时间修正为前一天的对应时间或删除。9.删除重复记录-通过订单号或交易金额+时间组合去重。10.均值/中位数填补-若用户历史数据完整，可用均值或中位数填补缺失值。三、简答题答案11.处理订单号重复的方法：-步骤：1.使用订单号作为唯一键，通过`df.drop_duplicates()`删除重复记录；2.检查重复原因：可能是系统写入错误或用户重复下单，需进一步分析重复记录的差异（如金额、时间）。-重复原因：-系统Bug导致重复写入；-用户操作失误（如多次提交订单）。12.处理配送时长负数的方法：-方法1：修正为绝对值-负数可能由录入错误导致，可改为`abs(时长)`；-方法2：删除记录-若负数比例极低，可直接删除。13.支付方式标准化：-使用文本相似度匹配（如编辑距离或Jaccard相似度）将“微信支付”、“微信”、“微信钱包”统一为“微信支付”。14.处理配送时长和骑手ID缺失：-方法：1.若该订单为未完成订单，可标记为“缺失”；2.若有历史数据，可用该用户的平均配送时长填补；-理由：-缺失可能因数据采集问题，填补可减少数据偏差。四、操作题答案15.Python代码示例（Pandas）：pythonimportpandasaspd读取数据df=pd.read_csv("user注册数据.csv")（1）删除用户ID为空的记录df=df.dropna(subset=["用户ID"])（2）统一注册时间格式df["注册时间"]=pd.to_datetime(df["注册时间"],errors="coerce")（3）统一注册来源defunify_source(x):ifpd.isna(x):returnxelif"搜索"inx:return"搜索引擎"else:return"其他"df["注册来源"]=df["注册来源"].apply(unify_source)（4）处理设备类型异常值df["设备类型"]=df["设备类型"].replace("未知设备","其他")保存清洗后的数据df.to_csv("清洗后数据.csv",index=False)16.数据质量评估指标：-缺失率：