2025年大数据（数据清洗）试题及答案

2025年大数据（数据清洗）试题及答案

（考试时间：90分钟满分100分）班级______姓名______第I卷（选择题共30分）答题要求：每题只有一个正确答案，请将正确答案的序号填在括号内。(总共6题，每题5分)w1.以下哪种情况不属于数据清洗中缺失值的处理方法？（）A.均值填充B.直接删除C.关联分析D.多重填补w2.对于数据清洗中的噪声数据，常用的处理方法不包括（）。A.分箱B.聚类C.回归D.数据加密w3.在数据清洗中，处理重复数据时，以下操作不合理的是（）。A.直接删除重复记录B.保留一条并标记重复次数C.合并重复记录D.随机删除部分重复记录w4.数据清洗时，对于不一致数据，以下哪种方式通常不是解决途径？（）A.统一编码B.数据平滑C.数据转换D.人工修正w5.以下关于数据清洗中异常值检测的说法，错误的是（）。A.基于统计方法的异常值检测适用于大数据集B.基于距离度量的方法可能受数据分布影响C.基于密度的方法能处理非高斯分布数据D.孤立森林算法常用于异常值检测w6.数据清洗过程中，对于数据标准化，以下说法正确的是（）。A.标准化会改变数据分布形状B.最小-最大标准化对异常值敏感C.Z-score标准化均值为0方差为1D.标准化只是对数值型数据有效第II卷（非选择题共70分）w7.（10分）请简要阐述数据清洗的主要目的以及在大数据环境下数据清洗面临的挑战。w8.（15分）在处理缺失值时，除了均值填充、中位数填充等常见方法外，还有哪些较为有效的策略？请举例说明。w9.（15分）对于噪声数据，如何运用分箱方法进行处理？请详细描述分箱的步骤以及不同分箱方法的特点。w10.（20分）材料：某电商平台收集了大量用户购买记录数据，其中存在一些重复、不一致以及可能包含噪声的数据。问题：请你针对该电商平台的数据情况，提出一套完整的数据清洗方案，包括如何处理重复数据（至少两种方法）、不一致数据（举例说明处理方式）以及噪声数据（说明处理思路）。w11.（20分）材料：某医疗数据中心存储了多年来患者的各种健康指标数据，数据存在一些异常值和缺失值。问题：请设计一个数据清洗流程，重点阐述如何检测和处理异常值，以及如何选择合适的方法处理缺失值，以提高数据质量。答案：w1.Cw2.Dw3.Dw4.Bw5.Aw6.Cw7.数据清洗主要目的是提高数据质量，包括去除错误、重复、不完整等数据，使数据准确、一致、完整，便于后续分析挖掘。大数据环境下挑战有：数据规模大，清洗效率要求高；数据类型多样，清洗规则复杂；数据快速动态变化，需实时清洗。w8.可采用热卡填充，即找到与缺失值记录相似的记录，用其对应值填充。如根据用户购买行为相似性填充缺失的购买金额。还可使用机器学习算法预测填充缺失值，如决策树算法根据其他属性预测缺失的属性值。w9.分箱步骤：先确定分箱数量，然后将数据按属性值排序，依次放入各个箱子。等宽分箱每个箱子数据范围相同，等频分箱每个箱子记录数相同。等宽分箱简单易操作，但对数据分布不均匀时效果不佳；等频分箱能使每个箱子数据分布更均匀，对后续分析更有利。w10.重复数据处理：可直接删除重复记录；也可按购买时间等关键属性保留最新或最早记录，标记其他重复记录。不一致数据：若商品名称存在简称和全称不一致，可建立映射表统一。噪声数据：用聚类方法将数据分组，远离聚类中心的数据视为噪声，可删除或修正。w11.异常值检测：用基于统计的方法如Z-score方法，计算Z值，超出一定范围视为异常。还可用基于距离的方法如K近邻算法，距离较远