2026年数据清洗技能测试试题及知识点

2026年数据清洗技能测试试题及知识点考试时长：120分钟满分：100分一、单选题（总共10题，每题2分，总分20分）1.数据清洗中，以下哪项不属于常见的异常值处理方法？A.箱线图法B.标准差法C.空值插补法D.基于密度的异常值检测2.在处理缺失值时，以下哪种方法会导致数据分布偏差最小？A.删除含有缺失值的行B.使用均值/中位数/众数填充C.K最近邻填充D.回归填充3.以下哪个指标最适合评估数据清洗后的质量？A.数据量B.数据完整性C.数据一致性D.以上都是4.在数据标准化过程中，Z-score标准化适用于以下哪种数据分布？A.偏态分布B.正态分布C.离散分布D.以上都不适用5.以下哪种方法不属于数据去重技术？A.基于哈希的匹配B.基于相似度比较C.基于时间戳过滤D.基于主键约束6.在处理文本数据时，以下哪个步骤不属于预处理范畴？A.分词B.停用词过滤C.词性标注D.特征工程7.以下哪种数据转换方法会导致信息丢失？A.数据类型转换B.数据归一化C.数据编码D.数据采样8.在数据清洗中，以下哪个环节通常最先执行？A.异常值检测B.缺失值处理C.数据标准化D.数据去重9.以下哪种方法不属于数据验证技术？A.格式校验B.逻辑校验C.空间校验D.时间校验10.在处理大规模数据集时，以下哪种技术最有效？A.手动清洗B.自动化清洗工具C.人工抽样检查D.数据抽样二、填空题（总共10题，每题2分，总分20分）1.数据清洗的五个基本步骤包括：______、缺失值处理、异常值检测、数据标准化、数据去重。2.缺失值常见的处理方法有：删除、填充（均值/中位数/众数）、插值、模型预测。3.数据标准化中，Z-score方法将数据转换为均值为______，标准差为1的分布。4.数据去重时，常用的相似度算法包括：编辑距离、余弦相似度、Jaccard相似度。5.文本数据预处理中，______是指去除无意义的词汇（如“的”“了”）。6.异常值检测方法中，IQR（四分位距）法的判断规则是：小于Q1-1.5IQR或大于Q3+1.5IQR的值视为异常。7.数据类型转换的常见场景包括：将字符串型数字转换为数值型、将日期字符串转换为日期格式。8.数据清洗中，逻辑校验的目的是确保数据符合业务规则，如年龄不能为负数。9.大规模数据清洗工具中，ApacheSpark是常用的分布式计算框架。10.数据清洗后的质量评估指标包括：完整性、一致性、准确性、有效性。三、判断题（总共10题，每题2分，总分20分）1.数据清洗只需要在数据收集后进行一次即可。（×）2.缺失值越多越好，因为可以提供更多分析角度。（×）3.数据标准化会改变数据的原始分布特征。（√）4.数据去重后，重复记录会自动被删除。（√）5.文本分词是中文数据预处理的关键步骤。（√）6.异常值检测只能通过统计方法实现。（×）7.数据类型转换会导致数据精度降低。（√）8.数据清洗不需要考虑业务逻辑。（×）9.自动化清洗工具可以完全替代人工审核。（×）10.数据清洗后的数据可以直接用于机器学习建模。（×）四、简答题（总共4题，每题4分，总分16分）1.简述数据清洗中缺失值处理的优缺点。答：优点：-保留更多数据，提高样本量。-避免因删除数据导致的样本偏差。缺点：-填充方法可能引入偏差（如均值填充会平滑分布）。-模型预测填充计算复杂度高。2.解释数据标准化与数据归一化的区别。答：-标准化（Z-score）：将数据转换为均值为0，标准差为1的分布。适用于数据分布未知或偏态情况。-归一化（Min-Max）：将数据缩放到[0,1]区间。适用于数据分布已知且需要统一范围的情况。3.列举三种数据去重的常用方法。答：1.基于哈希：计算每条记录的哈希值，相同哈希值视为重复。2.基于相似度：比较关键字段的文本相似度（如编辑距离）。3.基于主键：删除重复的主键记录。4.描述数据清洗中“数据一致性”的校验要点。答：-字段值范围校验（如年龄0-120岁）。-逻辑关系校验（如出生日期晚于入职日期）。-单位统一校验（如身高统一为cm）。五、应用题（总共4题，每题6分，总分24分）1.某电商平台用户数据包含以下字段：用户ID（字符串）、年龄（数值）、注册时间（字符串）、消费金额（数值）。假设数据中存在以下问题：-部分年龄为空，用中位数填充。-注册时间格式不统一（如“2023-01-01”和“01/01/2023”），需转换为YYYY-MM-DD格式。-消费金额存在异常值（超过99.9分位数3倍IQR），需替换为中位数。请写出数据清洗步骤。答：步骤：1.缺失值处理：年龄字段用中位数填充。2.数据格式转换：注册时间使用正则表达式统一为YYYY-MM-DD。3.异常值处理：计算消费金额的99.9分位数和IQR，超过阈值的替换为中位数。4.数据验证：检查转换后的字段是否完整、无异常。2.假设你正在清洗一份包含“产品名称”“价格”“库存”的零售数据集，发现以下问题：-产品名称中存在重复（如“苹果手机”和“苹果iPhone”）。-价格字段有误（如“$100”和“100.00”）。-库存为负数的记录需标记为异常。请设计去重和校验策略。答：策略：1.去重：-使用编辑距离算法（如Levenshtein距离）合并相似名称（如“苹果手机”→“苹果iPhone”）。-去重时保留首次出现的记录。2.校验：-价格字段：去除货币符号，统一为数值型。-库存字段：负数记录标记为“异常”，可进一步分析原因（如退货数据未处理）。3.某医疗数据集包含“患者ID”“诊断结果”“检查日期”，发现以下问题：-诊断结果中存在拼写错误（如“糖尿病”和“diabetes”）。-检查日期格式为“MM/DD/YYYY”，需转换为YYYY-MM-DD。-部分患者ID缺失，用随机生成ID替代。请说明预处理步骤。答：步骤：1.文本清洗：诊断结果使用分词+词性标注，统一为标准术语（如“糖尿病”）。2.数据格式转换：检查日期使用日期函数转换格式。3.缺失值处理：患者ID缺失时，生成随机UUID替代（需记录映射关系）。4.逻辑校验：检查诊断结果与日期是否合理（如检查日期不能早于患者出生日期）。4.假设你清洗一份包含“订单号”“客户地址”“订单金额”的订单数据，发现以下问题：-地址格式不统一（如“北京市海淀区”和“BeijingHaidianDistrict”）。-订单金额存在0元订单，需确认是否为系统错误。-部分订单号重复，需合并相同订单。请设计清洗方案。答：方案：1.地址标准化：-使用地理编码API将英文地址转换为中文（如“BeijingHaidianDistrict”→“北京市海淀区”）。-保留原始地址作为注释字段。2.异常值分析：-统计0元订单占比，若过高需联系业务方确认（可能是测试数据）。3.去重合并：-基于订单号和关键时间戳判断重复订单，合并金额。-保留金额最高的记录。【标准答案及解析】一、单选题1.C解析：空值插补法属于缺失值处理，而非异常值处理。2.B解析：均值/中位数填充对分布影响最小，回归填充可能引入模型偏差。3.D解析：评估需综合完整性、一致性、准确性等多维度。4.B解析：Z-score适用于正态分布，偏态分布建议用Min-Max。5.D解析：基于主键约束是数据库层面的去重，非数据清洗技术。6.D解析：特征工程属于建模阶段，不属于预处理。7.A解析：数据类型转换可能丢失精度（如浮点转整数）。8.B解析：缺失值处理通常最先执行，避免后续步骤数据丢失。9.C解析：空间校验不属于数据验证范畴。10.B解析：自动化工具可处理大规模数据，效率远高于手动。二、填空题1.数据格式校验2.填充3.04.编辑距离5.停用词过滤6.1.5IQR7.数值型8.业务规则9.Hadoop10.完整性三、判断题1.×解析：数据清洗需贯穿数据处理全流程，多次迭代。2.×解析：缺失值过多会导致样本偏差，应尽量补充或删除。3.√解析：Z-score会改变数据分布，但保留原始比例关系。4.√解析：去重后默认保留第一条记录，重复记录被删除。5.√解析：中文分词是文本预处理关键步骤。6.×解析：异常值检测可用聚类、机器学习等方法。7.√解析：浮点转整数会截断小数部分。8.×解析：清洗需结合业务逻辑（如年龄合理性）。9.×解析：人工审核仍需确认自动化结果的准确性。10.×解析：清洗后需验证数据质量，排除错误再建模。四、简答题1.缺失值处理优缺点：优点：保留数据，避免样本偏差；缺点：填充可能引入偏差，模型预测复杂。2.标准化与归一化区别：标准化（Z-score）均值为0，标准差为1；归一化（Min-Max）缩放到[0,1]。3.数据去重方法：-基于哈希：计算哈希值匹配。-基于相似度：编辑距离算法。-基于主键：删除重复主键。4.数据一致性校验要点：-字段范围校验（如年龄0-120岁）。-逻辑关系校验（如出生日期早于入职日期）。-单位统一（如身高统一为cm）。五、应用题1.数据清洗步骤：