2025-2026年数据清洗与预处理技术实战习题集

2025-2026年数据清洗与预处理技术实战习题集一、单选题（总共10题，每题2分，共20分）1.在数据预处理阶段，以下哪项操作不属于数据清洗的范畴？A.处理缺失值B.检测并修正异常值C.特征工程中的维度归一化D.去除重复记录解析：数据清洗主要针对原始数据中的错误、缺失和异常，包括处理缺失值（A）、检测并修正异常值（B）和去除重复记录（D）。特征工程中的维度归一化（C）属于特征转换，而非数据清洗。2.对于包含大量缺失值的表格数据，以下哪种方法通常会导致数据信息损失最小？A.直接删除含有缺失值的行B.使用均值或中位数填充缺失值C.采用K最近邻（KNN）算法插补缺失值D.将缺失值标记为特殊类别解析：删除行（A）会丢失大量数据；均值/中位数填充（B）忽略数据分布；KNN插补（C）结合邻近样本信息，信息损失最小；特殊类别标记（D）仅改变数据类型，未解决缺失问题。3.在数据标准化（Z-score标准化）过程中，若某特征原始数据为[10,20,30]，其均值为20，标准差为10，则标准化后的数据为？A.[0,1,2]B.[-1,0,1]C.[1,2,3]D.[0.5,1.5,2.5]解析：Z-score=(x-μ)/σ，计算得[10-20)/10,(20-20)/10,(30-20)/10]=[-1,0,1]。4.以下哪种方法最适合处理文本数据中的停用词？A.独热编码（One-HotEncoding）B.词嵌入（WordEmbedding）C.TF-IDF向量化D.停用词表过滤解析：停用词表过滤（D）直接移除无意义的词；独热编码（A）将词转为二进制向量；词嵌入（B）捕捉语义；TF-IDF（C）计算词重要性。5.在处理时间序列数据时，若发现某月份数据缺失，以下哪种插补方法最符合业务逻辑？A.线性插值B.使用全年平均值填充C.基于季节性趋势的预测值填充D.随机数填充解析：时间序列需考虑趋势和周期性，季节性预测（C）最合理；线性插值（A）适用于连续数据但忽略周期；全年均值（B）忽略月份差异；随机数（D）无业务依据。6.对于稀疏矩阵数据，以下哪种存储方式效率最高？A.行主序存储（Row-MajorStorage）B.列主序存储（Column-MajorStorage）C.压缩稀疏行（CSR）格式D.二维数组存储解析：压缩稀疏行（CSR）格式（C）仅存储非零元素及其索引，适用于稀疏数据。7.在数据预处理中，以下哪项操作可能导致数据信息损失？A.数据归一化B.数据离散化C.特征编码D.数据降噪解析：数据离散化（B）将连续值转为类别，丢失精度；归一化（A）、特征编码（C）、降噪（D）均保留原始信息。8.对于包含离群点的数值型特征，以下哪种方法能较好地保留数据分布特征？A.使用最大最小值归一化B.对数变换C.IQR（四分位数间距）异常值处理D.直接删除离群点解析：对数变换（B）能缓解偏态分布；IQR处理（C）基于分布统计；最大最小值归一化（A）受离群点影响大；直接删除（D）丢失信息。9.在特征选择过程中，以下哪种方法属于过滤法？A.递归特征消除（RFE）B.Lasso回归C.基于相关性的过滤法D.逐步回归解析：基于相关性的过滤法（C）通过统计指标筛选特征，属于过滤法；RFE（A）、Lasso（B）、逐步回归（D）均属于包裹法。10.对于缺失比例超过70%的特征列，以下哪种处理策略最合理？A.尝试复杂插补模型B.直接删除该特征C.将缺失值标记为特殊类别D.保留该特征但忽略缺失值解析：缺失比例过高（>70%）时，插补（A）模型效果差；删除（B）避免数据冗余；特殊类别（C）无业务意义；保留但忽略（D）会降低模型精度。二、填空题（总共10题，每题2分，共20分）1.数据清洗的五个基本步骤通常包括：______、处理重复数据、处理缺失值、处理异常值和格式统一。参考答案：数据验证解析：标准数据清洗流程包含验证数据完整性、一致性、准确性等。2.在处理缺失值时，KNN插补算法的核心思想是使用距离最近的______个样本的值来填充缺失项。参考答案：K解析：KNN算法基于K个最近邻样本进行插补。3.对于文本数据，TF-IDF模型中TF代表______，IDF代表______。参考答案：词频；逆文档频率解析：TF衡量词在文档中的出现频率，IDF衡量词的普遍重要性。4.数据标准化（Z-score）的目标是将数据转换为均值为______，标准差为______的分布。参考答案：0；1解析：标准化使数据符合标准正态分布。5.在处理时间序列数据时，若发现某日数据缺失，使用前一日值填充属于______插补方法。参考答案：前向填充解析：前向填充（ForwardFill）用最近非空值替代缺失值。6.稀疏矩阵的CSR格式中，三个主要部分分别是：______、______和______。参考答案：非零元素值数组；行索引数组；列索引数组解析：CSR通过索引映射非零元素位置。7.数据离散化常用的方法包括等宽离散化、等频离散化和______。参考答案：基于聚类的方法解析：基于聚类的方法如K-means聚类后分箱。8.在特征选择中，Lasso回归通过______惩罚项来实现特征稀疏化。参考答案：L1范数解析：L1惩罚使部分系数变为零，实现特征选择。9.对于高维数据，降维方法中PCA（主成分分析）的核心思想是寻找______的线性组合。参考答案：方差最大解析：PCA通过投影到方差最大的方向来降维。10.数据预处理中，异常值检测的常用统计方法包括______和______。参考答案：3σ准则；四分位数间距（IQR）解析：3σ准则基于正态分布，IQR适用于偏态数据。三、判断题（总共10题，每题2分，共20分）1.数据清洗是数据预处理的第一步，但不是唯一步骤。（×）解析：数据预处理包含清洗、转换、降维等，清洗是重要但非全部。2.对于分类数据，缺失值通常可以随机选择一个类别填充。（×）解析：随机填充可能破坏类别分布，建议使用众数或特殊类别标记。3.数据归一化和标准化是等价的，两者效果相同。（×）解析：归一化将数据缩放到[0,1]，标准化使均值为0，标准差为1。4.在文本向量化中，词嵌入（WordEmbedding）能保留词语间的语义关系。（√）解析：词嵌入通过低维稠密向量表示词义。5.稀疏矩阵的存储效率一定高于密集矩阵。（√）解析：稀疏矩阵仅存储非零元素，显著减少存储空间。6.数据离散化会降低数据的维度，但不会丢失信息。（×）解析：离散化将连续值转为类别，可能丢失数值精度。7.KNN插补适用于缺失值比例较高的数据集。（×）解析：KNN依赖邻近样本，缺失值过多时无法找到足够邻居。8.特征选择的目标是减少特征数量，同时保留数据中的关键信息。（√）解析：特征选择通过筛选重要特征来提升模型性能。9.PCA降维会导致数据信息损失，因此不适用于敏感数据。（×）解析：PCA在保留大部分方差的前提下降维，损失可控。10.数据标准化会改变数据的分布形态，使其符合正态分布。（×）解析：标准化仅调整均值和方差，不改变分布形状。四、简答题（总共4题，每题4分，共16分）1.简述数据清洗中处理重复数据的主要方法和适用场景。答：处理重复数据的主要方法包括：-基于唯一标识符检测（如用户ID、订单号）；-基于相似度检测（如文本相似度比对）；-使用数据库自带的去重功能（如SQL的DISTINCT）。适用场景：-用户行为数据（如重复登录记录）；-交易数据（如重复支付记录）；-文本数据（如重复评论）。2.解释数据标准化（Z-score标准化）的公式及其优缺点。答：公式为Z=(x-μ)/σ，其中x为原始值，μ为均值，σ为标准差。优点：-消除量纲影响，适用于不同单位数据；-使数据符合标准正态分布，便于模型收敛。缺点：-对离群点敏感，可能扭曲数据分布；-不适用于有负值的场景（如分类数据）。3.描述TF-IDF向量化模型的核心原理及其在文本分类中的应用。答：TF-IDF原理：-TF（词频）衡量词在文档中的重要性；-IDF（逆文档频率）衡量词的普遍性（越普遍越重要）。应用：-文档聚类：通过向量距离衡量文档相似度；-搜索引擎：排序相关文档；-情感分析：识别关键情感词。4.列举三种常见的异常值检测方法，并说明其适用条件。答：-3σ准则：适用于正态分布数据，计算简单但假设严格；-IQR方法：基于四分位数间距，适用于偏态数据；-基于距离的方法（如DBSCAN）：适用于高维数据，能发现任意形状簇。五、应用题（总共4题，每题6分，共24分）1.某电商平台用户行为数据包含以下字段：用户ID、购买金额、购买时间（格式：YYYY-MM-DD）、商品类别。假设数据中存在以下问题：-10%的购买金额为0（疑似错误）；-5%的购买时间缺失；-商品类别中有"其他"标签，但部分记录未分类。请设计数据清洗方案，并说明每步的处理逻辑。答：-处理购买金额：-使用均值/中位数填充0值（假设金额有业务逻辑）；-若0值比例过高，需进一步调查是否为退款或测试数据。-处理缺失时间：-前向填充（用最近一次购买时间）；-若时间连续，可按业务规则生成默认时间（如订单创建时）。-处理商品类别：-将未分类记录标记为"未知"；-若"其他"占比高，可合并到其他类别或单独分析。2.假设你正在处理一份包含1000行、10列的数值型数据集，其中3列存在离群点（如收入、年龄、评分）。请设计异常值处理方案，并说明选择该方案的理由。答：-使用IQR方法检测异常值：-计算每列的Q1、Q3和IQR；-筛选异常值：下限(Q1-1.5IQR)，上限(Q3+1.5IQR)。-处理策略：-对于收入/评分：用中位数替换异常值（避免极端值影响）；-对于年龄：若存在负值或过大值，需删除或标记为特殊值。理由：IQR不依赖分布假设，适用于多类数据；中位数替换能保留数据分布特征。3.某公司收集了用户注册数据，包含字段：注册时间（YYYY-MM-DD）、设备类型（PC/Mobile/Tablet）、注册来源（搜索/广告/推荐）。数据清洗后发现：-15%的注册时间缺失；-设备类型中有"未知"值；-注册来源中"其他"占比20%。请设计特征预处理方案，并说明每步的业务意义。答：-注册时间：-前向填充（用最近注册时间）；-若时间连续，可按业务规则生成默认时间（如注册时）。-设备类型：-将"未知"标记为"其他"；-若PC/Mobile占比极低，可合并为"其他"。-注册来源：-将"其他"单独分析或合并到"其他"；-若来源重要，可考虑人工标注或调研补充。4.假设你正在处理一份包含2000条新闻文本数据，需要用于主题分类。请设计文本预处理流程，并说明每步的作用。答：-分词：按词性或空格切分文本；-去除停用词：删除"的""了"等无意义词；-词干提取/词形还原：将词还原为基本形式（如"running"→"run"）；-TF-IDF向量化：将文本转为数值特征；-可选：主题模型（如LDA）辅助降维。作用：去除冗余信息，保留核心语义，提高分类模型效果。【标准答案及解析】一、单选题1.C2.C3.B4.D5.C6.C7.B8.B9.C10.B二、填空题1.数据验证2.K3.词频；逆文档频率4.0；15.前向填充2.非零元素值数组；行索引数组；列索引数组7.基于聚类的方法3.L1范数9.方差最大10.3