2025-2026年数据清洗与预处理实战模拟试卷

2025-2026年数据清洗与预处理实战模拟试卷一、单选题（本大题共10小题，每小题2分，共20分）1.在数据预处理阶段，以下哪项操作属于数据变换的范畴？（）A.删除重复记录B.填充缺失值C.对数值型特征进行归一化处理D.对类别型特征进行编码解析：数据变换是指将原始数据通过数学或统计方法转换为更适合分析的形式。选项C归一化处理属于数据变换，而删除重复记录属于数据清理，填充缺失值属于数据补全，对类别型特征进行编码属于数据编码。正确答案为C。2.在处理缺失值时，以下哪种方法可能会引入系统性偏差？（）A.使用均值/中位数/众数填充B.使用K最近邻填充C.使用多重插补D.使用随机森林预测填充解析：均值/中位数/众数填充方法简单但可能忽略缺失值与观测值之间的相关性，导致系统性偏差。K最近邻填充、多重插补和随机森林预测填充等方法能更好地保留数据分布特性。正确答案为A。3.在特征缩放中，标准化（Z-scorenormalization）与归一化（Min-Maxscaling）的主要区别在于？（）A.标准化适用于连续数据，归一化适用于类别数据B.标准化将数据转换为均值为0、方差为1的分布，归一化将数据映射到[0,1]区间C.标准化需要先计算数据集的极值，归一化需要先计算数据集的均值D.标准化适用于小样本数据，归一化适用于大数据集解析：标准化（Z-scorenormalization）通过减去均值再除以标准差将数据转换为均值为0、方差为1的分布；归一化（Min-Maxscaling）通过将数据线性映射到[0,1]区间实现特征缩放。其他选项描述均不正确。正确答案为B。4.在异常值检测中，以下哪种方法对高维数据不太适用？（）A.基于统计的方法（如3σ原则）B.基于密度的方法（如DBSCAN）C.基于距离的方法（如KNN）"D.基于聚类的方法（如K-means）"解析：3σ原则适用于低维数据，在高维空间中大部分点都会远离中心，导致几乎所有点都被视为异常值。DBSCAN、KNN和K-means等方法通过不同的机制缓解维度灾难问题。正确答案为A。5.在数据集成过程中，以下哪种冲突解决策略最可能保留原始数据信息？（）A.优先选择多数源的数据B.优先选择最新源的数据C.对冲突字段进行模糊匹配后合并D.直接删除存在冲突的记录解析：模糊匹配合并策略通过识别相似但不同的值进行整合，能够最大限度地保留原始数据信息。其他方法要么丢失信息（删除记录），要么引入主观性（优先多数或最新）。正确答案为C。6.在处理文本数据时，以下哪个步骤通常不属于特征工程范畴？（）A.文本分词B.词性标注C.TF-IDF向量化D.主题模型生成解析：文本分词、词性标注和TF-IDF向量化属于文本预处理和特征提取的常规步骤。主题模型生成（如LDA）通常用于文本挖掘或降维，不属于直接的特征工程步骤。正确答案为D。7.在数据标准化过程中，以下哪种情况会导致数据丢失信息？（）A.对数值型特征进行标准化B.对类别型特征进行标准化C.对时间序列数据按时间戳标准化D.对二元特征进行标准化解析：标准化适用于连续数值型特征，对类别型特征、时间戳或二元特征进行标准化会破坏数据的原始语义信息。正确答案为B。8.在缺失值处理中，多重插补（MultipleImputation）的核心思想是什么？（）A.用单一估计值填充所有缺失值B.基于观测数据构建多个完整数据集，分别分析后合并结果C.使用机器学习模型预测缺失值D.删除包含缺失值的记录解析：多重插补通过生成多个可能的完整数据集，模拟缺失值的不确定性，分别进行分析后合并结果，从而更准确地估计参数。其他方法要么过于简化（单一估计值），要么与多重插补机制不同。正确答案为B。9.在特征编码中，以下哪种方法适用于高基数字符特征？（）A.One-Hot编码B.二进制编码C.标签编码（LabelEncoding）D.Hash编码解析：高基数字符特征（如身份证号）直接使用One-Hot编码会导致维度爆炸。二进制编码、标签编码和Hash编码等方法能更高效地处理高基数特征。正确答案为D。10.在数据清洗流程中，以下哪个步骤通常需要最后执行？（）A.缺失值处理B.异常值检测与处理C.数据集成D.数据变换解析：数据清洗的典型顺序为数据集成→数据清理（重复值、缺失值、异常值）→数据变换（特征编码、缩放等）。数据变换通常在数据清理之后执行。正确答案为D。二、填空题（本大题共10小题，每小题2分，共20分）1.在处理缺失值时，如果缺失机制为完全随机（MCAR），那么使用______填充通常能得到较好的结果。2.对于高维稀疏数据，______特征选择方法通过递归移除不重要特征来降低维度。3.在数据标准化中，______方法将数据映射到[0,1]区间，但可能会放大原始数据的极差影响。4.异常值检测中，______算法通过迭代更新簇中心来识别离群点。5.数据集成时，如果多个数据源对同一实体的描述存在时间差异，______策略可能更合理。6.文本特征工程中，______技术通过考虑词语在文档和整个语料库中的分布来评估其重要性。7.对于二元特征（0/1），______编码比标签编码更合适，因为能保留特征间的对称性。8.在处理时间序列数据时，______方法通过滑动窗口计算统计量来平滑数据。9.在数据变换中，______方法通过保留数据分布的原始顺序来降维。10.对于类别型特征，如果类别数量远大于样本数量，______编码可能导致模型过拟合。解析：11.完全随机缺失（MCAR）意味着缺失值与任何观测值无关，使用均值/中位数/众数填充通常有效。12.递归特征消除（RecursiveFeatureElimination,RFE）通过递归移除不重要特征来降低维度。13.归一化（Min-Maxscaling）将数据映射到[0,1]区间，但极端值会影响缩放结果。14.K-means聚类算法通过迭代更新簇中心，离群点通常不会被分配到任何簇。15.优先选择最新源的数据策略适用于时间序列数据集成。16.TF-IDF（TermFrequency-InverseDocumentFrequency）技术评估词语重要性。17.One-Hot编码比标签编码更合适，因为二元特征没有固有顺序。18.滑动平均（MovingAverage）或指数平滑（ExponentialSmoothing）方法适用于时间序列平滑。19.主成分分析（PrincipalComponentAnalysis,PCA）通过保留数据分布的原始顺序来降维。20.One-Hot编码在类别数量远大于样本数量时可能导致维度爆炸和过拟合。三、判断题（本大题共10小题，每小题2分，共20分）1.在数据清洗中，删除含有缺失值的记录是唯一不会引入偏差的处理方法。（）2.归一化（Min-Maxscaling）和标准化（Z-scorenormalization）可以互换使用，没有区别。（）3.DBSCAN算法对参数eps和min_samples的选择非常敏感，因此不适用于高维数据。（）4.数据集成过程中，如果多个数据源存在冲突字段，优先选择多数源的数据是最优策略。（）5.对于二元特征，标签编码（LabelEncoding）和One-Hot编码的效果完全相同。（）6.在处理缺失值时，多重插补（MultipleImputation）比KNN填充更耗时，但结果更可靠。（）7.文本特征工程中，词袋模型（Bag-of-Words）会保留词语的顺序信息。（）8.在数据变换中，对类别型特征进行One-Hot编码会导致数据维度显著增加。（）9.异常值检测中，基于密度的方法（如DBSCAN）不需要预先指定异常值的比例。（）10.数据标准化后，原始数据中的极端值仍然会影响模型的最终结果。（）解析：11.错误。删除记录会丢失信息，且可能导致样本不具代表性。其他方法如填充可能引入偏差，但通常比删除更合理。12.错误。归一化和标准化有不同的数学形式和适用场景，不能完全互换。归一化受极值影响大，标准化更稳定。13.错误。DBSCAN对高维数据仍有效，但需要仔细调整参数。高维数据通常存在维度灾难问题，但DBSCAN通过密度聚类缓解。14.错误。优先多数源可能丢失最新或最准确的信息，应根据业务场景选择策略。15.错误。标签编码将二元特征映射为0/1，丢失了特征对称性；One-Hot编码保留对称性。16.正确。多重插补模拟缺失值不确定性，结果更可靠但计算复杂；KNN填充简单但可能不够精确。17.错误。词袋模型（Bag-of-Words）只保留词语出现频率，不保留顺序信息。18.正确。One-Hot编码将每个类别转换为独立维度，类别数量多时维度会急剧增加。19.正确。DBSCAN通过密度定义异常值，无需预设比例，但参数选择影响结果。20.正确。标准化只是改变了数据分布形式，极端值仍可能影响模型（如决策树）或通过残差分析被识别。四、简答题（本大题共4小题，每小题4分，共16分）1.简述数据清洗中处理重复记录的常见方法及其优缺点。2.描述缺失值存在的几种主要机制，并说明如何根据机制选择合适的处理方法。3.解释数据标准化（Z-scorenormalization）和归一化（Min-Maxscaling）的适用场景和主要区别。4.在特征工程中，如何处理高基数类别型特征？列举至少三种方法并简述其原理。解析：5.处理重复记录的常见方法：-识别重复：通过唯一标识符（如ID）或相似字段（如姓名、地址）识别重复记录。-处理策略：-保留第一条/最后一条：根据业务需求选择。-合并记录：将重复字段值合并（如金额累加）。-删除重复：直接删除多余记录。优点：减少数据冗余，提高数据一致性。缺点：可能丢失信息（合并时），误删可能包含重要信息的记录。6.缺失值机制及处理方法：-完全随机缺失（MCAR）：缺失值与任何观测值无关（如设备故障丢失数据）。处理方法：均值/中位数/众数填充。-随机缺失（MAR）：缺失值与观测值相关，但与缺失值本身无关（如女性不填写收入）。处理方法：回归填充、多重插补。-非随机缺失（MNAR）：缺失值与缺失值本身相关（如病重患者不填写症状）。处理方法：期望最大化（EM）算法、基于模型的预测。选择依据：根据缺失机制选择最合适的填充方法，避免引入偏差。7.标准化与归一化的适用场景和区别：-标准化（Z-score）：适用于数据分布接近正态，或需要比较不同量纲特征的情况。将数据转换为均值为0、方差为1。-归一化（Min-Max）：适用于需要将数据映射到特定区间（如0-1）的场景，常用于神经网络输入。将数据缩放到[0,1]区间。主要区别：数学形式不同（标准化基于均值和方差，归一化基于极值），对极端值敏感度不同（归一化更敏感）。8.处理高基数类别型特征的方法：-One-Hot编码：将每个类别转换为独立维度（如"颜色"字段有10个类别，生成10个0/1特征）。原理：保留类别独立性。-二进制编码：将类别映射为固定长度的二进制向量。原理：降低维度，保留类别顺序信息。-Hash编码：使用哈希函数将类别映射到固定长度的向量。原理：高效处理大量类别，避免维度爆炸。-降维技术：如PCA或t-SNE降维，适用于类别特征与数值特征混合的情况。五、应用题（本大题共4小题，每小题6分，共24分）1.某电商平台收集了用户购买数据，部分字段存在缺失。经分析发现，缺失值主要来自以下情况：-用户注册时未填写职业（约30%缺失，缺失机制疑似MAR，与年龄、性别相关）-购买记录中的商品价格缺失（约5%缺失，疑似MNAR，高价值商品缺失更严重）-用户评论中的评分缺失（约15%缺失，疑似MCAR，随机丢失）请设计一个数据清洗方案，包括缺失值处理策略和理由。2.假设你正在处理一个包含1000个特征的表格数据，其中：-特征1-100为数值型，存在异常值（如收入超过100万）-特征101-500为类别型，部分特征基数较高（如"城市"有2000个类别）-特征501-1000为时间序列数据（如每日访问量）请设计一个特征预处理流程，包括异常值处理、类别特征处理和时间序列特征处理方法。3.某医疗数据分析项目收集了患者病历数据，存在以下问题：-部分患者ID重复（可能由于系统错误）-检验结果中有异常值（如血糖值超过50mmol/L）-部分患者未填写过敏史（约10%缺失，疑似MCAR）请设计一个数据清洗方案，包括重复记录处理、异常值检测和缺失值处理方法。4.假设你正在处理一个文本分类任务，原始数据包含以下特征：-文本内容（约1000篇新闻文章）-发布时间（每日记录）-作者（约50个作者）-标签（约20个类别）请设计一个特征工程方案，包括文本特征提取、时间特征处理、作者特征处理和标签特征处理方法。解析：5.数据清洗方案：-职业缺失（MAR）：使用回归填充（根据年龄、性别预测职业）或多重插补（生成多个可能的职业值）。-商品价格缺失（MNAR）：使用期望最大化（EM）算法或基于模型预测（如随机森林预测价格）。-评分缺失（MCAR）：使用均值/中位数填充或删除记录（如果评分对分析影响不大）。理由：根据缺失机制选择最合适的处理方法，避免引入偏差。6.特征预处理流程：-数值型特征（1-100）：-异常值处理：使用IQR方法识别异常值，可替换为中位数或删除记录。-类别型特征（101-500）：-高基数特征（如城市）：使用Hash编码或二进制编码，避免One-Hot维度爆炸。-低基数特征：使用One-Hot编码。-时间序列特征（501-1000）：-使用滑动平均/指数平滑平滑数据。-提取时序特征（如日/周/月周期性）。流程：先处理异常值，再处理类别特征（区分高基数/低基数），最后处理时间序列特征。7.数据清洗方案：-重复记录：使用患者ID和其他关键字段（如姓名、出生日期）识别重复，保留第一条或最新记录。-异常值检测：使用3σ原则或DBSCAN识别异常血糖值，可标记或替换为合理值。-缺失值处理：过敏史（MCAR）：使用众数填充或删除记录。理由：优先解决数据完整性问题（重复记录），再处理数据准确性问题（异常值），最后处理缺失值。8.特征工程方案：-文本特征提取：-使用TF-IDF或Word2Vec提取文本特征。-可尝试主题模型（LDA）提取语义特征。-时间特征处理：-提取年/月/日/星期几等周期性特征。-计算发布时间与当前时间的差值（如时效性）。-作者特征处理：-使用One-Hot编码（如果作者数量适中）。-可计算作者发文频率等衍生特征。-标签特征处理：-使用One-Hot编码或标签编码（如果标签顺序重要）。-可尝试标签嵌入（LabelEmbedding）。标准答案及解析一、单选题1.C2.A3.B4.A5.C6.D7.B8.B9.D10.D二、填空题1.均值/中位数/众数2.递归特征消除（RFE）3.归一化（Min-Maxscaling）4.K-means5.优先选择最新源的数据6.TF-IDF7.One-Hot编码8.滑动平均/指数平滑9.主成分分析（PCA）10.One-Hot编码三、判断题1.×2.×3.×4.×5.×6.√7.×8.√9.√10.√四、简答题1.处理重复记录的方法：-识别：通过唯一标识符或相似字段。-策略：保留第一条/最后一条、合并记录、删除重复。-优点：减少冗余，提高一致性。-缺点：合并可能丢失信息，误删可能包含重要记录。2.缺失值机制及处理：-MCAR：与任何观测值无关，均值/中位数填充。-MAR：与观测值相关，回归填充/多重插补。-MNAR：与缺失值相关，EM算法/基于模型预测。-选择依据：根据缺失机制选择最合适的填