2025年大学《数据科学》专业题库- 数据科学的数据清洗技术

2025年大学《数据科学》专业题库——数据科学的数据清洗技术考试时间：______分钟总分：______分姓名：______一、选择题1.下列哪一项不属于数据质量常见维度？A.准确性B.完整性C.规模性D.一致性2.当数据缺失是完全随机发生时，删除含有缺失值的记录可能会导致什么主要问题？A.数据偏差增大B.损失大量有价值的样本信息C.计算得到的统计量（如均值）偏差增大D.以上都是3.在处理连续型数值变量的缺失值时，使用中位数填充通常比使用均值填充更稳健的原因是？A.中位数对异常值不敏感B.均值计算更简单C.中位数填充后的数据方差更小D.缺失值通常集中在数据中间位置4.以下哪种方法通常被认为是处理异常值最彻底但也可能丢失最多信息的方式？A.将异常值替换为均值B.将异常值保留，并在模型中将其视为一个特殊类别C.删除异常值D.对异常值进行分箱5.数据标准化的主要目的是？A.将数据转换为大写字母B.将所有特征的取值范围压缩到[0,1]区间C.消除不同特征之间量纲和量级的影响，使它们具有可比性D.处理缺失值6.以下哪种编码方法适用于将类别特征转换为数值特征，且不会引入人为的顺序关系？A.标签编码(LabelEncoding)B.独热编码(One-HotEncoding)C.二进制编码D.以上都是7.检测和处理数据中完全重复记录的操作通常称为？A.缺失值处理B.异常值处理C.数据去重D.数据变换8.以下哪个指标不是常用于衡量数据集缺失程度的？A.缺失值的数量B.缺失值的比例C.缺失值的方差D.完整数据的比例9.对于分类特征中的缺失值，以下哪种填充方法相对更合理？A.随机选择一个类别填充B.使用出现次数最多的类别（众数）填充C.填充一个特殊的“未知”类别D.将缺失值视为一个独立的类别进行独热编码10.数据清洗流程通常被认为是数据分析和建模过程中最耗时但又至关重要的环节，其主要原因在于？A.现代计算技术发展迅速B.清洗后的数据量通常更大C.数据质量问题直接影响分析结果和模型性能的准确性和可靠性D.缺失值本身具有统计意义二、填空题1.数据清洗的流程通常可以概括为：识别数据问题、______、实施清洗操作、______和文档化清洗过程。2.在使用Z-score方法检测异常值时，通常认为绝对值大于______的数据点可能是异常值。3.对于名义变量（NominalVariable）的编码，______编码会将每个类别转换为一个唯一的整数。4.处理缺失值时，回归填充（RegressionImputation）是指利用其他变量通过______建模来预测缺失值。5.数据归一化（Min-MaxScaling）将原始数据线性转换到[0,1]区间，其公式为：X_scaled=(X-X_min)/(X_max-X_min)，其中X_min和X_max分别代表特征的______和______。三、简答题1.简述数据清洗中处理缺失值的主要方法，并比较删除法和填充法在丢失信息量和对后续分析影响方面的主要区别。2.解释什么是异常值（Outlier），并列举至少三种不同的异常值检测方法。3.数据标准化（Z-scorenormalization）和数据归一化（Min-Maxscaling）这两种数据变换方法各有什么特点？在哪些场景下更倾向于使用其中一种方法？4.列举至少四个在数据清洗过程中需要关注的数据质量问题，并简要说明每个问题可能产生的影响。四、计算题假设有一个包含两个数值列（A和B）的数据集，原始数据如下：|A|B||-----|-----||10|20||15|25||15|NULL||10|22||NULL|20||18|28|现在需要处理这个数据集：(1)如果选择删除含有缺失值的行，处理后数据集的规模（行数）是多少？(2)如果选择对列A使用均值填充缺失值，填充后的列A的均值是多少？(3)如果选择对列B使用中位数填充缺失值，填充后的列B的中位数是多少？（计算前请对B列按升序排序）五、综合应用题假设你正在处理一份关于在线用户行为的原始数据集，用于后续的用户画像分析。在初步探索数据时，你发现了以下问题：A.有部分用户的“年龄”字段为空（NULL）。B.“注册时间”字段的格式不统一，有的记录是“YYYY-MM-DDHH:MM:SS”格式，有的只有“YYYY-MM-DD”格式。C.“城市”字段中存在一些拼写错误或缩写，例如“Beijing”、“BJ”、“北京”、“BeiJing”都代表北京。D.发现有一条记录的“消费金额”为-500元，根据业务逻辑，这应该是一个输入错误。请针对以上每个问题，提出至少一种可行的数据清洗处理方法，并简要说明选择该方法的原因。在处理这些问题时，需要考虑它们之间的潜在关联以及对后续用户画像分析可能产生的影响。试卷答案一、选择题1.C2.B3.A4.C5.C6.B7.C8.C9.B10.C二、填空题1.评估数据问题；验证清洗效果2.33.标签4.回归5.最小值；最大值三、简答题1.答案：*主要方法：删除法（列表删除、行删除）、填充法（均值/中位数/众数填充、回归填充、插值法等）、模型预测填充、多重插补等。*删除法：将含有缺失值的记录直接移除。优点是简单，不引入人为偏差。缺点是会丢失大量数据，尤其是当缺失比例较高或缺失并非随机时，可能导致样本不具代表性，影响分析结果。*填充法：用特定值或计算得出的值替代缺失值。优点是能保留更多数据信息。缺点是填充的值会引入一定的人为偏差，可能影响后续分析的准确性。不同填充方法适用于不同情况，如使用均值填充适用于数据近似正态分布且缺失随机的情况；使用中位数填充对异常值不敏感，适用于偏态分布数据；回归填充和模型预测填充能利用更多信息预测缺失值，但更复杂。2.答案：*异常值：指数据集中与其他数据显著不同的数值点，可能由测量误差、记录错误或真实存在的极端情况导致。*检测方法：*基于统计方法：如Z-score（标准分数），计算每个数据点与均值的距离（以标准差为单位），绝对值过大的Z-score可能表示异常值；四分位距（IQR）方法，找出第1四分位数（Q1）和第3四分位数（Q3），计算IQR=Q3-Q1，任何小于Q1-1.5*IQR或大于Q3+1.5*IQR的值视为异常值。*基于可视化方法：如箱线图（BoxPlot），可以直观地识别出落在箱子外部的“须”或“点”。*基于距离或密度的方法：如基于k个最近邻（k-NN）的距离，距离过远的点可能为异常值；基于密度的空间聚类方法，如DBSCAN，密度异常低的点可能被识别为异常值。3.答案：*数据标准化（Z-scorenormalization）：公式为X_scaled=(X-mean)/std_dev。特点是将数据转换为均值为0，标准差为1的分布。适用于需要比较不同量纲或量级的特征，或者后续分析（如使用SVM、K-Means、PCA或某些统计检验）要求数据服从正态分布或需要消除量纲影响的情况。*数据归一化（Min-Maxscaling）：公式为X_scaled=(X-X_min)/(X_max-X_min)。特点是将数据线性压缩到[0,1]或[-1,1]（取决于具体实现）区间。适用于需要将所有特征值映射到相同范围的情况，尤其是在某些机器学习算法（如神经网络、K近邻、决策树）中，输入特征的取值范围对算法性能有影响。*场景选择：当特征量纲差异很大，或者算法对输入尺度敏感时，倾向于使用标准化；当需要明确数据的相对位置，或者算法要求输入在特定范围（如[0,1]）内时，倾向于使用归一化。4.答案：*数据质量问题：*缺失值(MissingValues)：影响模型训练、统计分析的准确性和可靠性，可能导致偏差或丢失信息。*异常值(Outliers)：可能源于错误或真实极端情况，会扭曲统计结果（如均值、方差），影响模型性能，但也可能包含重要信息。*重复值(Duplicates)：占用存储空间，可能导致统计结果虚高，影响模型训练的稳定性。*不一致性(Inconsistency)：数据之间存在逻辑矛盾或格式不统一（如日期格式混乱、同一实体的名称不统一），导致数据难以整合和分析。*不准确/不准确(Inaccuracy/Distortion)：数据值本身与真实情况不符，可能由设备故障、人为错误或数据过时导致，严重影响分析结果的质量。*影响：这些问题都可能降低数据质量，导致分析结果不可靠、模型预测效果差、业务决策失误等。四、计算题(1)答案：4解析思路：删除含有缺失值的行，即删除第3行（A列缺失）和第5行（B列缺失），剩余有效行数为6-2=4行。(2)答案：13.5解析思路：填充缺失值后，A列的值为：10,15,15,10,13,18。计算其均值：(10+15+15+10+13+18)/6=81/6=13.5。(3)答案：20.5解析思路：B列的原始值（排除NULL）为：20,25,22,20,28。按升序排序为：20,20,22,25,28。中位数是排序后位于中间的值，即第3个值（当数量为奇数时是正中间，当数量为偶数时是中间两个的平均值），此处数量为5，中位数是第3个数，即22。修正：重新排序：20,20,22,25,28。数量为5（奇数），中位数是第3个数。再修正：重新审视题目和计算。B列原始非空值排序为[20,20,22,25,28]。数量为5（奇数），中位数是第3个数，即22。最终确认：题目数据B列非空值排序后为[20,20,22,25,28]，中位数是第三个数22。（此处原参考答案20.5计算有误，正确中位数为22）五、综合应用题答案：A.问题：“年龄”字段为空（NULL）。*方法1（删除）：如果年龄缺失比例不高，且年龄对用户画像影响不是极其关键，可以考虑删除含有缺失年龄的记录。*方法2（填充）：可以使用整体用户样本的年龄均值或中位数填充。如果年龄分布有明显分层（如按用户等级、注册年份），可以考虑按分层样本计算均值/中位数进行填充。也可以考虑使用更复杂的模型（如回归）预测缺失年龄。*选择原因：删除会损失样本，填充引入估计偏差。选择取决于缺失比例、年龄重要性及数据分布特征。使用中位数对异常值不敏感。按分层填充更精确但更复杂。B.问题：“注册时间”字段格式不统一。*方法：使用Python的Pandas库或类似工具的日期时间解析函数（如to_datetime），指定或自动识别多种常见格式，将所有“注册时间”统一转换为标准的日期时间格式（如Python的datetime类型或Pandas的Timestamp类型）。*选择原因：统一数据格式是进行时间序列分析、计算用户注册时长、进行时间分组统计等操作的基础，也是数据规范化的要求。C.问题：“城市”字段存在拼写错误或缩写。*方法：使用文本清洗和标准化技术。首先统一大小写（如转换为全小写）。然后，创建一个标准城市名称映射表（字典），将各种拼写、缩写、简称映射到统一的标准名称（如“Beijing”、“BJ”、“北京”都映射到“Beijing”）。可以使用字符串匹配（如FuzzyWuzzy库）或规则进行转换。对于无法匹配的，可以保留原值或标记为“未知”。*选择原因：城市名称的不一致会阻碍基于地理位置的分析（如用户地域分布、城市间关系）。统一名称是进行准确分类和聚合统计的前提