大数据清洗分析技师考试试卷及答案

大数据清洗分析技师考试试卷及答案一、填空题（共10题，每题1分）1.大数据清洗的基本步骤包括数据审计、________、数据转换、数据验证等。2.处理缺失值的常用方法有填充、删除和________。3.Hadoop生态中用于数据清洗的工具主要有Hive和________。4.数据质量的核心维度包括准确性、完整性、一致性、________和及时性。5.重复数据的识别通常基于________或哈希值匹配。6.用于文本数据清洗的常见操作有分词、去噪和________。7.Spark中用于数据清洗的核心算子有filter、dropDuplicates和________。8.数据脱敏的常用方法包括替换、屏蔽和________。9.大数据清洗中，“脏数据”主要包括缺失值、重复值、________和异常值。10.用于结构化数据清洗的Python库主要有Pandas和________。二、单项选择题（共10题，每题2分）1.以下哪项不属于大数据清洗的核心工具？（）A.SparkSQLB.HiveC.MySQLD.Pig2.处理数值型缺失值时，最常用的填充方法是（）A.均值填充B.随机填充C.空字符串填充D.固定值填充3.以下哪种方法适合识别重复记录？（）A.基于单字段匹配B.基于复合关键字匹配C.基于随机数匹配D.基于空值匹配4.Spark中删除重复行的算子是（）A.filterB.dropDuplicatesC.distinctD.groupBy5.以下哪项属于数据质量的“一致性”维度？（）A.数据值在不同系统中一致B.数据值准确C.数据无缺失D.数据及时更新6.用于非结构化文本清洗的操作不包括（）A.去标点B.分词C.数据类型转换D.去停用词7.Hive中用于删除重复数据的语句是（）A.DELETEDISTINCTB.INSERTDISTINCTC.SELECTDISTINCTD.DROPDUPLICATES8.以下哪种异常值检测方法属于统计方法？（）A.Z-score法B.可视化法C.规则法D.人工检测法9.数据脱敏中，“替换”方法的作用是（）A.隐藏部分数据B.用虚假数据替换真实数据C.加密数据D.删除数据10.Pandas中填充缺失值的方法是（）A.fillna()B.dropna()C.replace()D.drop_duplicates()三、多项选择题（共10题，每题2分）1.大数据清洗的主要目标包括（）A.提高数据质量B.降低数据存储成本C.提升分析效率D.确保数据安全E.增加数据量2.处理缺失值的常用策略有（）A.填充均值B.删除缺失行C.插值法D.填充中位数E.填充随机值3.以下属于Spark中数据清洗算子的有（）A.filter()B.dropDuplicates()C.fillna()D.distinct()E.join()4.数据质量的核心维度包括（）A.准确性B.完整性C.一致性D.有效性E.及时性5.大数据清洗的常见工具组合有（）A.Spark+PandasB.Hive+PigC.MySQL+ExcelD.Flink+SQLE.Hadoop+SparkSQL6.识别异常值的方法有（）A.Z-score法B.箱线图法C.3σ原则D.聚类法E.人工标注法7.数据脱敏的常用方法包括（）A.替换B.屏蔽C.加密D.泛化E.删除8.以下属于“脏数据”类型的有（）A.缺失值B.重复值C.不一致值D.异常值E.正确值9.Pandas中用于数据清洗的操作有（）A.dropna()B.fillna()C.drop_duplicates()D.replace()E.merge()10.大数据清洗步骤中，“数据审计”的主要内容包括（）A.检查缺失值B.检查重复值C.检查异常值D.检查数据格式E.生成清洗报告四、判断题（共10题，每题2分）1.大数据清洗的第一步是数据转换。（）2.均值填充只适用于数值型缺失值。（）3.Spark中的distinct()算子只能删除完全相同的行。（）4.数据质量的“有效性”指数据符合业务规则。（）5.Pandas的dropna()方法会删除所有包含缺失值的行。（）6.Hive中可以通过SELECTDISTINCT删除重复数据。（）7.箱线图法适合检测数值型异常值。（）8.数据脱敏的目的是保护隐私，不影响数据分析结果。（）9.重复数据识别只能基于单关键字段。（）10.大数据清洗中，异常值必须全部删除。（）五、简答题（共4题，每题5分）1.简述大数据清洗的基本步骤。2.处理缺失值有哪些常用方法？分别适用于什么场景？3.简述SparkSQL在大数据清洗中的应用场景。4.什么是数据脱敏？常用方法有哪些？六、讨论题（共2题，每题5分）1.如何平衡大数据清洗的效率与数据质量？2.针对电商用户行为数据中的异常值（如单次浏览时间超过10小时），你会如何处理？---一、填空题答案1.数据清洗2.插值3.SparkSQL4.有效性5.关键字段6.标准化7.fillna8.加密9.不一致值10.NumPy二、单项选择题答案1.C2.A3.B4.B5.A6.C7.C8.A9.B10.A三、多项选择题答案1.ABC2.ABCD3.ABCD4.ABCDE5.ABDE6.ABCD7.ABCD8.ABCD9.ABCD10.ABCD四、判断题答案1.×2.√3.√4.√5.×6.√7.√8.×9.×10.×五、简答题答案1.大数据清洗主要包括5个步骤：①数据审计：检查缺失、重复、异常等问题，生成质量报告；②数据定义：明确清洗规则（如缺失值填充标准）；③数据清洗：处理不同脏数据（填充缺失、去重、修正异常）；④数据转换：转换为分析格式（类型转换、标准化）；⑤数据验证：验证清洗后数据符合质量要求，输出可用数据。2.常用方法及场景：①删除法：缺失比例<5%时，删除含缺失的行/列；②填充法：数值型用均值/中位数（避免异常），类别型用众数，适用于5%-20%缺失；③插值法：时间序列等有序数据用线性插值；④模型法：缺失比例高、特征关联强时，用回归模型预测缺失值。3.SparkSQL适用于结构化/半结构化数据清洗：①重复去重（DISTINCT/dropDuplicates）；②缺失处理（fillna/dropna）；③数据过滤（filter）；④格式转换（类型转换、字段提取）；⑤多表关联（join）；⑥性能优势：内存计算适合TB级数据，SQL语法易上手。4.数据脱敏是将敏感数据转换为不敏感但保留业务价值的数据，保护隐私。常用方法：①替换：用虚假数据替换真实敏感数据；②屏蔽：隐藏部分字符（如手机号“1381234”）；③泛化：抽象数据（如年龄“20-30岁”）；④加密：用算法转换数据；⑤打乱：随机排列数据顺序。六、讨论题答案1.平衡效率与质量需：①规划优先级：先处理缺失/重复，再处理异常，避免过度清洗；②工具选型：用Spark/Flink分布式工具提升效率；③规则优化：制定合理阈值（如缺失>30%删除）；④抽样验证：及时调整规则；⑤自动化调度：用Ai