2026年大数据分析数据质量试卷及答案

2026年大数据分析数据质量试卷及答案1.单选题（每题2分，共20分）1.1在数据质量维度体系中，被ISO8000-8明确列为“核心维度”的是A.一致性 B.唯一性 C.准确性 D.可用性答案：C1.2某电商订单表出现“2025-02-30”作为成交日期，该问题属于A.业务规则冲突 B.参照完整性破坏 C.格式违规 D.精度缺失答案：C1.3使用Python进行缺失值检测时，对10GBCSV文件最快且内存友好的库是A.csv B.pandas.read_csv(chunksize) C.dask.dataframe D.pyarrow.dataset答案：D1.4在数据剖析（profiling）阶段，计算“列中数值分布的熵”主要用来发现A.离群点 B.高频重复值 C.低基数列 D.数据倾斜答案：D1.5主数据管理（MDM）中，用于唯一标识黄金记录的算法最常用的是A.Soundex B.UUID4 C.确定性匹配规则+DUNS编号 D.随机雪花ID答案：C1.6当源系统时间戳字段存在“未来日期”时，首选的清洗策略是A.直接删除整行 B.用当前系统时间覆盖 C.标记为可疑并写入quarantine表 D.触发业务系统回滚答案：C1.7在数据质量评分卡模型中，将“完整性权重”设为0.4，“准确性权重”设为0.6，若两维度得分分别为80、90，则综合得分为A.84 B.85 C.86 D.87答案：C解析：0.4×80+0.6×90=861.8以下哪项不是DataObservabilityPlatform的典型四大支柱A.数据量 B.数据模式 C.数据血缘 D.数据加密答案：D1.9在Hive中，快速统计分区表null值占比应使用的语法是A.SELECTCOUNT()/COUNT(1)WHEREcolISNULLA.SELECTCOUNT()/COUNT(1)WHEREcolISNULLB.SELECTSUM(CASEWHENcolISNULLTHEN1ELSE0END)/COUNT()B.SELECTSUM(CASEWHENcolISNULLTHEN1ELSE0END)/COUNT()C.ANALYZETABLECOMPUTESTATISTICSD.MSCKREPAIRTABLE答案：B1.10关于大数据质量监控SLA，下列描述正确的是A.数据延迟告警阈值必须小于批处理间隔B.数据新鲜度只与上游采集时间有关，与ETL无关C.可接受数据错误率通常用“错误行/总行数”表示D.Schema变更告警属于性能SLA而非质量SLA答案：C2.多选题（每题3分，共30分；多选少选均不得分）2.1以下哪些属于数据质量维度“一致性”的子维度A.格式一致 B.参考一致 C.跨系统一致 D.语义一致答案：A,B,C,D2.2在Hadoop生态中，可用于实时数据质量校验的组件有A.KafkaStreams+SchemaRegistry B.FlinkCEP C.SparkStructuredStreaming D.ApacheAtlas答案：A,B,C2.3关于数据血缘自动解析，正确的有A.可基于SQLAST解析 B.可基于运行时日志 C.可基于静态配置文件 D.可基于列级指纹答案：A,B,C2.4以下哪些做法会降低主数据匹配准确率A.移除停用词 B.过度使用模糊匹配阈值0.85→0.6 C.忽略地址标准化 D.在姓名列使用N-gram3答案：B,C2.5在数据质量修复中，属于“业务补偿”手段的有A.人工客服外呼确认 B.触发ERP单据反审 C.自动补齐默认值 D.发送数据异常工单答案：A,B,D2.6评估数据质量投资回报率（ROI）时，应计入的成本有A.软件许可 B.人员培训 C.宕机损失 D.监管罚款答案：A,B,C,D2.7以下指标适合作为“数据可信度”KPI的有A.数据错误事件关闭时长 B.重复客户主数据占比 C.数据字典覆盖率 D.数据下载次数答案：A,B,C2.8在数据质量监控平台中，使用机器学习异常检测的优点有A.可发现未知模式 B.无需标注样本 C.可处理高维数据 D.可给出可解释性根因答案：A,C2.9关于“数据产品Owner”在质量治理中的职责，正确的有A.定义质量规则 B.审批下游变更 C.承担最终质量责任 D.编写物理表DDL答案：A,B,C2.10以下哪些属于GDPR对数据质量提出的直接要求A.准确性 B.最小化存储 C.可擦除 D.可移植答案：A,B,C,D3.填空题（每空2分，共20分）3.1在数据质量规则引擎中，使用________表达式可表示“列值必须属于某个外部码表范围”。答案：ReferentialConstraint或参照完整性约束3.2在SparkDataFrame中，统计某列null值比例的函数为________。答案：df.filter(col("c").isNull()).count()/df.count()3.3当数据湖采用“medallion架构”时，质量校验通常放在________层完成。答案：Silver3.4数据质量监控的“5W1H”模型中，H指________。答案：How（如何修复）3.5在数据质量维度中，________指同一实体在不同系统中被重复记录的程度。答案：唯一性3.6使用GreatExpectations框架时，通过________命令可自动生成DataDocs。答案：great_expectationsdocsbuild3.7在Hive中，查看表分区内数据大小的元数据命令为________。答案：SHOWTABLEEXTENDEDLIKE'table_name'PARTITION(...)3.8数据质量PDCA循环中，C代表________。答案：Check3.9当发现客户地址字段“省市区”拼接后长度>50，应采用________策略进行标准化。答案：地址切分+映射国家标准行政区划码3.10在数据血缘图谱中，节点通常用________标识唯一数据对象。答案：URN（UniformResourceName）或全局唯一标识符4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1数据质量越高，则数据体积一定越大。答案：×4.2在流处理场景，事件时间乱序不会影响数据质量得分。答案：×4.3数据质量规则一旦发布，不可动态调整。答案：×4.4数据质量监控告警应遵循“分级、去重、可归因”原则。答案：√4.5数据加密强度属于数据质量维度“安全性”而非“可用性”。答案：√4.6在数据仓库中，事实表出现负库存数量属于业务规则违规。答案：√4.7使用MD5对手机号脱敏后，仍可逆向还原原始手机号。答案：×4.8数据质量评分可以采用加权平均，也可采用几何平均。答案：√4.9数据治理委员会与数据质量团队是同一组织。答案：×4.10在DataMesh架构中，域团队对其数据产品质量负全责。答案：√5.简答题（封闭型，每题8分，共24分）5.1简述数据剖析（DataProfiling）三大任务及其输出物。答案：(1)结构剖析：列数、主键、外键、数据类型、长度，输出数据字典；(2)值分布剖析：唯一值、高频值、缺失率、基数，输出频数直方图；(3)关系剖析：列间函数依赖、关联规则，输出依赖图与异常规则清单。5.2说明主数据匹配过程中“模糊阈值”设置过高或过低带来的问题。答案：过高：漏匹配（FalseNegative）增加，同一实体被拆成多条，导致重复营销、库存分散；过低：误匹配（FalsePositive）增加，不同实体被合并，导致发货错误、财务对账差异、客户投诉。5.3列举数据质量修复的四种技术策略并各给一例。答案：(1)自动校正：日期格式“2025/1/9”→“2025-01-09”；(2)默认值填充：缺失性别→“U”（Unknown）；(3)外部参考替换：错误邮编→调用国家邮政API获取标准邮编；(4)记录隔离：将疑似测试数据写入_quarantine表，人工复核后回流。6.简答题（开放型，每题12分，共24分）6.1某金融公司每日从3000个网点同步贷款申请数据到大数据平台，发现“客户月收入”字段异常率持续高于5%。请设计一套闭环质量提升方案，包括规则发现、监控、告警、修复、评估五个环节，并说明关键指标。答案示例：(1)规则发现：利用历史三个月数据训练IsolationForest，结合业务规则（月收入>0且<月薪TOP99.9%分位）生成动态阈值；(2)监控：SparkStructuredStreaming每10分钟计算异常率，写入TSDB；(3)告警：异常率>5%触发P1告警，>8%触发P0并电话通知；(4)修复：自动冻结异常申请流程，调用客户经理APP补录，补录后重新跑评分卡；(5)评估：跟踪补录后30天违约率，若违约率下降>10%，则规则有效，否则回滚。关键指标：异常率、补录率、违约率、客户满意度、SLA达成率。6.2结合DataOps理念，阐述如何在CI/CD流水线中嵌入自动化数据质量测试，并给出GitLabCI示例yaml片段。答案示例：将GreatExpectations测试封装成Docker镜像，在.gitlab-ci.yml中增加stage：data-test；yaml关键片段：```yamldata-test:stage:testimage:ge:latestscript:great_expectationscheckpointrunmy_checkpointonly:merge_requestsartifacts:reports:junit:report.xml```若checkpoint失败则MR无法合并，实现“质量门禁”。7.应用题（计算类，20分）7.1某零售公司“订单表”有1.2亿行，字段order_amount均值为230元，标准差45元。现随机抽样10000行，测得缺失率2.1%，错误金额（负值或>10000元）记录38条。（1）估算全表缺失行数及95%置信区间（t=1.96）；（2）若要求错误率<0.03%，至少需清洗多少条错误记录？（3）假设清洗成本0.8元/行，预算5万元是否足够？答案：（1）缺失行点估计：1.2×10^8×0.021=2.52×10^6；标准误SE=√[0.021×(1-0.021)/10000]=0.00143；区间：0.021±1.96×0.00143→[0.0182,0.0238]；全表区间：[2.18×10^6,2.86×10^6]；（2）当前错误率38/10000=0.38%，目标0.03%，需降低0.35%；需清洗1.2×10^8×0.0035=4.2×10^5行；（3）成本4.2×10^5×0.8=3.36×10^4元<5万元，足够。8.应用题（分析类，20分）8.1某省政务共享平台汇聚公安、社保、税务三张表，均以“身份证号”为主键。发现同一身份证号姓名不一致率1.7%，出生日期不一致率2.4%，地址不一致率6.5%。任务：（1）给出不一致根因分类（至少4类）；（2）设计一套基于置信度的融合策略，输出黄金记录；（3）说明如何评估融合后数据质量提升效果。答案：（1）根因：①录入手误；②更名未同步；③15位升18位规则差异；④系统允许简写地址；⑤时间格式不统一；⑥数据回刷滞后。（2）策略：a.建立数据源可信度权重：公安0.5、税务0.3、社保0.2；b.对姓名、出生日期、地址分别计算字段级置信度，采用加权投票，权重按历史准确率动态调整；c.若最高置信度<0.9，触发人工核验；d.输出黄金记录并保留血缘，写入版本号。（3）评估：①不一致率下降至<0.3%；②下游业务（如失业金发放）因身份错误导致的退票率下降；③通过双人盲审1000条，人工准确率>99%；④计算数据质量ROI：减少退票成本/融合项目成本>2。9.综合案例题（30分）9.1背景：某跨国物流公司每日产生10TB扫描事件数据，采用Kafka→Flink→Iceberg架构。近期欧洲区客户投诉“包裹状态延迟更新”，经初步排查，发现状态码字段异常占比0.5%，事件时间乱序导致状态机断裂。公司决定启动“GlobalDataQualityExcellence”项目，预算120万美元，周期6个月，目标：异常占比<0.05%，端到端延迟<5分钟，客户投诉下降50%。任务：（1）绘制数据质量监控总体架构图（文字描述即可），需包含采集、计算、存储、展示、反馈五层；（2）给出关键质量规则至少6条，并说明实现技术；（3）设计一套多语言数据质量门户的元数据模型，核心表结构（字段级）；（4）制定项目风险清单及应对策略（至少5条）；（5）列出项目成功度量指标（KPI&OKR），并给出计算公式或数据来源。答案：（1）架构描述：采集层：KafkaConnectAgent插桩，输出Avro带Schema；计算层：FlinkCEP作业内嵌Groovy规则引擎，每30秒滚动窗口；存储层：异常事件写Elasticsearch，指标写Prometheus，明细写Icebergquarantine表；展示层：Grafana+自研React门户，支持多语言；反馈层：JIRA工单自动创建，调用Camunda流程，支持API回调源系统重扫。（2）规则示例：①状态码不在标准枚举→FlinkCEP过滤；②事件时间>当前时间+5min→利用NTP时钟校正；③轨迹断链：上一状态“已发货”下一状态不能为“已揽收”→状态机图遍历；④经纬度超出国家边界→PostGIS地理Polygon判断；⑤重量<0或>500kg→规则引擎阈值；⑥重复event_id在10min内出现→Redis去重窗口。（3）元数据模型核心表：```sqldq_rule(rule_idbigint,rule_namevarchar(200),domainvarchar(50),langvarchar(10),description_texttext,sql_templatetext,priorityin