数据质量中心的设计与实现

大数据时代的数据质量保障--数据质量中心的设计与实现yuwen.xm@阿里巴巴-CDO数据平台事业部雨玟数据质量中心的设计与实现全文共32页，当前为第1页。主要内容大数据时代的质量难题数据质量中心架构设计数据质量中心的实践数据质量中心的设计与实现全文共32页，当前为第2页。

阿里的数据中心CDO数据质量中心的设计与实现全文共32页，当前为第3页。数据质量中心的设计与实现全文共32页，当前为第4页。

大数据时代的质量难题数据质量中心的设计与实现全文共32页，当前为第5页。质量难题在数据处理流程中在那一部分数据出问题，不知道？不同系统间数据流通，是否有损失？表记录数据波动，与上期同比波动或与固定数据一致性比较是否正常？字段平均值字段最大值字段最小值字段汇总值字段空值个数字段重复值个数离散值带业务过滤条件的数据波动，精确监控难数据校验方法多样性难，平均值？方差？周期性？固定值？字段的唯一值个数数据质量中心的设计与实现全文共32页，当前为第6页。质量保证历程数据质量中心的设计与实现全文共32页，当前为第7页。

数据质量中心架构设计数据质量中心的设计与实现全文共32页，当前为第8页。数据质量中心--DataQualityCenter（DQC）产品介绍数据质量中心的设计与实现全文共32页，当前为第9页。整体设计—核心内容数据监控数据清洗数据度量数据质量中心的设计与实现全文共32页，当前为第10页。交互产品DQC离线计算平台元数据云调度告警数据通道数据质量中心的设计与实现全文共32页，当前为第11页。数据质量DBGATEWAYS… 数据传输通道/离线处理

平台

DQCHOOK DQCEXECUTOR 数据质量WEB服务

数据质量服务DQCENGINE DQC规则中心DQC质量校验中心DQC任务POOL DQC报警模块

多级容错机制DQC规则同步工具DQC样本对比工具DQC告警对比工具DQC规则/模板配置DQC项目级管理DQC报告展现任务及质量展现离线处理调度系统

整体设计—架构示图数据质量中心的设计与实现全文共32页，当前为第12页。整体设计—报警分级红色报警Red橙色报警Orange数据质量中心的设计与实现全文共32页，当前为第13页。整体设计—规则分级blockRulecheckalertweak……数据质量中心的设计与实现全文共32页，当前为第14页。整体设计—阻塞逻辑Redblock下游任务阻塞数据质量中心的设计与实现全文共32页，当前为第15页。HiveHDFS其他离线处理平台多种数据传输通道多种数据库存储ShellMR应用之前数据质量中心的设计与实现全文共32页，当前为第16页。HiveHDFSShellMRDQC应用之后其他离线处理平台多种数据传输通道多种数据库存储数据质量中心的设计与实现全文共32页，当前为第17页。

DQC在数据生态链中的位置数据质量中心的设计与实现全文共32页，当前为第18页。整体设计—Y轴DB1DB2DB3S1DWS2OLAPOLAPS3report数据传输实时传输businessbusinessS4数据传输数据质量中心的设计与实现全文共32页，当前为第19页。整体设计—X轴DW数据传输DB1时间维度DT：数据传输通道数据质量中心的设计与实现全文共32页，当前为第20页。

数据质量中心的实践数据质量中心的设计与实现全文共32页，当前为第21页。示例举例1某应用源数据s*表，发现“当日旺旺在线时长”有>24小时的情况On_line_time>24hRULEDataRunGetODPSDataDataResultsCheck数据质量中心的设计与实现全文共32页，当前为第22页。示例举例2某应用订单交易明细表的订单总金额相比昨天波动-98.6%Sum(amount)RULEDataRunGetODPSDataDataResultsCheckHistoricalsamples数据质量中心的设计与实现全文共32页，当前为第23页。示例举例3某日志统计r*表，发现存在pv=0而uv>0的数据Count(*)>0pv=0uv>0RULEDataRunDataResultsCheck方法1：如举例1图方法2：如举例3图数据质量中心的设计与实现全文共32页，当前为第24页。DQC淘宝天猫一淘支付宝ICBU阿里金融阿里云CBUCDO聚划算应用情况数据质量中心的设计与实现全文共32页，当前为第25页。应用情况数据质量中心的设计与实现全文共32页，当前为第26页。应用优点智能阈值算法体系多级容错、缓存校验规则与生产任务异步模板规则灵活，可扩展校验，预警分级别ODPS紧密结合的数据采集器独立计算，不耗生产slots数据质量中心的设计与实现全文共32页，当前为第27页。DQC后续发展支付宝ICBU淘宝天猫一淘阿里金融阿里云CBUCDO聚划算数据质量中心的设计与实现全文共32页，当前为第28页。HiveHDFSShellMRDQC后续发展其他离线处理平台多种数据传输通道多种数据库存储数据质量中心的设计与实现全文共32页，当前为第29页。后续发展智能阈值算法体系可热插拔的规则与