数据质量管理 (2)ppt课件.ppt

数据质量管理解决方案 1 目录 数据质量管理概述数据质量问题解决之道数据质量管理产品简介产品实施案例及场景分享 2 数据质量管理概述 数据质量问题域 3 全领域的导致数据质量问题的原因识别 数据质量问题 信息问题域 技术问题域 管理问题域 流程问题域 唯一性 一致性 完整性 度量 合法性 准确性 业务系统数据变化周期 变化频度 实体数据刷新周期 技术元数据 业务元数据 元数据 数据创建延迟 默认值使用不当 数据校验规则不当 数据创建 取数时点不同步 数据源不当 接口数据获取过程中失真 数据获取 展示方式 展示工具 展示周期 数据使用 维护验证机制 数据存储能力 数据备份恢复 数据维护 人为调整数据 及时性 数据传递 网络传输过程不可靠 传输技术 文件传输方式出错 数据清洗算法 数据装载 数据加载算法 数据转换算法 调度机制 硬件平台 平台孤岛 软件平台 安全管理 错误数据维护流程 数据测试流程 变更维护流程 数据维护 人为调整数据流程 数据使用 数据创建 数据转换流程 数据加载流程 调度流程 数据装载 数据清洗流程 稽核流程 稽核传递 奖惩制度执行 奖惩制度 反馈机制 激励 反馈渠道 培训资金 培训内容 培训计划 培训 培训制度 目标 工作优先级 责任人 管理 责任心 培训时间 优先级高 优先级中 优先级低 4 数据质量管理概述 数据质量度量规则 完整性 唯一性 一致性 精确性 合法性 及时性 主要包括实体不缺失 属性不缺失 记录不缺失和字段值不缺失四个方面 指主键唯一和候选键唯一两个方面 指统一数据来源 统一存储和统一数据口径 指计量误差 度量单位等方面的精确程度 主要包括格式 类型和业务规则的有效性 指数据刷新 修改和提取等操作的及时性和快速性 5 阶段1初始级 每个系统都是分离的数据管理非标准的独立的数据管理 企业集成数据管理标准化元数据管理 阶段2定义级 阶段3管理级 阶段4优化级 通过数据库进行数据管理 通过模型管理进行数据管理 通过元数据进行数据管理 通过企业标准数据架构进行数据管理 数据质量管理产品简介 数据质量成熟度模型 6 目录 数据质量管理概述数据质量问题解决之道数据质量管理产品简介产品实施案例及场景分享 7 数据质量管理策略数据质量管理方法论数据质量管理关键点 数据质量问题解决之道 8 管理策略 质量检核运行 质量问题报警 质量问题分析 问题管理流程 数据质量指标 数据质量 数据质量管理概述 数据质量管理策略 9 1 定义业务需求和方法 2 分析信息环境 3 评估数据质量 5 识别根本原因 6 制定提升方案 7 预防未来数据错误 10 沟通行动和结果 4 评估业务影响 8 发现及纠正当前数据错误 9 实施监督控制 评估 认知 行动 数据质量提升周期 10步流程 数据质量管理方法论 10 数据质量管理关键点 制定规范的数据质量度量标准建立有效的数据质量监管体系建立完善的数据质量管理制度高质量的数据来源于数据标准 数据分析 检验以及管理制度的综合作用 11 11 场景分析 唯一性校验 存在问题某ODS系统中 对私客户主题中的客户信息不允许重复 客户身份证号字段可以作为客户唯一的标识 为了保证系统中客户信息的正确 需要对系统中客户基本信息表增加唯一性校验 解决方案数据质量管理系统中提供了规范的唯一性校验规则来检核系统中数据唯一性问题 通过对系统中某个表中的一个或者多个联合字段进行唯一检查 得到该表中不唯一记录的数量及记录显示字段明细 12 场景分析 一致性校验 存在问题某ODS系统中 发现ETL过程后对公活期表在ODM层与FDM层的记录数不一致 为保证系统ETL过程运行正确 需要对系统中对公活期表数据由ODM层至FDM层过程增加一致性校验 解决方案数据质量管理系统中提供了规范的一致性校验规则来检核系统中ETL过程中数据记录数不一致的问题 通过对系统ODM层及FDM层对公活期表主键增加一致性COUNT校验规则 得到ODM层与FDM层不一致记录数 13 场景分析 主外键校验 存在问题某ODS系统中 对公客户财务信息表中存在出资币种 注册资本币别等币种描述信息 其信息来自系统中的币种代码表 为了保证系统中对应关系的正确 需要对系统中对公客户财务信息表与币种代码表关联关系进行主外键校验 解决方案数据质量管理系统中提供了规范的主外键校验规则来检核系统中数据关联关系不对应的问题 通过对系统中主表定义主外键校验规则并关联对应外键字段的附表及字段 得到系统关系中不对应的问题数量及主表中的问题记录显示字段明细 14 场景分析 拉链表交叉链 断链校验 存在问题某ODS系统中 为保证拉链表数据结构正确 需要对表增加拉链表交叉链和断链校验 解决方案为进行系统中拉链表交叉链 断链检验 数据质量系统提供自定义校验规则进行检测 通对表定义自定义查询语句 得到存在交叉链 断链的记录数 15 产品实施案例及场景分享 场景分析 业务平衡性校验 存在问题某ODS系统中 发现ETL过程后存在FDM层总账科目余额与SDM层明细科目汇总余额不一致 为保证系统业务规则运行正确 需要在系统增加相关业务的平衡校验 解决方案为进行系统业务的平衡性校验 可使用数据质量系统中一致性校验规则进行检测 通过对FDM层总账科目余额与SDM层明细科目汇总余额字段设置一致性SUM校验规则 得到过程中数据差额 16 目录 数据质量管理概述数据质量问题解决之道数据质量管理产品简介产品实施案例及场景分享 17 数据质量管理产品特性数据质量产品价值数据质量产品逻辑架构数据质量产品技术架构数据质量产品功能简介 数据质量管理产品简介 18 数据质量管理产品特性 基于元数据的知识库共享设计灵活的检核模块的配置 支持灵活扩展支持检核主流数据库系统提供丰富的系统接口较强的检核问题与知识库管理丰富的前端界面展现 系统前端采用Ajax Flex技术 能够灵活的展现分析图表及血缘 影响关系 19 数据质量管理产品价值 1 2 3 4 5 规范的问题管理流程及制度 精确管理问题每个阶段 提供全面的数据分析机制 加速问题解决 完善的质量问题解决共享机制 实现数据质量的闭环管理 自动化的检核处理及问题通知机制 达到无人职守 完整检核标准梳理方法及指标规则模板 价值 20 数据质量产品逻辑架构 二次开发 权限集成 数据访问 应用 接口 存储 规则库 检核结果库 知识库 数据质量分析 问题处理率 数据质量报告 系统管理 权限管理 系统参数 系统日志 密码维护 系统配置 单指标趋势分析 功能 唯一性检核 代码检核 非空检核 业务指标检核 检核指标管理 检核问题管理 手工问题管理 问题通知 问题管理 值域检核 指标自动调度 指标手工调度 检核调度执行 检核执行 数据质量问题定位 单表数据分析 运行状态库 21 数据质量产品技术架构 22 展现层 逻辑层 Flash JavaScript Ajax 持久层 数据库 Hibernate JDBC iBATIS JSP HTML JSF Jason XML HTML 技术组件层 EXCEL组件 XML组件 邮件组件 日志组件 文件传输组件 语法分析引擎 业务组件层 数据检核 数据采集 数据分析 业务应用层 数据标准业务应用 元数据业务应用 数据质量业务应用 接口服务层 数据质量管理功能简介 数据质量产品功能 23 数据质量产品功能简介 处理数据质量问题流程 确定规则 数据质量指标发现问题 数据质量检核提出问题 质量问题告警解决问题 质量问题分析归纳问题 问题管理流程 24 数据质量产品功能简介 数据质量检核指标 数据质量系统依照数据质量的八大要素量规范了6种数据质量问题的检核规则 其中包括 非空检查 唯一检查 主外检查 长度检查 代码检查以及一致性检查数据质量系统支持自定义规则对系统中业务性规则进行检核 25 检核指标管理 检核指标管理提供唯一检查 非空检查 外键检查 代码检查 长度检查 值域检查 一致性检查 自定义检查等检核指标的管理及综合查询功能主要包括以下部分 指标设置按不同入口下设 表级指标 提供从检核目标 表及字段 定义 查询 修改 删除检核指标系统指标 提供从指标分类入口定义 查询 修改 删除检核指标综合查询提供按各种不同条件查询所有未删除指标 26 检核指标管理 指标定义主要功能 基本信息 提供指标名 指标说明 执行频率 调度方式等信息输入等功能检核目标 提供指标的检核目标 管理部门 自定义SQL等操作等功能指标修改功能 提供指标基本信息 管理部门等的日常维护功能删除指标删除不再需要的指标 27 检核指标管理技术指标 表级指标 28 检核指标管理技术指标 表级指标 完整性指标 基本信息 29 检核指标管理技术指标 表级指标 完整性指标 检核目标 30 检核指标管理技术指标 检核目标 添加管理部门 31 检核指标管理技术指标 系统指标 32 检核指标管理技术指标 系统指标 新增指标 选择检核表 33 检核指标管理技术指标 系统指标 新增指标 输入SQL条件 34 检核指标管理技术指标 系统指标 正确性指标 一致性指标 35 检核指标管理技术指标 系统指标 正确性指标 代码指标 36 检核指标管理技术指标 系统指标 正确性指标 格式指标 37 检核指标管理技术指标 系统指标 正确性指标 值域指标 38 检核指标管理技术指标 系统指标 完整性指标 外键指标 39 数据质量产品功能简介 数据质量检核 数据质量检核是对源系统中存在的数据质量问题进行检查的过程 通过系统自动 手动方式发现系统中存在的数据质量问题 40 数据质量产品功能简介 数据质量检核 41 数据质量产品功能简介 质量问题告警 质量问题告警是系统提高了数据质量问题的时效性以及数据管理人员对问题数据的响应速度 42 数据质量产品功能简介 质量问题分析 质量问题分析通过图形 图表界面 快速定位问题产生的原因以及历史趋势 为数据管理人员解决数据质量问题提供辅助 43 数据质量产品功能简介 问题管理流程 系统规范了检核问题的处理流程 通过流程的处理对系统中已解决的数据质量问题进行整理 44 问题管理 系统提供检核问题管理管理 分别提供对检核问题管理与手工问题管理 并对检核问题提供血统分析 影响分析 查看明细 导出功能与流程化管理 功能主要包括以下部分 检核问题管理 提供对检核出的问题的流程化管理 并可查看检核问题的明细信息 血统分析 影响分析等手工问题管理 提供对手工提出的问题的流程化管理 45 检核问题管理 检核问题列表 46 46 检核问题管理 问题明细列表 47 47 检核问题管理 转入知识库 48 48 检核问题管理 血统分析 49 49 数据质量分析 系统提供对数据质量检核出的结果进行的数据分布式分析 包括查询指标 查看趋势分析视图及下载质量报告等功能功能主要包括以下部分 指标趋势分析 提供对单指标所检核出的结果进行数据