元数据管理与数据质量监控

1、元数据管理 & 数据质量监控北京瑞斯泰得数据技术开发有限公司Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385项目背景Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385功能概览Beijing Stats Data Mining Co. Ltd.Beijing (8610)

2、51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385pServerpApplicationpftpptelnetp p

3、指标p维度p纬表p字典基本表p字典数据表 p数据库p表p视图物化视图p存储过程p字段p pETLp报表p数据接口p接口文件 元数据的类型Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-数据库元数据 基本操作

4、 增、删、改、查 加入到“个人文件夹” 加入到“公共文件夹” 表 存在性实时查询 字段备注查询 字段备注保存 表数据预览 影响分析 血统分析Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-管理型元数据 基本操作 编辑

5、、删除 加入到“个人文件夹” 加入到“公共文件夹” 工作桌面支持 自动登录netterm 自动登录plsqlBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-业务元数据 增加步骤 添加对象类别，例如：“统计周期” 添加

6、对象属性类别，例如：“字符型” 添加对象属性，例如：“描述” 新增一个具体的元数据，例如：“月”Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-数据字典 基本操作 浏览 增加 编辑 删除Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-SQL脚本元数据

7、基本操作 编辑 删除 工作桌面支持 用UltraEdit 打开脚本文件和日志文件Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385血统分析 功能描述：通过对元数据关系的回溯，以图形方式展现指定元数据的数据血统和加工过程。 作用：通过该功能，业务人员可以清楚的了解指标等关键数据的来龙去脉。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)5306

8、0345 Guangzhou (8620)38240385影响分析 功能描述：通过分析元数据之间的关系，以图形方式直观展现指定实体对全局的影响，如某数据库表的变更将影响到哪些ETL、数据库表等。 作用：通过影响分析，技术人员可掌握各程序、数据之间的关系和相互影响，更好确定系统变更所涉及的范围，避免遗漏和误操作，从而降低维护人员的工作量和出错的机率。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量六大评估标准哪些数据是以非标准格

9、式存储的？哪些数据值提供了冲突信息？哪些数据不能正确描述对象的属性或已经过期？那些数据根本就不存在？关键数据是否及时传送到目标应用？哪些数据记录时重复的记录？Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监

10、控-质量点监控 功能描述监控某个生产流程环节，查看该环节的质量指标是否符合要求。 作用保证数据在生产过程的某个生产环节的正确性和一致性。 规则维护 定义SQL 告警条件 任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 数据集维护 规则维护 标准探测 模式探测 分布探测 日期探测 任务调度数据质量监控-数据剖析Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Sh

11、anghai (8621)53060345 Guangzhou (8620)38240385p探测出检查对象的数据模式，方便做数据分析，并能根据探出的数据模式自动生成数据规则表达式，产生数据校验规则。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控-数据指标 数据集维护 规则维护 统计周期 度量设定 告警条件 任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722

12、052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控-表空间监控 功能描述监控数据库表空间使用量是否超过指定的限额或百分比。 作用提前获得表空间不足的信息，以便及时处理，防止由于空间不足引起的异常发生。 告警条件 可用空间小于N兆 使用率超过M% 告警责任人 任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co.

13、 Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385表空间监控结果表空间监控结果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控-表监控 表选择 任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guang

14、zhou (8620)38240385数据质量监控-SQL脚本监控 告警条件错误关键字、过滤关键字 超时设置超时时长 任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任务调度中心Beijing Stats Data Mi

15、ning Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 任务中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 日志中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)3824

16、0385系统管理Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385工作区Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing S