元数据管理与数据质量监控概要课件

1、元数据管理 & 数据质量监控北京瑞斯泰得数据技术开发有限公司元数据管理 & 数据质量监控北京瑞斯泰得数据技术开发有限公司项目背景数据各种各样的数据分散存在影响不确定数据由来不清楚ETLETL之前无法获知数据概况ETL过程中缺乏监控项目背景数据各种各样的数据分散存在影响不确定数据由来不清楚E功能概览元数据管理与数据质量监控平台元数据管理数据库管理业务数据字典报表脚本数据质量监控质量点监控数据剖析数据检查数据对比数据指标数据库监控表监控表空间监控SQL脚本监控结果管理质量点监控数据剖析数据检查数据对比数据指标表空间监控SQL脚本监控任务调度管理任务中心日志中心系统管理元数据维护权限管理工作区个人文

2、件夹公共文件夹功能概览元数据管理与数据质量监控平台元数据管理数据库管理业务元数据管理对各种元数据实施统一管理包括增、删、改、查、预览等操作。数据质量监控基于元数据做各种分析和监控数据：质量点监控、数据剖析，数据检查等数据库：表空间监控、数据库监控、表监控ETL：SQL脚本监控结果管理展示数据质量管理中各种监控和分析的行结果元数据管理对各种元数据实施统一管理包括增、删、改、查、预览任务调度管理展示各类监控或任务状态，可停止、暂停、重启监控和任务展示各种监控或任务执行的日志、结果信息系统管理元数据添加、变化日志、类别、属性、属性类别的维护权限管理：用户及其权限管理工作区个人文件夹：存储个人关注的对

3、象公共文件夹：存储公共对象，达到资源共享任务调度管理展示各类监控或任务状态，可停止、暂停、重启监控和五大类元数据管理型数据库业务操作型VSS文档ServerApplicationftptelnet 指标维度纬表字典基本表字典数据表 数据库表视图物化视图存储过程字段 ETL报表数据接口接口文件 元数据的类型五大类元数据管理型数据库业务操作型VSS文档Server指标元数据管理1.数据库元数据2.管理型元数据3.业务元数据4.数据字典元数据5.脚本元数据元数据管理1.数据库元数据2.管理型元数据3.业务元数据4.元数据管理-数据库元数据基本操作增、删、改、查加入到“个人文件夹”加入到“公共文件夹”

4、表存在性实时查询字段备注查询字段备注保存表数据预览影响分析血统分析元数据管理-数据库元数据基本操作元数据管理与数据质量监控概要课件元数据管理-管理型元数据基本操作编辑、删除加入到“个人文件夹”加入到“公共文件夹”工作桌面支持自动登录netterm自动登录plsql元数据管理-管理型元数据基本操作元数据管理与数据质量监控概要课件元数据管理-业务元数据增加步骤添加对象类别，例如：“统计周期”添加对象属性类别，例如：“字符型”添加对象属性，例如：“描述”新增一个具体的元数据，例如：“月”元数据管理-业务元数据增加步骤元数据管理-数据字典基本操作浏览增加编辑删除元数据管理-数据字典基本操作元数据管理-

5、SQL脚本元数据基本操作编辑删除工作桌面支持用UltraEdit 打开脚本文件和日志文件元数据管理-SQL脚本元数据基本操作血统分析功能描述：通过对元数据关系的回溯，以图形方式展现指定元数据的数据血统和加工过程。作用：通过该功能，业务人员可以清楚的了解指标等关键数据的来龙去脉。血统分析功能描述：通过对元数据关系的回溯，以图形方式展现指定影响分析功能描述：通过分析元数据之间的关系，以图形方式直观展现指定实体对全局的影响，如某数据库表的变更将影响到哪些ETL、数据库表等。作用：通过影响分析，技术人员可掌握各程序、数据之间的关系和相互影响，更好确定系统变更所涉及的范围，避免遗漏和误操作，从而降低维护

6、人员的工作量和出错的机率。影响分析功能描述：通过分析元数据之间的关系，以图形方式直观展数据质量六大评估标准数据质量准确性合规性一致性重复性及时性完备性哪些数据是以非标准格式存储的？哪些数据值提供了冲突信息？哪些数据不能正确描述对象的属性或已经过期？那些数据根本就不存在？关键数据是否及时传送到目标应用？哪些数据记录时重复的记录？数据质量六大评估标准数据质量准确性合规性一致性重复性及时性数据质量监控质量点监控数据剖析数据指标表空间监控表监控SQL脚本监控数据质量监控质量点监控数据剖析数据指标表空间监控表监控SQL数据质量监控-质量点监控功能描述监控某个生产流程环节，查看该环节的质量指标是否符合要求

7、。作用保证数据在生产过程的某个生产环节的正确性和一致性。规则维护定义SQL告警条件任务调度数据质量监控-质量点监控功能描述监控某个生产流程环节，查看数据集维护规则维护标准探测模式探测分布探测日期探测任务调度数据质量监控-数据剖析数据集维护数据质量监控-数据剖析探测出检查对象的数据模式，方便做数据分析，并能根据探出的数据模式自动生成数据规则表达式，产生数据校验规则。探测出检查对象的数据模式，方便做数据分析，并能根据探出的数据数据质量监控-数据指标数据集维护规则维护统计周期度量设定告警条件任务调度数据质量监控-数据指标数据集维护数据质量监控-表空间监控功能描述监控数据库表空间使用量是否超过指定的限

8、额或百分比。作用提前获得表空间不足的信息，以便及时处理，防止由于空间不足引起的异常发生。告警条件可用空间小于N兆使用率超过M%告警责任人任务调度数据质量监控-表空间监控功能描述监控数据库表空间使用量是否元数据管理与数据质量监控概要课件表空间监控结果表空间监控结果数据质量监控-表监控表选择任务调度数据质量监控-表监控表选择数据质量监控-SQL脚本监控告警条件错误关键字、过滤关键字超时设置超时时长任务调度数据质量监控-SQL脚本监控告警条件错误关键字、过滤关键字元数据管理与数据质量监控概要课件任务调度中心任务中心浏览任务暂停任务重启任务删除任务日志中心结果信息调度日志调度成功调度失败正在运行任务调度中心任务中心浏览任务暂停任务重启任务删除任务日志中心任务中心任务中心日志中心日志中心系统管理元数据管理查看、搜索元数据变化日志元数据对象类别维护元数据对象属性类型维护元数据对象属性维护权限管理用户所拥有的角色维护系统管理元数据管理查看、搜索元数据变化日志元数据对象类别维护元数据管理与数据质量监控概要课件工作区个人文件夹目录维护：增、删、改浏览、删除被创建的对象公共文件夹目录维护：增、删、改浏览、删