（计算机软件与理论专业论文）电信企业ods中元数据管理的设计与实现.pdf

南京邮电大学硕士研究生学位论文中文摘要 中文摘要 本文是在贵州电信o d s 系统平台工程的基础上完成的，根据本工程以及其他系统的实 施经验，决定o d s 成败的关键技术要素有三点：数据模型、数据质量控制、元数据管理。 本文结合贵州电信o d s 系统平台工程中元数据管理，阐述了本人所参与的设计和实现工 作，该工作对元数据管理在实际应用中如何有效地“落地 有可借鉴的作用。 首先，本文回顾了元数据技术和元数据管理技术的发展历程，介绍了各个阶段元数据 及其管理技术的特点，分析了元数据管理的现状，研究了元数据管理技术的基本原理。然 后详细介绍了目前中国电信集团正在计划实施的电信企业o d s 系统的结构和特点，详尽分 析了o d s 将面临的问题。 在上述的基础上，根据电信企业o d s 系统元数据的特点，提出了一个五层结构、采用 业务性元数据与技术性元数据相分离技术的元数据管理系统，并阐述了该元数据管理系统 的结构特点和功能特点，然后提出了元数据管理的设计原则，分析了元数据模型中涉及到 的实体。 最后，针对该元数据管理系统的特点提出了详细设计，阐明了该管理系统的解决方案。 该管理系统对电信企业o d s 系统的元数据进行了有效的管理，简化了o d s 系统的维护，提 高了0 d s 系统的工作效率，为o d s 进行数据质量管理提供数据依据。 关键词：元数据管理，o d s ，数据质量管理 南京邮电大学硕士研究生学位论文 a b s t r a c t t h i sa r t i c l ei sw r i t t e no nt h eb a s i so ft h eo d ss y s t e mp l a t f o r mp r o j e c to fg u i z h o ut e l e c o m a c c o r d i n gt op r a c t i c a le x p e d e n c eo ft h i sp r o j e c ta n do t h e rs y s t e m s ，t h et h r e ek e yt e c h n i c a l e l e m e n t sd e t e r m i n i n gt h es u c c e s so fo d ss y s t e mi n c l u d e ：d a t am o d e l ，d a t aq u a l i t ym a n a g e m e n t ， m e t a d a t am a n a g e m e n t c o m b i n i n gm e t a d a t am a n a g e m e n to ft h eo d s s y s t e mp l a t f o r mp r o j e c to f g u i z h o ut e l e c o m ，t h i sa r t i c l ee x p l a i n st h ed e s i g na n di m p l e m e n t a t i o nw o r k sw h i c ht h ea u t h o r h a sp a r t i c i p a t e di n , a n dh o wt h e s ew o r k se f f e c t i v e l yh e l pt oi m p l e m e n tm e t a d a t am a n a g e m e n ti n p r a c t i c a la p p l i c a t i o n s f i r s t l y , t h i sa r t i c l er e v i e w st h eh i s t o r yo fm e t a d a t at e c h n o l o g ya n dt h ed e v e l o p m e n th i s t o r y o fm e t a d a t am a n a g e m e n t ，i n t r o d u c e st h ef e a t u r e so fm e t a d a t aa n dm e t a d a t am a n a g e m e n ti ne a c h p h a s e ，a n a l y s e st h ec u r r e n ts i t u a t i o no f m e t a d a t am a n a g e m e n t ，a n ds t u d i e st h eb a s i cp r i n c i p l e so f m e t a d a t am a n a g e m e n tt e c h n o l o g y t h e nt h ea r t i c l ei n t r o d u c e si nd e t a i lt h es t r u c t u r ea n df e a t u r e s o ft e l e c o me n t e r p r i s eo d s s y s t e mw h i c hi sc u r r e n t l yp l a n n e dt oi m p l e m e n t e db yc h i n at e l e c o m ， a n a l y s e st h ep r o b l e m sw h i c ht h eo d ss y s t e ms h a l le n c o u n t e r , a n dp u t sf o r w a r das o l u t i o no f o d sm e t a d a t am a n a g e m e n ts y s t e m o nt h eb a s i so ft h ea b o v e ，a c c o r d i n gt om e t a d a t a sc h a r a c t e r i s t i c so ft e l e c o me n t e r p r i s eo d s s y s t e m ，t h ea r t i c l ep u t sf o r w a r da5 - l a y e r ss t r u c t u r a lm e t a d a t am a n a g e m e n ts y s t e mw h i c ha d o p t s t h et e c h n o l o g yo fs e p a r a t i n gt r a n s a c t i o n a lm e t a d a t aw i t ht e c h n i c a lm e t a d a t a , a n da n a l y s e st h e s t r u c t u r a la n df u n c t i o n a lf e a t u r e so ft h i sm e t a d a t am a n a g e m e n ts y s t e m ，t h e np u t sf o r w a r dt h e d e s i g np r i n c i p l eo fm e t a d a t am a n a g e m e n ts y s t e ma n da n a l y s e st h ee n t r i e si n v o l v e di nt h e m e t a d a t am o d e l f i n a l l y , f o c u s i n go nt h ef e a t u r e so ft h i sm e t a d a t am a n a g e m e n ts y s t e m ，t h ea r t i c l ep u t s f o r w a r dad e t a i ld e s i g na n da n a l y s e st h es o l u t i o nt ot h i sm a n a g e m e n ts y s t e m t h i sm a n a g e m e n t s y s t e ms h a l le f f e c t i v e l ym a n a g em e t a d a t ao ft h et e l e c o me n t e r p r i s eo d ss y s t e m ，s i m p l i f yt h e m a i n t e n a n c eo fo d ss y s t e m ，a n de n h a n c et h ew o r k i n ge f f i c i e n c yo fo d ss y s t e m ，p r o v i d ed a t a e v i d e n c ef o rd a t aq u a l i t ym a n a g e m e n to fo d s k e y w o r d s ： m e t a d a t am a n a g e m e n t , o d s ，d a t aq u a l i t ym a n a g e m e n t i i 南京邮电大学硕士研究生学位论文缩略词 缩略词 缩略词英文全称译文 o d so p e r a tio n a ld a t as t o r e操作型数据存储 e t l e x t r a c t i o n t r a n s f o r m a t i o n - l o a d i n g 数据抽取、转换和加载 c w mc o m m o nw a r e h o u s em o d e l公共仓库模型 d b m sd a t a b a s em a n a g es y s t e m数据库管理系统 1 d cm e t ad a t ac o a l i t i o n元数据联盟 o i m o p e ni n f o r m a t i o nm o d e l开放信息模型 o m go b j e c tm a n a g e m e n tg r o u p对象管理组织 i 沮 u n i v e r s a lm o d e li n gl a n g u a g e统一建模语言 e d w e n t e r p r i s ed a t aw a r e h o u s e企业数据仓库 e 舡 e n t e r p r i s ea p p l i c a t i o ni n t e g r a t i o n企业应用集成 o l t p o n l i n et r a n s a c t i o np r o c e s s i n g联机事务处理系统 s m s h a r e di n f o r m a t i o nd a t a共享信息模型 x x m lm e t a d a t ai n t e r c h a n g ex 2 v i l 元数据接口 m o f m e t ao b j e c tf a c il i t y元对象 4 9 南京邮电大学硕士研究生学位论文图表清单 图表清单 图2 1 元数据概念的发展时间线5 图2 - 2c w m 结构图9 图2 - 3o d s 体系架构图1 7 图3 - 1o d s 系统元数据管理框架图2 1 图3 - 2o d s 系统元数据功能框架图2 2 图3 - 3 元数据对象及关系图2 8 图3 - 4 元数据对象及关系图2 9 图3 - 5 规则库及参数定义图3 0 图3 - 6 调度流程图3 0 图3 - 7 问题处理流程图3 1 图3 - 8 数据质量审核对象及源系统关系图3 1 图3 - 9 评估指标图3 2 图4 1 元数据管理信息地图4 4 图4 2 元数据管理信息地图4 5 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 对于被选中的o d s 元数据( 主题元数据) ，显示当前主题的详细信息，如：数 据源名称、编号、更新时间、描述信息、数据库名、数据库类型、用户名、 归属用户、服务器名、服务器属性等等 对于被选中的o d s 元数据( 主题元数据) ，列出该主题的所有相关的表，并显 示其详细信息，如：表名、模式名、描述等 对于被选中的表，显示表中包含的所有字段的详细信息：字段名、字段类型、 字段长度、精度等等 对于被选中的表，可以查找并显示当前选中对象与其它元数据的关联性； 对于o d s 的每一次e t l 执行结果，结束时间进行浏览 e t l 元数据浏览 显示元数据库中所有e t l 过程的分类列表 对于被选中的e t l 过程类型，列出其中包含的所有e t l 过程的列表 对于被选中的e t l 过程，显示其过程名称、过程描述信息、状态、创建时间 等等，并显示该过程的详细的脚本描述信息 南京邮电大学硕士研究生学位论文第三章o d s 中元数据管理的该要设计 对于被选中的e t l 过程，可以查找并显示当前选中对象与其它元数据的关联 性 3 3 3 元数据分析 借助元数据分析视图，用户无须查阅大量无用的信息，就可以确定某个实体的用途和 关联，真正回答分析阶段的问题，如监测0 d s 中任意项目的处理历史，图形化跟踪一个 项目的源和目标，甚至分析任何变化可能带来的全部影响，减少因不完善的分析而导致 的重复工作。常用的分析有e t l 流程分析和元数据相关性分析。 e t l 流程分析：e t l 流程分析目的在于将涉及到e t l 过程的数据源直至e t l 目的中 的处理过程的分析： 从e t l 分类中选择，或者直接查找得到关心的e t l 过程 对于被选中的e t l 过程，列表显示所有与之相关的元数据对象( 表或文件) 在上述e t l 相关对象的基础上，绘制e t l 转换关系，展现e t l 过程的工作流 程 列表显示所有的e t l 任务，并说明其执行顺序、运行的时间、周期等相互依 赖的关系 基于上述列表，以时间为基准，绘制e t l 任务的有向图。有利于用户了解该 e t l 任务在整个项目中的位置，需要完成哪些先行任务等，进而制定简单、 高效、节省的e t l 计划 在列表或图表中可以任意选择元数据对象或e t l 任务，查看其详细信息，或 查找与之相应的元数据的关联性 关联性分析：这项分析的主要作用在于使相关人员了解0 d s 系统中有很多相关的 表格、记录，报表中的某一项是如何生成的，相关的元数据是什么，如何处理。 选择元数据对象( 表或文件) 在元数据浏览中提到，选中元数据对象，可以查找该对象与其它元数据 的关联性，这种关联性，将在元数据关联性分析窗口中，以便于理解的图表 形式加以展现，如有向图、树图等等。 也可以单独查找某个元数据对象( 表或文件) ，显示该对象与其它元数据 对象的关联性关系。若是查找结果不唯一，多个结果将列表显示，并有对象 名称、对象类型、对象归属、对象描述等各项说明，方便用户选择关心的元 南京邮电大学硕士研究生学位论文第三章o d s 中元数据管理的该要设计 数据对象。 对于选中的元数据对象，列表显示所有与之相关的对象，并说明其对象名称、 对象类型、对象归属、对象描述等等 所有与被选中的元数据对象相关的对象，包括数据源元数据、e t l 元数据、 数据库元数据，报表元数据等等，按照数据流的先后顺序显示在关联性分析 图中。通过这个图，元数据之间的相互关系一目了然 在相关对象列表或关联性分析图中选中某个元数据对象，可以查看该对象的 所有详细信息：编号、更新者、更新时间、业务名、描述信息、字段类型、 精度、字段长度、列序号、模式名、表名、字段名等等 3 3 4 元数据维护 管理员通过统一的元数据管理平台对元数据进行维护、调整，可以达到对整个0 d s 各 个部分的管理和控制。 令元数据实时更新 当元数据在项目的运营过程中发生变化( 插入、删除、修改) 时，元数据管理平 台能够根据元数据本身的信息( 最后修改时间、版本号) 等，同步所有相关元数 据，实现元数据的实时更新。 元数据的手工更新 、 项目的运作过程中也有很多情况，需要管理员人为的修改( 插入、删除、修改) 元数据库的内容。在这方面，元数据管理平台提供了灵活的方式，允许元数据的 手工更新。 映射关系的修改 映射关系修改 元数据管理平台可以将元数据间的映射信息，以映射关系图的形式展现出 来。管理员可以观察元数据的映射关系，并在图形界面中对其进行直接修改。 元数据更新时，对元数据的修改也有可能造成的映射关系的改变，这种改变 也将被元数据管理系统检测到，并提示给修改者。 管理员确认对映射关系的修改后，遵循r d b m s 的a c i d 特性，与该修改相 关的修改由元数据管理系统自动完成。元数据管理平台的这项功能，避免了 手工逐个修改元数据所造成的映射关系混乱和不一致，大大保证了元数据库 南京邮电大学硕士研究生学位论文第三章o d s 中元数据管理的该要设计 的正确性和稳定性。而且，这种修改方式更直观、更系统、更有效率。 3 3 5 权限管理 元数据管理系统中权限管理，是管理用户对元数据库的访问，如：元数据库中数据的 访问控制、元数据分析的访问控制、元数据维护的权限等等。 按照需要，在元数据管理系统中定义两类角色：管理员和一般用户。每个角色有若干 用户，拥有同一角色的用户具有完全相同的权限。 管理员：技术及维护人员，拥有元数据管理系统的所有权限。可以进行元数据的装 载、维护、分析、浏览，以及修改用户权限。 一般用户：上级领导和元数据库的使用者。可以查看元数据库的内容，并使用元数 据库，如：浏览各种元数据，进行元数据的相关性分析或e t l 流程分析等，但不能进行 元数据的装载和维护，更不能管理用户权限。 3 4 元数据管理设计原则 0 d s 环境下的元数据管理系统的建设是十分困难的。但是在实际项目的实施过程中， 这个环节又是非常重要的。当前情况下，我们认为0 m g 组织的c w m 标准将会成为0 d s 元数 据领域事实上的标准，在元数据管理系统的建立过程中应尽量参考这个标准，这样使系统 的可扩展性增强。在建立元数据管理系统的时候，绝对不能盲目追求大而全，要坚持目标 驱动的原则，在实施的时候要采取增量式、渐进式的建设原则。具体的建设步骤如下： 建设0 d s 系统的初期，那么首先要确定系统的边界范围，系统范围确定的原则是 首先保障重点，不求大，只求精。 系统边界确定以后，把现有系统的元数据整理出来，加入语义层的对应。然后存 到一个数据库中，这个数据库可以采用专用的元数据知识库，也可以采用一般的 关系型数据库。 确定元数据管理的范围。比如，可先管理技术元数据，再逐步纳入业务元数据。 确定元数据管理的工具，采用一定的工具可以完成相应的工作。 总之，建立元数据管理系统一定要坚持关注标准，又不被标准所束缚的原则，建立符 合自身目标的元数据管理系统。 南京邮电大学硕士研究生学位论文第三章o d s 中元数据管理的该要设计 3 5 元数据模型中的实体分析 3 5 1 审核任务包含对象表等实体关系 如图3 - 3 ，审核任务包含对象表：系统中所有审核对象的汇总，它有四种审核对象( 1 接 口2 数据质量指标3 维度4 业务逻辑) ，通过审核对象类型来区分它关联的子表，审核 对象标识对应这他所关联的对象例如，如果审核对象类型为1 ，审核对象标识为1 0 0 0 1 ，则 表明所查询是接口定义表的标识为1 0 0 0 1 的对象。 接口定义表：主要是接口的一些信息，其中的接口表名称是o d s 表定义的主键，标识改 信息存贮的本地表表名。 维度定义表：维度属性的描述。 维度对应表：维度在o d s 表字段定义中对应字段的描述。 业务逻辑定义表：业务的基本规范的一些定义，例如：身份证长度合法检查。 业务逻辑标识n u m b e r ( 6 ) 业务逻辑名称v a r c h a r 2 ( 3 0 ) 业务逻辑描述v a r c h a r 2 ( 5 1 2 ) 节点标识 审核对象类型 审核对象标识 审核对象名称 问题处理流程标识 审核问题单类型 是否参与总t 评估 n u m b e r ( 8 ) v a r c h a r 2 ( 3 ) n u m b e r ( 9 ) v a r c h a r 2 ( 6 0 ) n u m b e r ( 6 ) v a r c h a r 2 ( 3 ) v a r c h a r 2 ( 3 ) ( p k 口 接口标识 接口名称 接口系统标识 接口文件存放路径 接口文件名称规则 城市2 位区号 所属区域标识 接口表名称 接口表描述 接口数据周期类型 接口数据开始日期 接口数据开始小时 接口数据开始分钟 接口方式 增量时间字段 源文件存放主机标识 状态 状态时同 n u m b e r ( 6 ) v a r c h a r 2 ( 4 0 ) n u m b e r ( 3 ) v a r c h a r 2 ( 1 0 0 ) v a r c h a r 2 ( 4 0 ) v a r c h a r 2 ( 3 ) v a r c h a r 2 ( 2 0 ) v a r c b a r 2 ( 3 0 ) v a r c h a r 2 ( 5 0 ) c h a r ( 1 ) n u m b e r ( 2 ) n u m b e r ( 2 ) n u m b e r ( 2 ) c h a r ( 1 ) v a r c i t a r 2 ( 3 0 ) n u m b e r ( 2 ) v a r c h a r 2 ( 3 ) d t e 3 5 2 元数据对象及关系 维度标识 维度名称 维度代码 维度描述 n u m b e r ( 6 ) v a r c h a r 2 ( 3 0 ) v a r c h a r 2 ( 3 0 ) v a r c h a r 2 ( 5 1 2 ) o d s 表 表名 表中文名称 数据库用户 主题域 i d 字段 中文字段 上级i d 字段 层次 数据存储策略 策略字段名称 存储周期数 存储周期类型 存储迁移方式 状态 状态日期 v a r c h a r 2 ( 3 0 ) v a r c h a r 2 ( 5 0 ) ( a k v a