（通信与信息系统专业论文）数据分析型行业数据中心的研究与建设方案.pdf

摘要 摘要 数据中心是随着计算机应用、网络发展应运而生的产物，是对硬件环境、 软件环境、网络环境等三大环境的综合建设，是信息化在行业、企业中的综合 运用。随着计算机自动化的运用，以数据分析型行业来讲，数据分析软件的发 展、数据库、数据仓库的运用、b i 的日趋成熟，以及s o a 、消息队列、元数据 管理、数据交换、网络发展等，规范、系统的计算机应用建设已成为迫切的需 要和发展的趋势。 本建设方案介绍了对于数据分析型行业、企业如何设计数据中心、如何根 据实际情况建立数据中心做了全面的阐述，并在数据分析中应用何种数据分析 软件做了简要的分析及介绍。数据中心总体架构章节叙述了数据分析型行业数 据中心的整体框架，介绍了本文对于数据中心的研究结果及整体设计；基础平 台、数据处理系统、数据管理系统、数据分析操作台和数据交换系统分别对数 据中心各个关键模块进行了详细的研究和设计。在数据管理系统中本文突破性 的提出了数据对象的概念，从面向对象的角度出发以元数据管理的方式解决了 数据在数据中心中的复用问题，并将元数据管理引入到数据中心建设中，使数 据中心更加规范化，并增强了数据中心的可扩展性；数据交换系统以目录交换 等方式打破了数据中心的独立工作方式，实现了数据中心与数据中心之间的数 据交换，使数据中心可以以群的方式联合工作。 关键字：数据中心，s o a ，数据仓库，元数据管理，数据对象，b i a b s t r a c t a b s t r a c t t h ed a t ac e n t e ri sap r o d u c tb a s e do nc o m p u t e rs c i e n c ea n dn e t w o r kd e v e l o p m e n t i t i sa ni n t e g r a t e dc o n s t r u c t i o no fh a r d w a r e ，s o f t w a r ea n dn e t w o r ke n v i r o n m e n ta n di ti s ac o m p r e h e n s i v eu s eo fi n f o r m a t i o n t h ef a c tt h a tu s i n gc o m p u t e ri ne v e r yb u s i n e s s a n de n t e r p r i s e s ，d a t aa n a l y s i sb u s i n e s sf o ri n s t a n c e ，d e v e l o p m e n to fd a t aa n a l y s i s t o o l s ，d a t a b a s e s ，d a t aw a r e h o u s e s ，b i ，s o a ，m a s s a g eq u e u e ，m e t a d a t am a n a g e m e n t ， d a t ae x c h a n g i n g ，n e t w o r k s ，e t c c a u s e dd a t ac e n t e r sb e c o m i n gap r e s s i n gn e e da n d t h et r e n do fd e v e l o p m e n t t h i sd a t ac e n t e rc o n s t r u c t i o np r o g r a m m ei n t r o d u c e sh o w t od e s i g na n dc o n s t r u c td a t a c e n t e rf o rt h ed a t aa n a l y s i sb u s i n e s s e sa n de n t e r p r i s e s t h ec h a p t e ro fd a t ac e n t e r o v e r a l lf r a m e w o r kb a s i c a l l yd e s c r i b e st h em a i ns t r u c t u r eo fd a t aa n a l y s i sb u s i n e s s s d a t ac e n t e r , i n t r o d u c e st h er e s e a r c hc o n c l u s i o n sa n dt h eo v e r a l ld e s i g n t h en e x t c h a p t e r so ft h eb a s i cp l a t f o r m ，t h e d a t ad i s p o s i n gs y s t e m ，t h ed a t am a n a g e m e n t s y s t e m ，t h ed a t aa n a l y s i ss y s t e ma n dt h ed a t ae x c h a n g es y s t e md e s c r i b et h ec o r e m o d u l e so fd a t ac e n t e ri nd e t a i l i nt h ec h a p t e ro fd a t am a n a g e m e n ts y s t e m ，w e p r e s e n tac o n c e p to f d a t ao b j e c ta san e wi d e af o rd a t am a n a g e m e n t t h ed a t ao b j e c t i sb a s e do no b j e c t o r i e n t e dt h e o r i e sa n dt a k i n gm e t a d a t am a n a g e m e n ta si t sw a yo f w o r k i n g , s oi tr e s o l v et h ep r o b l e mo fh o wd a t ab er e u s e di n d a t ac e n t e r i nt h i s c h a p t e r w ea l s o i m p o r tm e t a d a t am a n a g e m e n ti n t o t h ed a t ac e n t e r , s o a st o s t a n d a r d i z et h ed a t ac e n t e ra n di m p r o v ei tt ob em o r ee x t e n s i v e i nt h ec h a p t e ro fd a t a e x c h a n g es y s t e mw eu s ed i r e c t o r ye x c h a n g et oa v o i dt h es e c l u s i o no f t h ed a t ac e n t e r a n dr e a l i z et h ed a t ae x c h a n g ea m o n gd i f f e r e n td a t ac e n t e r s ，s ot h a tt h e yc a nw o r ka sa g r o u p k e y w o r d s ：d a t ac e n t e r , s o a ，d a t aw a r e h o u s e ，m e t a d a t am a n a g e m e n t ，d a t ao b j e c t ， b i i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：名嘲 知口驴年月如日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月 日 各密级的最长保密年限及书写格式规定如下： 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：厶峭 i 心年孓具2 oe t 第一章绪论 第一章绪论 1 1 1 为什么要建立数据中心 第一节目的 1 计算机在数据分析行业的发展应用 计算机的发展推动着各个行业的发展，简单来讲，很多传统上以笔纸工作 的方式，现在已经完全由在计算机上操作来代替。而计算机对我们更加深远的 影响是，很多需要靠人力完成的工作，现在已经可以完全由计算机自动完成， 而且凭借计算机高速的计算能力，其完成工作的效率要比人工提高数倍甚至数 千万倍。这就大大解放了人力，转而将这部分人力应用到更有价值的工作中。 对于数据分析型行业，各种数据分析类型应用和软件，如数据库、数据仓 库、o l a p ( 联机分析处理) 、b i ( 商务智能) 、统计软件等等的发展，促使很多 数据分析型行业的工作方式和工作结构产生了翻天覆地的变化，使数据分析变 得更加严谨更加准确，而数据分析的方式方法也由此得到了极大的创造和丰富。 2 计算机发展应用带来的问题 多种应用往往需要相互配合才能实现系统而全面的分析数据，这就带来了 不同应用之间如何交互，应用如何进行集成的问题。例如，当数据分析软件对 数据进行分析后，需要进一步对数据分析的结果进行统计，或出具报告，这就 需要数据分析软件将分析结果传送给统计软件或报告管理软件等相关软件进行 进一步处理，那么它们之间如何进行数据传输和同步就成为了一大问题。 另一方面，在数据分析型行业中越来越多的应用也使数据愈加复杂、应用 与应用之间更难以协调、应用与数据的对应更加复杂。例如，当数据来自不同 单位，那么由于数据源( 即数据来源) 单位所使用的业务系统存在差异就会导 致源数据结构的差异，那么数据分析单位拿到这些数据就需要对不同结构的数 据做不同的分析方法，即使它们都基于同样的业务。这就给数据分析带来了不 必要的重复工作和复杂度。 此外，随着数据量的不断增大，业务的不断复杂，又带来了数据存储与服 第一章绪论 务器性能如何满足数据存储量日益增大、数据分析量日益增大等等现状，如何 对数据进行有效的备份，以便应对数据灾难的发生等等问题。那么硬件设备一 方面要保证服务器能够有充足的空间和科学的方式进行数据存储，另一方面还 要保证服务器的性能能够支撑海量数据的综合分析。 3 建立数据中心解决问题 问题的复杂需要我们将软件、硬件以及网络配合起来综合考虑进行部署建 设，那么数据中心就成为了这些需求的有效载体。 在数据中心的基础上，综合e t l 的应用，给数据的获得与分析方式带来了 重大变革，e s b ( 企业服务总线) 的发展到现在s o a ( s e r v i c eo r i e n t e d a r c h i t e c t u r e ) 的渐渐普及应用，更使得不同结构的应用能够最大程度的集成到一起，充分方 便了应用之间的通信，极大的降低了开发的难度和复杂度，并增强了在此之上 应用的可扩展性。 伴随着各种各样应用的发展，数据中心也随即应运而生。大到整个行业， 小到某个企业，甚至校园内，都可以看到数据中心的建设。 数据分析型行业数据中心的研究与建设方案( 以下简称本方案) 主要对如 何建立数据分析型行业的数据中心进行了研究，在此基础上对数据分析型行业 数据中心如何建设进行了设计和实现，并针对如何增强数据中心的生命力进行 了深入的探索，并提出了建设方案。 1 1 2 数据中心发展基本情况 1 数据中心的含义 数据中心为互联网内容提供商( i c p ) 、企业、媒体和各类网站提供大规模、 高质量、安全可靠的专业化服务器托管、空间租用、网络批发带宽以及a s p 、 e c 等业务。数据中心是对入驻( h o s t i n g ) 企业、商户或网站服务器群托管的场 所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联 盟( 其分销商、供应商、客户等) 实施价值链管理的平台。 2 数据中心的特征 数据中心有非常重要的显著特征：在网络中的位置和总的网络带宽容量， 它构成了网络基础资源的一部分，就像骨干网、接入网一样，它提供了一种高 端的数据传输( d a t ad e l i v e r y ) 的服务，提供高速接入的服务。 2 第一章绪论 3 数据中心的起源 2 0 世纪6 0 年代，大型机时期出现的重要数据的灾难备份中心可以说是数据 中心的雏形。1 9 9 6 年，美国的e x o d u s 提出了“i d c ( i n t e r n e td a mc e n t e r ) 的 概念。e x o d u s 的创始人曾是m m 公司的副总裁，此人最先提出i b m 拓展i d c 服务。在建议没有得到采纳的情况下，他跳出m m ，组建了e x o d u s 。e x o d u s 主 要为企业用户提供机房设施和带宽服务。在国内，1 9 9 6 年中国电信开始提供最 初的托管业务和信息港服务。由此可见，我国的i d c 即数据中心，与世界发展 基本同步。 数据中心起源于i c p 对网络高速互联的需求，而且美国仍然处于世界领导 者位置。在美国，运营商为了维护自身利益，将网络互联带宽设得很低，用户 不得不在每个服务商处都放一台服务器。为了解决这个问题，数据中心应运而 生，保证客户托管的服务器从各个网络访问速度都没有瓶颈。 1 1 3 本方案重点解决问题 通常的数据中心多将重点放在软硬件和网络建设，而对于数据中心的复用 性、可扩展性以及数据中心之间的交互性欠缺考虑。本方案重点解决了数据中 心的在同一行业不同业务中的复用性实现，解决了更加方便的对数据中心中做 进一步扩展，并解决了数据中心之间的数据交换问题，从而大大加强了数据中 心的生命力。 1 数据对象解决数据在数据中心中的复用 本方案在数据中心数据管理系统部分的设计中创新的提出数据对象的概 念，将面向对象的思想引入到数据的组织规划方式中，使不同结构不同内容的 数据最大程度上规范化、可复用化、可交换化，使得数据中心中的数据能够通 过定义直接解决分析工具的对应问题，将开发复杂度大大降低，同时又能保证 不同数据中心之间可以无障碍的进行数据交换，大大提高工作效率。 2 元数据管理解决数据中心的可扩展性 本方案在数据管理系统中引入了元数据管理的方法，将数据本身、数据的 e t l 流程、数据分析工具、以及数据与其分析工具的对应等等都以结构化的方 式抽象到元数据的层面，通过直接对他们的元数据进行管理，达到对数据、数 据e t l 过程、数据分析工具、数据和工具的对应等进行统筹管理，使这些内容 3 第一章绪论 都可以在规范下进行增、删、改，进而实现了数据中心的可扩展性。 3 数据交换系统实现数据中心之间的交互 为使数据中心不成为一个孤立的应用，本方案提出了数据中心以及数据中 心之间的数据交换方式，使得同行业不同单位间的数据中心可进行数据交换， 进而实现了数据中心的交互。 第二节术语和定义 1 数据中心 数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场 地、工具、流程等的有机组合。从应用层面看，包括业务系统、基于数据仓库【l 】 的分析系统；从数据层面看，包括操作型数据和分析型数据以及数据与数据的 集成整合流程；从基础设施层面看，包括服务器、网络、存储和整体i t 运行维 护服务。 2 数据规划 数据规划是将数据分析业务的数据规范化、标准化，使其具有通用性，能 为数据分析单位部门所使用，各地建立数据中心时，业务数据库均须参照该数 据规划成果进行设计，从而为数据资源的使用、共享和交换提供统一的标准。 3 数据分析方法规范 数据分析方法规范即对于业务数据的分析制定的规范，数据分析方法都在 此规范的指导之下完成，从而统一方法的描述方式和实现方法，利于方法与实 际分析工具及分析模型的转换。 4 数据中心基础平台 数据中心基础平台是数据中心的基础，是数据中心最底层的服务平台，是 实现数据处理、数据管理、数据分析、数据交换等应用的支撑。 5 数据处理 数据处理指数据由数据源单位到数据分析单位，由原始状态到可被分析并 存储的抽取、转换、清洗、加载等操作过程。 6 数据管理 数据管理指业务数据及系统数据在数据中心中的存储及管理，以及对数据 在数据中心中的使用进行管理。 4 第一章绪论 7 数据分析操作台 数据分析操作台是数据分析人员对数据进行分析操作的平台，是各种数据 分析相关工具的集成平台。 8 数据交换 数据交换是指数据中心内部、数据中心之间进行的数据交换。 5 第二章数据分析型行业数据中心概述 第二章数据分析型行业数据中心概述 第一节数据中心建设方案内容介绍 数据中心建设方案解决的核心问题为如何具体进行数据中心建设。 数据中心建设方案 数据中心的建设 如何进行硬件设 如何进行物理存数据中心的应用系统应包 步骤是什么?备参数选型?储设计?括什么? 如何进行建设? jl jl 数据中心建设步j囊 数据中心机房建i 设( 硬件设备) l 1r 徽燃蒌h h 黼辫酩h 黼瓣胍 jl 。l 船掘壹* 斗 7 i 裂珀厍阪明 图二1 方案内容 如图所示，数据中心建设方案解决数据中心建设过程中四方面问题。 1 数据中心的建设步骤 详细说明了数据中心的建设应包括哪些方面的内容；如何在兼顾投入及效 益的情况下科学规划数据中心的建设过程。 2 硬件设备参数计算依据 明确如何进行数据中心业务界定，并根据业务界定的范围测算设备存储数 据量、数据库服务器t p c h 值以及磁盘阵列的容量和规格。同时也将说明数据 中心建成后，随着业务需求量的升级如何在硬件及软件方面进行扩展。 3 数据中心物理存储设计 根据专业数据规划或数据库设计的结果( 已完成数据库表设计) ，建立物理 数据库及表，并根据具体的业务特性，设计表索引以及如何使用分区技术。同 时，根据采集的周期以及数据源的数据增长速度设计数据库增长的规则。 6 第二章数据分析型行业数据中心概述 4 数据中心应用系统建设 包括数据中心应用系统建设的内容、总体架构、交互标准、接口规范的方 面的内容。 同时本方案为数据与数据分析方法之间的连接提供了系统化的解决方案， 成为连接数据与数据分析方法的纽带。 数据需求 图二2 本方案与数据、数据分析方法间的关系 如上图所示，三者之间的关系体现为： 1 数据规划统一了同行业数据分析所需数据的数据结构、元素、实体等， 解决了同行业不同数据源数据结构差异所带来的无法统一进行分析的问题。 2 在数据分析方法规范的作用下，通过模型构建法提出了采用哪些数据元 素或数据实体，通过怎样的步骤，可进行哪类问题的分析。 3 数据中心建设方案实现了数据与方法的对接，如上图所示： ( 1 ) 将数据规划转化为系统可管理、可识别的业务对象。业务对象基于元 数据【2 】描述，元数据对应数据规划的元素。 ( 2 ) 将数据分析方法步骤抽象为不同的数据分析工具，通过工具实现或辅 助实现数据分析方法的具体分析步骤。 ( 3 ) 将业务对象实例化，形成符合分析方法需要的、分析工具能识别的数 据对象，最终实现数据分析需求。 对象划分及其关系( 以税收数据分析为例) 如下图所示： 7 前章数据分析删行业数捌中心概述 n 务对聋 楚蔓! 申报多雏敷摧 妪税多镕数据 中报数姑采 征性数据女 税数抖女 多维丹析t # 查询仆析r 且 幽二3 数据中心对象关联 在整个数据中心系统中，按逻辑及实体进行划分： 1 从业务逻辑和系统实现逻辑规划了业务对象和数据对象两类逻辑对象。 ( 1 ) 依据业务逻辑所设计的对象是业务对象，主要用于从业务角度对数据 进行描述，能将数据规划的实体转化为系统定义，便于用户理解。 ( 2 ) 依据系统实现逻辑所设计的对象足数据对象。 首先，数据对象是业务对象的具体实例，如上图所示。纳税申报是一个具 体的业务对象，其具体实例有2 0 0 6 年纳税申报、2 0 0 7 年纳税申报等。 其次，数据对象是与实际数据及数据分析工具组件等实体对象关联的重要 纽带。通过数据对象将数据对象与不同的数据分析工具关联，可以降低数据与 工具之间的耦合，提高系统复用性。 2 实际存在的实体包括两类：数据类和工具类 ( 1 ) 在数据类中，根据数据形式不同可以分为关系型数据( - - 维表数据) 、 多维数据( 立方数据) 、文本数据、多媒体数据等等。 ( 2 ) 在工具类中，根据提供的数据分析功能不同来区分。即包括查询分析、 多维分析、统计分析等分析工具。 虱画画 临 * m * m 4 r 曩| 嚣 嚣：嚣 嚣 耄 帐 张雠 桃；l ； 第二章数据分析型行业数据中心概述 第二节数据中心概述 数据中心的概念包括狭义范围和广义范围两个层面，狭义来讲，数据中心 的建设为硬件层面的建设，具体就是存储设备、备份设备及网络设备。广义来 说，数据中心在硬件建设的基础上还包括配套软件系统的建设，这些软件系统 重点解决数据更新、数据管理、数据使用等方面的问题。 另外，在同一行业的不同单位间，或同一单位的不同部门间可以通过数据 中心中的交换系统实现各数据中心间的信息资源共享与交换。同时，一些部门 的子部门也可通过远程数据访问使用数据中心中的信息资源。 i - ： ： 部门c 子部门l ： 部门c 子部门2 ： 图二4 数据中心总体方案 上图描述了数据中心的总体建设方案，在数据中心及分中心内部，需要建 设的应用系统主要包括数据管理系统、数据处理系统、数据交换系统和数据分 析操作台四个部分。其关系见下图： 9 第二章数据分析型行业数据中心概述 图二5 数据中心软件系统框图 提供数据共享 与交换 如图所示，数据管理系统负责存储及管理数据中心的所有数据；数据处理 系统负责采集、转换、加工、清洗数据；数据交换系统负责和其他数据中心进 行数据交互；数据分析操作台负责分析展现数据中心的数据。 第三节数据中心支撑环境 数据中心的支撑环境包括硬件设备和系统软件两大部分。 1 硬件设备拓扑图如下： 1 0 第二章数据分析型行业数据中心概述 客户端 数据分析软件客户靖 墼塑备份 磁带库磁盘阵列 磁盘阵列 服务器 图二6 硬件设备拓扑图 数据中心核心硬件支撑环境包括：磁盘阵列、光纤交换、数据库服务器、 数据管理服务器、数据处理服务器、应用服务器和数据交换服务器。 从总体结构上看，数据中心硬件设备分为数据存储、数据服务、应用服务 和客户端三层。 ( 1 ) 数据存储层 数据存储层主要是磁盘阵列，通过该设备实现海量存储及物理存储扩展， 设备容量需要根据建设单位的数据量及数据年增长来估算。 为了支持海量数据，需要购置光纤交换机搭建s a n 存储网络，提供足够 的数据传输带宽，同时也提供了磁盘阵列扩展需要。 第二章数据分析型行业数据中心概述 除了直接提供数据服务的设备之外，还需要对数据进行备份，包括数据 备份服务器和磁带库。 ( 2 ) 数据服务层 数据库服务器是该层的主要设备，也是数据中心系统性能高低的核心设备。 根据部署位置不同，需要单独提供一台交换数据库的服务器。 ( 3 ) 应用服务层 主要包括数据管理服务器、数据处理服务器及业务应用服务器。 数据管理服务器及数据处理服务器，根据不同建设单位的数据量加工量 大小进行详细设计，可以将两个服务器合并为一台。 业务应用服务器，如组网型数据分析应用服务器等，根据业务量的大小， 用户人数大小设计。 2 数据中心的系统软件主要包括以下三类： ( 1 ) 操作系统 服务器上运行的软件确定，例如运行s q ls e r v e r 数据库，则采用w i n d o w s 操作系统。 ( 2 ) 数据库系统 数据中心系统需要支持海量数据的存储，所以需要采用o r a c l e 、d b 2 、s q l s e r v e r 这些大型数据库系统，才能够保证系统的稳定及效率。 ( 3 ) 中间件 数据中心所包含的交换中心需要交换中间件的支持，例如m q 吲、 w e b s p h e r e 5 】等。 数据中心中的应用系统也需要相应的中间件支持，例如w e b s p h o e 、工作 流等。 第四节建设步骤简介 数据中心系统建设是一个长期的、需要持续进行的大型信息系统工程。下 面从数据中心建设的两个阶段和两个层次上进行简要介绍，各单位的具体建设 方案还需要根据具体情况进行规划和设计。 1 2 第二章数据分析型行业数据中心概述 赫 基本功能1 徽 l ， jx 单位 应收税收 税款征收表 ln 缸：h 1v 收it 数据 b t k 分析方法 - 纳税人信息表 lx 单位 退税情况 一o 。s 年。g 。t 分析方法 l 收数嚣 图六1 数据对象作用意义 如上图所示：数据对象是数据与分析工具之间的桥梁。数据对象将数据规 划中的数据表与数据分析方法规范联系在一起统一的进行描述。当数据或业务 发生变化时可以通过调整数据对象对应的数据内容来避免直接调整应用程序以 适应其变化；同样分析工具的变化，也可以直接通过调整数据对象中定义的分 析工具，从而使和该数据对象有关的数据适用于该分析工具。 6 2 2 数据对象描述 数据中心应用系统使用元数据来描述数据对象。目前业界对元数据的格式 定义种类比较多，在本方案数据中心的应用系统中，将采用业界广为使用的由 o m g 组织提出的c w m 规范作为元数据的标准。 6 221 元数据介绍 1 元数据定义 元数据，即描述数据的数据。更准确一点说：元数据是描述流程、信息和 对象的数据。这些描述涉及技术属性( 例如，结构和行为) 这样的特征、业务 定义( 包括字典和分类法) 以及操作特征( 如活动指标和使用历史) 。 2 元数据分类 在数据中心系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人 员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和 建立方法的数据，可将其按用途的不同分为两类：技术元数据( t e c h n i c a l m e t a d a t a ) 和业务元数据( b u s i n e s sm e t a d a t a ) 。 ( 1 ) 技术类元数据 5 3 第六章数据管理系统 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理 数据仓库使用的数据，它主要包括以下信息：数据仓库结构的描述，包括仓库 模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容； ( 2 ) 业务类元数据 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和 实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂 数据 仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数 据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析 方法以及公式和报表的信息。 6 222c w m 介绍 元数据的创建多种多样，本规划中采用o m g ( o b j e c tm a n a g e m e n tg r o u p ) 对象管理组织提出的c w m ( c o m m o nw a r e h o u s em e t a m o d e l ) 公共仓库元模型规 范来创建元数据。 c w m 是o m g 为了统一元数据管理策略而专门制定的，是数据仓库和业务 分析领域的一个完整的元数据描述规范。作为一个元数据描述规范，c w m 提供 了构造描述一个完整信息供应链的所有组件的元数据所需要的语法和语义。同 时它定义了一个基于数据仓库和商业分析领域的元数据交换格式x m i 。c w m 基 于三个重要的工业标准： u m l 2 8 】：u n i f i e dm o d e l i n gl a n g u a g e ，o m g 建模标准 m o f 2 9 ：m e t ao b j e c tf a c i l i t y ，o m g 元模型建模和元数据仓库标准 x m i 3 0 】：x m lm e t a d a t ai n t e r c h a n g e ，o m g 元数据交换标准 c w m 根据业务场景将元模型 3 1 1 分成四层和2 1 个元模型包，每个包定义了 元模型一种特定的性质，比如r e l a t i o n a l 包描述关系型数据的结构，而o b j e c t m o d e l 则描述了一个通用对象的属性和依赖关系的结构。 第六章数据管理系统 管理层 分析层 资源层 基础层 对象模型层 w a r e h o u s ep r o c e s sw a r e h o u s eo p e r a t i o n i n f o r m a t i o nb u s i n e s s t m n s f o r m a t i o no u pd a t am i n i n g v i s u a l i z a t i o nn o m e n c l a t u r e c o r eb e h a v i o r a i r e l a t i o n a ir e c o r dm u l t i d i m e n s i o n a ix m l r e l a t i o n s h i p s n s t a n c e b u s i n e s s k e y sa n d s o f t w a r e i n f o m a t i o n d a t at y p e s e x p r e s s i o n t y p em a p p i n g i n d e x e s d e p l o y m e n t c o r e b e h a v i o r a l r e l a t i o n s h i p s i n s t a n c e 图六2c w m 提供的元模型包 3 1 】 c w m 使用了继承这个面向对象的概念，扩展了u m l 子集中的建模元素， 从而定义了新的建模元素来表示数据仓库和业务分析概念。 6 223 数据对象描述规则 依据数据对象的定义物理数据与分析工具之间的桥梁，因此在数据对 象的描述中要包括三个方面：数据对象本身属性、数据对象包含有关数据的相 关属性以及数据对象包含的有关分析工具相关属性。 在数据对象中，不仅要描述清楚数据对象的标识符、名称、说明、业务类 型等内容，还要描述清它与实际的物理数据有何关系，对属于该数据对象的数 据可用何种分析工具进行分析等。下面分别使用u m l 和x s d 对数据对象元数 据规则进行描述。 1 数据对象的u m l 表述 c w m 在u m l 基础上有一套完整的模型 3 2 1 ，通过继承和扩展，可以实现对 具体数据对象的描述定义。 抽象的数据对象侧重描述与数据关联的具体 业务特点数据对象 图六3 数据对象u m l 描述 5 5 第六章数据管理系统 如图所示，数据对象按其特点分为两个层次：抽象的数据对象( a b s t r a c td a t a o b j e c t ，如“纳税申报 ) 和数据对象( d a t ao b j e c t ，如“某单位0 8 年纳税申报 数据) 。抽象的数据对象不和具体的数据发生关联，仅用于定义一类数据对象 通用的业务逻辑和分析方法，如“纳税申报对象可以进行申报次数分析。同 时，在抽象的数据对象中可以定义核心的数据要素，如“纳税申报对象必须 包含“申报日期”、“申报金额 、“申报期限等核心数据要素。数据对象继承 自抽象的数据对象，在抽象的数据对象的基础上增加了和数据库表的关联，以 达到通过数据对象访问具体数据的目的。 2 数据对象x s d 描述 o m g 组织使用的元数据交换标准为x m i ，也就是要求使用x m l 进行元数 据描述以实现元数据的交换【3 3 1 。作为x m l 的定义语言，x s d ( x m ls c h e m a d e f i n i t i o n ) 的内容如下： ( 1 ) a b s t r a c t d a t a o b j e c t ( 抽象的数据对象) hf r o p e r t i e s 由 赞握对铱压蓐倍鸟 图示 ( a b s t r t c t b t t t “1 b j e e t 一 n a l y s i s t 。1 s 审 擒麓赣豫辩氟分播工最 - lc o l u x s e t 由 # “w q # 日哪 卑毁臻含 类型继承自m o d e l 属性 b a s e ：m o d e l 子类型 p r o p e r t i e s 、a n a l y s i s t o o l s 、c o l u m n s e t 被引用 被d a t a o b j e c t 弓 用 注释 抽象的数据对象 抽象数据对象 源代码 第六章数据管理系统 数据对象基本信息 数据对象i d 数据对象父i d 数据对象名称 数据对象描述 业务约束 分析工具 5 7 第六章数据管理系统 字段集合 a b s t r a c t d a t a o b j e c t p r o p e r t i e s ( 基本信息数据块) ： 图示 属性i s r e f - 0 子类型 i d ，p a r e n t i d ，n a m e ，d e s e r i p t i o n 、 注释 抽象的数据对象的基本信息 源代码 数据对象基本信息 数据对象i d 5 8 第六章数据管理系统 数据对象父i d 数据对象名称 数据对象描述 业务约束 a b s t r a c t d a t a o b j e c t p r o p e r t i e s i d ( 标识) ： 图示口 撬撼搿鲧 属性 i 8 r e f 0 注释 数据对象标识 源代码 数据对象i d a b s t r a c t d a t a o b j e c t p r o p e r t i e s p a r e n t i d ( 父节点标识) ： 5 9 第六章数据管理系统 l 善fe r e n t i di 图示 撖嚣料麓鹭i d 属性 i s r e f ：0 注释 父数据对象标识 源代码 数据对象父i d a b s t r a c t d a t a o b j e c t p r o p e r t i e s n a m e ( 名称) ： 图示网 摊掘斟觏备嚣 属性 i s i k 兄o 注释 数据对象名称 源代码 数据对象名称 a b s t r a c t d a t a o b j e c t p r o p e r t i e s d e s c r i p t i o n ( 描述) ： l 看d e s c r i p t io nl 图示 攮撼搿钦褥_ l 点 属性 i s r e f ：0 注释 数据对象描述 源代码 数据对象描述 a b s t r a c t d a t a o b j e c t p r o p e r t i e s c h e c k c o n s t r a i n t ( 业务约束) ： 第六章数据管理系统 | i c h e c m 。n s t r t i n ti 图示 业务钓窜 属性 i s r e f ：0 注释 业务约束 源代码 业务约束 6 1 第六章数据管理系统 ( 2 ) d a t a o b j e c t ( 数据对象) f i 磊面磊忑二i l 一t r 叩e r t i e s 由： |。 | 戮掰赣戮矿i l ( h t o b j t 冉 寸- qa a a 1 y s is t 。1 s 审； w m l 蓄恙嚣i 图示 披撼端麓 | - qc o l u n n s e t 由i | 鬟：。一t | 一一竺! l 弋l h 觋 豫握蝼身彳 类型 继承a b s t r a c t d a t a o b j e c t 属性 b a s e ：a b s t r a e t d a t a o b j e c t 子类型p r o p e r t i e s 、a n a l y s i s t o o l s 、c o l u m n s e tm a p 注释 数据对象 数据对象 数据映射 源代码 - 第六章数据管理系统 d a t a o b j e c t m a p ( 数据映射) ： 图示匮旧一黝 披鼯跌射0 属性 i s r e f i0 子类型 i t e m 注释 数据映射 数据映射 源代码 d a t a o b j e c t m a p i t e m ( 数据映射明细) ： 图示 类型 c o l u m n m a p 属性 i s r e f io ；m i n o c c ：0 ；m a x o c c - u n b o u n d e d 源代码 上述内容完整的描述了抽象的数据对象和数据对象的元数据结构及要素， 第六章数据管理系统 其中涉及的复杂类型( c o m p l e xt y p e ) 、a n a l y s i s t o o l s ( 分析工具) 、c o l u m n s e t ( 列集合) 、m o d e l ( 元模型) 、t a b l e ( 数据库表) 等的元数据描述定义参见附录。 6 2 3 数据对象目录 数据对象是数据与分析工具之间的纽带，在实际使用中，用户需要通过数 据对象对数据进行查询与管理，同样也要通过数据对象对数据所需的分析工具 进行管理，这就要求数据对象能够方便用户根据需要进行定位和查找；另一方 面，随着业务、方法等的不断拓展，时间的推移，数据量与数据内容会不断变 化，使得用户需要对数据对象进行增、删、改等维护。 通过对数据对象进行编目，可以实现数据对象以其各种不同的性质进行自 动归类，以实现根据用户需要对数据对象进行定位和检索。对数据对象进行编 目，实际上是对数据对象中数据内容的属性进行归类，例如：时间、地域、业 务类别等。数据对象在系统中可以根据其不同的属性归类以不同的角度展现给 用户，例如：当用户以数据的时间为角度进行查看时，数据对象便可以自动根 据其内容所包含的数据时间进行归类分组，以不同时间段的方式展现在用户面 前。 第三节元数据管理工具 6 3 1 元数据管理的作用 元数据管理系统为整个数据中心提供统一的元数据视图，缩短数据中心建 设周期、提高数据质量、统一数据口径，以便能系统性地管理数据中心系统中 来自各业务系统的海量数据，梳理业务元数据之间的关系，完善对数据的解释、 定义，形成一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁 等进行跟踪分析。 元数据管理系统的作用具体而言，体现在以下几个方面： 1 完善数据中心系统基础设施，为数据中心系统的建设奠定坚实基础； 2 建立统一元数据视图，从元数据中发现任何变化给全局带来的影响，缩 短数据清理周期，提高数据质量； 第六章数据管理系统 3 梳理业务元数据之间的关系，规范数据资源管理，确保业务元数据的分 类准确、涵义明确，改进知识传承机制； 4 快速提供数据变换过程和依赖描述，有助于指标和统计口径的理解，为 分析应用结果提供数据质量保障； 5 支持数据仓库的快速部署，为未来各业务系统建设提供坚实基础，促进 系统使用和进化拓展； 6 对元数据集中管理控制，以确保信息的一致性和准确性； 6 3 2 应用架构设计 应 f i敷警取工1 l警肛l神警具i 分 血统分析工具 i 差异分析工 ii 囊重至置分析1 用折 层 类i 触警肛i 元数据导入、l 元堆护工具i 类l 毫无关- i - 性a 分析 l 看力分析工具l ；影响分析工具i 导出工具 蓬 元数据注册服务i 元敷据获取属务 元数据检索服务l 目录曩务 1 元数据分析臌务1 l 注册一 e s b 蚕筹e 登王璧曼曼_ 一配1 “”￥“ i 元数据梭素引l 分血统分斩引擎 卜黼簟i 严翥到 服 务 l 逻 臆罾霜l ；二：一一l 元模型扩晨接 析总 关系数据库适配嚣 口 銎l 裹无薷鏊分析 旧黼擎il 聃擎朋i l 线 统一元数据罄 导入、 硼i 牾式适配 访问接口 h 自口i i a dih l 目 导出扩 晨容器 n s 格式适配 元模型开发包 统一身份认证0 一调用 蘑臣数据司 图六4 元数据管理系统架构 元数据管理系统采用4 层架构，分别为数据层、逻辑层、服务层和应用层。 其中数据层用于存储元数据，逻辑层封装元数据的操作，服务层发布接口，应 用层通过调用服务接口提供元数据管理界面。 1 数据层 元数据管理系统采用关系型数据库作为元数据的存储。存储的内容包括数 据中心各个系统的元数据，元模型。 2 逻辑层 第六章数据管理系统 逻辑层封装元数据的操作，提供元数据操作的引擎，元数据管理工具通过 调用逻辑层的引擎实现相应的功能。 3 服务层 元数据服务层发