（计算机科学与技术专业论文）基于元数据的稽核系统中数据处理子系统设计与实现.pdf

摘要 稽核部门是商业银行中的一个重要部门，主要负责银行内部的审 计工作。非现场稽核主要以业务源数据为基础，通过数据处理子系统 得到稽核应用的衍生数据，利用这些衍生数据，对各种业务的合规性 进行稽核审计。业务源数据是稽核系统的灵魂，业务源数据的准确与 完整是成功完成稽核任务的基础。数据处理子系统根据业务源数据加 工成稽核系统需要的各种指标值，在稽核系统中具有极端重要的作 用。 数据处理子系统从企业数据仓库中获取业务源数据，通过e t l ( e x t r a c tn a n s f o 姗l o a d ) 程序将数据传输到稽核系统，在传输过程 中，e t l 程序负责对源数据进行清洗和转换，以满足稽核系统后续指 标计算的需要。数据进入稽核系统后，由数据处理子系统负责完成各 种指标值的计算。 本文以某商业银行非现场稽核系统为平台，研究了基于元数据的 数据处理子系统的设计与实现方法。系统充分利用了元数据的优势， 在e t l 过程中以元数据为基础，完成了数据导入脚本的自动生产、 任务的自动调度等工作。基于性能的考虑，在设计系统架构时加入了 0 d s ( o d e m t i o n a ld a t as t o r e ) 中间层，e t l 模块首先将需要的数据 由数据仓库传输到o d s ，在0 d s 中对数据进行整理，然后将整理后 的数据传输到稽核系统。根据稽核业务的需要，稽核系统中定义了许 多指标项，这些指标项的计算方法以元数据的形式存储在表中，系统 根据业务源数据计算出各种指标值，为系统的预警、监控、统计等功 能提供了数据保证。 稽核系统是基于数据仓库的应用，涉及到的数据量十分庞大，大 数据量对数据处理子系统的性能造成了不利影响，性能优化工作势在 必行。本文从几个方面对性能优化工作进行了简单介绍，实践证明， 这几种优化方法取得了较好的效果。 关键词稽核系统元数据e t l0 d s a - b s t r a c t a u d “i n gd e p a m n e i l t i s柚i i n p o r t a n t d e p a m n c i l ti ne r c i a lb a n k n s r e s p o n s i b l ef o rm ei n t 雕斌a u d i 恤gw o r k o 搏f i e l da u d i t i n gb a s e so nm eo p 钟a t i o n s o u r c ed a t a ，g e t sm ed e d v i n gd a t a 丘d mt l l ed a t ap r o c e s s i n gs l l b s y s t e mt ov a l i d a t e v 撕o u so p 贸a t i o n s t h co p e 洲o ns o u r c e 讹i st h ek e yo f 也ea u d i d n gs ”t 咖n s a c c u r a c ya n di n t e 鲥t ya f e 也ef 0 璐d a “o no f 0 0 m p l e t i n ga u d i t i n gt a s ks u c c e s s f i l l l y d a t ap r o c e s s i n gs u b s y 咖mh 鹤a ni 瑚p 砥啦tr o l ei nt h ea u d i t i n gs y s 悃m 丑1 e o p e r a t i o ns o u r c ed a t ai sp r o c c s s e db yi ta c c o r d i n gt om er e q u i r 锄e 1 1 t so fa u d i t i n g s y s t c r ni n t o v a r i o u si n d i c a t o r s d a t ap r o c e s s i n gs u b s y s t e mo b t a i n sm eo p e r a t i o n s o u r c ed a t a 舳吼e i l 衄p f i s ed a t aw a r e h o u s e ，订a n 锄i t s 廿l ed a t at o 卸d j t i n gs y s t e mb y m ep r o c c d u r eo fe t l ( e x 打a c tt i 瑚1 s f o n nl o a d ) w 1 1 i c hd e a i l s 锄d 打a i l s f o f i l l sm e s o u r c ed a t ai nt l l e 伽m s i n i s s i o np m c e s st om e e tm en e c do ft h ec a l c u l a t i o no f s d b s e q u a ni n d i c a t o r s t h i sp a p e rt a k e ss o m ec o m m c r c i a lb 雒血s a u d i t i n gs y s t 啪a sp l a t f o n na n d d i s c u s s e st h em e t l l o d 曲o u td e s i 星皿a l l dr e a l i z a t i o nt l l ed a t ap r o c e s s i n gs u b s y s t e m w h i c hi sb a s o do nm e t a d a t a t h es y s t e mm a k e sf i l l lu s eo f t l l ea d v a n t a g eo f m e t a d a t a ， a c c o m m i s h e st h ea u t o m a t i s n lp r o d u c eo fl e a d i n gs 砸p tb yd 咖a n dt a s k s a u t o m a t i s m a t t e m p e r 锄ds oo nb a s e do nm e t a d a t ai nt l l ee t lp r o c e s s 1 撕n gc 印a b i l i t yi 1 1 t o a c c o u n t ，w ea d do d s ( 叩惯删o n a ld 砒as t o r e ) a sam i d d l el a y e ri n t om es y s t e m e w o r k f i r s to f 越1 m ee t lm o d l 】l e 伽m 锄i l st h ed a t af b md a t aw a r c h o u s et o o d s t l l e no d st i d i 骼u pt l l o s ed a t u ma i l d 仃a l l s l i l i t s l ep r o c e s s e dd a n nt ot h e a u d i d n gs y s t e m t h ea u d i t i n gs y s t 锄d e f i n e sm 锄yi n d i c a t o r sb a s e do nt l l eo p e r a t i o n w h o s ec o u n tm e m o d sa r es t o r c di l lt h ef o n n sb ym ef b n no fm e t a d a t a t h es v s t e m c o u n t s l ev a l u e so f 山e s ei n d i c a t o r sb yt l l eo p e m d o ns o u r c ed a t a w 量l i c hc a np r o v i d e d a t ag l l a r a r l t e ef b fs y s t e ma l a n n ，s u p e r v i s i o na n ds t a d s t i c a u d i t i n gs y s t 锄i st l l e 印p l i c a t i o no f d a t aw a r e h o u s e ，i th a sh u g ed a t u mw h j c h h a sb a de 疏c to nm ed a t ap r o c e s s i n gs u b s y s t 锄sc a p a b i l i 啦s oc 印a b i l i t yo p t 油i z ei s i m p e r a t i v eu n d e rt l l es i t i l a t i o n t h e r ea r cs i m p l ei n d u c c sa b o u td l ec a pa _ b i l i t y o p t i m i z ef 而ms o m ea s p e c t si nt l l i st h e s i sw h i c hh a v eg a i np r e f h a b l ye h e c ti n p r a c t i c c k e yw o r d s ：a u d i t i n gs y s t 锄，m e t a d a t a ，e t l ，0 d s 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名日期i 竺! 堕- ! 关丁论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释：本 学位论文不属于保密范围，适用本授权书。 本人签名 环d 站 日期： 导师签名：趁 日期： 加。b ￥- 北京邮电大学硕士学位论文 1 1 研究背景介绍 第1 章绪论 在激烈的市场竞争中，信息对于企业的生存和发展起着至关重要的作用，表 达信息的数据随着时间的增加和业务的发展而不断膨胀，当今的时代是信息爆炸 的时代。如何从这样复杂的数据环境中得到有用的决策数据是一个迫切需要解决 的问题。随着分布式结构的成熟、数据库技术的提高和数据处理技术的发展，数 据仓库( d a t a w a r d l o u s e ，d w ) 和决策支持系统( d e c i s i o ns u p p o ns y s t c n l ，d s s ) 应运 而生j 。数据仓库是计算机和数据应用发展到一定阶段的必然产物。数据仓库的 目的是为了建立一种体系化的数据存储环境，将分析决策所需的大量数据从传统 的操作环境中分离出来，使分散、不一致的操作数据转换为集成、统一的信息。 数据集市作为“小数据仓库”，主要面向部门级业务，并且只面向某个特定的主题。 数据集市中的业务数据一般来源于数据仓库，通过e t l 程序将需要的数据从数 据仓库传输到数据集市。然而，这个过程并非易事，数据仓库中存储着企业海量 的数据，其中包括许多历史数据，如何从这些海量数据中取得需要的数据是对 e t l 程序的一个很大的考验；数据仓库是面向整个企业服务的，而数据集市一般 面向部门级服务，二者可能是在不同时期、不同的背景下由不同的开发商来完成 的，其数据的存储结构、存储平台和系统平台可能具有很大的异构性，如何将数 据从数据仓库中传输到异构的数据集市中是企业所面临的一个难题f 2 】。企业需要 一个全面的解决方案来解决数据的一致性和集成化问题，使我们能够利用一个单 一的解决方案对其进行高效的转换，这个解决方案就是e t l 。 e t l ( e t r a c t t r a n s f o 肋l o a d ) ，数据抽取转换装载系统，一般把它简称为数据 抽取系统。e t l 包括三个方面：首先是抽取，将数据从各种原始的业务系统中提 取出来，这是所有工作的前提；其次是转换，按照预先设计好的规则对抽取的数 据进行转换，使得本来异构的数据格式能够统一起来；最后就是加载，将转换好 的数掘按计划增量或者全部导入到数据仓库中【3 l 。 e t l 在数据源和目标数据库之间架立起了一座桥梁，确保新的数据能够源源 不断地进入目标数据库。从整体的角度来看，e t l 的主要作用在于其屏蔽了复杂 的业务逻辑，而为各种基于数据仓库的分析和应用提供了统一的数据接口f 4 】。虽 然e t l 的技术含量相对来讲不算高，但其涉及到大量的业务逻辑和异构环境， 因此在一般的数据仓库项目中，e t l 部分往往是牵扯精力最多的，一般来讲，开 北京邮电大学硕士学位论文 发e t l 要占到整个工作量的6 0 9 和8 0 吲。 为了有效的保证数据质量，并帮助开发人员理解数据仓库中的数据流动过 程，在e t l 的设计和实现中需要用到元数据。元数据( m e t a d a t a ) 是关于数据的数 据。在数据仓库系统中，元数据是描述数据仓库内数据的结构和建立方法的数据， 它可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心 的数据。在数据抽取过程中需要重新定义属性语义、统一属性标识、重新进行属 性值的计算和单位换算等。所有这些信息就构成了元数据，并保存在数据仓库的 数据字典中。e t l 相关的元数据主要包括每次转换前后的数据结构和转换的规 则。它定义了数据资源模型之间源到目标的映射以及转换，同时也定义了数据资 源模型和各类分析模型之间的转换。在把数据从源系统转移到数据仓库的过程 中，可以捕获这些元数据。以获得源模式和目标模式的完整描述、源数据库到目 标数据库的映射、转换过程中定义的变量、数据转换规则、数据的检索与异常处 理和转换步骤等。 由数据仓库经过e t l 进入到数据集市中的数据大都是业务源数据，为了从 这些源数据中获取更多有用的信息，需要对它们进行加工，例如根据业务源数据 计算各种指标值，这些计算的指标值为后续的预警、监控、统计等提供了数据保 证。在计算各种指标时，为了能够方便的对各种指标进行管理、配置和维护，需 要用到元数据。可以将各种指标的计算方式以元数据的方式存储在表中，当系统 需要计算某个指标的时候，可以读取元数据获得该指标值的计算方法，同时，使 用元数据也可以方便业务人员根据具体需要随时更改指标的计算方法。 1 2 金融稽核系统背景 在过去几年中，中国金融机构一赢都在致力于整体i t 构架的重整，进行大 集中的改造，随着这项工作的展开和落实，大集中初步显示了业务和技术上的优 势，比如业务流程和业务规范的统一，应用实施成本的显著下降，应用与系统维 护成本的显著下降等等，数据的集中更为后续的客户关系管理，风险控制以及决 策分析铺平了道路。但目前的集中并未涉及银行核心业务应用之间的横向联系， 仍然是采取垂直的工作模式，每一种业务都有自己的数据库，像资金清算系统、 银行信息交换系统、储蓄系统、贷款系统、会计系统、信用卡系统等等。在服务 渠道方面，各个渠道之间也是独立运作的，包括分支机构、互联网、呼叫中心、 a t m p o s 系统、无线交付、支票转帐等等都是各有一套独立的接入，安全认 证和服务提供机制。虽然在物理上把数据集中存放，不同的业务数据之间仍无法 实现高效率的共享，就是说无法提供实时的数据分析、风险策略部署、事件驱动 4 北京邮电大学硕士学位论文 的流程控制以及客户的单一视图，而这一点正是未来的发展方向。 中国加入、t 0 之后，面对越来越激烈的竞争，金融机构必须要有效地防范 欺诈活动。需要制止欺诈的理由不计其数。美国银行家协会在2 0 0 2 年作的一项 欺诈调查也显示，在接受调查的银行中，4 0 的银行认为身份盗窃是银行业面对 的最严重的威胁。有效增强反欺诈水平的一个最重要基础就是能够获得客户和业 务的完整的、及时的信息，在企业范围内实时共享存储在不同业务应用系统的数 据，并在不同的应用系统中传递，共享协同处理。 稽核部门是商业银行中的一个重要部门，主要负责银行内部的审计工作。现 代商业银行稽核在传统稽核业务的基础上提出了新的要求。从过去静态的结果推 行判断变为现在的动态跟踪式。以贷款为例，过去仅仅是按照现有账务和材料向 前倒推其是否符合操作流程，防范风险的作用并不明显；而现在稽核人员有可能 在贷款审批的过程中发现问题，建议中止发放，减少有可能出现坏账的情况。从 事后稽核逐步向事前及事中稽核的转变也是稽核工作的重点之一。 同时要求稽核工作的延伸性也比以前更强，许多原来“三不管”的地带被纳 入到稽核体系中来。以新产品开发来说，过去在开发一个新产品时，总是首先忙 于满足业务发展的需要，稽核人员并不参与，这样开发出的产品在投产以后有可 能出现某些不合规的问题。但现在要求从产品立项开始，稽核人员就要参加，从 操作流程的角度去监督产品开发，是否按规定程序进行了报批工作，并建立相关 的管理制度。如果没有相应的制度建设，稽核部门有权要求产品暂停开发。 1 3 本文研究内容 本文对数据集市中的数据处理子系统的建设进行了系统性的研究，重点研究 了基于元数据的数据集市中数据处理子系统的设计与实现方法，并且将这种方法 应用到某商业银行稽核系统中。， 按照传统的设计方法，数据集市中的数据直接来源于企业数据仓库，数据由 e t l 程序从e d w 传输到数据集市。在设计某商业银行稽核系统的数据处理子系 统时，根据该银行的实际业务需要并结合其企业数据仓库与稽核系统的实际情 况，在数据处理子系统的整体架构中增加了o d s 中间层。e t l 程序首先将数据 从e d w 传输到o d s ，在o d s 中对数据进行整理后再由e t l 程序将数据从o d s 导入稽核系统。增加了o d s 中间层后，e t l 模块就被分成了两个相对独立的部 分，结合每个部分自身的特点和要完成的主要功能，对它们采用了不同的实现方 式：e d 、- o d s 涉及到比较多的数据转换，因此选用了工具软件d a t a s t a g e 实现， 北京邮电大学硕士学位论文 这可充分发挥该软件强大的数据转换功能；0 d s 稽核系统业务逻辑比较简单， 涉及到的数据转换很少，因此选用了手工编码的方式实现，以充分发挥手工编码 的灵活性和高效性。e t l 模块中大量使用了元数据，这即方便了管理人员对该模 块进行管理和维护，又可以使业务人员很容易的查看到数据的流向，提高了系统 的可用性。 数据处理子系统根据导入的业务源数据计算稽核业务需要的各种指标值，按 照计算的时间不同分为定时计算和即时计算。定时计算和即时计算都是用来计算 稽核系统需要的指标值，差别在于定时计算是每天在e t l 模块导数完成后定时 进行，而即时计算则是在用户查询时进行计算。这两种计算都是由元数据驱动完 成的。 另外，本文对数据处理子系统中e t l 模块的优化进行了初步研究，提出了 具体的优化方法，并在实际运行环境中使用这些方法对系统进行优化，取得了较 好的效果。 1 4 论文结构 本文共五章，第一章描述问题的背景和本文的研究内容；第二章简要介绍了 数据仓库、数据集市、e t l 、元数据等相关技术；第三章给出了基于元数据的稽 核系统中数据处理子系统的设计方法，主要包括e t l 模块的设计和计算模块的 设计；第四章按照第三章的设计，完成了基于元数据的稽核系统中数据处理子系 统的实现；第五章对本论文的工作做了总结和展望。 6 北京邮电大学硕士学位论文 第2 章相关技术综述 2 1 数据仓库 2 1 1 数据仓库定义 ”数据仓库之父”w i l l i 锄h h 功o n 先生在其建立数据仓库一书中定义了 数据仓库的概念，随后又给出了更为精确的定义：数据仓库是在企业管理和决策 中面向主题的、集成的、与时间相关的、不可修改的数据集合。与其它数据库应 用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、 加工和分析的过程。而不是一种可以购买的产品【6 】。由i 二述定义可以看出数据仓 库主要有以下四个特点： 1 面向主题的：主题是在一个较高层次上将数据进行综合、归类并进行分析利 用的抽象。面向主题的数据组织方式，就是在较高层次上对分析对象数据的完整、 一致的描述，能统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之 问的关系； 2 集成的：由于各种原因，数据仓库的每个主题所对应的数据源在原有的分散 数据库中通常会有许多重复和不一致的地方，而且不同联机系统的数据都和不同 的应用逻辑绑定，所以数据在进入数据仓库之前必须统一和综合，这一步是数据 仓库建设中最关键、最复杂的一步； 3 与时间相关的：数据仓库系统必须不断捕捉o l t p 数据库中变化的数据，并 在经过统一集成后装载到数据仓库中。同时，数据仓库中的数据也有存储期限， 会随时问变化不断删去旧的数据，只是其数据时限远比操作型环境的要长，比如 根据需要可保存5 年内的历史数据。 4 不可修改的：数据仓库的数据反映的是一段相当长的时间内历史数据的内容， 主要供企业决策分析之用。与面向应用的事务数据库需要对数据作频繁的插入、 更新操作不同，数据仓库中的数据所涉及的操作主要是查询和新数据的导八，一 般不进行修改操作： 2 1 2 数据集市 数据仓库是一种反映主题的全局性数据组织，但是全局性数据组织往往太 大，在实际应用中经常将它们按部门或个人建立反映某个子主题的局部性数据组 织，它们即是数据集市。 7 北京邮电大学硕士学位论文 数据集市与数据仓库的关系相当于传统数据库中的视图与数据库的关系，数 据集市的数据来自数据仓库，是数据仓库中数据的一个部分与局部。 数据集市层构成了数据仓库管理中的第三层，数据集市层往往是直接面向应 用的一层。 2 2 数据仓库元数据 按照传统的定义，元数据( m e t a d a t a ) 是关于数据的数据。在数据仓库系统中， 元数据是描述数据仓库内数据的结构和建立方法的数据，它可以帮助数据仓库管 理员和数据仓库的开发人员非常方便地找到他们所关心的数据。由数据源中数据 到数据仓库的数据的转换，是需要按照一定规律进行的，这种规律往往是用一定 的表达式或算法形式表示。首先需要定义数据仓库的数据模式，可定义一张表来 存储从各数据源抽取来的数据，但由于各数据源属性的属性名、语义信息、数据 值的长度、以及所采用的度量单位等都有可能是不一致的，因此，在数据抽取过 程中需要重新定义属性语义、统一属性标识、重新进行属性值的计算和单位换算 等。所有这些信息就构成了元数据，并保存在数据仓库的数据字典中。传统数据 库中的数据字典也是一种元数据，数据仓库中的元数据主要用于数据的抽取与刷 新工作，是数据抽取与刷新的基本依据印”。 2 2 1 元数据分类 元数据一二篮盐曲拉莲霾塾塑塑! ! 缝堡型m ! 幽鞋盐塑些墨垂墼塑! 呈! 皇璺! s s m e t a d a t a ) 。技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和 管理数据仓库使用的数据，它主要包括以下信息： 数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据 的定义，以及数据集市的位置和内容； 业务系统、数据仓库和数据集市的体系结构和模式； 汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、 汇总、预定义的查询与报告； 由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分 割、数据提取、清理、转换规则和数据刷新规则、安全。 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实 际系统之间的语义层使得不懂计算机技术的业务人员也能够“读懂”数据仓库 北京邮电大学硕士学位论文 中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、 对象名和属性名，访问数据的原则和数据的来源，系统所提供的分析方法以及公 式和报表的信息。具体包括以下信息： 企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数 据模型的高层信息、整个企业的业务概念和相互关系。以这个企业模型为基础， 不懂数据库技术和s q l 语句的业务人员对数据仓库中的数据也能做到心中有 数。 多维数据模型：这是企业概念模型的重要组成部分，它告诉业务分析人 员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则。 这里的数据立方体表示某主题领域业务事实表和维表的多维组织形式。 业务概念模型和物理数据之间的依赖：以上提到的业务元数据只是表示 出了数据的业务视图，这些业务视图与实际的数据仓库或数据库、多维数据库中 的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现【9 】。 2 2 2 e t l 相关元数据 元数据中最重要的是e t l 相关的元数据。e t l 相关的元数据主要包括每次 转换前后的数据结构和转换的规则。它定义了数据资源模型之间源到日标的映射 以及转换，同时也定义了数据资源模型和各类分析模型之间的转换。 当数据源中的一个数据项与数据仓库建立属性与属性的映射关系时，这些元 数据还记下这些数据项所发生的任何变换或变动，反映数据仓库中的数据项所对 应的填充数据源。记录不同的应用系统和不同的编码方法描述的数据，从多个数 据字段和不同的格式形成新的字段格式时所经过的转换、变换与加载过程的属性 转换等。 另外，元数据还表达对在e t l 处理过程中的周期性例程操作定义、预定事 件及其依赖关系等，这对于e t l 工具，基于时间的调度工具及其他数据仓库管 理工具都非常重要。 总的来说，在把数据从源系统转移到数据仓库的过程中，可以捕获这些元数 据。以获得源模式和目标模式的完整描述、源数据库到目标数据库的映射、转换 过程中定义的变量、数据转换规则、数据的检索与异常处理和转换步骤等。 北京邮电大学硕士学位论文 2 2 3 元数据的作用 当数据从操作型环境传入数据仓库环境时，数据要经历一个重大的转变。转 化、过滤、汇总、结构改变等等都会发生。必要依靠元数据跟踪这些转变。 帮助开发人员理解数据仓库中的数据流动过程 数据仓库最大的特点就是它的集成性。这特点不仅体现在它所包含的数据 上，还体现在实施数据仓库项目的过程当中。在e t l 过程中，从各个数据源中 抽取的数据要按照一定的模式存入数据仓库中，这些数据源与数据仓库中数据的 对应关系及转换规则都要存储在元数据知识库中。元数据可以描述业务模型与数 据模型之间的映射、数据源与目标端的映射关系。因而可以把数据流动过程通过 元数据“翻译”出来，从而帮助开发人员理解和使用数据。 元数据是保证数据质量的关键 数据仓库或数据集市建好以后，使用者在使用的时候，常常会产生对数据的 怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的，使用者很 自然的对结果产生怀疑。而借助元数据，最终使用者可以方便的得到各个数据的 来龙去脉以及数据抽取和转换的规则，这样他们自然对数据具有信心。同时，这 也有助于最终用户及时的发现数据中存在的问题。另外一方面，数据抽取的转换 规则多而复杂，通过元数据管理可以有效地管理转换规则，使全量数据抽取和增 量数据抽取可以保持转换规则一致性，而且能动态跟踪转换规则变更的踪迹以及 源数据库和数据仓库之间的映射历史，保障数据仓库能源源不断地装载高质量的 数据。 元数据可以支持需求变化 随着信息技术的发展和企业职能的变化，企业的需求也在不断地改变。如何 构造一个随着需求改变而平滑变化的软件系统，是软件工程领域中的一个重要问 题。传统的信息系统往往是通过文档来适应需求变化，但是仅仅依靠文档还是远 远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有 效地管理起来，使得系统不依赖特定的开发人员，从而提高系统的可扩展性 jo j 川 2 3 e t l 概述 数据仓库的架构大体可以分为三部分：后台是数据存储和计算引擎，前端是 1 0 北京邮电大学硕士学位论文 数据展现分析的用户界面，还有一个重要的部分就是e t l 。e t l 是三个单词首 字母的缩写( e x 仕a c tt r a n s f o 玎nl o a d ) ，也就是抽取、转换、装载，我们目常称它 为数据抽取。e t l 是构建数据仓库的重要一环，用户从数据源抽取出所需的数据， 经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中 去。e t l 包含了三个方面，首先是“抽取”：将数据从各种原始的业务系统中读 取出来，这是所有工作的前提。其次是“清洗和转换”：按照预先设计好的规则 将抽取出来的数据进行清洗和转换，使不合法的数据被清洗掉，使本来合法异构 的数据的格式能够统一起来。最后是“装载”：将转换好的数据按计划一次性全 部或增量的导入到数据仓库中去。 2 3 1 数据抽取 数据抽取( e x 们吐) 是从数据源获取符合需要的数据的过程。数据抽取过程 会过滤掉数据仓库中不需要的源数据字段，并进行格式和类型转换。数据抽取可 以采用p u l l 和p u s h 两种方式。p u s h 就是指由源系统按照双方定义的数据格 式，将符合要求的数据抽取出来，再通过f t p 或其它文件传送方式拷贝到e t l 系统中。p u l l 则是由e t l 程序直接访问数据源，获取数据的方式。 多种来源 很少有这样的一种企业级数据仓库，不需要从多种来源中抽取数据。在多数 情况下，必须从多个系统中提取数据，利用多种平台上的多个数据存储来创建的。 如某银行的经营分析系统所涉及的业务系统几乎涵盖其所有的系统：综合业务系 统，信用卡系统，信贷管理系统，国际结算系统等等。 抽取模式 在数据仓库创建过程中一般有两种抽取的模式： 1 增量式装载 增量式装载仅仅记录那些自上次装载以后发生变化或者新增的数据。通常会 根据源系统中的时间或某种指示标识( 如记录的版本号等) 来识别那些已经被改 变的记录。 2 全量更新 有时，在数据源中改变了记录，而未留下任何的识别标志，这时，若需要获 取相关的事实时，无法确定表中的一条记录是什么时间更新的，在这种情况下就 需要提取整个表。 北京邮电大学硕士学位论文 压缩，鸯￥压 当打算长距离传送大量数据时，数据压缩是提取流程中的重要功能。利用压 缩功能可以节约l 3 到l ，2 甚至更多的传输时间。 加密与解密 当打算长距离传送大量数据时，数据的传输安全也是提取流程中的重要功 能。在传输前，对数据或数据文件进行适当的加密，是非常有必要的 1 2 】f 1 3 l 。 2 3 2 数据转换 数据转换f r r a n s 如加) 按照数据仓库的数据结构，对源系统每个记录进行转 换，转换以后就可写入数据仓库。数据的转换过程不仅仅是数据格式的改变，还 意味着要准备运行数据、转换其结构和内容，以便集成到数据仓库中去。 集成：集成是将业务数据从一个或几个源中取出，并逐字段地将数据映 射到数据仓库上新的数据结构，结合成一个新的实体。集成包括生成代理键，将 各种键从一个系统映射到另一个系统，并将代码映射到完全描述。还包括负责维 护转换过程中的主键检查。 渐变维度维护：跟踪维表列在一段时间的变化，同时提供对数据最新版 本的直接访问。识别己经改变的值和创建代理键是一个棘手的问题。不同的维度 策略，e t l 的处理过程是不一样的。 参照完整性检查：指某个表中的数据与另外一个表的数据相匹配。参照 完整性检查可以在数据库层面上管理，但这样做会降低灵活性。 反规范化和规范化：将某个层次的独立表反规范化成为某个维度，这是 一种标准的数据仓库转换处理。另外，有些反规范化发生在事实表的处理中。例 如，某个财务模型中有一个数量类型的维度，“实际”，“预算”，“预测”等值， 根据这些记录包含的细节级别，将该列透视成带有三个销售额的列( 每列针对一 种数值类型) 的单行时，可能更有意义。 数据类型转换：包括将某种数据类型转换到另外一种数据类型，如将d a t e 格式转换成懒a r 2 格式，从某个数据库将日期、数字、字符表示形式转换到 另一个数据库中。 计算，导出。分配：这些都是根据在需求处理过程中确定的业务法则进 行的各种转换。包括字符串操作、日期时间的算术运算、条件语句以及基本的计 算等功能。 北京邮电大学硕士学位论文 数据聚集：对数据按照不同分组进行汇总等统计计算。对于事实表中的 度量字段，他们通常是通过数据源一个或多个字段运用聚集函数得来的，这些聚 集函数在s q l 标准中，包括：咖，c o l l l l t ，a v g ，m i n ，m a ) 【等。 空值：因为许多传统系统中无法表示空值，程序员就采取一些不可能发 生的值对空值进行填空，从源系统中提取数据时，这些空值的替代值看上去与合 法值一样，会使分析人员误解；所以必须识别这些空值的替代值，并制定出在数 据库中处理空值的规则。 2 3 3 数据装载 加载( l o a d ) 经转换和汇总的数据到目标数据仓库中，可采用s q l 语句或 批量加载。 数据加载策略包括加载周期和数据追加策略。装载过程中应该避免生成目 志，利用批量的加载功能( 比如，创建索引和聚集等) 。 2 4 国内e t l 技术的现状 在中国，近l o 多年的i t 应用，积累了企业大量的数据，而企业如何利用这 些数据更有效的挖掘数据、获取更有价值的信息、为决策层提供数据参考，是目 前中国企业面临的普遍问题。 一般采用传统的数据库技术，针对不同的应用建立不同的数据库，甚至选用 不同的数据库管理系统( d b m s ) ，这就导致了数据分散地存储在不同的数据库 中，这就不可避免地存在异构性，不易于统一查询访问，而且大量的历史数据脱 机存放，无法有效的进行联机查询，在这种情况下对数据进行综合分析时，缺乏 可靠性，且数据处理的效率非常低。 针对这种情况，数据仓库的技术产生理所当然。作为一项数据管理领域的新 技术，数据仓库的精髓在于针对联机分析处理( o l a p ) 提出了一种综合的解决 方案。它把数据中心的数据从原有的多个用于联机事务处理的数据库中抽取得 来，进行综合分析。伴随着数据仓库技术的发展和数据量的海量增加、处理要求 的不断变化，需要处理的数据能够全面正确地反映出实际情况，可以快速、准确 地分析经营管理中的问题，提供有力的决策支持。这就要求有效地建立数据仓库， 而建立的基础是保证数据的质量。e t l 技术正是数据质量得到保证的核心。 e t l 技术，即数据的抽取、转换、装载。它是现代企业数据中心建设过程中 北京邮电大学硕士学位论文 必不可少的环节。由于目前企业正在运行的o u 甲( 联机事务处理) 系统中已经 积累了海量数据，如何利用e t l 技术从中有效地提取出决策所需的有用信息就 成为最迫切的需要。 由于伴随着企业数据量的不断增大、数据来源越来越多样化，在企业构建管 理信息系统时，不可避免地会遇上如何管理这些浩如烟海的数据，以及如何从中 提取有用的信息的问题。e t l 技术可以从多个不同的业务系统中、从多个平台的 数据源中抽取数据，完成转换和清洗，装载到目标数据库。它主要专注于解决多 对多的系统间数据转换问题。所以，这就奠定了完善的e t l 技术将会成为现代 企业数据中心整合技术的必然趋势，有着长远的应用前景和价值。 2 5 e t l 实现方式比较 e t l 的实现方式主要有选用e t l 工具软件和手工编码两种方式。目前市场 上主流的e t l 工具可以分为两大类：一类是专业e t l 厂商的产品，这类产品一 般都具备较完善的体系结构和久经考验的产品，产品的功能之复杂和详尽，往往 能令初次接触的人膛目，但其高昂的价格也会使一般用户望而却步；另一类是整 体数据仓库方案供应商，他们在提供数据仓库存储、设计、展现工具的同时也提 供相应的e t l 工具，这类产品一般对自己厂商的相关产品有很好的支持并能发 挥出其最大效率，但结构相对封闭，对其他厂商产品的支持也很有限。专业e t l 厂商和产品包括a s c e n t i a l 公司的d a t a s t a g e x e 、s a g c n t 公司的s o l u t i o n 和 i n f o 肌a t i c a 公司的产品，整体方案提供商和产品则包括0 r a c l e 公司的w 打c h o u s e b u i l d e r 和i b m 公司的w i h o l l s em a n a g e r 。 数据抽取转换的过程可以根据转换复杂度，资金投入等不同因素考虑不同的 实现方式，如手工处理方式或专业的e t l 工具等，企业可根据自己的需求合理 选择。但不论是采用手工处理方式还是工具自动处理方式，在实施该阶段时必须 注意的一个重要问题是：该阶段在整个数据仓库实施过程中工作量所占百分比。 很多企业认为该过程只是一个任务整理过程，所以对该阶段任务估计不够，时间 分配不足，这种心理上的轻视很大程度上影响了数据仓库项目的成功。而实际上， 该阶段占据了整个数据仓库实施的大部分时间，在有些项目中甚至高达8 0 【l4 】。 实现e t l ，到底是选用e t l 工具，还是手工编码? 对于这个话题的争论可 以说永无休止。很显然，这两种方式都有各自的优势和劣势，相信在很长一段时 间里谁也无法取代谁。我们可以从表2 1 中所列出的几个几方面对两种方式作一 个比较： 1 4 北京邮电大学硕士学位论文 灵活t 比较灵活最灵活 难易程度 相对容易要求一定技术水平 管理和维护容易较难 性能和效率较高取决于编写者水平 开发周期较短 较长 工作量 中等较重 价格 较高相对较低 2 6 数据清洗 表2 1b t l 工具与手工编码的比较 数据清洗主要用于清洗源数据中的垃圾数据，可以分为抽取前清洗、抽取中 清洗、抽取后清洗。e t l 对源数据主要采用抽取前清洗。对代码表的转换可以考 虑在抽取前转换和在抽取过程中进行转换。具体如下： 1 针对e t l 涉及的源数据库中数据表，根据数据质量分析的结果，建立数 据抽取前的清洗函数。该清洗函数可由调度控制程序在数据抽取前进行统一调 度，也可分散到各个抽取函数中调度。 2 针对e t l 涉及的源数据库中数据表，根据代码数据差异分析的结果，对 需要转换的代码数据值，如果数据长度无变化或变化不大，考虑对源数据表中引 用的代码在抽取前进行转换。抽取前转换需要建立代码转换函数。代码转换函数 由调度控制程序在数据抽取前进行统一调度。 3 对新旧代码编码规则差异较大的代码，考虑在抽取过程中进行转换。根 据代码数据差异分析的结果，调整所有涉及该代码数据的抽取函数。 北京邮电大学硕士学位论文 3 1 设计概述 第3 章系统设计 传统的数据库技术是面向应用的，银行针对不同的应用建立不同的数据库， 甚至选用不同的数据库管理系统( d b m s ) ，因此，银行的业务数据分散地存储 在不同的数据库( 可能是同构的，也可能是异构的) 中，不易于统一查询访问， 而且大量的历史数据脱机存放，无法进行联机查询，在此情况下对数据进行综合 分析时，缺乏可靠性且数据处理的效率很低。针对这种情况，为了适应银行业发 展和市场竞争的需要，各类银行相继建立起不同集中程度的数据中心，这个就是 数据仓库在银行业中的雏形，数据中心的数据从原有的多个用于联机事务处理的 数据库中抽取得来，有利于对银行各种数据进行综合分析。 而数据仓库作为数据集中的关键技术，伴随着数据库技术的发展及用户对数 据加工、处理要求的不断变化，也迅速发展起来。银行数据仓库包含银行拥有的、 从不同的数据库和文件系统中提取的各类数据，这些数据全面地反映了银行的实 际经营情况，通过建立数据模型和采用数据挖掘技术，可以快速、准确地分析经 营管理中的问题，为全行各级领导提供有力的决策支持工具，促使银行增加盈利 和提高整体经营管理水平。如利用数据仓库进行资产负债管理，包括资本分析、 资本募集、央行报表、资金到期分析、收入分析、利率敏感度分析、流动资金分 析、边际利率变迁和短期资金管理等。 m 银行稽核系统中数据处理子系统主要包括数据e t l 模块和数据预处理模 块，e t l 模块的主要工作是把需要的数据从数据仓库( e d w ) 导入稽核系统。 按照传统的e t l 架构，可以使用e t l 工具或手工编码直接将数据从e d w 导入 稽核系统。在稽核系统设计阶段，为了提高系统的整体性能，结合实际情况，提 出了在e d w 和稽核系统之间增加一个中间层( 0 d s ) 的改良e t l 架构，这就 塑呈! 生筮盛i 三仝韭坌：苴发鉴堑拯由基q 班昱q 旦签唇垄q 旦墨虫趾邀据 遂堑遭墨：量巫整遭堡亘笪墼塑量堕鳖壅竺二数据成功进入稽核系统中后，需 要对这些数据进行计算，主要包括预警指标值计算、监控指标值计算、统计指标 值计算等。业务源数据在稽核系统数据处理子系统中的流向图如图3 1 所示： 北京邮电大学硕士学位论文 清洗、转换、过虑数据预处理、指标计算 图3 一l 数据流向图 m 银行稽核系统涉及到财务、个贷、国际结算、票据、风险、银行承兑汇 票等多种业务。这些业务的稽核都涉及到类似的数据计算。稽核系统中的数据处 理分为五步进行：e t l 、统计、指标计算、监控预警、数据后处理。 稽核系统的预警、监控、统计等主要通过设定指标完成。所谓的数据计算主 要就是指计算指标值。e t l 过程用存储过程实现，这一步主要为后续工作做好数 据准备，比如根据导入的数据计算某个字段的值。指标值的计算方法存储在元数 据表中，指标计算即通过读取元数据获取指标值的计算公式，然后按照预定的公 式完成指标值的计算，这一部分使用j a 、，a 程序实现。 3 2 。e d w 专o d s 设计 一