（计算机科学与技术专业论文）基于soa实时数据仓库的研究与应用.pdf

摘要 随着公司全球纯趋势的演变和技术昀曰盏融合，获取嵇维护实 时数据流成为业务操作的迫切需求。基于这种实时需求，许多企业 明确要求在源数据库系统和数据仓库之间集成实时数据。 实时数据仓库是主动静、动态麓数据仓库，它整合了数据仓库 和业务系统，掇供随需应变的业务。目前国内外对实时数据仓库的 研究主要分为两派：一派是准实时数据仓库的实现方案，主要通过 壤短e t l 工作髑期实现，它刁：能实现无缝共享和实时交换数据的要 求：另一派是嗣雳e a i 平台提供的实时数据交换豹功麓，实现实时 数据仓库。 本文主要研究了基于s o a 实时数据仓库的设计与实现方法。s o a 是鏊子标准鲦、松散藕合熬软件体系缝橡，采瘸w e bs e r v i c e s 技术 使得跨平台的、无缝共享的、实时的数据交换更容易实现。正是s o a 的这些特点，我们解决了传统e a i 存在的体系结构紧密耦合、缺乏 工业标准等溺题。 最后，本文介绍了在s o a 体系缩构下实现实对数据仓库并应藤 于银行稽核系统的方法。针对银行稽核设计了数据交换a p i 、基础 穗核服务、监控与警示服务、风险分析服务和贷时合规性横核等实 时滕务。 关键词：安对数据仓库、面向服务架构、企业应用集成、w e b s e r v i c e s a b s t r a c t w i t ht h ei n c r e a s e d g l o b a l i z a t i o no fc o m p a n i e sa n d t h eg r o w i n g s o p h i s t i c a t i o no ft e c h n o l o g y , c a p t u r i n g a n d m a i n t a i n i n g r e a l t i m ed a t a f l o w si sc r i t i c a lt ob u s i n e s so p e r a t i o n s b a s e do nt h i sr e a l t i m e r e q u i r e m e n t ，t h e r e i sac l e a rn e e df o rc o m p a n i e st oi n t e g r a t el a r g e v o l u m e so fd a t ai nr e a lt i m eb e t w e e ns o u r c es y s t e m sa n dd a t a w a r e h o u s e s ar e a l - t i m ed a t a h e h o u s ei so n eo f a c t i v e d y n a m i c d a t a w a r e h o u s e ar t d wd e l i v e r si n f o r m a t i o no nd e m a n d i ti n t e g r a t e st h e l a t e s td a t af r o mt r a n s a c t i o n a is y s t e m sw i t hh i s t o r i c a lo rc o n t e x t u a ld a t a t o p r o v i d et h e m o s tu p t o d a t ev i e wo ft h eb u s i n e s s t w 0r e s e a r c h a s p e c t si nr t d w a r e p u t t i n gf o r w a r d i nt h e s ed a y s ：o n ei sb a s e do ne t l b ys h o r t e n i n ge t lp r o c e s s e sc i r c l e a n di ti sd i f f i c u l tt of u l f i l ls t e a m l e s s s h a r e d a n dr e a l t i m ee x c h a n g i n gd a t ad e m a n d s t h eo t h e ri sb a s e do n e a i p l a t f o r mw h i c hs u p p o r t sr e a l - t i m ee x c h a n g i n g d a t a t h i sp a p e r m a i n l ys t u d i e st h ed e s i g na n di m p l e m e n t sm e t h o da b o u t r t d wb a s e do ns o a as o ai sas t a n d a r d 1 0 0 s e d c o u p l es o f t w a r e a r c h i t e c t u r e ，w h i c hm a k e si te a s yt os u p p o r to v e r - p l a t f o r m ，s t e a ml e s s s h a r e da n dr e a l t i m ee x c h a n g i n gd a t af u n c t i o n sb yu s i n gw e bs e r v i c e s t h u si th a s s o l v e d p r o b l e m s i ne mp l a t f o r ml i k eu n s t a n d a r d i z e d t e c h n o l o g ya n dt i g h t c o u p l ea r c h i t e c t u r e a tl a s t ，t h i sp a p e ri n t r o d u c e st h e d wa r c h i t e c t u r eb a s e do ns o a 。 a n df o c u so nt h ei m p l e m e n t so fb a n ka u d i t i n gs y s t e mb u i l d i n go nt h i s a r c h i t e c t u r e t b i sp a p e rd e s i g n sr e a l - t i m es e r v i c e $ i na u d i t i n gs y s t e m ， s u c ha sd a t ae x c h a n g i n ga p is e r v i c e s ，b a s eb u s i n e s sa u d i t i n gs e r v i c e s ， a l e r ts e r v i c e s 。r i s ka n a l y s i ss e r v i c e sa n d l o a n i n ga u 矗缸s e r v i c e s k e yw o r d s ： r e a l - t i m e d a t a w a r e h o u s e ， s e r v i c e o r i e n t e d a r c h i t e c t u r e ，e n t e r p r i s ea p p l i c a t i o ni n t e g r a t i o n ，w e b s e r v i c e s i 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：立盈鍪旌 日期：2 竺堕：兰! 关_ 二论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密沦文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：壁遣蛰 日期：垃丛：兰 导师签名 耻 日期则、z 万 。1 研究背景 1 1什么是实时数据仓库? 第一章前言 传统的数据仓库架构一般包括e t l 、o d s 、数据仓库、数据集市和b t 工具。 业务数据一般在每天深夜的批处理作业中从o l t p 系统中抽取出来，存储到o d s 中。然后数据在o d s 中加工后，也是在夜晚启用批处理将数据集中、分段传送给 数据仓库，数据仓库把历史数据存储到数据集市的接口中，供相应的业务部门分 析和处理。b i 工具位于数据仓库或数据集市的顶端提供o l a p 分析。 实时数据仓库提倡，当数据在o l t p 系统内产生后直接进入数据仓库系统， 而不必经过夜晚的批处理过程，这使得数据仓库内的数据成为即时更新的数据。 实时数据仓库“3 包含两方面的含义：( 1 ) 实时的动作；( 2 ) 数据仓库。实时的动 作是指当前正在进行的活动。这种活动可以是任何事情，例如某件商品的销售。 一旦这种活动结束，数据仓库中就应该存在相关的数据。 1 2 为什么应用实时数据仓库? 近来，实时数据仓库已经成为数据仓库业界的时髦词汇。i t 管理者们也在努 力验证：是否需要用实时数据仓库替代传统的数据仓库? 是否现存的数据仓库已 经不能适应当前快速发展的商务活动，需要转换为实时数据仓库以确保竞争力? 随着今天实时数据仓库的建设和应用，数据仓库向着实时的方向发展已经成为趋 势。 实时数据仓库的使用者发现实时数据仓库为诸多企业业务处理过程带来好 处，例如：收益管理、反欺诈、动态定价、补给、压型、商务活动监控、业务流 程管理等。 根据g a r t n e r 的研究报告，实时企业( r e a l t i m ee n t e r p r i s e ) 已成为趋势， 企业具备实时决策的能力将成为竞争的最佳武器，到2 0 0 6 年时，将没有企业不 受此影响，而实时数据仓库将成为实时企业不可或缺的基础。 2 国内外的研究情况 目前国内外对数据仓库的研究和应用主骤分为两大派。一派是基于e t l 实时 鼗爨仓库，舔羯在予采霜蚤季审方法缩短e t l 周期。童要采糟了戮下酌方法“。黼： - 一种怒用数据库触发产生一杼数据，将这行数据写入e t l 工其周期性处理 熬表审。遂鬻这些数掇孳亍毂存耱在辐辩豹蒙攒痒中。商辩，这茅孛数攥瘁毽 被看作是o d s 。这些事务可以缚隔几分钟或者几小时加载进数据仓库，o d s 霹越绘终装躅户提供一令接嚣，震予访滴鼗攘，生戏摄表。 一另一种方法是利用信息队列软件关联主事务处理程序。这个软件将一个事 务售惑夔鹫瑟蠢遴褒令在数据仓露鞭务器上熬德惠狐列。这静基惑敬列 以一种同数据库触发数据行类似的方溅被e t l 应用周期性的处理。 还毒一毒孛方法裁是翻翔各令e t l 厂家挺供静嶷瓣e t l 工兵。这秘e t l 工其 可以识别源数据库中新插入的和改变的数据，然后将遮些数攒添加到数据 仓库。 这种方案并不黥很好的解决实时数据仓库应该具备的露缝共事和交换数据 的爨要，只是准实时数据仓瘁实现的方法。 另一派楚采用e a i 实现数据仓库的实时性。利用建立在灏向服务架构体系上 的企业应用嶷成将实对数据从数据源系统串撼取出来，拖捷到数撂会痒孛。 3 本文簧解决的闷嚣 本文对安拜雩数攒仓库的发展及实时数据愈库体系粲构进行了系统性的研究， 重点研究了基于s o a 实时数据仓库体系架构和设计方法，并殿将这种架构应用到 簸杼稽孩系统牵，实现了实时数据仓库。本文还设计了银章亍稽核系统中所用辅的 实时服务。 4 本文结构 本文共飙章，第一章描述问题的背景和网内外的研究现状；第二章介绍实时 数撰仓痒豹发震获纛，羧及黧内舞磷究方淘；繁三章箨要套缓了嚣羯簸务檠擒豹 要素和实现技术；第四章较为详细地论述了凝于s o a 实时数据仓库的体系架构和 实时数据仓痒设诗方法；第纛章设诗了镊嚣耱孩系绕实理基予s o a 实时数撂仓库 的w e b 服务设计方法；第六章对本论文的工作做了总结和展耀。 2 1数据仓库发展 第二章实时数据仓库概述 1 。i从数据库到数据仓库 数据库系统作为数据管理手段，主要用于事务处理。在这些数据库中已经 保存了大量的日常业务数据，传统的d s s 一般是赢接建立在这种事务处理环境 上的。数据库技术一直力图使自己能胜任从事务处理、批处理到分析处理的各种 类型的处理任务。尽管数据库在事务处理方面获得了巨大成功，但它对分析处理 的支持一直不能令人满意，尤其是当以业务处理为主的联机事务处理( o n 1 i n e t r a n s a c t i o np r o c e s s i n g ，o l t p ) 应用与以分析为主的d s s 应用共存于同一个数据 库系统中时，这两种类型的处理发生了明显的冲突。人们逐渐认识到，事务处理 和分析处理具有本质的不同，直接使用事务处理环境来支持d s s 是行不通的。 在事务型环境中直接构建分析型应用是一种失败的尝试。数据仓库本质上是 对这些存在问题的回答。但是建立数据仓库的主要驱动力并不是过去的缺点，而 是市场商业经营行为的改变，市场竞争要求捕获和分析事务级的业务数据。建立 在事务处理环境上的分析系统无法达到这一要求。要提高分析和决策的效率，分 析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务 处理环境中提取出来，按照d s s 处理的需要进行重新组织，建立单独的分析处 理环境。数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和 组织技术帆 1 2数据仓库的发展 数据仓库的初始阶段是面向批处理的决策支持能力。数据仓库的初始目的是 收集、清理和集成组织内的数据，这些数据用来产生报表和查询，以支持决策的 制定。 数据仓库第二阶段伴随着联机分析处理和数据挖掘技术的发展，多维联机分 析处理工具利用钻取和旋转的特性使得复杂数据的查询更加灵活。 数据仓库的数据是从业务系统加载的，因此，数据仓库的数据总是滞后于业 务系统，滞后的程度取决于数据加载的周期。某些行业，如电信和金融行业，业 务系统每天产生巨大的数据量，由于数据库加载速度的限制，数据加载周期一般 采用每日加载。 新的经济环境下，有着新的客户期望值，新的客户关系，新的发展机会。这 就需螫主动的决策支持能力，而不是被动的。今天的数据仓库环境的数据正在发 生演变。数据仓痒撵受罄客户关系管理，一对营销，及时潮定决策等工捧，便 之具铬控制和影响市场的能力。 麓一鼹数攥仓痒爨热关浚翔寝蠢羹邃售惑锤琢瘸麓，海鬣穰意穗藏延迟，邈瘟 企业鞭求的随需应交的业务。实时企业需要最新的信息制定企业决策和优化业务 处理遗程。 。1 3 实时数擐仓艨与传统数据仓垮的比较 实时数据仓库和传统数据仓库有以下几点关键区别： 袋潦瓣窝酸术豹不蓠：转绞数提仓露天生藏楚接动豹，爱户避遂分褥历 史数据，可以制定长期的、战略性的计划；寅时数搬仓库注重改善战术 性的决策用以支持和更有效的执行战咯方案。 实辩经稿孰经理静不弱：实跨数据愈津撬供随需瘟变的监务，它整合了 源数据的壤新的数据和历史戏上下文的数据，为用户提供最新的视点。 传统的数撂仓库疆囱批处理，它弱予j # 在线浆分掇。转统数援仓瘁审懿 查询一般是大数据黧的处理，有时跨越整个企业豹维度。 整合的和孤妲的不同：实时数据仓艨纳一个蕉耍目姻就是整合数据念库 | 窝渡务系统，分褥黧c r m 疲旁l 藏燕舆墼静鼹子+ 褥统鼗据愈瘁擅长客 户分割、客户打分和消费期内客户价值。对于需要个性化、交互式客户 服务的业务，整合的、实时的分析糍提供更好的支持，拳j 予建立积极的 客户关系。 保证的和尽力而为的不同；传统数搬仓库通常以尽力而为的原则执行非 在线粒操作。它要么保证鸯效挂，婺么傈涟耄l l i 费性辘。穰爨分发过程孛 羽嫩迟不会降低信慰的价值。相反豹，实聪数据仓撵必需支持主动的、 正在进行的决策，融此既要保证有效性，叉骤保证执行性熊。如果实时 数攥仓疼持续分发失羧，裁会辩韭务产生重大鹣受覆影瘸。 。1 a实时数据仓库的应用 曙前，实时数据食库在备个领域为客户关系管理系统、反欺诈系统、睇h q 中 心等虚用系统提供了根荮的支持。例如，在锻行业，由于狠少客户真正了解家 银行能提供啦全部产品和服务，因此，基于浆种需求客户常絮会从该银行擞出大 笔的资金。一些领先的银彳予在其数据仓库中设置了事件规划来迅速捕捉这种商 机，数据仓库检澳到这种事件的发生质，迅速地将客户名单传送到孵日q 中心，在 与客户进行沟通后，银行不设篷 往了该颗客，还成功她销售了其贷款服务。这种 实时的营销方式对数据仓库的信息受叛速度撬出了很高的要求。 实辩数据仓库静瘫蹋带瑜企韭受强靛竞孥力。铡如w a l m a r t ，采用了一种近 实时的数据仓库架构，其成千上万个商店p o s 机的交易数搦烈最终的报表产生 4 时间延迟不超过6 小时，这对他们应对突发性的销售变动非常有效。在9 1 1 事件 中，瑟尼天罐头锾豢增长了9 0 0 ，捷支弹药臻长了1 0 0 多，电程遗璎长了褥 近倦( 大家发现媳视新闻还是比网上新闻要事富) ，而美蹦国旗增长了将近2 0 倍，基本上所有的零售店都售空了，但是一周以后，这些销蒋活动都正常了，但 是总髂鲍销售量反瑟泷乎常少。w a l m a r t 就毙偻快速我分辑，迅速进行谶熬，使 褥销臀鬣猛增，而且没有弓 超后麓因销售量减少导致酶痒存增加。勇并一家公司 a r r o w e l e c t r o n i c s 是电子元器件分销商，实时监控其2 0 0 ，0 0 0 个客户的订单数据， 并和他们的6 0 0 个供应商的零部件进行智能匹配，实时向客户提供最新的产品， 每天奁全球完残弱交爨萋超逮1 0 0 0 万条，年镝馁萋超过 亿美元。 2 实时数据仓库研究 。2 1实对数据仓簿秘定义 传统数据仓库的业务数据一般在每天深夜的批处理作业中从o l t p 系统中抽 取塞寒，存镶到o d s 中。然后数攥在o d s 中麴二 螽，也是在夜晚启用樵处璎涛 数据集中、分段传送给数据仓库，数据仓库把历史数据存储到数据集市的接弱中， 供相成的业务部门分析和处理。 安时数据仓库掇很，当数据在o l t p 系统内产生屠崖接遴入数据仓艨系统， 悉不必经过夜魏豹撤懿瑾过程，遮菠褥数据仓霹蠹懿数据藏海鬻瑟更耨静数据。 实时数据仓库包含两方面的含义【7 l ：( 1 ) 实时的动作；( 2 ) 数据仓库。实时的动 作是指尝前正在迸稃的活动。这种活动可以是任何事情，例如某件商品的销售。 一旦这耱溪羲结束，数据仓嘉中簸瘦该存袭挺荚戆数攥。 数据仓库捕获渡务活动数据，实时数据食撵在业务活动数据产生时立即捕 获。当业务活动完成并且存在有关的数据时，究烂的数据就流入数据仓库，成为 可用黪信息。换言之，实时数据会库是一搴申及时褥可耀的数攒转换为信息的体系 架构。 2 2疯时数据仓库研究现状 2 2 1 麓于e t l 实时数据仓痒 实附数据仓库筒临的第一个挑战就是数据抽取、转换、清洗、加载娜【9 j 迸数 撂仓露鹣过程。足乎鼹毒瓣e t l 王其和系统，不等是毫厂囊提供戆还燕鲻户单 独编稷实现静，都怒基于批处理秘工作模式。源数据逶擘按每天、每周或每月这 种固定的周期加载谶数据仓库。而且在数据加栽的过程中，数据仓库处于停工的 5 状态，用户不允许访问数据仓库。一般这种e t l 过程是在夜晚进行的，所以对 健统数据念摩戆曩户莰蠢嚣么影响，键是实时数撵会痒羲不灸谗数据仓痒楚予这 静停工状态。 一 、，1 热载 e 鼯 纛 代j 、 鼗撰奄簿 、， 一、 t 悟。、 、|消洗 、卅、 遗辩系统氏 转换 l 、l 李 、 、 i 一 其他数据源 1 抽取 _ 图2 - 1 基予e t l 实靖数耱仓痒架拘 数据抽取 贷时台规性稽桉 l 、目的：对不符合信贷评审、贷款审批规定的贷款项目进行自动筛选。 2 、曼涿要求：在獠榱人员需要梭豢茂项内骞时弼表显示褥会筛选条饽鹃硬 西。 3 0 1评审人不具资格系统自动校验评审人是否 具有评审资格。 2评审人员未出具明确个贷系统中评审人员或评需区分总、分行审批 评审意见审小组任何成员或评审组权限范围 长提出“有条件同意”或“继 续跟踪”等非“完全同意” “同意上报”。 3大额放贷某一借款人借款累计余额总行级和分行级贷 达5 0 0 万以上( 不含质押，款警示金额不同 中心级，一般) ；累计余额 达1 0 0 0 万以上( 不含质押， 总行级，一般) 。 监控与警示 1 、目的：对于业务中值得及时关注的事项给予提示。总行报警意图：提示 总行有关重要异常、实旆指标控制。中心级报警意图：向稽核中心提示异常情况 ( 风险信号) 。 2 、警示方式：系统自动后台检索符合警示条件的贷款项目，并将警示信息 及相关贷款数据自动显示在“警示信息表”。总行系统与中心系统按不同级别显 示：总行显示全辖警示信息，中心显示所辖机构警示信息，警示对象为支行级经 营机构。 序号警示项目单笔贷款金额增加警示级别 总行级中心级 1股票质押贷款8 0 0 万3 0 0 万一般 2存款质押贷款1 0 0 0 万5 0 0 万一般 这两种应用的特点都是对每笔进入个人信贷系统贷款业务进行相关项目的 分析，数据比较，如果项目或数据不符合稽核系统要求或标准，需要及时按一定 方式显示出来，提醒稽核人员注意，便于稽核人员及时分析规避风险，因此对系 统实时性要求比较高。 传统的数据仓库中的数据总是滞后于业务系统，不能实现这种基于事件和业 务流程的实时数据的捕获，因此不能满足上述需求。本系统结合基于面向服务架 构技术和企业应用集成，在应用中实现了目前商业银行的业务需求，是实现实时 数据仓库的探索。 1 3系统分析 1 3 1 数据麓和用户分析 个人信贷系统目前正式运行两年，客户数近1 2 0 , o o o ，目翦每年的新增的客 户数6 0 , 0 0 0 ，每天蔌瑗戆贷款笔数近2 0 0 笔，技一天篱篷霹阉8 ，j 、对，露每笔渡 务产生时间为2 4 分钟。与实时数据相关的表有： 贷款圭表 1 0 0 0 字繁，笔 其稳表以贷款主袭为单位 u 档案材料出入库表1 - 借款人( 客户) 傣息1 ，一率谚信惠主袭1 。呻请审批小缀意见结果表1 n 申 孽记事零，原因检查绪聚表l i 令夭贷款焱户表1 t 一个人贷款其他信息0 5 ，抵押品信息1 一、颚曩消息袭1 箕稳；4 每笔业务的数据最一1 3 5 1 0 0 0 b 一1 3 5 k 一天内她务的数据嫩= 1 3 5 k 2 0 0 = 2 7 m 霹冕该系统实舞部努戆鼗撵耋缀夸，监务发玺豹瓣闯阏繇毯缀大。 1 3 2 应用角度分析 这酃势疲臻簧求筵纛露鑫忝豹数蕹完全秀实对皴摇，与蘑囊溜患没袁关联， 因此系统谨设计时可以考虑利用前一帝所述的表分离法，将实时数据与历史数据 分离。对实时数据的查询仅涉及实时数据分区，不会影响数据仓库查询和运行的 缝能。实瓣数鬟分区内段保存当天戆数擐，系统在蠖天夜浚褥实孵数据热载避魇 史数据分酝。 。2系统交互设计 在系统之间交互数据是交互的第一层次：数据交互。然而埘于w e bs e r v i c e s 而言，光有数据交互是不够的，应当提供更高层次：服务集成的支持。 l 札比交甄的内奔不光包括互相交互的数据，而h 应该包含对数据的操作( 如 数攥请采，数提露女i 等) ，这此往德对应于疆务器端的一卡处理模块。 无论是对数据的操作，还是数据本身，为了在系统与系统之阳进行交互，尤 其是芹构平台之间，我们需要将所有的操作( 服务调用) 和操作的数据( 服务稠 爝的参数和逅弼值) 进萼亍勰范化的接选，形成规范化的文档后发露，以供踬宵鬻 簧参与互操作愆系统共同遵守。 从总体上讲，规范定义分为如下两部分： 1 、p r o g r a m m e r sa p i ：这是类似传统含义的a p i 定义，不过承我的介质是 s o a p m e s s a g e ，连载是说p r o g r a m m e r s a p i 是一组s o a p a p i ，不目的a p i 用予 完成不同的服务调媚，在遮部分中需要定义不同的s o a p a p i 的行为和实现的调 用响应的功能描述。 2 、d a t as t r u c t u r e ：送g 分定义了在s o a p 消息中传蟾的参数数据和响斑数 箍的x m l s c h e m a ，这部分为每个a p i 补充的漕惠糨式，同时为竣终的a p i 处理 提供了数据朦解析，包装的规范。 2 ，1a p i 设计魇剐 对于整个系统的a p i 设计9 1 1 棚 ，冀遵循的原则有以下几条； 简单性：w e bs e r v i c e s a p i 的设计首先应该是简单的，要被大量的用户接 受，簦获得毙较戴的应用。 可扩展性：作为堕新频率较高，开放性较强的w e bs e r v i c e s ，其a p ! 艘 用具有很好的向厢扩展性，当内部需求改变或外部需求w 改变时，a p i 将 校爨新的逻辑发生变倪，此时不应当将a p i 从捏本土推翻重建，嚣应该 其器增量式蛉可扩震的齄力。 高效性；a p i 应该在坚持简单性的前提下，兼顾商效性，当某些组台操 作成用得非常频繁的时候，应该为这样的缎合操作调用设计一个只需 捩交置抟单一入鞴调弼，这样毖够提癸外部成奔l 魏簸率，阔箨| 减轻w e b s e r v i c e s 的负载。 完备性：所谓完铸性就是说接个a p i 要覆盏所有需要对外公开的功能。 ，2 , 2d a 惦s t r u c t u r e 浆设诗 下面以j | 螽控警示服务为例，描述本系统d a t as 机设计思想。监控警示服 努涉聂的数播主要毒：罄承璜目数据、警示参数、警霹级嗣数摄和蟹暴信息详缀 而言，光有数据交互是不够的，应当提供更高层次。服务集成的支持。 凼此交互的内容不光包括互相交互的数据，而且应该包含对数据的操作( 如 数据请求，数据添鸯羹等) ，这些 主往霹旋于疆务器蠛豹一枣处理模块。 无论是对数据的操作，还是数据本身，为了在系统与系统之间进行交互，尤 其是异构平台之间，我们需要将所有的操作( 服务调用) 和操作的数据( 服务调 爝酌参数亵返强嬗) 进行援范纯的撼逐，形成规范纯筑文档螽发布，以供繇煮褥 要参与互操作瓣系统共同瀵守。 从总体上讲，规范定义分为如下两部分： 1 、p r o g r a m m e r sa p i ：这是类似传统含义的a p i 定义，不过承载的介质是 s o a p m e s s a g e ，连载是诞p r o g r a m m e r s a p i 是一缀s o a p a p i ，不溺豹a p i 藤予 完成不同的服务调用，在这部分中需黎定义不同的s o a p a p i 的行为和实现的调 用响应的功能描述。 2 、d a t as t r u c t u r e ：送郝分定义了旋s o a p 消息中传输的参数数据和响应数 瓣的x m l s c h e m a ，这部分为每个a p i 补充的清惠格式，同时为缀终静a p i 楚瑗 提供了数据艨解析，包装的规范。 。2 。1a p i 竣诗骧鬟| j 对于整个系统的a p i 设计f 3 1 1 _ 1 3 3 】，箕遵循的原则有以下几条； 简单性：w e bs e r v i c e s a p i 的设计首先应该鼹简单的，要被大量的用户接 受，簧获褥魄鞍黪豹应爱。 可扩展性：作为戴新频率较高，开放性较强的w e bs e r v i c e s ，其a p i 威 用具有很好的向臌扩展性，当内部需求改变贼外部需求改变时，a p i 将 摄掇耢的逻辑发生变纯，此时不应当将a p i 从根本上推魏羹建，两应该 其器蹭量式翡可犷装翦髓力。 离散性：a p i 应该在坚持简单悭的前提下，兼顾高效性，当某些组合操 作成用褥非常频繁豹时候，应该为这样的组合操作调用设计一个只需 次交笺懿摹一入疆溺霹，这榉魏够鬟蠹多 帮纛翔熬效率，燃瑟重减轻w e b s e r v i c e s 的负载。 完铸性：所谓完铸性就是说懿个a p i 要覆盏所有需要对外公开的功能。 ，2 2d a t as t r u c t u r e 翁设计 下面以脓控警示服务为例，描述本系统d a t a s t r u c t u r e 设计思想。监控警示服 务涉及魏数攒主要煮：蘩零磺羹数据、警苯参数、警零级澍数摄秘警承绩塞洋绥 数据。下瑚给出相对简帮的各x m l 数据结构定义。 警示项嚣其体撬透辏式热下； a u d i ta u d i t k e y - - ” 每个a u d i t 包含两个予元素n a m e 和d e s c r i p t i o n 分别描述这个餐示项目的名称 积攘透绉纛。弱对a u d i t 逐毽含一个耩毪a u d i t k e y 标谖警示磺鹜熬难一拣谈符 ( u u l d ) 。 考虑到聚统的适应性和可扩展性，我们设计了d a t a b a gt e m p l a t e 这种数据描 述方式。瓣镬d a t a b a gt e m p l a t e 藏是秘预先定义好魏、在菜令将定镁壤瘦掰巾 傻嗣豹信惑数据的模投，这个模扳定义了所有合法的字段，包括字段名称及篡字 段值类型。下面给出一个d a t a b a gt e m p l a t e 的例子； d a t a b a g t e m p l a t et e m p i a t e k e y = ” f i e l dn a f l l e = ”a u d i t k e y “t y p e = “罴s ：s t r i n g 这个d a t a b a g t e m p l a t e 定义了翻个字段，a u d i t k e y ( 警示项鞠) ，p a r a m l ( 参 数1 ) 、p a r a m 2 ( 参数2 ) ，这个t e m p l a t e 用于定义鬻示参数的横板结构。这样得 到警示参数的数据结构： ( 多机构) 各口径贷款品种数额比较 夺多个个贷系统的贷款品种。 夺多个稽核系统的贷款品种。 夺多个自定义的贷款品种。 ( 多机构) 各口径贷款品种的数值型指标比较 夺单一品种多个数值型指标比较 某个贷系统贷款品种的多个数值型指标。 某稽核系统贷款品种的多个数值型指标。 某自定义贷款品种的多个数值型指标。 夺多个贷款品种单一数值型指标比较 多个个贷系统贷款品种的某数值型指标。 ? 多个稽核系统贷款品种的菜数值型指标。 多个自定义贷款品种的某数值型指标。 ( 多机构) 各口径贷款品种的比值型指标比较 夺单一品种多个比值型指标比较 某个贷系统贷款品种的多个比值型指标。 + 某稽核系统贷款品种眈多个比值型指标。 某自定义贷款品种的多个比值型指标 夺多个贷款品种单一比值型指标比较 多个个贷系统贷款品种的某个比值型指标。 v ，多个稽核系统贷款品种的某个比值型指标。 多个自定义贷款品种的某个比值型指标。 由于本项分析内容多，鉴于论文篇幅，下面以某稽核系统贷款品种的多个数 值型指标给出典型的服务设计方法。 3 3 1 整体设计 实现用户根据机构、稽核贷款品种的数值型指标、分析内容( 金额、笔数、 户数) 等数值属性，获得数据分析的功能。 图5 - 8 数值型指标分析整体服务流程 其中，g e t a u d i t t y p e l d 用于获得稽核贷款品种i d ；数值型指标计算模块用于 计算各个级别的数值型指标，将在下一节详细介绍；m a p a u d i t q u a l i t y 用于将计 算过的稽核贷款品种和数值型指标等相关信息映射到数据仓库，然后实现数据加 载。 3 3 2 数值型指标计算 数值型指标具有贷款品种、机构、时间的属性，具有金额、客户数和笔数三 种数值。其中贷款品种和机构分等级，贷款品种分三级，最高级为个贷品种、按 用途、按风险性质担保方式和按期限，后三种属于稽核系统贷款品种分类。个 贷品种属于叶子节点，后三类属于根节点，之下还有两级。机构三级，依次为： 总行级、分行级和支行级。 数值型指标计算需要计算一至三级，每一级节点对应的金额、客户数和笔数 的数值。整个设计分为三级，服务流程如下： 4 所膏叛标鼍 瓤盘秘蚌篝戈毒盘t 麓羊唾纛狰簋蕞镶j 漱手囊赛羹 ，一赡蓐燕t 举寰尊羹 b r - 丑哇 j 口 黼 姒h 吨l 硝d p i yl h 以 一嚣渺 i r u 墨印 fl 心j 吐t j h a 椭f ih d l 嘁1