（计算机科学与技术专业论文）审计系统中指标计算引擎的研究.pdf

审计系统中指标计算引擎的研究摘要审计系统是银行进行风险监督和风险管理的重要手段，如何将来自各业务系统的业务数据映射到最终的风险指标体系中的指标，是审计系统成功的关键。因此，设计一套灵活高效，可扩展的柔性指标计算引擎是非常必要的。由于指标计算引擎的数据源来源于各业务系统，其数据源格式多样，数据量大，而且，随着银行业务的不断拓展和业务创新，必然会增加新的数据源和新的评价指标，这样必然对指标计算引擎的灵活性和扩展性，运行效率提出了很高的要求。本文在仔细研究审计系统风险指标体系的特点的基础上，通过对数据仓库数据模型设计理论的学习以及分枝限界算法理论的研究，提出了基于s q l 的指标计算引擎算法和基于状态空间树的指标计算引擎，本文在设计和实现方面做了以下有意义的尝试：1 提出了审计系统指标数据模型设计，在该模型中，风险指标可由代数类算子，时间类算子，帐务类算子进行组合定义和嵌套定义。2 在理解学习分枝限界算法理论的基础上，提出了基于s q l 的指标计算算法和基于状态空间树的指标计算算法，并做了相应的系统设计及实现。3 对这两种算法进行了算法优缺点分析和性能比较。本文所述的指标计算引擎己被应用于某银行的非现场审计系统的指标计算模块中。关键词：非现场审计；指标算子；分枝限界算法；状态空间树r e s e a r c h0 ni n d i c a t o rc o m 啤u ，t ee n g i n e o fa u d i ts y s t e mo fb u s i n e s sb a n ka b s t r a c ta u d i ts y s t e mi st h ek e ym e t h o df o rb a n kt os u p e r v i s ea n dm a n a g eo p e r a t i o nr i s k s h o wt om a pf r o mt h eb u s i n e s sd a t at ot h ei n d i c a t o ro fr i s ki n d i c a t o r ss y s t e md e t e r m i n e sw h e t h e rt h es y s t e mi ss u c c e s s f u lo rn o t s o ，i t si n d i s p e n s a b l et od e s i g nas u i to fs o f 【e ni n d i c a t o rc o m p u t ee n g i n es y s t e mw h i c hi sf l e x i b l e ，e f f i c i e n c y , e a s y - e x p a n d i n g a sd a t ao f t h es y s t e mc o m ef r o md i f f e r e n tb u s i n e s ss y s t e mo f b a n k ,i t sc h a r a c t e r i z e db yd i v e r s i t ya n dm a s s i v e f u r t h e r m o r e ，t h en e wd a t as o u r c e sa n dn e wi n d i c a t o r sw i l lc o m ef o r t ha l o n gw i t he x t e n d e da n di n n o v a t i o no fb a n kb u s i n e s s a l lt h i sr e q u i r e dt h eh i g hq u a l i t ) ro ff l e x i b l ea n de x p a n s i b i l i t ya n dt h eh i 曲e f f i c i e n c yo ft h ei n d i c a t o rc o m p u t ee n g i n es y s t e m b a s e do ns t u d ya b o u tt h ed a t am o d e ld e s i g nt h e o r yo fd a t aw a r e h o u s ea n db r a n c hl i m i t a t i o na l g o r i t h m ，t h i sa r t i c l et a k e ss o m er e s e a r c ho n c h a r a c t e r i s t i co ft h er i s ki n d i c a t o rs y s t e mi nd e t a i l ，t h e nt a k es o m em e a n i n g f u la t t e m p t so nb o t hd e s i g n i n ga n di m p l e m e n t i n ga ni n d i c a t o rc o m p u t ee n g i n es y s t e m ：1 d e s i g n i n gt h ei n d i c a t o rd a t am o d e lo f a u d i ts y s t e m ，i nw h i c hr i s ki n d i c a t o rc o u l dc o m b i n e db ya l g e b r aa r i t h m e t i co p e r a t o r s ，t i m ea r i t h m e t i co p e r a t o r s ，a c c o u n ta r i t h m e t i co p e r a t o r se r e 2 r a i s i n gt h ei n d i c a t o rc o m p u t ea l g o r i t h mb a s e d0 ns q la n dt h ei n d i c a t o rc o m p u t ea l g o r i t h mb a s e do ns t a t e s p a c et r e e ，a n dr e a l i z i n gt h e mi n t ot h em a t e r i a lp r o j e c t ，2 3 a n a l y z i n gt h ea d v a n t a g e sa n dd i s a d v a n t a g e so f b o t ha l g o r i t h m sa n dc o m p a r i n gt h ee f f i c i e n c yo fb o t h t h ei n d i c a t o rc o m p u t ee n g i n es y s t e md e s c r i b e di nt h i sa r t i c l eh a sb e e na p p l i e di nt h ei n d i c a t o rc o m p u t em o d u l eo f o f f l i n ea u d i ts y s t e mo fo n eb u s i n e s sb a n k k e yw o r d s ：o f f l i n ea u d i ts y s t e m ；i n d i c a t o ra r i t h m e t i co p e r a t o r ；b r a n c hl i m i t a t i o na l g o r i t h m ：s t a t e s p a c et r e e3 -独创性( 或创新性) 声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：盔丝堑：噍 斗一关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论本人签名：导师签名：不属于保密范围，适用本授权书。日期：日期：1 1 引言第一章绪论随着生产国际化、贸易自由化、金融全球化以及经济一体化，金融的发展和变化对一国乃至全球的经济、政治、社会生活都产生了深刻的影响。金融是现代经济的核心，己经成为人们的共识。然而，金融犹如一把双刃剑，在给人们带来多方面的利益享受的同时，也会给人们造成损失、带来痛苦。2 0 世纪9 0 年代以来，许多国家发生了金融危机，尤其是1 9 9 7 年爆发的东南亚金融危机，促使世界各国都把防范和化解金融风险放在了首要的位置2 0 0 1 年1 月，巴塞尔委员会公布了新巴塞尔资本协议，其核心内容是提高资本的风险敏感度，更加强调对信用奉献、市场风险和操作风险的监覆0 与控制，全面推行风险管理理念。信息技术的迅速发展，推动全球进入了知识经济时代，这个时代的显著特征之一是把计算机网络通信技术融入到金融业务创新领域，将计算机广泛应用于会计核算、财务费用、信贷、资金管理等业务系统，实现经营业务电子化网络管理。银行系统己逐步迈向经营业务电子化发展轨道，稽核监督机制逐步由传统的现场稽核转变为非现场稽核预警，开展计算机审计业务；充分运用现代信息技术手段，抓紧金融系统风险监测、预警体系的建设，提高金融统计、会计、稽核和监管水平。1 2 项目背景与研究内容近年来，随着我国金融改革和开放的步伐不断加快，银行组织体系的不断扩充和发展，银行业竞争的不断加强，银行业的风险急剧上升。尤其是在我国加人w t o 后，更大程度的金融开放已经到来。可以预见，届时中国银行业的竞争不仅是国内同业的竞争，也要面临国际强手的挑战；不仅要面对国内经济环境的变化，也要面对国际经济环境的变化，从而面临着更多的不确定性和挑战。日新月异的市场变化要求银行必须对自身所面临的风险进行监测并及时做出反应。特别对于管理者而言，掌握银行风险的即时变动对于控制整个银行风险具有相当重要的作用。内部审计是银行加强风险审计的主要手段。信息技术和计算机技术的发展，我国金融业计算机应用水平的不断提高，金融电子化得到了长足的发展。由于审计手段和内控制度建设的相对滞后，国内金融机构虽然都配备了计算机账务稽核系统和较高比例的稽核人员，但仍无法满足审计的实际要求，目前，我国金融机构稽核管理存在的主要问题是：缺乏统一的i 计算机稽核管理信息系统；人员耗费多，监督不力：票据管理、调阅难度高；票据不能共享；对电子化数据缺乏审计经验等，尤其是一些中小商业银行和新兴金融机构，因为管理手段和管理经验的不足，更加剧了经营风险的发生。同时，稽核部门对于风险的监控又是不断变化的，为了适应这种不断的变化过程。电子化的稽核手段需要建立一套稽核风险监控体系，从而能够快速适应稽核部门对于风险监控的需要。风险评价模型和风险指标体系建立好之后，需要将指标体系中的各种指标计算出来才能真正的进行风险监测和风险评价。银行风险评价一般是对银行的金融机构进行评价，因此，需要汇总各业务部门的业务数据才能得到全面、真实的评价结果，采用数据仓库技术可以将各异构的业务数据源经过数据抽取，数据清洗，数据转换，数据一致化处理，数据加载等处理流程，最后存储到全行视图的数据仓库中。如何将来自各业务系统的业务数据映射到最终的风险指标体系中的指标，就需要设计一套灵活高效，可扩展的指标计算引擎；由于指标计算引擎的数据源来源于各业务系统，其数据源格式多样，而且，随着银行业务的不断拓展和业务创新，必然会增加新的数据源和新的评价指标，这样也必然对指标计算引擎的灵活性和扩展性提出了很高的要求；另外，数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e e to r i e n t e d ) 、集成的( i n t e g r a t e ) 、相对稳定的( n o n v o l a t i l e ) 、反映历史变化( t i m ev a r i a n t ) 的数据集合，其主要特点就是海量静态数据，这也必然对指标计算引擎的效率提出了比较高的要求。作者有幸参与了某商业银行的非现场审计系统的建设，在仔细分析业务需求之后，结合业务数据和指标计算公式的特点，设计了基于s q l 的指标计算引擎；该计算引擎在实际系统运行过程中，有效的发挥了其作用，但同时也暴露出了一些问题，作者针对这些问题，提出并设计了基于状态空间树的指标计算引擎，较好的解决了这些问题。1 3 论文主要工作本文首先给出了银行内控以及内审的的定义，介绍了银行审计系统的业务范围、功能以及特点。然后，探讨了银行风险指标体系的构成和研究现状，详细介绍了审计系统种的风险指标的计算内容以及特点。在数据仓库设计的事务建模理论和维模型设计理论的基础上，提出了银行非现场稽核系统指标模型建模的思想，给出了具体的数据模型设计。然后，在指标数据模型的基础上，给出了系统模块设计以及系统静态类图设计。2 本课题主要针对指标计算算法部分展开研究，深刻剖析指标计算的实质，理解关联规则算法以及分技限界搜索算法的状态空间树等相关理论，并对基于s q l的指标计算算法和基于状态空间树的指标计算算法进行了算法分析和比较。2 1 审计相关概念第二章商业银行审计系统2 1 1 审计的概念、目标和职能审计是由独立的专职机构或人员接受委托或根据授权，按照法规和一定的标准，对被审计单位特定时期的会计报表和其他有关资料的公允性、一贯性及其所反映的经济活动的合法性、合规性合效益性进行审查，并发表意见的经济监督、鉴证和评价活动。审计总体目标就是判定被审计单位一定时期内的会计报表的合法性、公允性、一贯性以及合规性、效益性。审计已经由当初的静态审计发展到动态审计，并且增加了管理审计的内容，包括经营审计、效益审计、效果审计，审计目标向管理领域也有所深入和发展。审计的职能是指审计本身所固有的、体现审计本质属性的内在功能，一般而言，审计具有经济监督、经济鉴证和经济评价3 种职能。经济监督( m o n i t o r i n g ) 是指根据有关法律、法规、制度、政策等，对被审计单位的会计资料及其所反映的经济活动是否真实、合法与有效进行检查、督促，并采取必要的措施对期违法违纪行为和低效问题进行处理，以保证被审计单位的经济活动和会计核算按规定的轨道运行；经济鉴证( a t t e s t a t i o n ) 是指通过对被审计单位的会计报表及其相关资料的审核和验证，以评判被审计单位记载经济活动的有关资料是否真实、合法、公允和可靠，并按审查结果向审计委托人和授权人出具书面证明，以取得审计委托人或社会公众的信任；经济评价( e v a l u a t i o n )就是通过审查验证，对被审计单位经营决策、计划、预算是否切实可行，经济活动及其结果是否完成了预定目标，内部控制制度是否健全有效等进行评定，以促进其改善经营管理，提高经济效益。审核检查被审计单位的经济资料及其经济活动是进行经济评价的前提。 i l l 2 i2 1 2 审计监督体系审计监督体系，又称审计组织形式或审计模式，是指根据国家法律设立的、担负不同审计任务的审计组织之间结成的相互联系、相互补充的整套组织机构。我国的审计组织由政府审计机关、民间审计组织和内部审计机构共同构成。在审4 计组织体系中，这3 种审计组织既相互联系，又各自独立、各司其职，泾渭分明的在不同的领域实施审计。它们各有特点，相互不可替代，不存在主动和从属的关系。2 1 3 审计分类审计分类( a u d hc l a s s i f i c a t i o n ) 是指按照审计活动的性质、特征、来源、条件等不同方面，对审计行为所进行的不同划分和归类。( 一) 按审计主体分类审计主体实质执行审计的组织和机构，即审计活动的执行者。审计按其主体分类，可分为政府审计、民问审计和内部审计。( 二) 按审计内容和目标分类审计的对象包括窜计的客体和内容，被审计单位是审计的客体，被审计单位的经济活动则构成审计的内容。审计的目标是指审查和评价审计对象所要达到的目的和要求。政府审计按审计内容和目标可分为财政财务审计、财经法纪审计和经济效益审计。民间审计按审计内容和目标可分为会计报表审计、验资和其他审计业务。内部审计按审计内容和目标可分为部门审计、单位审计和经营审计。2 1 4 计算机审计的产生计算机会计代替手工会计。使得传统手工审计工作面临许多新的问题，主要表现在：( 一) 肉眼可见的审计线索减少；( 二) 大部分人工完成的会计业务处理由计算机自动处理所代替；( 三) 内部控制的重点由会计人员和会计业务部门转移到电子数据处理环境，控制方式由手工控制变为手工控制和计算机控制相结合。( 四) 差错因素发生了重大变化；( 五) 企业信息系统的集成化导致一般的财务审计知识己无法满足对系统和系统控制进行了解和测试的需要。2 ，2 银行审计系统2 2 ，1 概述本文所述的审计属于金融企业内部审计的范畴，内部审计制度是公司治理机制的一个重要的制度安排。巴塞尔委员会在加强银行机构的公司治理中，阐5 述了一个有效的银行治理结构所必须具备的基本特征，其中特别指出“要认识到内部审计提供的重要的审计功能，并有效地利用”。嘲作为公司对权力进行监督和制约的内在需要，内部审计在公司治理中处于极其重要而又特殊的地位。1 内部审计是提升公司价值的重要环节。内部审计通过自身的努力帮助组织预防和减少损失，当审计成本小于减少的损失时，就增加了组织的价值；现代内部审计的发展，逐步向经营审计、管理咨询及内部控制流程的改进转移，在审计过程中对经营产生了附加价值。另外，由于内部审计的存在，客观上对组织内的经营管理者和其他职能部门产生促进作用，使他们知道因为要接受内部审计的监督与检查，不得不维持良好的控制系统和工作秩序，并努力改善工作绩效。这种被动的“自律”行为客观上增加了组织的价值。2 内部审计是实现内部控制的关键因素。内部审计以其相对独立的立场和对银行经营状况的全面了解，能对内部控制的各项程序客观评判、补偏救弊，进而促进整个内部控制系统高效运营。另外，内部审计人员通过与各部门、各层次管理者的会晤，了解经营中的实际情况，在上下层之间起到信息沟通的桥梁作用，从而提高内部控制系统的管理效果。国有银行规模大、分布广、分支机构众多，在内部控制基础并不牢固的情况下，决策层和高级管理层通过内部审计部门的监督工作，对有效加强各分支机构经营管理情况的全面监控，尤显重要。l _内部审计是加强风险管理的主要手段。一般而言，股份制商业银行内部审计要满足以下需求：股东和股东大会代表机构对公司经营状况的了解，以防范决策风险；管理层对管理、控制薄弱环节的客观反映，以规避经营风险；外部审计和监管机构对公司内部控制状况的评估，以降低审计风险和监管风险；潜在投资者对公司经营业绩和发展潜力的客观评估，以减小投资风险。由此可见，内部审计可以弥补外部审计在实现公司治理功能上的不足，是现代企业制度中不可缺少的重要组成部分。4 内部审计是解决信息不对称问题的有力措施。公司治理是解决信息不对称问题的制度安排，而内部审计则是解决信息不对称的重要措施之一。州内部审计师通过对财务报告进行相对独立的审计，可对管理层的会计信息编报权力进行约束并督促其充分披露会计信息，缓解管理层与投资者之间的信息失衡问题。内部审计通过监督信息的真实性，可以降低信息不对称的程度，从而对代理人形成间接的约束，减少代理人。逆向选择“和“道德风险”的影响。i ”一6 2 2 2 银行审计系统特点( 1 ) 审计系统包含的数据内容丰富从业务角度看，银行全面审计的内容包括会计、信贷、信用卡、清算等银行日常经营所有的金融产品和服务以及各项行政管理费用；从系统角度看，电子稽核需要存储的数据内容必须包括与业务要求相对应的所有核心业务系统的交易信息、合同信息、客户信息和账户信息。( 2 ) 审计系统对数据质量要求很高审计工作的主要内容之一就是审查所有的数据。系统必须保证来自核，1 5 业务系统的数据彼此一致、相互印证，对不兼容的数据。需要设计校验规则和处理程序将其转换为一致的、无歧义的数据。( 3 ) 审计系统需要对数据进行组织审计审查数据具有一定的逻辑关系，如对会计业务的稽查通常从报表开始，然后追踪到总账、明细账直至各种凭证和登记簿。所以，系统采集的数据必须按一定的业务逻辑重新进行组织。( 4 ) 审计系统需要支持数据分析搭建数据平台，满足业务人员稽核查询的需要只是稽核系统最基本的功能：审计系统的最终目标是支持各种比较分析、趋势分析，并发展为决策支持的一个重要组成部分。由此可见，审计系统是一个面向分析的系统，它需要实现海量交易数据和历史数据的存储、查询、分析、管理和在全国范围内的部署与应用而数据仓库以关系数据库、并行处理和分布式技术为基础，能够提供有效的数据访问手段，支持高层管理人员在数据仓库中进行统计、分析和挖掘，从而获得相关信息和规律。因此，利用数据仓库技术来实现审计系统是必然的选择，2 3 1 系统体系结构从整体上考虑，银行风险审计系统，可以划分为三个主要的模块：数据采集系统( e t l 系统) 、分析计算引擎和分析展现平台：一7 图2 - 1 审计系统结构图分析展现平台：是审计工作人员的工作平台，提供查询分析，审计分析，预警分析等多种手段的分析功能以及指标设定，参数设定，用户管理等系统管理功能，查询分析手段包括基期分析、同期分析、占比分析、排名分析、因素分析、决策树分析等各种分析手段。分析计算引擎：是审计分析展现平台的基础，包括分析引擎和计算引擎。分析引擎主要指b r i o 、c o g n o s 等b i 工具的后台服务引擎，计算引擎主要指后台指标计算引擎，指标计算引擎处理对业务数据进行整理，使审计数据源达到审计业务要求的完全性和关联性。数据采集子系统( e t l 系统) ：数据采集子系统从各个不同的业务系统数据源中抽取审计监管人员关心的数据及其关联痕迹，按照审计业务的特点，对这些数据进行转换、整合，装载到审计数据源中。e t l 系统的实现有两种方式：( 1 ) 在企业已经建成企业级数据仓库的情况下，e t l 系统可以根据审计业务需求以及审计系统建设的规划，分期分批的从企业数据仓8 库( e d w ) q u 抽取数据到审计系统；( 2 ) 在企业尚未建成企业级数据仓库的情况下，e t l 系统就需要分析审计业务需求所需数据源所在的业务系统的数据存放方式，与各业务系统分别进行数据接口，将分散在各业务系统中的业务数据集中到审计系统中来。2 4 银行财务指标体系银行风险评价模型建立的基本思路为；从银行监管的实际需求出发，以银行辖属机构为风险评价对象，通过分析风险评价所要考虑的因素，构建风险评价指标体系，运用现代定量分析手段和统计方法，确定权重、计算银行分支机构风险相对风险指数和综合相对风险指数实现对风险的综合评价2 4 1 指标体系构成一个有效的风险评价指标体系，可以使商业银行尽可能早地发现潜在风险并做出正确反应，从而降低风险。根据上述建模的基本要求，并从国内外经验出发，结合中国银行业监督管理委员会对商业银行风险监管的重点，以及商业银行自身经营管理的实际情况，以商业银行经营目标与主要经营风险为核心，构建了一个基本上能够反映商业银行辖属经营机构风险状况的风险评价指标体系。共包括资本充足性、资产质量、盈利性和流动性四类1 9 项监测指标。1 资本充足性风险评价指标包括：资本充足率、核心资本充足率、权益比。其中：资本充足率指标反映资本应付意外资产损失的能力；核心资本充足率反映核心资本应付意外资产损失的能力：权益比指标反映企业财务风险的大小，所有者权益比率与资产负债率之和按同口径计算应等于l ，因此，权益比指标同时反映资产负责率的信息，权益比率越大，负债比率就越小，企业的财务风险也就越小，并且企业长期财务状况就更好和长期偿债能力就能强。2 资产质量风险评价指标包括：不良贷款率、不良贷款抵补率、估计贷款损失率、拨备覆盖率、非信贷资产损失率、最大l o 家客户贷款比例、最大客户贷款比例。其中，不良贷款率指标反映信贷资产的风险状况：不良贷款抵补率指标反映不良贷款损失的补偿能力；估计贷款损失率指标反映信贷资产潜在的损失状况：拨备覆盏率指标反映资产损失的补偿能力：非信贷资产损失率指标反映非信贷资产损失的补偿能力；最大l o 家客户贷款比例和最大客户贷款比例两项指标反映信贷资产的风险集中程度。3 流动性风险评价指标包括：流动性比率、超额各付金率、备付金率、( 人民币、外币合并) 存贷款比例、9 0 天累计资金缺口比例。其中，流动性比率反- 9 映短期资产的流动性：备付金率指标反映短期支付能力；超额备付金率反映去除法定准备金后，银行的短期支付能力：( 人民币、外币合并) 存贷款比例反映整体资产的流动状况；9 0 天累计资金缺i z l 比例反映9 0 天累计资金缺口占流动性资产的比例。4 盈利性风险评价指标包括：资本利润率、资产利润率、利息回收率、资产费用率。其中：资本利润率反映资本的盈利状况；资产利用率反映资产的整体盈利状况；利息回收率反映盈利的质量状况；资产费用率反映盈利的管理成本状况。其中，资本充足率、核心资本充足率、权益比、不良贷款抵补率、拨备覆盖率、资本利润率、资产利润率、利息回收率、括流动性比率、超额备付金率、备付金率正相关；不良贷款率、估计贷款损失率、非信贷资产损失率、最大l o 家客户贷款比例、最大客户贷款比例、资产费用率、( 人民币、外币合并) 存贷款比例、9 0 天累计资金缺口比例负相关。2 4 2 指标构成的数据源分析审计系统的数据来源于业务系统，所以各业务系统是否可以按规定的时间提供数据，提供的数据质量，及业务系统一旦发生故障后，如何提供补充数据，必然会对审计系统是否能够正常运行，分析的结果是否准确，产生重大影响。本文以a 商业银行为例，介绍审计系统与各业务系统的数据流图。wi 统一报表系统t 一= = = = 原基各l i始础一数项l ”l数：)数，据一指据据项标表表l 资产负债系统= = = = 业务系统审计系统图2 2审计系统数据流由上图可以看出，审计系统的数据流图可分为以下几个步骤：将各业务系统提供的文本数据进行校验后，加载到审计系统的原始数据1 0 表( o d s ) 中，各业务系统之间无耦合关系，无时间及先后顺序，可并行加载。根据加载的数据，完成汇率转换，机构汇总，取上期余额，生成月、季、年粒度等工作，生成审计系统基础数据表，以供审计系统查询及计算数据项。为保证系统的一致性，机构表及汇率表均取自统一报表系统，因此风险监测系统及资产负债系统会依赖于报表系统数据，即报表数据加载完毕后，可并行加载数据。从基础数据表经过指标计算引擎生成数据项算子，数据项算子主要是为了生成复杂指标所提取的中间项和公共项，需等所有基础数据表数据加载后，才能计算。根据数据项值和基础数据表经过指标计算引擎生成指标，需所有数据项计算并校验完毕后，进行本步骤。综上所述可以看出，除数据加载可以并行执行外，各步骤都依赖于上一步骤的处理结果，不能并行执行。2 5 审计系统中的指标计算在商业银行审计系统中，往往有一套适应本行业务特点的风险指标体系，因此，在审计系统的日常运营过程中，存在大量的指标计算，而且指标计算的需求具有如下几个特点：1 ，数据量大。指标计算的数据源来源于银行各业务系统，商业银行作为现代市场经济的核心之一和信息化程度最高的行业之一，其业务面对千千万万的公众用户和企业用户，业务系统也产生大量的交易数据，同时，审计系统采用数据仓库技术建设，存储得是面向审计主题的、集成的、相对稳定的、反映历史变化的数据集合，其主要特点就是海量静态数据，以a 银行为例，a 银行是一家中等规模的全国性商业银行，在一期审计系统的建设中需要导入风险监测系统，统一报表系统，资产负债系统的业务数据，每日导入的业务数据达7 0 0 m 。2 ，需求多变。指标计算是审计系统的核心模块之一，保持系统结构和模块的稳定性至关重要。指标计算所需要的数据源以及指标公式的定义都是审计系统中最有可能变化的要素，这主要体现在，审计系统是基于审计主题和数据仓库技术的，而银行的业务系统间并没有统一的规范，因此，审计系统很难为指标计算提供统一的视图，另外，各商业银行风险指标体系由于需要适应自身的组织结构和业务特点，差别往往很大，因此，如何在变化的数据源和多变的指标体系的现实情况下设计一套低祸合，高效率的稳定的指标计算引擘对于审计系统来说至关重要。2 6 小结本章首先介绍了审计的相关概念，对审计的概念、目标和职能以及分类进行的简要的介绍，然后介绍了计算机审计的产生和发展过程，然后较为详细的阐述了本文所述的银行非现场审计在审计监督体系中的位置，功能以及具体解决的问题，然后介绍了数据仓库和银行审计业务的结合。1 2 -3 1 系统数据模型3 1 1 实体关系模型第三章指标计算引擎e r 模型中包含“实体”、“联系”和“属性”等三个基本成分。( 1 ) 实体实体是客观世界存在的且可相互区分的事物。它可以是入也可以是动物；可以是具体事物也可以是抽象概念。( 2 ) 联系联系是指客观世界中各事物彼此间的联系。联系分为三类：一对一的关系，一对多的关系，多对多的关系。( 3 ) 属性属性是实体或联系所具有的性质，通常一个实体用若干属性来刻画。人们通常就是用实体、联系和属性这三个概念来理解现实问题，因此，e r模型比较接近人的思维方式。此外，e r 模型使用简单的图形符号表示系统分析员对问题的理解，不熟悉计算机的人也能理解它，因此，e r 模型可以作为用户与系统分析员之间的交流工具。在指标计算子系统中，指标由不同类型的指标算子组成，包含数据算子、代数算子、常数算子、时间算子，数据算子指的是参与指标计算的基本要素，是各事实表中存放有关机构、货币、时间和指标代码等的统计值，代数算子指的是各要素之间的运算关系，常数算子指的是指标中包含的靠数项，时间算子指的是普通数据算子无法表达的特殊算子，包含期初、期末、月均、季均、基期、同期、累加值等等类型。以( a + b ) c “l o o + d ) 为例，a 、b 、c 、d 称为指标的数据算子。q - 、，( 、) 等称为代数算子，1 0 0 为指标的常数算子，基期型、同期型、平均值型、累加值型指标称为时间算子。数据算子分为两种类型，普通数据算子和帐务算子，普通数据算子指的是只包含当期值的统计数据，如资产负债表：帐务算子指的是包含上期借方余额，上期贷方余额，本期借方余额，本期贷方余额等统计数据，如表内科目类聚表。实体关系简图如下：1 3 图3 1 指标计算引擎实体关系图实体描述：在上图中，所包含的实体包括事实表，维度表( 在此事实表和维表只是一个统称，实际对应具体事实数据，如事实表包括资产负债表，损益表等，维度表包括五级分类) ，指标项信息，指标项数据，数据项信息，数据项数据等实体。事实表存储的是通过e t l 子系统从银行各业务系统经过数据抽取、数据清洗、数据转换、数据加载步骤汇总到数据集市中的业务数据，在本文描述的指标计算引擎中，所涉及的事实表包括资产负债表、表内科目类聚表、表内科目目均余额表、信贷收支表、损益明细表、利润表等1 8 张记录银行业务运营信息的统计信息数据。指标项信息实体中存储的是事实表事实数据组成指标的运算关系，记录了组成指标项的事实表名称，字段信息，运算关系等。指标项数据实体中存储的是指标数据的事实信息，记录了组成数据项的事实表名称，字段信息，运算关系等。另外，在实际系统中还包含手工输入信息，特殊指标项信息等，但基本关系已经在上图中体现。关系描述：事实表维表事实表由很多维组成，般情况下包括机构维，币种维，时间维，指标项类维等等维度，机构维、时间维和指标项类型维存在维度的层级和包含关系。一维表指标项维表的维度数据是指标项的组成项，维度数据可以经过加减乘除等以及其它可定义的运算组成指标项，还可以通过特殊的运算方式，如同期型、基期型、平均值、累加等方式定义指标项。维表数据项数据项是指标项的一种，与维表的关系同维表与指标项的关系。指标项指标项数据指标项表与指标项数据表的关系是维表和事实表的关系，指标项数据表除了包含机构维、币种维、时间维等公共维度信息之外，还有本身最重要的维度信息指标项维。_ 数据项数据项数据数据项与数据项数据表的关系是维表和事实表的关系，数据项数据表除了包含机构维、币种维、时间维等公共维度信息之外，还有本身晟重要的维度信息指标项维。一般定义数据项的用意是将其作为指标计算过程中的中间临时项。_ 事实表，指标项信息指标项事实表和指标项信息经过指标计算引擎的运算，将指标项信息描述的指标项数据计算出来，存放到指标项数据表中一事实表，数据项信息数据项事实表和数据项信息经过指标计算引擎的运算，将数据项信息描述的数据项数据计算出来，存放到数据项数据表中。- 1 5 -3 1 2 事实表、维表逻辑模型r 。机构表，表内科目日筠余额爰蠹p k扭擅拉舀瑟、!5 斜目表；臻p k f x i扭扫拉玛p k越目位舀p k f k 2量圣监毋叽构号p k , f i u整且拉舀叽构名称科目号p k班吐日扭叽构级别科目名称上级机构代码科目宝5 i 别借方日均余额乳构地址科目类别贷方日均糸顿良系人发生额性质本期日均余额几构创建时间余额性质效时问是否核对缓教走效时间生簸时间薹”；利润惫l番注失效时间p k f k i扭拍皿丑j+ 千p k , f k 2堑匝也舀p i f k 4型且盘丑llip k筮让且越鼢爹鹾纛囊溺弦馈币毒i 立纛p k , f k i扭擅拉舀本期发生数本年笈生教p k篮匝丑丑p k , f k 4堂匝拉舀p k , f k 2拱目拉舀货币号p k蓝让肚衄币种别名薹贷歙嚣织爵藁虢狰鬈币种名称上期借方余额货币符号上期贷方余额p k扭曲监舀最小货币单位借方发生额p k f k 2堂正盘舀最小记帐单位贷方发生顿p k , f k i百蛹卦拳托码货币等级借方余颈p k绮让目埘生效时间贷方余额失教时间本期余额j ljl+篡? 藏产负债袅。? 警i 霸益菩+ j 、7 翟鬃够秭分巷鹅蟋p k石甥井拳托舀p k , f k 3科目拉丑p k f k l扭抱拉玛p k , f k 2丑拍扭舀本行分类代码p k f k 2盘正i 曙p - f l ( 1豆匝扭毋分类名称p k瓤盟丑p k疆目拉母五级分类级别p k筮让日扭p k蕴让日越分类状寿上级分共代码上期余额本期发生教本行上级分类代码本年发生教生效日期失效日期导 标志图3 2 事实表、维表逻辑模型在图3 2 中，描述了某银行部分事实表、维表的逻辑数据模型的示意图，其中的维表包括机构表、货币表、科目表、贷款五级分类参数表等，事实表包括表内科目类聚表，资产负债表，损益表，科目总帐表，贷款五级分类统计表，利润表等。在实际系统中事实表和维表的数量要远多于图3 2 。1 6 3 1 3 指标关系逻辑模型指标项信息实体是整个指标计算引擎最核心的实体，它将事实表，维表和指标数据表关联起来，指标项信息实体设计的好坏直接影响系统的灵活性和可扩展性。指标项信息实体的设计如下：图3 3 指标关系逻辑模型基础指标表包含的要素包括指标代码，指标号，指标名称，显示指标公式，内部指标公式，内部使用标记，重复使用次数，数据项标志( 数据项、指标项) ，自定义指标是否要求排名，计算层次，计算方式( 正常计算、特殊计算、实时计算( 需用户输入参数) ) ，体系标记( 风险评价预警体系，在此体系中的指标特殊处理、非风险评价预警体系兴业指标类型) ，预警下限，预警上限，计算频度，人行标准值，保留标准值，生效时间，失效时间，指标描述，货币代码( 人民币、美元、汇总美元) 、适用机构级别( 总行、分行、支行) 、指标来源、是否使用，公式是否为空，是否允许修改标志等。指标类别表包含的要素包括类别代码，列别名称，上级类别，数据项标志( 数据项，自定义指标) ，权重，描述，生效时间，失效时间等。 基础指标计算子项归属表一1 7 包含的要素包括指标代码( 外键关联指标表) ，子项类别，子项代码，子项性质，计算符号，计算常数，计算次序，生效时间。其中子项类别表示该项取值来源的表l d ，跟事实表一一对应，如1 0 2 表内科目类聚表，1 0 3 表，内科目日均余额，信贷收支情况表，损益明细表，头寸表，资产负债流动性性报表，手工输入项，基础指标项，常数，中间项等等；子项代码则与子项的类型结合表示，子项为科目则为科目代码，2 、报表项则为报表项代码，、基础指标项则为基础指标项代码；子项性质则根据子项类别的不同表示不同的含义，主要是用于表达事实表中的取值类别，如依据子项类别，当子项类别为资产负债表，子项性质分别为1 ：上期余额，2 ：本期余额；当子项类别为表内科目类聚表时，子项性质分别是l ：上期借方余额，2 ：上期贷方余额，3 ：借方发生额，4 ：贷方发生额，5 ：本期借方余额，6 ：本期贷方余额；当子项类别为表内科目日均余额表时，子项性质分别时1 ：借方日均余额，2 ：贷方日均余额，3 ：本期日均余额。计算符号包括+ 、一，( ，) 等。计算常数表示如果子项类别为常数，则在此处存储其值。计算次序表示在计算公式中的次序。特殊指标类别表b a _ e s p e c i n d i e包含的要素包含公式类型( 基期、同期、平均值、累加) ，指标( 数据项)代码( 外键关联基础指标表的i n d i c k e y ) ，计算项类别，计算项代码，计算项性质以实现公式( a + b ) c d 为例，指标关系模型的存储结构可描述为：1 8 图3 4 指标关系模型存储结构该存储结构的优点在于：1 ，易扩展性。采用这种分项存储公式的存储结构可以最大程度上适应公式的需求更改，可以添加任意多项的公式项，另外，还可以利用s q l 或者表达式方式的公式解析，适应复杂公式的需求。2 ，低耦合性。指标公式进行的是事实表问数据的运算，但事实表的数量和名称存在较大的变数，如随着业务的拓展和创新，事实表的内容和数量有可能更改或者增加，该存储结构存在接口数据无关性，在该结构中，在b ai n d i cs u b l t e m表中采用s u b l t e m t y p e 和s u b l t e m p r o p 表示接口事实表及表列，另外在i t e m _ t y p e和p r o p _ t y p e 表中记录事实表的信息，这样，即使事实表数量和名称由于需求的变化需要进行变更，也不需要对指标关系的逻辑模型进行改动，在程序实现上，采用了j 2 e e 模型中标准的d a o 模式。最大程度上实现了软件实现和接口数据的分离，这样，指标计算引擎也与具体的事实表无关，实现了接口数据和指标关系逻辑模型的低耦合性和接口数据与指标计算引擎之问的低耦合性。3 2 计算引擎3 2 1 运行机制指标计算引擎需要满足几种情况下的进程调度：】9 l ，在系统进行初始化的时候，审计系统从各业务系统e t l 导入了大量的历史业务数据，因此，需要指标计算引擎根据这些历史业务数据计算历史指标数据；2 ，在系统日常运行过程中，e t l 子系统自动的从各业务系统抽取数据加载到数据仓库，在完成日常生产数据的e t l 导入之后，指标计算引擎需要自动触发计算流程；3 ，在e t l 数据导入出现异常或者指标公式设置出现错误等异常情况下，指标计算引擎需要进行相关指标的重算工作。4 ，需要满足定制方案的调度。方案是为了适应以下这种情况：当用户设置了一些指标，但并不需要计算所有机构所有时段的指标值，这样就可以通过设置方案来满足这种计算需求。为了满足不同情况下进程调度的需求，系统设计了一系列的进程状态控制表以及进程状态，并设计了进程调度模块来处理复杂的进程调度。3 2 2 系统流程图困3 5 系统简明流程图后台数据的简明流程如图3 5 所示。事实表、维表数据e t l 导入，如图2 2 所示，审计系统与资产负债系统、统一报表系统和风险监测系统存在数据接口，目前，这三个系统采用定时文件传送到接口服务器的方式进行接口，e t l 子系统定时采集接口服务器上的接口数据文件，经过数据清洗和转换的步骤，导入到o d s层的数据库表中。风险监测系统提供的事实表是业务合同和业务借据的明细数据，需要审计系统按照不同的统计口径进行数据汇总，统计口径包括贷款五级分类、贷款发生类型、贷款投向、贷款担保方式、贷款客户类型、贷款企业规模、贷款业务类型、行业等。基础数据准备好之后，就可以启动后台指标计算引擎，指标计算引擎会按照先数据项后指标项，先中间项后结果项的顺序依次计算所有的数据项和指标项。2 0 指标计算成功结束之后，系统会记录本次计算的详细日志，包括生成的记录数和汇总信息。最后，系统会更新进程控制表的状态，以便下一个周期的计算。3 3 系统结构3 3 1 系统模块划分图3 6 系统结构图指标计算引擎系统划分为四个模块：进程调度管理模块、数据访问模块、指标计算模块、公共管理和日志管理模块。其中，进程管理模块负责输入参数的解析、定时器的管理、进程的调度、指标重算管理等，处理与接口e t l 系统的状态同步等；数据访问模块负责对数据库表数据和系统元数据的访问与管理，采用域对象装配器设计模式，实现将底层数据访问操作与高层业务逻辑分离；公共管理模块抽象各模块公用的操作，提供包括日期处理、时间处理、字符串处理、字符编码、系统信息等相关的操作管理函数和类。指标计算模块为系统实现的核心模块，负责指标计算的流程和实现，主要功能包括指标分析、方案分析、s q l 译码等功能；在第四章中描述的基于s q l 的指标计算和第五章中描述的基于状态空间树的指标计算即为该模块的不同实现。2 1 3 3 2 数据访问模块此模块为系统的数据访问接口层，负责对数据库表数据和系统元数据的读取与管理。数据访问模块采用标准j 2 e e 设计模式之一的d a o 模式，利用这种模式，可以实现将底层数据访问操作与高层业务逻辑分离开。一个典型的d a o 实现通常有以下组件：一个d a o 工厂类一个d a o 接口一个实现了d a o 接口的具体类数据传输对象d t o这当中具体的d a o 类包含访问特定数据源的数据的逻辑。d t o 本身是这样一组对象或是数据的容器，它需要跨不同的进程或是网络的边界来传输数据。这类对象本身应该不包含具体