（工商管理专业论文）数据仓库技术在P银行信贷风险管理中的应用.pdf

论文独创性声明 本论文是我个人在导师指导f 进行0 研究工作及取得的石再究成果。论文中除 了特别加以标注邱致谢的地方外，不包含其他人或其它机构已经发表或撰写过的 研究成果。其他同志对本研笼的自发和所做的贡献均已在论文巾作了明确的声明 并表示了谢意。 作者签名：违笾一日期：立盟! 一、2 7 论文使用授权声明 本人完全了解复且大学有关保留、使用学位论文的规定，即：学校有权保留 送交论义的复印沣，允许论文被查阅和借阅- 学校可以公布论文的全都或部分内 容，町以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此 规定。 作者签名：啦导师签日飙! ! ! ：f ! 三二乡 数据仓库技术在p 商业银行信贷风险管理中的应用 摘要 信贷风险管理在商业银行经营管理中有着相当重要的地位，一方面是因为 目前存贷利差仍然是国内商业银行利润的主要来源，另一。方面是因为目前骗贷、 欠贷等现象仍然时有发生，一旦信贷风险管理失控，将给商业银行带来极大的 损失。 目前绝大多数商业银行都已经实施或正在实施的信贷管理系统一般都主要 是针对贷款的贷前调查、贷中审批、贷后跟踪的工作流程管理系统，在信用风 险衡量方面，则往往利用6 c 法或信用评分方法进行分析与决策。这些方法主 要存在的缺陷是：分析方法的主观性较强；数据未进行充分整合，导致分析内 容不够全面；基于时间历史的分析功能较弱；数据质量不完全可信；等等。因 此，商业银行信贷风险管理人员迫切的需要经过整合的、可信的、历史的信贷 风险分析数据基础及基于此数据基础之上的信贷风险分析及监控手段。 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的、用 于支持管理决策的数据集合。随着银行信贷管理系统建设的不断发展，相关的 数据规模也不断庞大，将数据仓库技术应用于银行信贷风险管理及分析将成为 一种必然的趋势。通过建设数据仓库，将商业银行积累的业务数据按照信贷风 险控制所关心的主题重新进行组合，通过数据清洗等方法改善数据质量，以三 范式或星型结构表保存业务历史。并通过o l a p 、即席查询、指标监控、数据 挖掘、统计建模等方法，使得业务人员能够从宏观到微软，从历史到现在，多 角度的分析、衡量与监控信贷风险。 本文通过深入了解信贷风险管理的领域知识以及对数据仓库技术的学习研 究，详细阐述了如何建立商业银行信贷数据仓库，及基于其之上的应用。本文 的主要工作如下： 1 从信贷风险管理的分析入手，阐述该领域的背景知识、传统采用的分析 手段和分析模型。介绍p 银行的信贷风险管理现状及遇到的问题。 2 介绍数据仓库的定义及其特征即主题性、时间性、集成性、只读性。说 明利用该技术如何在数据基础及分析手段等方面提升p 银行信贷风险 管理水平。 3 从信贷风险数据仓库的建设入手，介绍了在整体架构、建模方法、主题、 多维模型设计、元数据管理、数据质量控制、数据e t l 、存储、安全等 方面的设计与考虑。 4 对基于信贷风险数据仓库之上的具体应用，介绍了o l a p 、即席查询、 指标体系、数据挖掘、统计分析等方面的一些理论方法及具体应用；特 0 4 2 0 2 5 2 8 9 曹锐数据仓库技术在p 商业银行信贷风险管理中的应用 别是详细介绍了在建立内部评级法所需的p d 、l g d 模型的建设过程中 信贷风险数据仓库在提供数据基础方面所做的具体工作。 5 对全文做了一个结论概括，并对遗留的一些问题做了总结和探讨。 关键词：数据仓库、信贷风险管理、o l a p 、指标体系、数据挖掘 中图文分类号：t p 3 0 4 2 0 2 5 2 8 9 曹锐数据仓库技术在p 商业银行信贷风险管理中的应用 a b s t r a c t c r e d i tr j s k m a j l a g e m e n ti so f 舀e a ti m p o r t a n c e i nt h ec o r n m e r c ia 1b a r l k a d m i n i s t r a t i o n ，b e c a u s et h em a i ns o u r c eo f 也ec o m m e r c i a lb a d k si s 也eg a pb e t w e e n t h ei m e r e s to fd e p o s i ta n dm ei n t e r e s to f1 0 a n ，o nt h eo m e rh a n d ，m ef a k e1 0 a n f e q u e s t sa 1 1 dd e l a y i n go fp a y b a c ko fl o a i lo c c u r so c c a s i o n a l ly ，o n c et h ec r e d i tr i s ki s o mo fc o n t r 0 1 ，m e r ew i l lb eg r e a tl o s so ft h ec o m m e r c ia lb a n k s c u r r e n t l ym o s tc r e d i tn s km a n a g e m e n ts y s t e m sw h i c ha r eb e i n gi m p l e i l l e n t e do r h a v eb e e ni m p l e m e n t e df o c u so nt h ew o r kn o wo fp r e 一1 0 a ni n v e s t i g a t i o n ，i n l o a n a p p r o v a la n d 心e r _ l o a nt r a c i n g ，a n de v a l u a t i o nt 1 1 ec r e d i tn s kb a s e do nt h e6 c m e t h o do rm ec r e d i ts c o r i n gm e t h o d t h em a i nd r a w b a c k sa r e ：s u b j e c t i v e ，d a t an o t 如1 l y 协t e g r a t e d t h u sm a k et h e a 1 1 a l y s i s1 i m i t e d ，w e a ko nh i s t o r i c a la n a l y s i s ， u d b e l i e v a b l ed a t aq u a l i t ys ot h ec r e d i tr i s km ，皿a g e r si se a g e rt og e tt h ei n t e 昏a t e d ， c r e d i b l ea n d1 1 i s t o r i c a ld a t af o u n d a t i o n ，a n dt h ea n a l y s i sa n dm o n i t o rm e m o db a s e d o nt h ed a t af b u n d a t i o n d a t aw a r e h o u s ei st h ed a t as e tw h i c hi ss u b j e c t o r i e n t e d ，i n t e 静a t e d ，r e l a t i v e l y s t e a d i i ya n ds h o w i n gh i s t o r i c a lc h a n g e ，i ti so f t e nu s e df o rd e c i s i o nm a k i n gs u p p o r t a sm ed e v e i o p m e n to fb a n kc r e d i t “s km a n a g e m e n ts y s t e m ，t h ed a t ar a n g ei s e x p a n d i n gf a s t ，a n di t i sac o m m o nt r e n dt ou s ed a t aw a r e h o u s ea sm em e 血o do f c r e d i tr i s ka n a l y s i sa n da d m i n i s t r a t i o n b ys e t t i n gu pt h ed a t aw a r e h o u s e ，t 1 1 ec r e d i t n s kr e l a t e dd a t aa r er e o r g a n i z e da c c o r d i n gt ot h ea n a l y s i ss u b j e c t ，a n dt h ed a t a q u a l i t yc a l lb ei m p r o v e db yd a t ac l e a n i n ga n ds o m eo t h e rm e t h o d s ，t h eb u s i n e s s h i s t o r yc 肌b es t o r e di nt h e3 n fo rs t a r s c h e m at a b l e s t h eb u s i n e s sm a j lc 锄 e v a l u a t ea n dm o n i t o rt 1 1 ec r e d i t 订s kf r o mt | l et o pl e v e lt om ed e t a i l e d1 e v e l ，f r o m h i s t o r y t oc u r r e n t ，a n db a s e do nm u i t i p l ed i m e n s i o n sb yo l ap a d h o cq u e r y ， i n d i c a t o r ，d a t am i n i n ga n ds t a t i s t i c sm o d e l i n g i nt h i s a n i c l e ，t l 咖u 曲t h es t u d yo ft h e f i e l dk n o w l e d g eo fc r e d i tn s k m a n a g e m e n ta n dt h ed a t aw a r e l l o u s et e c h n 0 1 0 9 弘i ti sd e t a i l e dd e s c r i b e da b o mh o w t os e tu pm e b a n k i n gd a t aw a r e h o u s ea n dh o w t oi m p l 锄e n t 印p l i c a t i o nb a s e do nm e b a r l k i n gd a t aw a r e h o u s e t h em a i nw o r k si nt h i sa n i c l ea r e ： 1 ， s t a r t i n gf r o mt h ec r e d l t r i s k a n a l y s i s ，i n t r o d u c i n gt h en e l dk n o w l e d g e ， t r a d i t i o n a la n a l y s i sm e t h o da n dm o d e l ，i n t m d u c i n gt h ec u r r e n ts i t l l a t i o no f c r e d i tr i 呔m a n a g e m e n ti npb a r 血，a n dw h a tp r o b l e m sa r ee n c o u n t e r e d 2 i n t r o d u c i n g w h a ti sd a t aw a r e h o u s ea i l di t s c h a r a c t c r s ， w h i c ha r e u 4 2 0 2 5 2 8 9 曹锐 数据仓库技术在p 商业银行信贷风险管理中的应用 3 4 5 s u b j e c t o r i e n t e d ，m t e g r a t e d ， r e la t i v e l ys t e a d i l ya n ds h o w i n gh i s t o r i c a l c h a n g e ，e x p l a l n i n gh o wm e d a t aw a r e h o u s et e c h n o l o g yc a nh e l pt oi m p r o v e m ec r e d i tr i s km a n a g e m e n ta n da i l a l y s i st l l r o u 曲d a t af o u n d a l i o na n d a n a l y s i sm e t h o d s i n t r o d u c i n g t h e s y s t 锄 s t l l l c t u r e ，m o d e i i n gm e m o d ，s u b j e c t s ， m u l t i d i m e n s i o nm o d e l i n g ，m e t a d a t am a j l a g e m e n t ，d a t aq u a l i t yc o n t r 0 1 1 i n 岛 e t l ，d a t as t o r a g e ，d a t as e c u r i t yd 嘶n g t h ed a t aw a r e h o u s ei m p l e m e n t i n g i n t r o d u c i n gt h ea p p l i c a t i o nb a s e do nd a t aw a r e h o u s e ：o l ap a d h o cq u e r y ， i n d i c a t o r s y s t e m ， d a t am i n i n ga n ds t a t i s t i c s i n 仃o d l l c i n g h o wd a t a w a r e h o u s ei su s e dt oh e l pb u i l d i n gt h ep da n dl g d m o d e lw h i c hi su s e di n i r b c o n c l u s i o na n dd i s c u s s i o n ，p o i n t l n go u tm e 如r 七h e rs t u d yf i e l d k e yw o r d s ： d a t aw a r e h o u s e ，c r e d i tr i s km a n a g e m e n t ，o l a p ) i n d i c a t o rs y s t e n l ，d a t a m l n i n g c l a s s i f i e dw o r d ：t p 3 4 数据仓库技术在p 商业银行信贷风险管理中的应用 引言 银行业i t 系统的建设，经历了联机交易处理系统的建设阶段，现正处于联 机分析处理系统的建设阶段。在联机分析处理系统的建设中，数据仓库的实现 是一个非常重要的因素，如何基于银行现有的数据基础搭建数据仓库，并实现 基于数据仓库的应用，是目前众多商业银行i t 建设者都非常关注的话题。 p 商业银行是一家全国的股份制商业银行，该行目前在全行范围内实施了信 贷风险管理系统，通过几年的使用，已经积累了大量的与信贷风险相关的业务 数据。由于p 商业银行业务的不断发展及外部竞争的加剧，特别是面临2 0 0 6 年底银行业全面向外资银行开放的大限，p 商业银行的信贷风险管理人员深刻 感受到在信贷风险分析及管理方面与先进行之间的差距，因此迫切希望能够以 信贷风险管理系统中积累的众多数据为基础，辅之以数据仓库的先进技术及分 析手段，提升全行的信贷风险监控、分析、管理能力。 本文试图通过深入了解信贷风险管理的领域知识以及对数据仓库技术的学 习和研究，针对p 银行信贷风险管理的实际情况，讨论如何建立信贷数据仓库， 及基于其之上的应用。论文首先从信贷风险管理的分析入手，阐述该领域的背 景知识、传统采用的分析手段和分析模型，分析了p 银行应用数据仓库技术必 要性和紧迫性。其次，从数据仓库的设计入手，阐述p 银行信贷风险管理的数 据仓库建模，数据e t l ，存储，安全等方面的方案与考虑因素。在此基础上， 阐述了p 银行给予数据仓库基础上的可能的应用框架，包括o l a p 、指标体系、 数据挖掘、统计分析等方面的应用等；并初步探讨了在建立内部评级法所需的 p d 、l g d 模型的建设过程中数据仓库的应用价值。 0 4 2 0 2 5 2 8 9 曹锐 数据仓库技术在p 商业银行信贷风险管理中的应用 lp 银行信贷风险管理现状分析 1 1 信贷风险管理对于商业银行的重要性 信贷风险是指是商业银行在提供金融中介和交易服务中损失发生不确定 性，即在债权到期而无法收回本息的一种可能性，而这种风险同时兼有可控性 和不可控性，结合商业银行信贷风险它具有四个特征：即不确定性、潜在性、 可测性和风险与预期收益的均衡。 信贷风险形成的原因多种多样，主要包括经营决策、管理意识、社会政治 经济以及企业经济环境等方面的原因。 为何商业银行对于信贷风险管理非常关注? 主要原因有： 1 、存贷利差是目前阶段商业银行的主要利润来源，旦信贷风险失控，将 对银行盈利能力产生重大影响。 2 、针对信贷风险产生的原因，进行银行信贷风险控制，有利于加强银行的经 营管理，实现资源的有效配置，有利于提高信贷质量。 巴塞尔协议第3 1 条指出：“银行的管理需要防备各种不同的风险。对 大多数银行来说最主要的是信贷风险，即对方不能还款的风险”。这是国际商业 银行经营管理历史经验的深刻总结，指明信贷控制是银行生存发展的关键。 1 2 商业银行信贷风险管理的主要模型和方法 ( 1 ) 传统的信用风险度量方法 商业银行传统的信用风险度量方法有信贷决策的“6 c ”法和信用评分方法 等。 “6 c ”法是指由有关专家根据借款人的品德( c h a r a c t 哪( 借款人的作风、观念 以及责任心等，借款人过去的还款记录是银行判断借款人品德的主要依据) ：能 力( c a p a c i t y ) ( 指借款者归还贷款的能力，包括借款企业的经营状况、投资项目 的前景) 、资本( c 印i t a l ) 、抵押品( c 0 1 1 a t e r a l ) ( 提供一定的、合适的抵押品) 、经 营环境( c o n d i t i o n ) ( 所在行业在整个经济中的经营环境及趋势) 、事业的连续性 ( c o n t j n u i t y ) ( 借款企业持续经营前景) 等六个因素评定其信用程度和综合还款 能力，决定是否最终发放贷款。 信用评分方法则一般采用评分模型，根据客户的指标得出客户的评分，并 确定是否向客户提供贷款，常用的信用评分模型包括z 值模型等。z 值模型由 a 1 t m a n 于1 9 6 8 年提出，采用五个财务指标进行加权计算，对借款企业实施信 用评分，著将总分与临界值( 最初设定为1 _ 8 1 ) 比较，低于该值的企业被归入 6 0 4 2 0 2 5 2 8 9 曹锐 数据仓库技术在p 商业银行信贷风险管理中的应用 不发放贷款的企业行列，由于各地区的实际情况不同，在具体应用时一般都会 做相应的调整。 ( 2 ) 现代信用风险度量模型 近二十年来，由于商业银行贷款利润持续下降和表外业务风险不断加大， 促使银行采用更经济的方法度量和控制信用风险，而现代金融理论的发展和新 的信用工具的创新，给开发新的信用风险计量模型提供了可能。与过去的信用 管理相对滞后和难以适应市场变化的特点相比，新一代金融工程专家将建模技 术和分析方法应用到这一领域，在传统信用评级的基础上提出了一批信用风险 模型。现代信用风险度量模型主要有k m v 模型、c r e d i t m e 岍c s 、麦肯锡模型和 c s f p 信用风险附加计量模型等四类。 c r e d i t m e t r i c s 是由j p 摩根公司等1 9 9 7 年开发出的模型，运用r 框架， 对贷款和非交易资产进行估价和风险计算。该方法是基于借款人的信用评级、 次年评级发生变化的概率( 评级转移矩阵) 、违约贷款的回收率、债券市场上的 信用风险价差计算出贷款的市场价值及其波动性，进而得出个别贷款和贷款组 合的v a r 值。 麦肯锡模型则在c r e d i t m e t r i c s 的基础上，对周期性因素进行了处理，将评 级转移矩阵与经济增长率、失业率、利率、汇率、政府支出等宏观经济变量之 间的关系模型化，并通过蒙地卡罗模拟技术模拟周期性因素的“冲击”来测定评 级转移概率的变化。麦肯锡模型可以看成是对c r e d i t m e t r i c s 的补充，它克服了 c r e d i t m e t r i c s 中不同时期的评级转移矩阵固定不变的缺点。 c s f p 信用风险附加计量模型与作为盯市模型( m t m ) 的c r e d i t m e t r i c s 不 同，它是一个违约模型( d m ) ，它不把信用评级的升降和与此相关的信用价差 变化视为一笔贷款的、r ( 信用风险) 的一部分，而只看作是市场风险，它在 任何时期只考虑违约和不违约这两种事件状态，计量预期到和未预期到的损失， 而不象在c r e d i 伽e t r i c s 中度量预期到的价值和未预期到的价值变化。在c s f p 信用风险附加计量模型中，违约概率不再是离散的，而被模型化为具有一定概 率分布的连续变量。每一笔贷款被视作小概率违约事件，并且每笔贷款的违约 概率都独立于其它贷款，这样，贷款组合违约概率的分布接近泊松分布。c s f p 信用风险附加计量模型考虑违约概率的不确定性和损失大小的不确定性，并将 损失的严重性和贷款的风险暴露数量划分频段，计量违约概率和损失大小可以 得出不同频段损失的分布，对所有频段的损失加总即为贷款组合的损失分布。 k b 模型是估计借款企业违约概率的方法。首先，它利用b l a c k s c h o l e s 期权定价公式，根据企业资产的市场价值、资产价值的波动性、到期时间、无 风险借贷利率及负债的帐面价值估计出企业股权的市场价值及其波动性，再根 0 4 2 0 2 5 2 8 9 营锐 数据仓库技术在p 商业银行信贷风险管理中的应用 据公司的负债计算出公司的违约实施点( d e f a u l te x e r c i s e p o i n t ，为企业1 年以下 短期债务的价值加上未清偿长期债务帐面价值的一半) ，然后计算借款人的违约 距离，最后根据企业的违约距离与预期违约率( p d ) 之间的对应关系，求出企 业的预期违约率。 1 3 新环境下对于p 银行信贷风险管理提出的新要求 ( 1 ) 利率随风险定价的要求 目前国际上的普遍做法是利率与风险挂钩，即高违约率的客户贷款采用高 利率，低违约率的客户贷款采用低利率，但类似p 银行这样的国内商业银行存 贷款利率是在人民银行规定的基准利率基础上作有限的上下浮动，基本不考虑 客户的违约率高低，这种做法是不符合“高风险高收益，低风险低收益”的原 则的。 随着国内银行业逐步向国际接轨，将来必定会要求贷款利率与客户违约风 险挂钩，因此，准确衡量特定客户的违约率就十分重要。 ( 2 )巴塞尔新协议对于信贷风险管理的要求 根据巴塞尔新协议，采用内部评级法度量信贷预期损失采用如下公式：预 期损失= p d 预期违约率+ l g d 违约损失率+ e a d 违约金额，但在p 银行目前采 用内部评级法存在如下困难是：需要建立p d 及l g d 模型，但根据巴塞尔委员 会的要求，需要有至少5 年的观察数据，而p 商业银行目前缺乏高质量、有一 定时间积累的基础数据用于建模。 为了解决此难题，一方面，需要在p 银行建立和完善基于贷款全生命周期 的信贷风险管理系统，以收集详细、正确的相关业务数据；另一方面，在p 银 行建立信贷风险数据仓库，将业务数据历史进行保留，从而形成分析数据基础， 通过统计分析的手段，进行建模，以达到实施内部评级法的条件。 ( 3 ) 业务开展对于信贷风险管理的要求 p 银行传统的业务强项在对公业务方面，近几年来，随着对中小企业贷款， 消费贷款业务的日益重视，对于信贷风险管理提出了更高的要求。主要原因在 于此类贷款往往提供不出足额的担保品，担保方式往往以信用担保为主，一旦 发生违约，损失率高。因此准确衡量客户违约风险十分重要。 风险控制与业务拓展的矛盾，需要从众多的业务对象中晒选出风险小的客 户，对于风险管理提出了高要求。 此外，出于业务监控的要求，不同管理者需要及时得到不同粒度的数据， 这就要求系统能够提供从宏观到微观的不同层次的信息展示，并要求信息展示 具有直观、灵活的特点，以满足不同层次风险管理人员的需求。 0 4 2 0 2 5 2 8 9 曹锐数据仓库技术在p 商业银行信贷风险管理中的应用 1 4p 银行信贷风险管理与分析的难点 当前商业银行信贷管理中存在的主要难点在于： ( 1 ) 数据基础不够 数据积累时间不够 在p 银行与信贷风险管理相关的系统中，除核心系统外，一些系统上线时 间仅有2 3 年，数据积累还相当不够，特别是对于一些产品如房贷，由于往往 需要较长的时间，其风险才会逐渐暴露出来，因此对此类业务的分析往往需要 较长期间的数据作为分析基础，最后得出的分析结论才一能够做到比较准确。 此外，内部评级法的实施也要求银行自身数据积累至少在5 年以上，建立 的模型才被认为是比较可靠的。 数据的积累放在o l t p 系统来实现是不现实的，因为o l t p 系统本身在设计 时，基于系统功能、响应时间等方面的考虑，基本上是不考虑对于历史数据的 保存问题的，历史数据往往是以脱机备份的形式存储，这样就造成一旦想基于 历史数据进行分析，就必须基于备份文件逐日恢复数据库，过程十分繁琐，而 且效率低下。 数据质量不理想 只有准确的数据才能产生准确的分析结果。灵活查询、统计分析、监管指 标、组合管理，无一不需要准确的数据做支撑。因此，数据质量问题将直接影 响本次系统的建设质量。 高质量的数据是指那些符合业务分析需求的数据。衡量数据质量可在几个 方面进行，如表11 所示。 ( 表1 1 数据厦量特征列表) 燃 ； _ 鬻鼋可碾等艟奢f 符私奠艄麟蓦。| ；j ：t ；ij 爵艇雕z 嚣。艇囊j 葡叼i 粉 ；。i i 鬻i 曩撕曩t i 一i 正确性数据值就必须与数据域一致。 准确性一个数据值与设定为准确的值之间的一致程度 完全性一致性维护数据使不同系统的数据没有差异和相 互矛盾 一组数据满足一组约束条件的程度 有效性数据质量完全满足分类标准规定的可接受要求。 该条件用于在编辑时确定数据值是否可以接受，是否可 以产生需要的结果。 完整性相关数据之间联接与约束关系是正确的 唯一性决定数据记录( 和关键数据值) 不被重复定义和使用的 能力，例如客户号的唯一性。 0 4 2 0 2 5 2 8 9 曹锐数据仓库技术在p 商业银行信贷风险管理中的应用 r ”= 一一，_ i 1 _ _ o _ 一7 = i 7 t = ，一1 f 警鼗瑭质塞酶键鳓孽。毫z ：；曩薯鬟叠曩鬻薯誊籀遴鋈蓊髫。囊誉：。鬻i 露曩i ；i 薯j 时效性j 单个或多个数据项目能够在要求时间内提供的程度 特定数值更新的程度与更新日期字段的有效性。 在系统中经常发现的问题如f 如表1 2 所示。 ( 表1 2 数据质量问题列表) f”r z ! 二 j “ 麓罐蠢舞凑：_ 。j 淘顾主毪丞瞽叠j 曩。巨j+ 囊臻j 蠹i 簿i 蠹撩l 荽謦l 誊囊霆萎曩萋 j 碧甍。曩 数据字段值域错误身份证号码应全部为数字，而输入中正确性 包含字符，如“l o o a a 数据字段是空的或是在某些字段没有数据输入完全性 “无效” 无意义的默认值“出生日期”字段被赋值为该字段的完全性 默认值“9 9 9 9 9 9 9 9 ” 数据由于输入的便利“人行行业代码”输入在“地址栏3 ”有效性 或系统抓取限制等原字段 因而输入在某个无关 字段 无效的值输入在只能输入“l 一6 ”的字段输入“7 ”有效性 无效的业务规则客户财务报表合计关系不平衡有效性 转换错误核心交易流水摘要码转换错误准确性 数据不准确贷款总余额与总帐不符准确性 重复记录输入“第一医院”和“第一人民医院”存在于唯一性 同一系统中并代表不同的客户 失效的数据在已失效的源系统或文件中抽取数时效性 据，或者数据更新日期字段没有及时 反映数据更新的情况。 原因之一，是因为交易系统中信息要素的设计，更多的是从交易本身来考 虑的，而未充分考虑将来分析的数据需要，因此对于一些与交易弱相关，但是 分析却很重要的信息未进行强制判断，如个人的性别、职业、年龄等信息，导 致此类数据缺失。 原因之二，由于p 银行一些系统进行过升级换代，数据在从老系统迁移到 新系统时会丢失、发生错误，这些也对数据质量造成影响。 ( 2 ) 缺乏统一、完善的信息视图 数据仓库技术在p 商业银行信贷风险管理中的应用 由于p 银行系统建设的历史原因，目前信贷风险管理的相关数据散布在对 公信贷管理系统，个人信贷管理系统，核心系统，资产保全系统等多个系统中。 其中，对公信贷管理系统、个人信贷管理系统中保存了贷款客户的详细信息， 如企业和个人的基本信息、历史财务报表、担保品信息等；核心系统保存了贷 款发放及回收台账、贷款逾期信息等；资产保全系统保存了保全台账、不良清 收结果等信息。这些分散在各系统中的数据都对于信贷风险管理有着非常重要 的作用，但目前缺乏统一的信息视图，分析人员无法对这些数据进行统一的分 析。 同时，数据分散在各个系统中，也造成一些关键信息的不统一，如客户编 号在各个系统中是独立编号的，目前银行内没有统一的c i f ，造成基于客户的 跨系统综合分析难以进行。另一方面，客户号的不统一，以及客户关系的维护 不足造成关联客户无法分析，而关联客户之间的相互担保往往是形成信贷风险 的重要原因。再比如，对于行业、信用等级等关键域的编码不同，也对综合分 析造成了一定困难。 ( 3 ) 缺乏灵活强大的信息展现及分析手段 在信贷风险管理的实际工作中，不同层次的人员需要不同的信息，见图1 3 。 穗蕺屉 曹鞴蓝 糕砖盛 行肇旱与且险管理部门镇导 镌罔舀毒每神髂毫 聿彘凄最 越震空、鹅惫糍表 = = = = = = = = = = = = = = ：= = = = = ：= 且硷营理碎几酌守折人直 盘靳磬镌应慝。镁鞠蛙蕞鞋的信息 并加工产生新女 筝忠 多缜净蚜、鞫盘撤囊 分妻粗鞫援雕 髓 毽条蓿悫匀撮袅誊抽 敷辖静缸澍定掇囊 ( 图1 3 信息需求层次图) 一操作层 操作功能层主要对基层信贷风险管理人员提供信息输入和输出接口，对其 开放粒度最细的报表文件。以便能够为系统收集到尽可能完整业务信息。 一分析层 操作功能层输入的数据经过e t l 处理后进入数据库系统，然后数据经过一 定的结构化处理，并部分进行聚合输送给分析功能层使用。分析功能层的使用 0 4 2 0 2 5 2 8 9 曹锐数据仓库技术在p 商业银行信贷风险管理中的应用 者是业务高层管理人员，他们可以通过b i 前端展现工具对这些数据进行新的报 表结构定义、灵活的条件查询。他们有权查询从最细粒度的数据到较粗粒度的 数据。他们通过对这些数据进行钻取和挖掘分析发现问题，并把问题以报表和 报告做成文档形式输送给决策层和操作层。以便帮助决策层和操作层发现问题 并对问题处理作出正确处理。同时分析层也负责产生常规报表，用于每日对业 务和客户监控的需要。 分析功能层产生的报表文档可以由操作功能层和决策功能层通过文件传输 系统或w 曲浏览器浏览。分析功能层也有选择文件读取范围的权利。 一决策层 决策层需要通过分析功能层提供的数据达到对业务运作存在的问题及时发 现，并找出问题的关键点。通过对全行范围内问题的集中分析作出对行内财务 分析调整的决策。 目前p 银行中，信息展示主要还是通过基于0 l t p 系统的报表实现，无论 是数据展示的内容、形式还是及时性方面都不能完全满足管理及分析的需要。 尤其是对于上两层的人员，更需要的是从数据、信息到知识的工具。 ( 4 ) 缺乏精确定量分析的手段 基于传统评级的6 c 法是信用评级的传统模型，也是p 商业银行现行信用评 级方法“打分法”的理论来源和基础。 评级方法应本着定量与定性分析相结合的方法。而就p 商业银行目前的评 级方法而言，定性分析始终占据着绝对主要的位置，定量分析则微乎其微。即 使目前商业银行使用的打分法，从表面上看是数据指标的评定，有一些定量的 意昧。但实质上，它对权重的确定缺乏客观的依据。“打分法”需要对影响信用 的定量和定性的各种因素( 如负债比例、盈利水平、企业素质等) 给予一定的权 重。而p 商业银行的做法很难客观地确定每一个因素固定的权重，因此根据固 定权重得出的评级结果，自然难以准确地反映评级对象的信用风险。这种评级 方法在数据指标的评判上是缺乏说服力的。没有定量为基础的信用评级方法在 实际的应用中越来越显示出它的苍白与不足。同时，评级内容不够完善，主要 表现在： 缺少对宏观经济运行状况的评价，行业分析和研究明显不足 有证据显示，企业信用等级的降级及合同违约的概率在周期性的低谷时期 可能要比高涨时期极为显著地加大。因此，对国家、世界的宏观经济态势进行 分析预测是必不可少的。受管理对象所处行业及在该行业中的地位，也是影响 其信用风险的重要因素。 企业信用等级评判指标体系不够科学 0 4 2 0 2 5 2 8 9 曹锐 数据仓库技术在p 商业银行信贷风险管理中的应用 茸先，指标权重的确定缺乏客观依据。企业由于影响企业信用状况的各个 因素是相互联系的，在对单个指标进行打分，然后加总的情况下，需要利用一 定的统计分析技术，确定影响企业偿债能力的主要因素及其相关系数，以剔除 重复计分的因素。由于缺乏足够的数据资料，只能根据经验或专家判断来选取 指标和确定权重，使标准的可行性大为降低。特别重要的是，由于每一个企业 所处的环境不同，同一因素对不同的企业影响不可能完全一样，根据固定权重 得出的结果自然难以准确反映企业的信用风险。 其次，缺乏现金流量的分析和预测。企业财务风险这一核心因素在信用等 级评判中的主体地位不够突出，所占的指标权重太小。充分的现金流量是企业 偿还到期债务的根本保证，是分析企业未来偿付能力的核心因素。但目前p 银 行采用的信用评级方法基本上没有对现金流量充足性的分析和预测，因而难以 反映受企业未来的真实偿债能力，而过度偏重于传统偿债能力指标，过度偏轻 于现金流量指标，把资产负债率、流动比率等作为基本指标，却把现金流量作 为修正指标；基本评判指标偏少，而修正指标偏多。修正指标过多，往往会修 之过正。尤其是在当前我国会计信息失真情况非常广泛和严重的条件下，修正 指标越多，将造成评价结果失准可能性越大。 0 4 2 0 2 5 2 8 9 曹锐 数据仓库技术在p 商业银行信贷风险管理中的应用 2 数据仓库技术简介 2 1 数据仓库技术特性 数据仓库技术是随信息与决策支持系统发展而产生，一般认为，数据仓库 是一个面向主题的、集成的、相对稳定的、反映历史变化的、用于支持管理决 策的数据集合。 由数据仓库的定义可以看出，数据仓库含有以下四个特性： ( 1 ) 主题性 数据仓库的主题是一个抽象的概念，是在较高层次上将企业信息系统的数 据综合、归类并进行分析利用的抽象。以银行为例，“产品”、“客户”、“绩效” 等都是一些可以进行分析研究的主题。 ( 2 ) 时间性 这个特征表现在以下三方面： 数据仓库随时问变化不断增加新的数据内容，数据仓库系统必须不断捕 捉o l t p 数据库中变化的数据，追加到数据仓库中去，也就是要不断地生成 o l t p 数据库的快照，经统一集成后增加到数据仓库中去。 数据仓库随时间变化不断删去旧的数据内容。数据仓库的数据也有存储 期限，一旦超过了这一期限，过期数据就要被删除。 数据仓库中包含有大量的综合数据，这些综合数据中很多跟时间有关， 如数据经常按照时间段进行综合，或隔一定的时间片进行抽样等等。这些数据 要随时间的变化不断的进行重新综合。 因此，数据仓库数据的码键都包含时间项，以表明数据的历史时期。 ( 3 ) 集成性 为了正确决策，需要将所有不同应用程序的相关数据组合在一起。数据仓 库中的数据是从多个操作型系统中得到的。源数据来自不同的数据库、文件和 数据段。各种应用程序互不关联，所以操作平台和操作系统都可能是不同的。 文件外观布局、字符编码表示方式、区域命名习惯等都是不同的。在数据仓库 中，通过e t l ，消除了各来源系统的差异，代之以统一的规则。 ( 4 ) 数据只读性 数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据 查询，一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的 时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照 进行统计、综合和重组的导出数据，而不是联机处理的数据。数据库中进行联 1 4 0 4 2 0 2 5 2 8 9 营锐数据仓库技术在p 商业银行信贷风险管理中的应用 机处理的数据经过集成输入到数据仓库中，一旦数据仓库存放的数据已经超过 数据仓库的数据存储期限，这些数据将从当前的数据仓库中删去。 2 2 信贷数据仓库助力于信贷风险管理 ( 1 ) 历史数据分析的优势 信贷数据仓库与目前p 银行的信贷风险管理系统的区别在于，信贷风险管 理系统在更多的意义上是一个流程系统，可以把信贷风险管理系统认为是一个 交易系统，系统的性能要求能够处理短时间内并发的大量小请求，而对于分析 的要求仅限于能够支持日常业务操作即可，因此在系统中只有简单的查询功能 和少量的报表功能，数据保留的是主要是当前时刻的情况，如贷款账户当前的 余额信息，贷款申请当前的状态。因此，基于信贷风险管理系统进行大时间跨 度、大数据量的分析是不合适的，一方面，分析请求会影响当前系统正常运作， 造成正常事务性请求相应变慢，另一方面，由于系统中基本未保存历史信息， 即使有历史数据的备份也是处于脱机状态，并不能直接使用于日常查询分析， 因此也就没有进行历史分析的数据基础。 而信贷数据仓库中保存j ，一系列系统数据的时间快照，通过信贷数据仓库， 不但能了解当前的数据情况，还能够了解数据随时间的变化过程，如账户的余 额随时间的变化情况，年初与年末的贷款结构对比。 ( 2 ) 数据整合，完善统一的信息视图 经过主题的整理，数据结构更加有利于分析。从实际业务操作的角度来看， 往往有多个o l t p 系统涉及到商业银行信贷风险管理，如信贷管理系统，核心 系统，资产保全系统等，笔贷款，其相关信息的在各系统中的分布如表21 所示。 ( 表2 1 信贷风险相关信息系统分布列表) 信贷管理系统贷款人基本信息 贷款人财务报表信息 贷款合同信息 贷款担保品信息 关联信息 贷款审批流程信息 核心系统贷款账户基本信息 贷款放款流水信息 贷款还款流水信息 贷款违约信息 0 4 2 0 2 5 2 8 9 曹锐数据仓库技术在p 商业银行信贷风险管理中的应用 资产保全系统贷款相关诉讼信息 保全台账信息 贷款核销信息 各系统间数据既有独立性又有相关性，如信贷管理系统与核心系统之间通 过贷款借据号相关联，信贷管理系统与资产保全系统之间通过贷款合同号相关 联。如果信贷风险管理人员需要跨系统进行管理与分析，就显的十分困难。 在建立数据仓库时，在建模过程中会根据业务分析需求重新组织数据，往 往会以业务对象为中心，从各相关系统中通过e t l 抽取业务对象生命周期内的 数据统一存储到仓库内，从而避免r 数据分散的弊病，更加利于信贷风险管理 人员分析之用。 ( 3 ) 数据质量的提升 由于交易系统本身的设计问题，及系统迁移时的数据处理，都对数据质量 造成了不良影响，从而也影响了业务管理及分析人员作出准确的判断。 数据进入数据仓库时，经过清洗，在一定程度上改善了现有数据的质量。 同时数据仓库建设过程中会暴露出源系统的数据质量问题，通过对源系统的改 造，从而提升数据质量。 ( 4 ) 信贷风险监控及分析手段的提升 基于信贷数据仓库提供的数据基础，信贷风险管理人员可以得到比以前更 多的手段对信贷风险进行更好的监控和分析，这些手段包括： v 通过基于多维模型数据的o l a p 分析，用户可以方便的进行多维度的组 合分析。 仪表盘等直观的信息监控方式。 即席查询，通过语义层，业务人员可以访问并读懂存储在数据库服务器 上的业务数据，而不需要或仅仅少量的需要i t 人员的协助。 数据挖掘，发掘出深层次的知识。 统计模型，通过风险建模，能够更为精确的对信贷风险进行分析。 数据仓库技术在p 商业银行信贷风险管理中的应用 3p 银行信贷风险管理数据仓库的设计 由于p 银行目前信贷风险分析数据基础薄弱、分析监控手段单一，因此建 立了信贷风险数据仓库，p 银行希望通过建立信贷风险数据仓库，对相关系统 进行数据整合、提升数据质量、丰富分析手段，以达到最终提升信贷风险管理 水平的目的。 3 1 系统整体架构 p 银行信贷管理的数据库系统架构如图3 1 所示： ( 图3 1 系统架构图) 可以看到，p 商业银行原有的0 l t p 系统如核心业务系统、对公信贷系统、 个人信贷系统等作为数据仓库的数据来源，数据在数据仓库中处理后，以在线 报表或仪表盘等表现形式将处理及分析结果展现给信贷风险管理的相关人员。 3 2 建模方法选择 数据仓库建模一直以来存在两种技术流派之争，即完全3 范式设计与星型 模型设计。完全3 范式设计的优势在于数