美国银行风险模型的验证和管理

1、美国银行风险模型的验证和管理巴塞尔新资本协议要求“银行必须有一个健全的体系发挥作用来验 证内部评级体系、过程和估计所有相关风险要素的准确性和一致性”同 时“银行必须向监管当局证明内部的验证过程使银行能一致地、有意义地 评估内部评级和风险评估体系的表现。”美国银行对自身的计量体系和风险评级体系进行了严格的评估和 验证，通过监测模型的表现，确保评级模型的稳定性和准确性，保证为 下游用户提供尽可能好的输出内容，必要时也会修改模型。美国银行风险模型的管理和评估方面主要有以下特点：美国银行的审计部门每年检查银行评级体系及其运行状况，对信用 风险评级模型进行模型验证和检测。验证和检测对象包括风险模型的文

2、件，风险治理，数据输入材料和假设前提，数据编码和处理，持续性验 证，以及评级模型建立过程中验证的独立性。在完成评分卡模型开发流程之后，开发评分卡模型时所采用的开发 和验证数据集、详细方法、模型输出和参数都送交审计部门进行审查。 在业务条线实施评分卡模型之前，审计部门要评价验证所用的数据是否合适、量化分析和校准方法是否合适、能否用所提供的数据独立复制模 型所得出的结果，有时甚至会采用相同的数据进行模型挑战。在实施评分卡模型之后，审计部门还会不断审查事后检验报告，验 证模型是否继续达到要求。二、通过精心设计、采用严格的流程评估评级模型的效果美国银行在业务线采用评分卡之后，都通过精心设计、采用严格统

3、 计方法的流程对其进行监测以评估评分卡的效果，从而证明：模型所采 用的定量检测方法和其他验证方法不会随经济周期发生系统性变化。具体检验流程如图1所示：第一步，通过从风险资本和PIMS收集 违约数据，再汇总评级数据构成测试所用的数据；第二步，使用这些数 据对基本评分卡进行测试，主要使用打分、稳定性分析等方法，测试模 型各个要素的稳定性和对模型的贡献情况；第三步，如果有足够的违约 客户数，就进行模型的鉴别力测试和校准测试，再进行稳定性和否决分 析，看看模型是否对不同时期的客户具有稳定的表现，从而证明模型对 经济周期的独立性，如果违约客户数不够，则直接进行模型的稳定性和 否决分析；第四步，形成详细的

4、评估报告，说明评分卡的效果、确定存 在的问题和改进机会。MailsMtrcwi瞄如殖疲 rCjptai /池 ic Ecomrd浏uaageiMfffi MWI MailsMtrcwi瞄如殖疲 rCjptai /池 ic Ecomrd浏uaageiMfffi MWI #务人II.十汨试？Cui- ReMfl袖雄犀廿1*Pani of thtDrfail Rqxrn ate :d血引i如繇Cci 瞄Follansg fOtE.e,卜NILU乏土津网 祖罟的凿普内吊.甘学I胡比J Lf #.崔型 fl、 用律，De烦的MXJtfldFramFIMS图1：评分卡检验流程图除了前面采用的分析方法（包括

5、鉴别力、稳定性、预测、100个债 务人测试、否决分析、准确性分析）外，美国银行未来还将采用更多的 分析方法，主要有：标杆分析（外部评级、细分、敏感度分析。三、借助不同的统计指标评估模型中各要素的表现和综合模型的表现。美国银行在具体分析考察模型表现的时候，借助了多种统计指标来 检测模型的各项要素和整体表现，从验证的角度说明模型的科学性，为 客户评级提供实证依据。1、模型各个要素的鉴别力分析和整个模型的鉴别效果分析首先，美国银行考察了模型对客户违约情况的识别效果，对模型中 各项要素的效力（鉴别力）进行分析。最高分盈2003最高分盈20032K42005定性检块最高 分巍哨宵闻 E犯团49口L也豹见

6、史47KMVFDF23159%93%02=佝银行发出帜仲47钏i率130Sfi%5503；卖际与顶圈比较37础库127贸65%04=不坚1怕以下的突际表现2BIH:中B279%80%口土汀业住本海劝忙2B.U Somers D （效力数据）夫 i|813.朋SI*kl17 . 96%总分1DOO:97%97世单ORR1000.&3%93E数IH处表小没T北翳的注约数摆.最遂。=|=|1000100%94%由此工沾削？rScwrWt计.威图2： SomersP各要素鉴别力分析如图2所示，效力分析报告给出了各个要素对违约客户的鉴别力分 析情况。假设正常客户为0，违约客户为1，则SomersD是对所

7、有客 户定序变量的一个关联指标，具体公式为SomersD = p Lvd（ P为 同序对子数；Q为异序对子数；Tvd为独立变量上不存在同分的偶对中， 同序对子数超过异序对子数的比例），SomersD越大，则说明正常客户 与违约客户区分效果越好。图2中04年和05年五项债务模块指标SomersD的值均高于0.5， 而定性模块指标值差异较大，但债务模块和定性模块各自的综合得分都 比较高（最低综合得分也高达89% B在分别评价各个要素的效力以后，美国银行还对风险模型的综合表 现进行了效力分析，进一步验证模型的鉴别能力。图3给出了对05年 的客户数据进行检测的结果，红色曲线为随机模型的判别结果，对应R

8、OC值为50% ；黑色实线为风险评级模型的判别结果，ROC值为98.5% ；在此基础上，美国银行通过对模型的细微调整，提高了模型的 判别效果，ROC值提高到98.9%。极高的ROC值说明了模型极其优异 的鉴别能力。ROC曲线比较；加ROC曲线比较；加05年12月Model C-stat: 9&.S%Hnal C-stat; S8.%拱冷:曲T数潟喊期&址绻的（敖光：明用髓01920 J4 44547D 功 M 1D4S tWMThMWg kJ* R&nd&nlRCX： Mofikl ROC - FihAl ROC . _jfl.fl-nrirKD/ir 图3：模型整体的鉴别力分析2、通过对模型

9、的稳定性分析，确保模型判别的准确性美国银行在对模型进行稳定性分析的时候，首先检验要素的表现情 况，验证模型所采用的要素在各个时间段的分布差异是否很小。图4中 的左图是以02年为基准，通过分析03年、04年、05年净销售额数据 的分布函数相对02年的变化情况，考察净销售额的稳定性。从图中可 以看出，03年的分布函数曲线和02年基本重合，其次是04年，再次 是05年；KS检验也同时证明了这个问题（KS检验是求出历年净销售 额分布函数之间的绝对值最大距离（MAX|F（x）-G（x）|）,KS值越小，说明两类数据的分布函数差异越小。右图分析了净销售额在模型中的得分情况，并通过IV值来检验该要素四年中分

10、布的稳定性。IV的计算公式如下，其中Pi1和Pi2分别为第一类数据和第二类数据落在第i个区间的IV =区(P - P )log (1)，=1 22 Pi 2频率。IV值越小，分布的差异性也越小。分析程凄定性的析模块图分析程凄定性的析模块图5:定性分析模块各项指标得分的分布变化情况图5中，IV值刻画了 03-05年财务得分的分布情况与基准时间 (02.12.9-03.12.9 )的差异，03年财务得分情况和定性分析得分情况 与02年均无多大差异，04年和05年差异有所增大。在对模型的各个要素进行稳定性分析以后，美国银行还对模型的综 合表现进行了稳定性分析，以确保模型的评级结果不随经济周期的变化

11、而发生较大的变动。图6给出了风险评级综合模型的得分分布情况，与 基准时间(02.12.9-03.12.9)的相比，03年的IV值很小，只有0.12， 表明03年模型评分的分布情况和02年差异较小，而04年和05年差 异有所放大。rv 2Doai LiaohJDCS. 1乱5牝CtM - 1BQ1* 1Q24CtM - W?1Knusr. 2QD2i：12rigUZlMF12f19L图6： 02年至05年，综合模型稳定性的分析3、通过专家的判断对投资组合进行否决分析和分布，提高模型判断的合理性最后，美国银行还邀请专家对评分结果进行投票，对某些结果进行 人为调整。图7给出了专家对评分卡评级的否决分析情况。右侧为各种 否决理由，左侧为否决理由对应的升降级分布情况，其中，因为评分卡 的杠杆率要素偏低和其他降级要素的理由占比较大，而在升级理由中， 评分卡的偿债率要素偏低和其他原因导致升级的理由占比较大。舌决我ll IJ 3 Q 举舌决我ll IJ 3 Q 举t1符合侑JU政策美带剧注盒，更弟值用啊定曳2评竹k的杠杆整置it焜虹盼卡的性*2.变素迁高评分5评分卡的眨和甲耍柬过高6计疗卡的企世块横翌索迁扁7计算表排除了己期的P传漏的不制带响a市场电位或业务模式呢生乂舌空