数学建模的评价模型方法模型的评价.doc

1、数学建模的评价模型方法 模型的评价评分模型的评价指标 【摘要】：p 】： 】如何评价一个评分模型的判别才能，一般在统计上用ROC、CAP才能曲线、K-S统计量、GINI系数统计量等图形工具或统计指标。其中ROC曲线是较受欢送的，而K-S统计量、GINI系数等和ROC曲线之间有一定的联络。【关键词】：p 】： 】评分模型 评价指标 假如把业务上的二分类问题例如信誉评分中的“好”与“坏”、“回绝”与“承受”从统计角度理解，都在于寻找一个分类器classifier，这个分类器可能是logistic模型，也可以是多元判别模型Edward Altman1968年开展的基于财务指标建立的企业破产识别z得分

2、模型，还可以使其它复杂形式的模型。一、ROC曲线 ROC，英文全称Receiver Operating Curve，翻译成中文，简称受试者工作特征曲线。其在统计实务中应用甚广，尤其应用于处理医学研究中的“正常组”和“异常组”区分建模问题，用于评价分类模型的表现才能。一ROC曲线原理。要说清楚ROC曲线的原理，我们从一个简单的分类实例问题说起。假设我们有了基于商业银行企业贷款数据建立违约-非违约的业务分类模型，比方说我们是预测的所有样本的违约概率或者信誉评级得分，比方信誉评级得分，我们获得了关于两类样本的分布图形：图 3.1 两类样本的违约率经历分布 1.根本假设 上面的图例可以看成一个基于银行

3、债务人违约率分类的分类器。左边的分布表示历史样本数据中违约者预测得到的违约率的分布；右边的分布相应表示非违约者的分布，其中C点表示决策者做出决断的切分点cutoff，对于该点有这样的经济意义：一旦我们确定了C点，不考虑其他业务处理，的样本被预测为违约者，反之被预测为非谓语这。对于一个固定的Cutoff点，我们可得到一些有实际意义的量化指标：HRC=，表示在C点左边，对Defaulters的信誉得分分布中，基于C点做决策时候，被正确命中的比率，这里HC表示被正确预测的违约者的样本个数，ND表示违约样本的总数。HRC=，表示在C点左边，对non-Defaulters的信誉得分分布中，基于C点做决策

4、时候，被错误预测的比率，这里FC表示被错误预测的违约者的样本个数，NND表示非违约样本的总数。2.ROC绘制方法 很显然，当我们挪动C点的时候，我们得到了一个二维坐标点的集合，FARC，HRRC|C？缀信誉得分区间这里的FARC，HRC是风险管理领域的专用表示方法。将其用统计中的一些概念进展一般化处理，得到：FDC=，表示在C点左边违约样本个数，FDC表示在C点违约者信誉得分的累积概率；FNDC=FARC那么相应表示非违约者信誉得分的累积概率；同样我们可得到二维坐标集合FNDC，C|C？缀信誉得分区间。我们将FNDC，C|C？缀在_y坐标平面上绘制，就得到了ROC曲线。二ROC曲线与其他评价指

5、标间关系。1.K-S统计量 图 3.2 ROC曲线切线K-S统计量 K-S检验，用于检验样本是否来自一个指定的分布或者检验两类样本是否同分布独立。对上述例子，两样本分布独立性的检验常用K-S统计量：D=MA_|FDS-FDS|，这里为了符合常识，我们用表示变量得分。2.GINI系数/ARaccuracy rate准确率 GINI系数和ARaccuracy rate准确率实际上是同一个东西，GINI系数这一称呼不知道哪，倒是ARaccuracy rate准确率这一术语常常在金融风险管理中出现。它的计算方法是：ROC曲线和对角线之间的面积与perfect modely=1直线和对角线y=_围成的面

6、积之比，用于度量模型准确性的一个相对指标。AR=，这里表示ROC曲线与对角线围成的面积，pD表示y=1直线与对角线围成的面积。很容易计算：AR=2AUC-1。3.LR似然比 考虑ROC曲线上的导数，很显然由这个关系式，我们得到在ROC曲线上某点的似然比可以直接理解成得分的好坏比为该点的导数，这一指标可以刻画模型部分的区分才能。二、CAP曲线 CAP曲线，亦称才能曲线，被各大银行和评级机构用于对违约率PD类模型的检验，它检验模型的预测结果排序才能。我们仍然以上面信誉评分模型为例子，才能曲线的绘制通过以下步骤得到：1.对已经评分的银行客户按其预测的违约概率从高到低排序； 2.横坐标表示客户按违约率概率从高到低排序后得到样本总数的累计百分比，纵坐标表示违约客户总数的累计百分比； 3.曲线上任何一点的坐标具有如下意义：表示给定所有排序后客户样本的一个比例；表示在给定的条件下，违约客户概率大于等于比例的客户中最小概率样本个数占总的违约客户样本总数的比率。很