因子分析+logistic回归度量信用风险违约概率.docx

基于因子分析的logistic违约概率模型的实证研究作者：葛钊本文针对一般商业银行等单位采用Logistic回归估计PD的模型中多重共线性、没有考虑时间因素等问题，构建和验证了基于因子分析的logistic违约概率测算模型的效果和可行性，并对财务指标进行了时间加权化处理的模型改进工作，在最后对模型的进一步优化提出了新的思考和方向。本文样本数据获取渠道为中国证券市场公开信息，选取6家在2005-2006年和2010年发生过银行贷款违约的制造业上市公司（违约笔数8笔），和31家同行业同期贷款未发生违约且非ST类的上市公司，并且总资产与销售规模与违约公司相似（考虑到建模样本数量过少，加入此约定为提高模型精度），组成39个建模数据，进行模型构造。其中，财务数据均取自违约/非违约公司对应违约年份前一年末或前二年末的数据，此是模型具有预测功能的必要条件。6家违约上市公司8条违约记录（其中3条违约记录来自同一公司）如下：序号股票代码最新公司全称证监会行业门类名称证监会行业次类名称报表日期报表类型信息来源贷款类型1000413石家庄宝石电子玻璃股份有限公司制造业电子2005-12-31Q4定期报告短期流贷2000498丹东化学纤维股份有限公司制造业石油、化学、塑胶、塑料2006-12-31Q4定期报告短期流贷3000506中润资源投资股份有限公司制造业造纸、印刷2005-06-30Q2定期报告短期流贷4000557广夏(银川)实业股份有限公司制造业医药、生物制品2006-12-31Q4定期报告短期流贷5600196上海复星医药(集团)股份有限公司制造业医药、生物制品2006-12-31Q4定期报告短期流贷6600608上海宽频科技股份有限公司制造业电子2005-12-31Q4定期报告短期流贷7600608上海宽频科技股份有限公司制造业电子2006-12-31Q4定期报告短期流贷8600608上海宽频科技股份有限公司制造业电子2010-06-30Q2定期报告短期流贷6家上市公司发生逾期的贷款类型均为短期流贷，全部归属于公司风险暴露中一般公司风险暴露。另外，之所以将上海宽频科技股份有限公司的三次逾期数据全部纳入建模，是由于一方面可供建模的违约数据过少，将其加入不影响模型的建立和使用，另一方面数据量的增加增强了模型的预测能力。31家非违约上市公司信息如下（合并报表数据）：股票代码最新公司全称证监会行业门类名称证监会行业次类名称截止日期基本每股收益(元/股)营业收入(元)资产总计(元)000590紫光古汉集团股份有限公司制造业医药、生物制品2006-12-310.03287312308562057554000593四川大通燃气开发股份有限公司批发和零售贸易批发和零售贸易2006-12-310.04262961854643441371000606青海明胶股份有限公司制造业医药、生物制品2006-12-310.12180495301641844773000619芜湖海螺型材科技股份有限公司制造业石油、化学、塑胶、塑料2006-12-310.393.97E+092.589E+09000755山西三维集团股份有限公司制造业石油、化学、塑胶、塑料2006-12-310.452.11E+093.454E+09000788北大国际医院集团西南合成制药股份有限公司制造业医药、生物制品2006-12-310.06501365634737943749000790成都华神集团股份有限公司制造业医药、生物制品2006-12-310.04225243387703082775000792青海盐湖工业股份有限公司制造业石油、化学、塑胶、塑料2006-12-311.062.596E+095.727E+09000812陕西金叶科教集团股份有限公司制造业造纸、印刷2006-12-31-0.37313953982957758784000830鲁西化工集团股份有限公司制造业石油、化学、塑胶、塑料2006-12-310.164.009E+094.572E+09000909数源科技股份有限公司制造业电子2006-12-310.019631126391.778E+09000912四川泸天化股份有限公司制造业石油、化学、塑胶、塑料2006-12-310.774.799E+095.101E+09000936江苏华西村股份有限公司制造业石油、化学、塑胶、塑料2006-12-310.152.896E+092.677E+09002004重庆华邦制药股份有限公司制造业医药、生物制品2006-12-310.49287872529781297226002007华兰生物工程股份有限公司制造业医药、生物制品2006-12-310.36354994023816570602002019浙江杭州鑫富药业股份有限公司制造业医药、生物制品2006-12-310.05347989819592378458002022上海科华生物工程股份有限公司制造业医药、生物制品2006-12-310.53340326970485513935002025贵州航天电器股份有限公司制造业电子2006-12-310.8322784915640281027002045国光电器股份有限公司制造业电子2006-12-310.268563370691.134E+09002079苏州固锝电子股份有限公司制造业电子2006-12-310.31435408883530697505002117东港股份有限公司制造业造纸、印刷2006-12-310.64415751481499356585600206有研半导体材料股份有限公司制造业电子2006-12-310.114990345191.071E+09600237安徽铜峰电子股份有限公司制造业电子2006-12-310.045099501091.49E+09600356牡丹江恒丰纸业股份有限公司制造业造纸、印刷2006-12-310.297580133271.571E+09600360吉林华微电子股份有限公司制造业电子2006-12-310.519067950551.909E+09600433广东冠豪高新技术股份有限公司制造业造纸、印刷2006-12-310.08592813086862208294600589广东榕泰实业股份有限公司制造业石油、化学、塑胶、塑料2006-12-310.37973090351.599E+09600666西南药业股份有限公司制造业医药、生物制品2006-12-310.08456151830846948311600793宜宾纸业股份有限公司制造业造纸、印刷2006-12-31-0.62535064636951950250600796浙江钱江生物化学股份有限公司制造业石油、化学、塑胶、塑料2006-12-310.11430045963926870562600836上海界龙实业集团股份有限公司制造业造纸、印刷2006-12-310332E+09*其中四川大通燃气开发股份有限公司在2006年由医药、生物制品类转为批发和零售贸易类；浙江钱江生物化学股份有限公司在2006年由医药、生物制品转为石油、化学、塑胶、塑料类。特此说明。以下对从网络公开信息获取的数据，进行数据手机、业务定义、数据清洗、模型分组、模型分析、变量构造、变量分析和变量选择等步骤。选取如下14个财务指标，作为建模数据估计模型参数。选取数据的原则主要是从数据的易获得性、完整性考虑的，同时为了免去单因素初步筛选等较为简单的过程，直接按现有资料综合选取了显著性较高的财务指标。所选指标全部是以百分比度量的财务比率，这样的好处是将企业规模等因素在模型系统中的影响最小化，提高模型的预测精度。提取指标列表：指标类型标号指标含义与计算公式备注盈利能力VAR9净利润/总资产总资产报酬率/总资产净利率VAR17净利润/报告期末股本每股收益(摊薄)VAR10(主营收入-主营成本)/主营收入主营业务利润率营运能力VAR16销售收入总额/平均资产总额总资产周转率VAR15销售收入总额/平均流动资产流动资产周转率流动性与偿债能力VAR8负债总额/总资产资产负债率VAR12总资产现金回收率=经营现金净额/平均总资产总资产现金回收率VAR11经营活动现金流量净额/销售收入销售现金比率VAR5(流动资产-存货)/流动负债速动比VAR4流动资产/流动负债流动比VAR7利息保障倍数=EBIT/利息利息保障倍数VAR6营运资金/总资产经营发展能力/成长能力VAR14本年总资产增长额/年初资产总额总资产增长率VAR13本年主营业务收入增长额/年初主营业务收入主营业务收入增长率对于违约上市公司，做因子分析和Logistic回归时采用违约当年和前一年经时间加权计算的财务数据，对于非违约上市公司，由于违约公司违约发生年份大多集中于2005年和2006年，故对非违约公司财务数据以2005年和2006年为基础做时间加权平均处理。采取此方法的目的主要是由于企业各种指标会随着时间变化而变化，如果仅仅考虑最近一年的指标，可能会由于经济周期或偶然因素造成财务指标失真，最终影响违约概率测算的准确性。为解决这一问题，我采取了基于2年时间加权的方法计算模型的输入变量。公式为： Xi=1Xi1+2Xi2+TXitT+1T/2=t=1TtXit(T+1)T/2其中，T取2，代表2年；Xi代表按时间加权平均后的结果；Xit表示指标i第t年的数值。据此可知时间越晚的年份所占权重越大。将违约和非违约公司数据经过时间加权方法进行调整，得到8个违约和31个非违约共计39个样本，用SPSS软件进行因素分析（抽取共同因素时选用主成分分析法）。这里特别指出的是，诸多文献指出在进行此类问题的因素分析时，需先将数据按如下Z-score公式进行标准化处理：zij=xij-xjsj其中，xij为第i个样本的第j个指标值，xj为样本第j个指标的平均值，sj为样本第j个指标标准差，zij为第i个样本第j个指标值标准后化的得分。进行该标准化的目的主要为了消除各项财务指标由于量纲单位不同或正、逆性指标不同带来的不可比拟性，但经现有数据进行标准化前后的因子分析结果来看，分析所得数据和结论在标准化前后无丝毫不同，故本文未采取先将数据标准化，再进行分析，而是直接将数据进行了因子分析，过程和结论如下：KMO and Bartletts TestKaiser-Meyer-Olkin Measure of Sampling Adequacy.685Bartletts Test of SphericityApprox. Chi-Square584.771df91Sig.000从上表看到，KMO值为0.685，当其数值越大时，表示变量间的共同因素越多，越适合进行因素分析。一般大于0.5时，均适合进行因素分析。此外，从Bartletts球形检验达显著，代表母群体间有共同因素存在，同样表明适合进行因素分析。选取特征值大于0.6的抽取共同因素，共抽取6了个共同因素，可以解释的总变异量为91.701%。另外，可以看到采用最大方差法转轴后每个因素的特征值和方差贡献率都发生了变化，但累计方差贡献率未发生变化，均为91.701%，而且转轴缩小了各因素方差贡献率之间的差距，使各因素解释原变量的能力更加平衡。详见下表：Total Variance ExplainedComponentInitial EigenvaluesExtraction Sums of Squared LoadingsRotation Sums of Squared LoadingsTotal% of VarianceCumulative %Total% of VarianceCumulative %Total% of VarianceCumulative %16.75048.21648.2166.75048.21648.2162.80320.01820.01822.07314.80763.0232.07314.80763.0232.40217.15537.17331.75412.52975.5521.75412.52975.5522.27616.25853.4314.9216.58182.132.9216.58182.1322.20015.71669.1475.7165.11387.245.7165.11387.2451.95513.96383.1106.6244.45691.701.6244.45691.7011.2038.59291.7017.3562.54294.2438.2932.09296.3359.1961.40197.73610.1841.31199.04711.071.50599.55212.034.24699.79813.020.14399.94014.008.060100.000Extraction Method: Principal Component Analysis.以下是陡坡图，可以看到从第6个点后坡度线比较平滑，故可以侧面告诉我们选取6个因素是较为适宜的。以下是未转轴的因素矩阵（因素负荷量小于0.1的未予显示）。Component MatrixaComponent123456VAR00009.931.167.157 .113VAR00017.894.215.207 VAR00004.773-.475 .396 VAR00014.765.141-.147 .450VAR00010.755-.375.230 -.237-.134VAR00012.754.293.280.131-.104-.373VAR00005.726-.532 .397 VAR00011.697.328.450 -.252VAR00006.660-.378-.529-.269-.138 VAR00008-.645.321.508.264.333.121VAR00013.606.385.315-.398 .274VAR00015.329.728-.492 -.165VAR00016.433.437-.666.172.295 VAR00007.490-.149 .738-.311.228a. 6 components extracted. 以下是经过转轴后的因素矩阵（因素负荷量小于0.1的未予显示），转轴方法为最大方差法，属正交转轴方法之一，也叫直交转轴法，其特点是因素间没有相关。我们正是想利用这一特性避免在后面的Logistic回归中出现多重共线性。另外，由下表可看出，转轴前共同因素1包含VAR12、VAR11、VAR10，共同因素2包含VAR5、VAR4，共同因素3包含VAR8、VAR6，共同因素4包含VAR13、VAR14、VAR17、VAR9，共同因素5包含VAR16、VAR15，共同因素6包含VAR7。Rotated Component MatrixaComponent123456VAR00012.877.158.117.182.193.143VAR00011.854.144 .322 VAR00010.524.398.468.187-.269.280VAR00005.217.910.267.119 .136VAR00004.205.894.298.188 .132VAR00008-.103-.175-.939-.136-.139-.107VAR00006 .346.886.135.181 VAR00013.413 .807 -.150VAR00014.132.196.325.728.252.299VAR00017.589.325.173.608.175.127VAR00009.549.409.175.594.214.199VAR00016 .164.160.126.928 VAR00015.252-.221 .136.881 VAR00007.167.181.119 .936a. Rotation converged in 7 iterations. 另外，从下面的因素得分协方差矩阵也可以看出6个公共因素是不相关的，从而达到了既简化财务指标数目，又防止出现多重共线性的目的。Component Score Covariance MatrixComponent12345611.000.000.000.000.000.0002.0001.000.000.000.000.0003.000.0001.000.000.000.0004.000.000.0001.000.000.0005.000.000.000.0001.000.0006.000.000.000.000.0001.000 下图是最终的得到的因素得分系数矩阵。Component Score Coefficient MatrixComponent123456VAR00004-.100.569-.144-.055.075-.116VAR00005-.056.587-.154-.119.049-.111VAR00006-.050-.046.502-.062.011-.145VAR00007-.069-.131-.093-.030-.026.971VAR00008-.033.251-.614.073.064.047VAR00009.019.104-.111.230.035.038VAR00010.255-.073.235-.131-.248.120VAR00011.480-.067-.055-.153-.022-.096VAR00012.564-.093.032-.352.056-.030VAR00013-.089-.122-.039.609-.132-.206VAR00014-.358-.094.019.606-.022.253VAR00015.146-.131.023-.145.471-.054VAR00016-.126.210-.111-.084.565-.020VAR00017.072.033-.064.237-.003-.025由因素得分系数矩阵即可得到公共因素（F1-F6）被表示成14个财务指标线性组合的形式，如F1的线性组合如下：F1=-0.1VAR4-0.056VAR5-0.05VAR6-0.069VAR7-0.033VAR8+0.019VAR9+0.255VAR10+0.48VAR11+0.564VAR12-0.089VAR13-0.358VAR14+0.146VAR15-0.126VAR16+0.072VAR17所得到的用于下一步Logistic回归的原始数据从SPSS软件中已给出，即：序号上市公司名是否违约FAC1_1FAC2_1FAC3_1FAC4_1FAC5_1FAC6_11石家庄宝石电子玻璃股份有限公司是-0.66452-0.709050.56415-1.55959-1.60857-0.482892丹东化学纤维股份有限公司是-0.94443-0.09946-0.62272-1.65452-0.52938-0.205563中润资源投资股份有限公司是-2.04581-0.039550.22161-1.45559-0.81240.485534广夏(银川)实业股份有限公司是0.050870.42221-5.566810.75994-1.051380.295075上海复星医药(集团)股份有限公司是-0.12827-0.394760.347320.36974-0.08577-0.024686上海宽频科技股份有限公司是-2.693690.805250.22011-0.984910.56717-0.218397上海宽频科技股份有限公司是-1.37450.41847-0.11245-1.526870.40109-0.524068上海宽频科技股份有限公司是-0.030570.18295-1.22899-1.442980.19967-0.156169紫光古汉集团股份有限公司否0.102580.025280.50572-0.69404-0.73398-0.3491510四川大通燃气开发股份有限公司否0.2259-1.022550.047940.31987-0.46823-0.051511青海明胶股份有限公司否0.46592-0.752110.542690.11132-0.97395-0.0573712芜湖海螺型材科技股份有限公司否0.156810.350180.05065-0.783123.46548-0.5007713山西三维集团股份有限公司否0.82265-1.06892-0.13760.634010.76065-0.3322514北大国际医院集团西南合成制药股份有限公司否-0.1181-0.40077-0.24694-0.140950.3704-0.1817115成都华神集团股份有限公司否-0.028140.156510.63526-0.16241-1.02234-0.4537116青海盐湖工业股份有限公司否2.171991.023310.356340.69238-0.9159-0.4828317陕西金叶科教集团股份有限公司否0.04618-0.148510.70708-1.10242-0.63596-0.5892118鲁西化工集团股份有限公司否0.75297-0.83322-0.05593-0.174392.30663-0.3511419数源科技股份有限公司否-1.99433-0.041170.255321.47592-0.326030.0288620四川泸天化股份有限公司否0.58132-0.304990.146780.847850.92942-0.2350421江苏华西村股份有限公司否-0.391250.04637-0.304570.10331.4932-0.343322重庆华邦制药股份有限公司否0.430430.442870.647660.17194-0.847973.5055223华兰生物工程股份有限公司否1.313860.455460.64684-0.49012-0.495830.2435724浙江杭州鑫富药业股份有限公司否-0.03396-0.690710.424130.646970.01705-0.0380625上海科华生物工程股份有限公司否1.106481.463970.31303-0.85839-0.135943.3847726贵州航天电器股份有限公司否0.724484.745270.432980.65073-0.40519-2.3803827国光电器股份有限公司否-1.33112-0.258430.21422.592340.0799-0.1105328苏州固锝电子股份有限公司否-1.345691.645430.134560.954211.597082.0377929东港股份有限公司否0.94719-0.55599-0.137480.205971.413430.7473730有研半导体材料股份有限公司否-0.07878-0.562740.443050.53123-0.60788-0.6944131安徽铜峰电子股份有限公司否-0.32472-0.588370.40760.80139-0.54162-0.0298232牡丹江恒丰纸业股份有限公司否0.14323-0.081070.276530.31155-0.14062-0.2057933吉林华微电子股份有限公司否-0.16065-0.402930.174421.55647-0.70281-0.259334广东冠豪高新技术股份有限公司否1.12058-0.378150.14962-0.655180.24274-0.5317135广东榕泰实业股份有限公司否-0.27415-0.598410.265631.41634-0.00893-0.1032136西南药业股份有限公司否1.24093-0.621770.02606-0.74028-0.10089-0.1509537宜宾纸业股份有限公司否0.83343-0.7902-0.81509-0.937450.33516-0.5296138浙江钱江生物化学股份有限公司否-0.10577-0.579370.258380.96302-0.57569-0.2386739上海界龙实业集团股份有限公司否0.83063-0.26031-0.1871-0.75328-0.451840.08369*这里特别需要说明的是，此表中的FAC1_1与上面F1的计算公式略有不同，是由于SPSS将数据自动进行了标准化操作，即FAC1_1等于因素得分系数矩阵（aij）和原始变量的标准化值的乘积之和，公式为：FAC1_1=a11*（VAR1-u）/+a21*（VAR2-u）/+.，其中u所有样本的均值，为所有样本的标准差。*FAC1_1-FAC6_1可直接用于logistic回归，作为其自变量估计参数使用。下面是所有数据准备完毕后，使用SAS软件的Logistic回归函数进行回归分析。程序代码如下：ods graphics on; /*为绘制ROC曲线做准备*/proc logistic data=dr_logis.defaultrisk_logistic descending plots=roc(id=prob);/*调用Logistic；指定绘制ROC曲线；descending用来指定按照选项order指定顺序的倒序排列，目的是为得到针对违约概率p的模型参数*/model y=FAC1_1 fac2_1 fac3_1 fac4_1 fac5_1 fac6_1/selection=stepwise slstay=0.15 slentry=0.15 details lackfit stb;/*指定y为因变量，fac1_1到fac6_1为自变量；采用逐步筛选法，变量被选进和剔除模型的显著水平均为15%；details为输出选择方法的详细信息；lackfit为进行对模型进行拟合失真检验(Hosmer and Lemeshow Test)；stb指定输出标准化数据模型选项*/run;ods graphics off;以下为SAS软件执行以上程序输出的结果和相应的解释：The LOGISTIC ProcedureModel InformationData SetDR_LOGIS.DEFAULTRISK_LOGISTICResponse VariableY0，非违约；1，违约Number of Response Levels2Modelbinary logitOptimization TechniqueFishers scoringNumber of Observations Read39Number of Observations Used39Response ProfileOrderedValueYTotalFrequency11.00820.0031Probability modeled is Y=1.00. 以上主要显示的是要建模的数据集信息，数据集为DR_LOGIS.DEFAULTRISK_LOGISTIC；响应变量为Y，0代表未违约，1代表违约；响应水平数为2；连接函数为binary logit；最优化方法为费雪得分算法；读入和使用的观测数均为39，其中违约观测数为8，未违约观测数为31；最后一行代表计算用的分析响应变量的概率模型值为1事件的发生概率 以下是采用逐步筛选法对变量进行筛选的过程：Stepwise Selection ProcedureStep 0. Intercept entered:Model Convergence StatusConvergence criterion (GCONV=1E-8) satisfied.从上表可以看出此模型时是收敛的，和变量无关，说明模型拟合达到收敛标准。-2 Log L=39.580Analysis of Maximum Likelihood EstimatesParameterDFEstimateStandardErrorWaldChi-SquarePr ChiSqStandardizedEstimateIntercept1-1.35450.396611.66740.0006Residual Chi-Square TestChi-SquareDFPr ChiSq26.665660.0002 下表说明的是下一步可能进入模型筛选的变量信息。其中第2、5、6号变量不符合我们制定的显著性水平达15%的标准。Analysis of Effects Eligible forEntryEffectDFScoreChi-SquarePr ChiSqFAC1_119.89740.0017FAC2_110.05540.8139FAC3_116.15970.0131FAC4_119.06590.0026FAC5_111.37570.2408FAC6_110.11150.7384 第一个变量进入模型。Step 1. Effect FAC1_1 entered:Model Convergence StatusConvergence criterion (GCONV=1E-8) satisfied.Model Fit StatisticsCriterionInterceptOnlyInterceptandCovariatesAIC41.58033.581SC43.24336.908-2 Log L39.58029.581以上三个指标值均为越小越好。 以下三个指标值的p值均小于0.01，说明有显著统计意义，建模效果比较显著。Testing Global Null Hypothesis: BETA=0TestChi-SquareDFPr ChiSqLikelihood Ratio9.998310.0016Score9.897410.0017Wald7.004310.0081Analysis of Maximum Likelihood EstimatesParameterDFEstimateStandardErrorWaldChi-SquarePr ChiSqStandardizedEstimateIntercept1-1.77810.530411.23980.0008FAC1_11-1.41170.53347.00430.0081-0.7783 从上表可以看出，fac1_1前的系数显著。Standardized Estimate是在模型代码中加入stb语句才出现的。Odds Ratio EstimatesEffectPoint Estimate95% WaldConfidence LimitsFAC1_10.2440.0860.693Association of Predicted Probabilities andObserved ResponsesPercent Concordant84.7Somers D0.694Percent Discordant15.3Gamma0.694Percent Tied0.0Tau-a0.232Pairs248c0.847 以上表格主要注意c统计量，它反映了实际观测值和模型预测的事件概率的关联强度，越高越好。另外Percent Concordant代表ROC曲线所围面积。Residual Chi-Square TestChi-SquareDFPr ChiSq18.547050.0023Analysis of Effects Eligible forRemovalEffectDFWaldChi-SquarePr ChiSqFAC1_117.00430.0081第一步筛选没有变量被移除。Note:No effects for the model in Step 1 are removed.Analysis of Effects Eligible forEntryEffectDFScoreChi-SquarePr ChiSqFAC2_110.00840.9268FAC3_119.66390.0019FAC4_118.22650.0041FAC5_111.97470.1599FAC6_110.41870.5176 第三个变量加入到模型中。Step 2. Effect FAC3_1 entered:Model Convergence StatusConvergence criterion (GCONV=1E-8) satisfied.Model Fit StatisticsCriterionInterceptOnlyInterceptandCovariatesAIC41.58027.745SC43.24332.736-2 Log L39.58021.745Testing Global Null Hypothesis: BETA=0TestChi-SquareDFPr ChiSqLikelihood Ratio17.834520.0001Score16.057020.0003Wald8.738320.0127Analysis of Maximum Likelihood EstimatesParameterDFEstimateStandardErrorWaldChi-SquarePr ChiSqStandardizedEstimateIntercept1-2.10930.70588.93090.0028FAC1_11-1.71870.61937.70270.0055-0.9476FAC3_11-2.21971.24353.18650.0742-1.2238Odds Ratio EstimatesEffectPoint Estimate95% WaldConfidence LimitsFAC1_10.1790.0530.604FAC3_10.1090.0091.243Association of Predicted Probabilities andObserved ResponsesPercent Concordant91.9Somers D0.839Percent Discordant8.1Gamma0.839Percent Tied0.0Tau-a0.281Pairs248c0.919Residual Chi-Square TestChi-SquareDFPr ChiSq9.741040.0450Analysis of Effects Eligible forRemovalEffectDFWaldChi-SquarePr ChiSqFAC1_117.70270.0055FAC3_113.18650.074