基于svm的数据挖掘报告

1、数据挖掘基于SVM的银行个人信用评估2015.06.12任浩 周佳怡基于SVM的银行个人信用评估1 银行信用评估2 支持向量机基本理论（Support Vector Machine） 3 基于SVM的银行个人信用评估模型21.1 银行信用评估简介 所谓信用评估问题是指根据客户提供的资料和历史记录，采用某种科学的评价方法，综合考虑各种因素的影响效果，以最终估计出对该客户贷款所面临的违约风险大小。31.1 银行信用评估简介所需资料一般包括:客户的基本信息，如：姓名、年龄、性别（国外经验数据表明女性的违约率要小于男性）、身份证明、工作单位、工作年限房屋所有权（自有房屋、租借）等客户的收入、支出情况客

2、户历史信贷记录，如：现有贷款余额、每月还贷额、每月信用卡消费透支额、有无欠款记录等客户的社会记录，如：商业信用记录、各种公用事业缴费记录、有无违法犯罪记录等 以上众多的因素都会对客户的信用好坏产生或大或小的影响，有的影响是正面的，有的则是负面的，信用评估所要解决的就是对这些因素的影响效果进行科学适当的综合，最终将客户信用程度高低的评估结果分为若干个等级41.2 银行信用评估问题描述若假设每个客户对应有n个因素指标 ，则该客户实际上就对应于n维空间r中的一个点，那么每个等级实际上就对应于该空间中的一类点，分类的规则就对应了空间中的若干个超曲面，它们将空间中所有的点分为若干个等级,我们把这些超曲面

3、称为分类面。因此信用评估问题的本质就是在由上述n个指标所组成的n维空间中通过对己有历史数据（称为训练样本）分类结果的学习和模拟，找到若干个分类面（如果分类问题是线性的,那么分类面就是超平面），将该空间中对应于每个客户的点进行分类51.2 银行信用评估问题描述采用支持向量机对客户信用风险进行评估,原因是因为支持向量机和传统的分类方法相比有以下优点:专门针对有限样本情况的,它的目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优解最终转化成为一个二次型寻优问题,从理论上说将得到全局最优点，解决了在神经网络方法中无法避免得到局部极值的情况通过非线性变换转换到高维特征空间，在高维空间中构造线

4、性判别函数来实现原始空间中的非线性判别函数，保证了学习机器有较好的推广能力，并且解决了维数灾问题62 SVM基本理论2.1 logistic回归2.2 函数间隔和几何间隔2.3 最优间隔分类器2.4 原始优化问题和对偶优化问题2.5 SVM 2.6 核函数2.7 学习过程（SMO算法）72.1 Logistic 回归若y取值0,1，首先改变假设的形式，使假设得到的值总在0,1之间，即： 0,1。所以，选取如下函数： 其中： 称为logistic 函数或者sigmoid 函数82.1 函数间隔和几何间隔若y取值-1,1，首先改变假设的形式，使假设得到的值总在-1,1之间，即： -1,1。所以，选

5、取如下函数：其中 ，替换 和 得到： 即 即为函数分割面。92.1 Logistic 回归定义函数间隔：几何间隔：102.1 Logistic 回归若y取值0,1，首先改变假设的形式，使假设得到的值总在0,1之间，即： 0,1。所以，选取如下函数： 其中： 称为logistic 函数或者sigmoid 函数112.3 最优间隔分类器我们的目标是寻找一个超平面，使得离超平面比较近的点能有更大的间距。这里用 约束 ，使得 为几何间隔。122.3 最优间隔分类器由于 ，优化函数不是凸函数，因此转换函数间隔和几何间隔：将问题转化为典型的二次优化问题。132.4 原始优化问题和对偶优化问题原始优化问题：

6、 142.4 原始优化问题和对偶优化问题对偶优化问题：KKT条件： 152.5 SVM 回到SVM优化问题： 162.5 SVM 回到SVM优化问题： 172.5 SVM 回到SVM优化问题： 182.5 SVM 192.6 核函数 样本为非线性不可分情况 特征映射： 202.5 SMO训练学习的方法： 213 基于SVM的个人信用评估模型采用国外某商业银行的部分客户数据22国外某商业银行数据的ER模型3.1数据预处理样本实例所提供的数据还不能直接应用于SVM的评估方法，原因在于：数据集是以多个表结构给出样本中有许多数据存在缺损各指标的量纲之间存在很大差异，而且有的指标之间还存在一定的相关性

7、数据预处理方法包括数据清理、数据集成、数据变换和数据规约233.1数据预处理通过对样本数据进行处理后，得出该商业银行数据中拥有4500名客户，而办理过贷款业务的客户只有827名，根据以往银行属性提取的经验，对本样本数据提取了9个属性指标243.2 SVM学习模块客户信用风险评估SVM模型就是通过对训练样本集学习找到最优分类面，然后用该最优分类面对未知类别的样本进行信用风险评估 25信用评估框架3.3 Logistic 回归以贷款风险为基础把贷款分为五级：正常、关注、次级、可疑和损失通过建立基于SVM算法的信用风险评估模型，对申请贷款的客户基本信息进行评估，分为正常、关注、次级和损失四类26通过训练样本集求解下式的最优化问题，得到拉格朗日乘子 对于