金融数据挖掘和商业数据挖掘

金融数据挖掘和商业数据挖掘第1页，共26页，2023年，2月20日，星期四5/8/20231报告大纲研究目的分析工具

建模流程结论与建议Q&A第2页，共26页，2023年，2月20日，星期四5/8/20232研究目的有效地筛选出偿债能力不佳的个人信用卡客户，依此开发出一套信用风险系统，以帮助银行做出正确的核卡决策。这个系统的开发、维护、与更新的成本预期将比银行现有系统的成本低。第3页，共26页，2023年，2月20日，星期四5/8/20233分析工具MicrosoftSQLSever2005价格自动化以及开发延伸程度目前SPSS跟微软之间是采取合作的态度第4页，共26页，2023年，2月20日，星期四5/8/20234建模流程：CRISP-DMDATAMINING执行阶段商业理解资料理解资料准备建模评估发布资料源DATAMINING处理流程5/8/20235图表来源：杨自强企业如何应用商业智慧来提升执行力与竞争力第5页，共26页，2023年，2月20日，星期四微软商业智慧解决方案SSIS

分析服务报表服务分析服务(DataMining)资料来源检视表(DataSourceView)整合性服务(SSIS)商业理解资料理解资料准备建模评估发布资料源资料源5/8/20236图表来源：杨自强企业如何应用商业智慧来提升执行力与竞争力第6页，共26页，2023年，2月20日，星期四资料采矿无处不在商业问题Microsoft算法预测类别变量，例如营销响应、顾客流失、违约预测(巴塞尔资本协定IRB)…决策树贝氏机率分类群集类神经网络罗吉斯回归预测连续变量，例如预测销售量、预测客户价值变动、预测金融商品价格波动...回归树时间序列类神经网络预测序列，例如找出网站使用者的点选路径模式、客户缴款行为模式、商品购物顺序时序群集找出产品交叉销售关联性，又称为购物篮分析关联规则决策树找出潜在相似性，例如市场区隔、侦测晶圆瑕疵分配、文件分类、保险浮滥理赔侦测、伪卡侦测群集时序群集第7页，共26页，2023年，2月20日，星期四5/8/20237商业理解(BusinessUnderstanding)厘清商业问题目前呆帐率是多少？信用卡审核流程？信用卡评分模型=分类模型第8页，共26页，2023年，2月20日，星期四5/8/20238资料理解(DataUnderstanding)资料来源某银行2000.1.1~2002.6.30的信用卡资料数据内容申请数据文件缴款纪录文件总共有1220个变数，502,333笔原始资料违约户定义缴款期间曾经有逾期60天以上未缴之卡户

第9页，共26页，2023年，2月20日，星期四5/8/20239建模流程图选择2001.4~2001.6原始资料清除遗漏值、异常值数据转换误差抽样训练组测试组建模评估评估第10页，共26页，2023年，2月20日，星期四5/8/202310资料准备(DataPreparation)选择合理的建模变量基本数据性别、教育程度、职业别……联合征信中心(JCIC)的资料被查询总家数、延迟月数比率……与银行往来的资料申请卡别类型、有没有使用扣款服务……第11页，共26页，2023年，2月20日，星期四5/8/202311资料准备(DataPreparation)选择合理的建模时间时间间隔取为12个月至18个月清除遗漏值、异常值数据转换连续型转成离散型：被查询总家数…合并变项太多之变量：职业别…衍生新的变数第12页，共26页，2023年，2月20日，星期四5/8/202312类型变量名称数据类型个人资料教育别类别型(2类)性别旗标型行业别类别型(3类)职称别类别型(3类)工作年资类别型(5类)紧急联络人与正卡关系类别型(4类)与银行往来纪录是否申请结余代偿旗标型扣款账号旗标型金融联合征信中心<过去六个月>延迟月数比率连续型<过去六个月>循还月数比率连续型近一年M2次数整数型<最近一个月>近期是否逾期旗标型负债所得比连续型有效卡张数类别型(3类)被查询总家数类别型(4类)第13页，共26页，2023年，2月20日，星期四5/8/202313建模(Modeling)误差抽样(Over-Sampling)将稀有事件透过抽样的方式将其比重提高多的少抽(Reduce)：正常户抽取率0.1违约户抽取率1将资料分成训练组与测试组避免过度学习(Over-fitting)建模方法选择罗吉斯回归、决策树、类神经网络第14页，共26页，2023年，2月20日，星期四5/8/202314DataMiningModelEvaluation第15页，共26页，2023年，2月20日，星期四5/8/202315DataMiningModelEvaluation分类矩阵横轴为预测结果，纵轴为实际结果增益图横轴为名单百分比，纵轴为累积占全体之百分比收益图根据成本以及销售成功利润，并计算出累积利润图散布图针对连续变量，可以利用此功能了解实际值与预测值间之差异性以及预测之趋势变动情形第16页，共26页，2023年，2月20日，星期四5/8/202316选择“vTargetMail(dbo)”勾选需要比较之模型DataMiningModelEvaluation说明：在进行模型效益评估前必须先选入数据表，并在模型中勾选要进行评估比较之模型第17页，共26页，2023年，2月20日，星期四5/8/202317DataMiningModelEvaluation分类矩阵藉由分类矩阵进一步比较，判别两模型的预测能力，由决策树模型发现，预测正确的资料有7103+5857=12960；而群集分析模型的正确预测数据为5395+5308=10703，也可看出决策树分类结果较群集分析分类结果好第18页，共26页，2023年，2月20日，星期四5/8/202318DataMiningModelEvaluation增益图增益图：主要展现在整体的百分上所累积的效益状况第19页，共26页，2023年，2月20日，星期四5/8/202319DataMiningModelEvaluation收益图收益图：可根据所设定之固定成本、单位成本以及单位营收加以计算，找出最佳获利点第20页，共26页，2023年，2月20日，星期四5/8/202320DataMiningModelEvaluation散布图散布图：了解各模型之预测值、预测趋势以及实际值第21页，共26页，2023年，2月20日，星期四5/8/202321评估(Evaluation)增益图（liftchart）第22页，共26页，2023年，2月20日，星期四5/8/202322评估(Evaluation)分类矩阵(classificationmatrix)衡量指标Precise=a/a+bRecall=a/a+cAccuracy=a+d/a+b+c+d

实际预测违约户正常户违约户ab正常户cd第23页，共26页，2023年，2月20日，星期四5/8/202323发布(Deployment)产生预测的违约机率值单一查询整批查询第24页，共26页，2023年，2月20日，星期四5/8/202324结论与建议本研究以罗吉斯回归模型