商务智能与Data+Mining的应用.ppt

商务智能与DataMining的应用与其在金融寿险业之应用,谢邦昌博士厦门大学讲座教授兼博导首都经贸大学讲座教授兼博导中央财经大学讲座教授兼博导辅仁大学统计资讯学系教授中华资料采矿协会理事长,与ING安泰一起成长,我的第一张保单,3,楔子-1客户关系管理CRM-一个网络流传的笑话转述,4,CRM-客户关系管理的笑话,客服:东东披萨店您好!请问有什么需要我为您服务?顾客:妳好,我想要客服:先生,请把您的AIC会员卡号码告我.顾客:喔!请等等,12345678.,5,客服:陈先生您好,您是住在泉州街一号二楼,您家电话是23939889,您的公司电话是23113731,您的移动电话是939956956.请问您现在是用哪一个电话呢?(1.客户数据库)顾客:我家,为什么妳知道我所有的电话号码?客服:陈先生,因为我们有联机”AICCRM系统”,6,顾客:我想要一个海鲜披萨客服:陈先生,海鲜披萨不适合您.顾客:为什么?客服:根据您的医疗纪录,您有高血压和胆固醇偏高.(2.医疗数据库),7,顾客:那妳们有什么可以推荐的?客服:您可以试试我们的低脂健康披萨.顾客:妳怎么知道我会喜欢吃这种的?客服:喔!您上星期一在中央图书馆借了一本低脂健康食谱.(3.图书借阅数据库),8,顾客:哎呀!好.我要一个家庭号特大披萨,要多少钱?客服:嗯,这个足够您一家十口吃,六百九十九元.顾客:可以刷卡吗?客服:陈先生,对不起,请您付现,因为您的信用卡已经刷爆了,您现在还欠银行十万四千八百零七元,而且还不包括房贷利息.(4.金融数据库-信用卡),9,顾客:喔!那我先去附近的提款机领钱.客服:陈先生,根据您的记录,您已经超过今日提款机提款限额.(5.金融数据库-现金卡)顾客:算了!妳们直接把披萨送来吧,我这里有现金.妳们多久会送到?,10,客服:大约三十分钟,如果您不想等,可以自己骑车来.顾客:什么?!客服:根据AICCRM系统记录,您有一辆摩托车,车号是GY-7878.(1.客户数据库),11,顾客:$%&$%&!客服:陈先生,请您说话小心一点.您在2000年四月一日用脏话侮辱警察,被判了十日拘役.顾客:(6.刑事刑案数据库),12,客服:请问还需要什么吗?顾客:没有了,是不是有送三罐可乐?客服:是的!不过根据AICCRM系统记录,您有糖尿病,13,CRMRoadMAP,14,营销活动分析,15,CRM-DM的三阶段方法论,模式(Model)了解你的客户区隔(Segment)瞄准特定客户行为深入了解客户区隔模式量测(Measure)追踪验证客户区隔模式回馈这些讯息到模式流程中,16,商务智能与DataMining的基本概念,什么是商务智能与DataMining(CRM)商务智能与DataMining系统的架构及其组成元素实例:如何利用商务智能与DataMining现况分析,17,商务智能之整合运用,不论是营销或服务部门，如何将分析所得到的信息，进一步转换成经营管理可资利用的材料，并且在实际联机操作环境中，将整个回应机制完全自动化，充分运用这些信息。,18,CRM主要功能类型及科技运用,19,CRMRoadMAP,20,顾客关系管理系统架构,21,客户结构分析(CustomerProfileAnalysis),22,产品定位分析(ProductPositionAnalysis),23,营销活动分析,24,客户忠诚分析,25,经营绩效分析(BusinessPerformanceAnalysis),26,CRM在客户销售行为上的运用,商务智能,让数据为您开启智识大门,28,ItisNew,资源与信息共享InformationDeliveryDatamining（DM）是一个当红的专题，也是蛮新的一个专题多半的人，并不知道它能做甚么。但是不能太晚上车。(中研院赵民德),29,瞎子摸象?找Pattern?Trend?Relationship?,林共进教授提供,30,什么是DataMining?,定义WilliamFrawley&GregoryPiatetskyShapiro,1991从现有的大量数据中，撷取不明显的、之前未知的、可能有用的信息目标建立起决策模型哪一类的用户对我的产品有兴趣?根据过去的行动来预测未来的行为,31,什么是DataMining?,从数据库中萃取出有效益，且隐藏在数据当中的信息DataMining是属于KDD的其中最重要的一环Fayyad(1996)：Thenontrivialprocessofidentifyingvalid、novel、potentiallyuseful,andultimatelyunderstandablepatternindata.,32,什么是DataMining?,大量的资料,型态或规则,里面要有矿!,信用卡消费资料：假设每人平均有1.5张信用卡，每月平均消费10笔，该行约有150万的客户。就资料量而言，每月约有2,250万笔消费记录，每年约有2亿7千万笔消费记录,客户的消费型态或规则,33,DataMining发展历程,1960s资料搜集磁带、软盘、硬盘1980s数据查询数据库(SQL语言),1990s资料统计资料仓储(OLAP)2000s资料分析DataMining,34,你不能不知的十大创新技术,根据TECHNOLOGYREVIEW杂志（麻省理工学院2002年1月出刊）提出改变未来的十大创新技术机器与人脑的界面塑料晶体管DataMining(Datamining)数字权利管理生物测定学(Biometrics)语言识别处理微光学技术(Microphotonics)解开程序代码(Untanglingcode)机器人设计微应用流体学(Microfluidics),35,PCArchitectureDOS,SpreadsheetsWordProcessors,PCMid80s,InternetMid90s,ApplicationsLate80s-Mid90s,WebAppsMid00s-.,Today,Speech/Writing,XML/SOAPHTTP/HTMLSMTP,EmailClientsWebBrowsers,Wi-Fi/Broadband,Devices,WebServices,RightsManagement,TrustedComputingHardware,MouseGUILANs,36,DataMining方法概述,1.Classification2.Prediction3.Segmentation4.Association5.Sequence,37,DataMining兴起的原因,数据大量产生资料仓储形成计算机软件配合发展,38,TheEvolutionofDataMining,39,DataMining进行步骤,理解数据与进行的工作获取相关知识与技术（Acquisition）融合与查核资料（Integrationandchecking）去除错误或不一致的数据（Datacleaning）发展模式与假设（Modelandhypothesisdevelopment）实际DataMining工作测试与检核所挖掘的数据（Testingandverification）解释与使用数据（Interpretationanduse）,40,DataMining进行步骤之产业标准,CRISP-DM(Cross-IndustryStandardProcessForDataMining)SAS-SEMMA,41,DataMining功能,分类（Classification）预测（Forecasting）推估（Estimation）关联分组（AffinityGrouping）集群化（Clustering）,42,DataMining方法论,AssociationRuleClusteringDecisionTreeLinearRegressionLogisticRegressionNaveBayesianNeuralNetworkSequenceClusteringTimeSeries,43,DataMining应用,44,DATAMINING运行时间,定义企业问题,资料检视,资料准备,模型的建立,模型的评估,布属与应用,资料源,DATAMINING处理流程,DataMining产业标准CRISP-DM,45,定义企业问题（BusinessUnderstanding）DetermineBusinessObjectiveAssessSituationDetermineDataMiningGoalsProduceProjectPlan,46,定义企业问题(CRISP-DM),确定目前内部遇到的问题定义解决的目标是开源或是节流,电信用户忠诚度逐年下降.产品良率持续下降零售点库存情况成长保户诈欺状况不断升高卡户剪卡比例增加客户呆账发生数暴增客户转贷频率提升,47,资料检视（DataUnderstanding）CollectInitialDataDescribeDataExploreDataVerifyDataQuality,48,资料检视(CRISP-DM),进行建立模型前的决策检视数据分布情况检视资料最大最小值检视资料标准偏差检视资料平均值,49,资料准备（DataPreparation）DataSetSelectDataCleanDataConstructDataIntegrateDataFormatData,50,资料准备(CRISP-DM),使用数据平台整合性服务消除异常资料进行数据加载、转换、清除过滤与汇整多重数据源整合至数据仓储或分析服务进行数据取样处理训练与验证数据根据百分比抽样根据笔数抽样整合变量使用衍生性字段、通用变量等文字采矿功能可撷取单字或是词组可列举排除关键词,51,分析服务储存提供DataMining数据源,客户维度,DataMining模型,产品维度,分析服务的Cube资料可以提供作为DataMining的来源CaseDimensionNestedDimensions利用分析服务的汇总与计算能力强化处理速度,52,模型建立（Modeling）SelectModelingTechniquesDT,NN,NB,TS,SC,CL,AR,LR,LR,TextMiningGenerateTextDesignBuildModelAssessModel,53,模型的建立(CRISP-DM),将资料切割为:训练资料鉴效资料测试资料同一商业问题可以透过多种算法，调整参数找出最佳模型,54,模型评估（Evaluation）EvaluateResultsReviewProcessDetermineNextSteps,55,模型的评估(CRISP-DM),Training,Validation,Test,使用训练数据集建立预测模型.,使用鉴效数据集来避免模型对于训练数据集产生记忆效应,使用测试数据集来选择模型以及测量模型在预测未知数据的能力,56,模型的评估之累积增益图(CRISP-DM),累积增益图指标可以判断不同采矿算法的准确率,57,模型效益评估之错差矩阵(CRISP-DM),横轴为预测结果，纵轴为实际结果用来比较各类预测正确与错误之组合,58,布署与应用（Deployment）PlanDeploymentPlanMonitoringandMaintenanceProduceFinalReportReviewProject,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,One-PageDashboard,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,One-PageDashboard,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,What-ifAnalysis,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,Real-TimeAnalysis,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,MAP(Graphic)Integration,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,Simulation,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,IntegrationDashboard,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,Sourcedatabasemanagement(Ex.ERPsystem)DataminingDatawarehousemaintenanceBusinessInformationdisplayDatasecuritymanagement,Confidentialandproprietary.Copyright2005BusinessObjectsandSyswareS.A.Allrightsreserved.,68,布署与应用(CRISP-DM),将采矿的分析结果部署到商业模型中，达到自动化预测的效果，以提升营运利润、改善商业流程使用对象决策者营销单位财务分析品保单位,69,DataMining的商业价值,商业价值,数据源:MicrosoftTaiwan,70,DataMining在各产业的应用,金融服务业客户贡献度分析、信用评分、风险评估、客户区隔、交叉营销等。保险业顾客贡献度分析、信用评分、风险评估、客户区隔、交叉营销、客户流失分析和诈欺侦测等。电信业顾客贡献度分析、信用评分、客户区隔、交叉营销、客户流失分析、销售预测和诈欺侦测等。,71,DataMining在各产业的应用,制造业客户贡献度分析、质量管理、营销绩效分析、生产分析和存货分析等。零售业客户忠诚度、客户区隔、购物篮分析、定价分析、交叉营销和销售预测等。生物科技、医疗保健、航天空业、环境、法律等,72,DataMining无处不在,73,商务智能与DataMining在金融业之应用范例,金融业关心什么议题客户的忠诚度、风险、贡献度及其区隔金融产品交叉销售信用风险预测顾客价值函数如何利用巴塞尔协议建立风险管控实例研讨,DataMining在金融业的应用,在财务危机预警模式之应用,75,研究背景与动机,在景气低迷的影响下，使得许多营运不良的公司，陆续爆发财务危机，尤以87年底最为严重。提早发现恶化的征兆，将能降低财务危机事件发生的可能性，进而规避风险。除了自身营运不佳外，本身内部监理制度的不健全以及股权结构的问题，也是构成财务危机发生的原因之一。,76,研究目的,找出真正影响危机发生的显著变量。采用DataMining技术，分别建构危机前一年、危机前二年以及危机前三年之财务预警模式。藉以帮助企业、投资者，将损失减至最低，冀能提供政府单位作为决策之参考透过判定树的方法进行变量之间互动情形。,77,研究流程,78,研究范围与对象,研究对象:1996年至2002年台湾扣除金融业与证券业之上市公司危机时点:1999年至2002年间有发生财务危机公司特性之公司，分别搜集该公司于发生危机时间点之前3年的资料依据产业别以1:1的配对方式进行样本配置，总样本为118家数据源:台湾新报文化事业股份有限公司数据库上市公司公开说明书,79,研究架构,80,研究变数,81,叙述性统计,82,叙述性统计,83,风险危机前一年,84,风险危机前二年,85,风险危机前三年,86,最后筛选之变数,87,因素分析,88,危机前一年,89,危机前二年,90,危机前三年,91,罗吉斯回归,92,93,类神经网络,倒传递类神经网络(MLP)隐藏层神经元:2p-2,2p-1,2p,2p+1,2p+2学习率:0.01,0.05,0.1动量(Momentun):0.3(软件设定值)准则:TestRMSE值最小为最佳模型,94,类神经网络,预测样本96.2%,95,综合比较,96,结论,在某些特定的变数上，在各产业间，确实有显著性的差异性(流动、速动比率、周转率、杠杆度等)距离危机发生的时间点愈近，将有助于模型的建立类神经网络所建构的模型较佳(最高:94.2%、预测96.2%)税后净利率%、财务杠杆度、现金流量比率%、营业利益率%、董监质押比率%、总资产周转率(次)、流动比率%为主要的影响变量,人寿保险公司顾客满意度与经营绩效认知之研究,银行业导入顾客关系管理之研究以银行放款部门为例,99,商务智能与DataMining的未来及其瓶颈,是事业务的事?企画的责任?IT的工作?还是是员工的事?老总的事?别人的事?还是是工具的问题?人员技术的问题?组织结构问题?还是一些未来指标的分析及架构的建议,100,DataMining未来趋势-TextMining,有90%地信息以非结构性文件储存TextMining主要是用来处理这些非结构化信息，以找出规则与结构可应用在专利文件、病例、论文研究、文件分类、知识管理、信用评等.市场上工具：SQL2005SSIS/ASIBMIntelligentMinerforTextSASEnterpriseMinerforTextSPSSClementineforText,数据源:MicrosoftTaiwan,101,新增文字DataMining功能,TermExtract,TermLookup目前仅支持英语可撷取单字或是词组可列举排除关键词Fuzzy