商务智能与Data+Mining的应用.ppt

1、商务智能与Data Mining的应用与其在金融寿险业之应用,谢邦昌 博士 厦门大学讲座教授兼博导 首都经贸大学讲座教授兼博导 中央财经大学讲座教授兼博导 辅仁大学统计资讯学系教授 中华资料采矿协会理事长,与ING安泰一起成长,我的第一张保单,3,楔子 -1 客户关系管理CRM-一个网络流传的笑话 转述,4,CRM-客户关系管理的笑话,客服:东东披萨店您好!请问有什么需要我为您服务? 顾客:妳好,我想要 客服:先生,请把您的AIC会员卡号码告我. 顾客:喔! 请等等,12345678.,5,客服:陈先生您好,您是住在泉州街一号二楼, 您家电话是23939889,您的公司电话是 23113731

2、, 您的移动电话是939956956. 请问您现在是用哪一个电话呢? (1.客户数据库) 顾客:我家, 为什么妳知道我所有的电话号码? 客服:陈先生, 因为我们有联机”AIC CRM 系统”,6,顾客:我想要一个海鲜披萨 客服:陈先生, 海鲜披萨不适合您. 顾客:为什么? 客服:根据您的医疗纪录, 您有 高血压和胆固醇偏高. (2.医疗数据库),7,顾客:那妳们有什么可以推荐的? 客服:您可以试试我们的低脂健康披萨. 顾客:妳怎么知道我会喜欢吃这种的? 客服:喔! 您上星期一在中央图书馆借了一 本低脂健康食谱. (3.图书借阅数据库),8,顾客:哎呀! 好.我要一个家庭号特大披萨,要多少钱?

3、客服:嗯, 这个足够您一家十口吃, 六百九十九元. 顾客:可以刷卡吗? 客服:陈先生, 对不起, 请您付现, 因为您的信用卡已经刷爆 了,您现在还欠银行十万四千八百零七元, 而且还不包括房贷利息. (4.金融数据库-信用卡),9,顾客:喔! 那我先去附近的提款机领钱. 客服:陈先生, 根据您的记录, 您已经超 过今日提款机提款限额. (5.金融数据库-现金卡) 顾客:算了! 妳们直接把披萨送来吧, 我 这里有现金. 妳们多久会送到?,10,客服:大约三十分钟, 如果您不想等, 可 以自己骑车来. 顾客:什么?! 客服:根据AIC CRM系统记录, 您有 一辆摩托车, 车号是GY-7878. (

4、1.客户数据库),11,顾客:$%&$%&! 客服:陈先生, 请您说话小心一点.您在2000年四月一日用脏话侮辱警察,被判了十日拘役. 顾客: (6.刑事刑案数据库),12,客服:请问还需要什么吗? 顾客:没有了, 是不是有送三罐可乐? 客服:是的! 不过根据AIC CRM系统 记录, 您有糖尿病,13,CRM Road MAP,14,营销活动分析,15,CRM-DM的三阶段方法论,模式(Model ) 了解你的客户 区隔(Segment ) 瞄准特定客户行为 深入了解客户区隔模式 量测(Measure ) 追踪验证客户区隔模式 回馈这些讯息到模式流程中,16,商务智能与Data Mining

5、的基本概念,什么是商务智能与Data Mining(CRM) 商务智能与Data Mining系统的架构及其组成元素 实例:如何利用商务智能与Data Mining现况分析,17,商务智能之整合运用,不论是营销或服务部门，如何将分析所得到的信息，进一步转换成经营管理可资利用的材料，并且在实际联机操作环境中，将整个回应机制完全自动化，充分运用这些信息。,18,CRM主要功能类型及科技运用,19,CRM Road MAP,20,顾客关系管理系统架构,21,客户结构分析(Customer Profile Analysis),22,产品定位分析(Product Position Analysis),2

6、3,营销活动分析,24,客户忠诚分析,25,经营绩效分析(Business Performance Analysis),26,CRM在客户销售行为上的运用,商务智能,让数据为您开启智识大门,28,It is New,资源与信息共享Information Delivery Data mining（DM）是一个当红的专题，也是蛮新的一个专题 多半的人，并不知道它能做甚么。 但是不能太晚上车。(中研院 赵民德),29,瞎子摸象?找Pattern? Trend? Relationship?,林共进 教授 提供,30,什么是Data Mining?,定义 William Frawley & Gregor

7、y Piatetsky Shapiro, 1991 从现有的大量数据中，撷取不明显的、之前未知的、可能有用的信息 目标 建立起决策模型 哪一类的用户对我的产品有兴趣? 根据过去的行动来预测未来的行为,31,什么是Data Mining?,从数据库中萃取出有效益，且隐藏在数据当中的信息 Data Mining是属于KDD的其中最重要的一环 Fayyad(1996)：The nontrivial process of identifying valid、novel、potentially useful, and ultimately understandable pattern in data.,

8、32,什么是Data Mining?,大量的资料,型态或规则,里面要有矿!,信用卡消费资料：假设每人平均有1.5张信用卡， 每月平均消费10笔，该行约有150万的客户。就 资料量而言，每月约有2,250万笔消费记录，每年 约有2亿7千万笔消费记录,客户的消费型态或规则,33,Data Mining发展历程,1960s 资料搜集 磁带、软盘、硬盘 1980s 数据查询 数据库(SQL语言),1990s 资料统计 资料仓储(OLAP) 2000s 资料分析 Data Mining,34,你不能不知的十大创新技术,根据TECHNOLOGY REVIEW杂志（麻省理工学院2002年1月出刊）提出改变未

9、来的十大创新技术 机器与人脑的界面 塑料晶体管 Data Mining(Data mining) 数字权利管理 生物测定学(Biometrics) 语言识别处理 微光学技术(Microphotonics) 解开程序代码(Untangling code) 机器人设计 微应用流体学(Microfluidics),35,PC Architecture DOS,Spreadsheets Word Processors,PC Mid 80s,Internet Mid 90s,Applications Late 80s-Mid 90s,Web Apps Mid 00s - . . .,Today,Spee

10、ch/Writing,XML/SOAP HTTP/HTML SMTP,Email Clients Web Browsers,Wi-Fi/Broadband,Devices,Web Services,Rights Management,Trusted Computing Hardware,Mouse GUI LANs,36,Data Mining方法概述,1.Classification 2.Prediction 3.Segmentation 4.Association 5.Sequence,37,Data Mining兴起的原因,数据大量产生 资料仓储形成 计算机软件配合发展,38,The E

11、volution of Data Mining,39,Data Mining进行步骤,理解数据与进行的工作 获取相关知识与技术（Acquisition） 融合与查核资料（Integration and checking） 去除错误或不一致的数据（Data cleaning） 发展模式与假设（Model and hypothesis development） 实际Data Mining工作 测试与检核所挖掘的数据（Testing and verification） 解释与使用数据（Interpretation and use）,40,Data Mining进行步骤之产业标准,CRISP-DM (

12、 Cross-Industry Standard Process For Data Mining) SAS-SEMMA,41,Data Mining功能,分类（Classification） 预测（Forecasting） 推估（Estimation） 关联分组（Affinity Grouping） 集群化（Clustering）,42,Data Mining方法论,Association Rule Clustering Decision Tree Linear Regression Logistic Regression Nave Bayesian Neural Network Sequen

13、ce Clustering Time Series,43,Data Mining应用,44,DATA MINING 运行时间,定义企业问题,资料检视,资料准备,模型的建立,模型的评估,布属与应用,资料源,DATA MINING 处理流程,Data Mining产业标准CRISP-DM,45,定义企业问题（Business Understanding） Determine Business Objective Assess Situation Determine Data Mining Goals Produce Project Plan,46,定义企业问题 (CRISP-DM),确定目前内部遇

14、到的问题 定义解决的目标是开源或是节流,电信用户忠诚度逐年下降. 产品良率持续下降 零售点库存情况成长 保户诈欺状况不断升高 卡户剪卡比例增加 客户呆账发生数暴增 客户转贷频率提升,47,资料检视（Data Understanding） Collect Initial Data Describe Data Explore Data Verify Data Quality,48,资料检视(CRISP-DM),进行建立模型前的决策 检视数据分布情况 检视资料最大最小值 检视资料标准偏差 检视资料平均值,49,资料准备（Data Preparation） Data Set Select Data C

15、lean Data Construct Data Integrate Data Format Data,50,资料准备(CRISP-DM),使用数据平台整合性服务 消除异常资料 进行数据加载、转换、清除过滤与汇整 多重数据源整合至数据仓储或分析服务 进行数据取样 处理训练与验证数据 根据百分比抽样 根据笔数抽样 整合变量使用 衍生性字段、通用变量等 文字采矿功能 可撷取单字或是词组 可列举排除关键词,51,分析服务储存提供Data Mining数据源,客户维度,Data Mining模型,产品维度,分析服务的Cube资料可以提供作为Data Mining的来源 Case Dimension N

16、ested Dimensions 利用分析服务的汇总与计算能力强化处理速度,52,模型建立（Modeling） Select Modeling Techniques DT, NN, NB, TS, SC, CL, AR, LR, LR, Text Mining Generate Text Design Build Model Assess Model,53,模型的建立(CRISP-DM),将资料切割为: 训练资料 鉴效资料 测试资料 同一商业问题可以透过多种算法， 调整参数找出最佳模型,54,模型评估（Evaluation） Evaluate Results Review Process De

17、termine Next Steps,55,模型的评估(CRISP-DM),Training,Validation,Test,使用训练数据集 建立预测模型.,使用鉴效数据集 来避免模型对于训练数据集产生记忆效应,使用测试数据集来选择模型以及测量模型在预测未知数据的能力,56,模型的评估之累积增益图(CRISP-DM),累积增益图指标 可以判断不同采矿算法的准确率,57,模型效益评估之错差矩阵(CRISP-DM),横轴为预测结果，纵轴为实际结果 用来比较各类预测正确与错误之组合,58,布署与应用（Deployment） Plan Deployment Plan Monitoring and Ma

18、intenance Produce Final Report Review Project,Confidential and proprietary. Copyright 2005 Business Objects and Sysware S.A. All rights reserved.,One-Page Dashboard,Confidential and proprietary. Copyright 2005 Business Objects and Sysware S.A. All rights reserved.,One-Page Dashboard,Confidential and

19、 proprietary. Copyright 2005 Business Objects and Sysware S.A. All rights reserved.,What-if Analysis,Confidential and proprietary. Copyright 2005 Business Objects and Sysware S.A. All rights reserved.,Real-Time Analysis,Confidential and proprietary. Copyright 2005 Business Objects and Sysware S.A. A

20、ll rights reserved.,MAP (Graphic) Integration,Confidential and proprietary. Copyright 2005 Business Objects and Sysware S.A. All rights reserved.,Simulation,Confidential and proprietary. Copyright 2005 Business Objects and Sysware S.A. All rights reserved.,Integration Dashboard,Confidential and prop

21、rietary. Copyright 2005 Business Objects and Sysware S.A. All rights reserved.,Source database management (Ex. ERP system) Data mining Data warehouse maintenance Business Information display Data security management,Confidential and proprietary. Copyright 2005 Business Objects and Sysware S.A. All r

22、ights reserved.,68,布署与应用(CRISP-DM),将采矿的分析结果部署到商业模型中，达到自动化预测的效果，以提升营运利润、改善商业流程 使用对象 决策者 营销单位 财务分析 品保单位,69,Data Mining的商业价值,商 业 价 值,数据源:Microsoft Taiwan,70,Data Mining在各产业的应用,金融服务业 客户贡献度分析、信用评分、风险评估、客户区隔、交叉营销等。 保险业 顾客贡献度分析、信用评分、风险评估、客户区隔、交叉营销、客 户流失分析和诈欺侦测等。 电信业 顾客贡献度分析、信用评分、客户区隔、交叉营销、客户流失分析、销售预测和诈欺侦测等

23、。,71,Data Mining在各产业的应用,制造业 客户贡献度分析、质量管理、营销绩效分析、生产分析和存货分析等。 零售业 客户忠诚度、客户区隔、购物篮分析、定价分析、交叉营销和销售预测等。 生物科技、医疗保健、航天空业、环境、法律等,72,Data Mining无处不在,73,商务智能与Data Mining在金融业之应用范例,金融业关心什么议题 客户的忠诚度、风险、贡献度及其区隔 金融产品交叉销售 信用风险预测 顾客价值函数 如何利用巴塞尔协议建立风险管控 实例研讨,Data Mining在金融业的应用,在财务危机预警模式之应用,75,研究背景与动机,在景气低迷的影响下，使得许多营运不

24、良的公司，陆续爆发财务危机，尤以87年底最为严重。 提早发现恶化的征兆 ，将能降低财务危机事件发生的可能性，进而规避风险。 除了自身营运不佳外，本身内部监理制度的不健全以及股权结构的问题，也是构成财务危机发生的原因之一。,76,研究目的,找出真正影响危机发生的显著变量。 采用Data Mining技术，分别建构危机前一年、危机前二年以及危机前三年之财务预警模式。藉以帮助企业、投资者，将损失减至最低，冀能提供政府单位作为决策之参考 透过判定树的方法进行变量之间互动情形。,77,研究流程,78,研究范围与对象,研究对象:1996年至2002年台湾扣除金融业与证券业之上市公司 危机时点: 1999年

25、至2002年间有发生财务危机公司特性之公司，分别搜集该公司于发生危机时间点之前3年的资料 依据产业别以1:1的配对方式进行样本配置，总样本为118家 数据源: 台湾新报文化事业股份有限公司数据库 上市公司公开说明书,79,研究架构,80,研究变数,81,叙述性统计,82,叙述性统计,83,风险危机前一年,84,风险危机前二年,85,风险危机前三年,86,最后筛选之变数,87,因素分析,88,危机前一年,89,危机前二年,90,危机前三年,91,罗吉斯回归,92,93,类神经网络,倒传递类神经网络(MLP) 隐藏层神经元:2p-2,2p-1,2p,2p+1,2p+2 学习率:0.01,0.05,

26、0.1 动量(Momentun):0.3(软件设定值) 准则:Test RMSE值最小为最佳模型,94,类神经网络,预测样本 96.2%,95,综合比较,96,结论,在某些特定的变数上，在各产业间，确实有显著性的差异性(流动、速动比率、周转率、杠杆度等) 距离危机发生的时间点愈近，将有助于模型的建立 类神经网络所建构的模型较佳(最高:94.2%、 预测96.2% ) 税后净利率%、财务杠杆度、现金流量比率%、营业利益率%、董监质押比率%、总资产周转率(次)、流动比率% 为主要的影响变量,人寿保险公司顾客满意度与经营绩效认知之研究,银行业导入顾客关系管理之研究以银行放款部门为例,99,商务智能与

27、Data Mining的未来及其瓶颈,是事业务的事?企画的责任?IT的工作?还是 是员工的事?老总的事?别人的事?还是 是工具的问题?人员技术的问题?组织结构问题?还是 一些未来指标的分析及架构的建议,100,Data Mining未来趋势-Text Mining,有90%地信息以非结构性文件储存 Text Mining主要是用来处理这些非结构化信息，以找出规则与结构 可应用在专利文件、病例、论文研究、文件分类、知识管理、信用评等. 市场上工具： SQL 2005 SSIS/ AS IBM Intelligent Miner for Text SAS Enterprise Miner for Text SPSS Clementine for Text,数据源:Microsoft Taiwan,101,新增文字Data Mining功能,Term Extract, Term Lookup 目前仅支持英语 可撷取单字或是词组 可列举排除关键词