数据挖掘在商业管理和决策分析之实例应用

1、数据挖掘在商业管理与决策数据挖掘在商业管理与决策分析之实例应用分析之实例应用决策分析质量与效率之提升数据挖掘之原理概念与功能数据挖掘之建构方法应用案例介绍电子商务之应用（Web Mining/）建议与结论引言引言经营环境经营环境 经营环境日益挑战经营环境日益挑战-考虑考虑:成本、利润、质量成本、利润、质量 . . . . 管理活动管理活动-整合整合:业务运作、管理控制、策略规画业务运作、管理控制、策略规画 信息密集行业信息密集行业 全方位全方位/多角化经营多角化经营2021/2/74资料资料 -企业宝贵之资产企业宝贵之资产 信息信息Mining资料资料仓储仓储Mining知识知识(Corpor

2、ate Memory)(Corporate Intelligence)Database/DataWarehouseTargetdataCleaneddataTransformeddataPattern/model评鉴数据视觉资料挖掘资料挖掘数据转换与简化前置处理与清理样本选取PerformancesystemKnowledge/Adapted from IBM Corp./数据挖掘之基本概念数据挖掘之基本概念 背景背景 管理信息超载及结构化不足 信息混乱与误用 管理问题复杂度高 实时决策分析日益重视 发展目的发展目的 有效利用搜集之市场、客户、供货商、竞争对手及未来趋势信息 使企业经由有效之方

3、法与技术从历史数据里撷取有用的知识数据挖掘原理数据挖掘原理 主要方法主要方法 数据库、数据视觉、统计学、机器学习等数据库、数据视觉、统计学、机器学习等 相关技术相关技术 类神经网络、模糊逻辑、基因算法、基因规画、类神经网络、模糊逻辑、基因算法、基因规画、 案例库案例库推理法、规则库推理、统计回归等推理法、规则库推理、统计回归等 知识表现知识表现 决策树决策树 、法则、定量数学公式、黑箱公式、法则、定量数学公式、黑箱公式 等等Data mining主要主要功能与技术功能与技术功能功能 技术技术 适用领域适用领域关联性 (Association) 案例库推理/集合理论/统计 菜篮分析时间序列 (S

4、equence) 类神经网络/统计 利率预测分类 (Classification) 基因演算/类神经网络/统计/ 客户评鉴分类 模糊逻辑案例推理/决策树公式 (Modeling) 基因规划/基因演算/回归 销售预测群组 (Clustering) 类神经网络/模糊逻辑/ 市场区隔基因演算/统计2021/2/79数据挖掘应用现况数据挖掘应用现况 Safeway 贩卖促销信息（e.g. coupon) 音乐/电影喜好问卷搜集 Fidelity Investment客户服务 （cross-selling/ wallet share) First USA Bank信用卡资料（汽车房贷） Capital

5、One 降低贷款风险损失率 First Union预测潜在流失客户 预测侵蚀性的物质对皮肤的影响降低产品(药品或毒品)的发展成本和时间,以及减少动物实验的需求 分析零售商店历史销售记录与位置概述以决定最佳的位置 分析提款机设置地点最佳位置Data Mining 过程过程 了解应用领域 建立目标集、选择目标数据集 去除数据杂质、做先置处理 减少数据和数据转换 选择数据挖掘的模式（功能） 选择数据挖掘的算法（技术） 资料挖掘 评估第七步骤的结果 整理发现的知识2021/2/711实例应用实例应用 客户评鉴与分类 (NeuroFuzzy) 提升邮购回函率 (Fuzzy) 股市交易最佳化规则之发掘 (

6、GA) 零售商品与客源群聚相关性分析 (Neural/Statistic) 民航机重落地分析（Regression Tree) 化妆品偏好分析（Classification Tree) 窑烧最佳化控制（Neural/GA) 大哥大忠诚客户与游离客户之分析及预测（Classification Tree)2021/2/712股市交易最佳化规则之发掘股市交易最佳化规则之发掘 规则一假如6日RSI小于20且6日BIAS 小于 -4%时则 买入并持有12日 规则二规则二假如6日RSI 大于 80且6日BIAS 大于 5%时则 卖出并放空10日2021/2/713提升提升Direct Mail回函率回函率

7、寄出信函数（寄出成本）寄出信函数（寄出成本）回函数回函数节省节省目标营销大众营销预定目标预定目标Segment 1 (Age 43)(42.8%)Segment 2 (Age 42)(24.8%)Segment 3 (Age 52)(20.4%)Segment 4 (Age 26)(11.9%)Market SegmentationSegment size, average ageFigure 9.3 Segmentation Results: Segment Size and Average Age Sport Exercise Appliance Entertainment Furnitu

8、repopulationSegment3Segmnet1Segmenet4Segment2Target CategoriesAvg$spent300020002500150010005000Market Segment AnalysisSegments v.s. PopulationFigure 9.4 Market Segmentation AnalysisSafeway 案例 面临之挑战面临之挑战8 million transaction data/week (4 T MB)500家店面与600万客户市场竞争激烈,传统手法技术式微 （如更低价位,更多据点,多类产品）新的竞争关键焦点:掌握客

9、户需要-哪类客户买哪些商品以及购买频率2021/2/717Market Basket Analysis (菜篮分析）菜篮分析）CokeMilkJuiceEggCokeMilkJuiceEggEggJuiceMilkCoke其它相关应用其它相关应用 发掘背部手术成败关键因素 磁砖颜色配比决策辅助 旋窑燃烧最佳化控制 研磨机钢球配比及置放址决策辅助 电子能量、功率、废气流量、氨气流量组合对氮氧化物及硫氧化物去除效率之模式发展 污染排放量预测模式（DECADES MODEL） 燃烧炉中NG、LPG、与正常空气之配比对燃烧效率及其它有害气体之排放程度之影响其它相关应用其它相关应用(续) 发掘共同基金潜

10、在客户 银行活期存款账户流失率估计 相关产品群组设计（cross-selling） 预测油田生产量 海上石油外溢对生态破坏影响之估计 飞机结构负载医疗案例医疗案例 DISXPERT - 残障职业转介专家系统 区别分析寻找分类要因 数据学习以萃取分类规则 整合专家规则与萃取分类规则 延伸应用 客户分类2021/2/721医疗保险医疗保险FAMS的的 功功 能能 侦测侦测 ( Detection )( Detection )利用fuzzy modeling和统计技术来分析群组的行为,针对每个医疗服务提供者评定分数,以反应其遍离行为标准的程度 调查调查 ( Investigation )( Inve

11、stigation )分析提供者的分数和详细的赔偿数据 解决解决 ( Settlement )( Settlement )详细分析群组行为和赔偿的报告和图表。报告可以用来协商、解决问题和检举不法之事 预防预防 ( Prevention )( Prevention )支持提供者的监视和提供新的工具来评估和教育他们,改善提供者的行为,以防止医疗诈欺和滥用,减低保险公司的损失2021/2/722FAMS的特性的特性利用案例数据的“retrospective analysis”,分析帐目和医疗提供者的医疗工作,以找出有嫌疑的提供者依据医疗专业和地理位置来定义群组例如,你可以着重于Los Angeles

12、的经神科、Hartford的皮肤科、大都会地区的紧急救护服务建置数据剖析应注意事项建置数据剖析应注意事项 在规画Data Warehouse时即应与所需Mining之目标结合 配合数据处理情况 Data Warehouse - Data Marts - Cube 选择软硬件发展平台 分期或分步骤并以渐进式方法开发 80%心力需投入于Data Preparation步骤 常见之主机平台包括:IBM/390, HP9000, IBM RS-6000, SUN, UNISYS可能遭遇问题之影响因素可能遭遇问题之影响因素 企业教育训练之不足 不适当之支持工具 数据之无效性 资料样型（patterns）

13、太多 多变与时间性数据 复杂之数据型态 没有现成之模式可立即使用 数据质量 资料可取得性 专家意见2021/2/725Web/ Dynamic product catalog Dynamic banner Dynamic content Tailored mailing list2021/2/726Data Mining for CRM/Churn Management Defector identification Campaign promotion Marketing resource allocation Risk assessment & fraud detection Royal

14、customer identification2021/2/727Data PreprocessingMachine LearningMarket CampaignTargetMessageCampaignTimingControlMessage OrderMissing values &Data transformationLearning methods/techniquesselection & Implementation Scheduling & OptimizationResearch Focus圖 一. 研究架構321Business Intelligence in Electr

15、onic Commerce建议与结论建议与结论以信息科技为主轴之经营管理数据之保存、管理与运用为致胜关键善用商业智慧工具以有效解决问题2021/2/729案例（一）案例（一）建物抵押贷款申请评估建物抵押贷款申请评估 说明说明:评估模式针对五个输入变项值给予综合评定 分数-1).建造的施工质量、 2).建筑物的位置、 3).申贷人的资产、 4).申贷人的收入、 5).利 息支付情况。各个项目的评分范围从0分到 100分。 可使用之技术可使用之技术:基因算法、决策树、类神经 网络、基因规划法2021/2/730计分模式结构计分模式结构2021/2/731案例（二）案例（二） DM寄送对象评分寄送对

16、象评分 说明说明:评估模式针对六个输入变项值给予综合评定 分数 - 1).盈余、2).住家地理位置、 3).房地产 总值、 4).年龄、 5).小孩个数、 6).是否结婚。 可使用之技术可使用之技术:基因算法、决策树、类神经 网络、基因规划法2021/2/732计分模式结构计分模式结构窑烧最佳稳定控制结果窑烧最佳稳定控制结果x1x2x3x4x52021/2/734资料挖掘技术与发展资料挖掘技术与发展2021/2/735输入依误差调整权重真实值预测值监督式学习架构类神经网络类神经网络- -监督式学习监督式学习2021/2/736输入调整优胜单元至输入层之权重竞争优胜单元输出非监督式学习架构类神经

17、网络类神经网络- -非监督式学习非监督式学习2021/2/737I. 模糊化之歸屬函數 N:低 Z : 中 P :高 技術指標NZP6 日 RSI103020508070906 日 股價B I AS-12-2-4042126 日 成交量B I A S-12-2-404212II. 規則庫+1:Buy 0:Hold -1:Sell規則123456789101112131415161718RSI111111111222222222假如股價B I AS111222333111222333成交量B I A S123123123123123123則0-100-10-10000-1000001規則權重76

18、3170401457724982516528558670481919買賣臨界值買 0.77賣 0 then x := (x+6)*(y-5)else y := x-y+1;end if;X0-*IF-THEN-ELSE+-X+Y1SET-XSET-YX65Y2021/2/742原始資料規則庫規則評估解模糊化模糊輸出模糊邏輯輸入滿足目標條件解碼GP機制歸屬函數資料前處理Fuzzy機制模糊化規則強度推論解模糊化方法技術指標轉換規則權重再生交配突變編 碼適合度評估是否系統輸出系統輸出GP-Fuzzy基因规划-模糊系统2021/2/743PresentationRetrievalAdaptationV

19、alidationUpdateCase Base案例推理流程案例推理流程2021/2/744If Time_band =2.5 yearsand Time_employed =1.5 yearwhile reject is only 3.2% likely.A total of 63 cases fit this profile,61 accepts and 2 rejects. 决策树决策树2021/2/745过去相关过去相关RD经历经历 民营单位计划民营单位计划 因特网客户购买行为分析暨预测（安瑟在线）,2000 网页浏览使用行为分析（发现者国际公司）,2000 大哥大门号转换与客户流失分

20、析(自行研究),2000 网际广告暨电视广告采买组合决策辅助系统(润利公司),1999 消费者对化妆品之品牌选择模式建构与分析（资生堂、佳丽宝与香奈儿）,1999 ISP客户使用意愿分析因果预测模式建构(自行研究),1999 信用卡持卡人延滞缴款预测模式研究（某国内金融机构）,1999 信用卡签帐金额预测（某金融单位）,1999 保险产品与客户选择分析辅助系统（某保险经济人公司）,1999 医院洗肾中心护理人员排班辅助系统(长庚医院),1998 船席调配作业专家决策系统(基隆港务局),19982021/2/746过去相关过去相关RD经历经历(续）续） 公营单位公营单位 基因工程算法则应用于飞机

21、结构负载历程之分析, 航发中心,NSC 89-2623-D-155 -005,1999/7/12000/6/31 动态基因规划, 国科会, NSC 89-2416-H-155 -015,1999/8/12000/7/31 建立区域整体资源规划数据库先期研究,台湾电力综合研究所,TAE87001, 1999/1/11999/6/31 非破坏检测专家系统推理机构之开发,中科院,NSC88-2623-D-155-003,1998/7/11999/6/31 GA-Fuzzy在证券投资之辅助应用,国科会,NSC88-2416-H-155-019,1998/8/11999/7/31 智能型水泥设备操作系统之研究, 亚洲水泥公司,CFF87006, 1998/2/1 1999/1/31 全民健康保险复建医疗费用专业审查一致性之评估研究, 中央健保局, D0H87-NH-031, 1998/3/1 1999/2/2