资料探勘在商业管理与决策分析之实例应用.ppt

資料探勘在商業管理與決策分析之實例應用,報告人 邱昭彰 博士 資訊管理系/資訊管理研究所 元智大學 URL:.tw/faculty/chiu/chiu.htm,決策分析品質與效率之提昇 資料探勘之原理概念與功能 資料探勘之建構方法 應用案例介紹 電子商務之應用（Web Mining/WAP Mining） 建議與結論,引言,經營環境,經營環境日益挑戰 考量：成本、利潤、品質 . . . . 管理活動 整合：業務運作、管理控制、策略規畫 資訊密集行業 全方位/多角化經營,資料 -企業寶貴之資產,資訊,Mining,資料 倉儲,Mining,知識,(Corporate Memory),(Corporate Intelligence),Database/Data Warehouse,Target data,Cleaned data,Transformed data,Pattern/model,評鑑,資料視覺,資料探勘,資料轉換與簡化,前置處理與清理,樣本選取,Performance system,知識發現流程（Knowledge Discovery),Knowledge,/Adapted from IBM Corp./,資料探勘之基本概念,背景 管理資訊超載及結構化不足 資訊混亂與誤用 管理問題複雜度高 即時決策分析日益重視 發展目的 有效利用蒐集之市場、客戶、供應商、競爭對手及未來趨勢資訊 使企業經由有效之方法與技術從歷史資料裡擷取有用的知識,資料探勘原理,主要方法 資料庫、資料視覺、統計學、機器學習等 相關技術 類神經網路、模糊邏輯、基因演算法、基因規畫、 案例庫推理法、規則庫推理、統計迴歸等 知識表現 決策樹 、法則、定量數學公式、黑箱公式 等,Data mining主要功能與技術,功能 技術 適用領域 關聯性 (Association) 案例庫推理/集合理論/統計 菜籃分析 時間序列 (Sequence) 類神經網路/統計 利率預測 分類 (Classification) 基因演算/類神經網路/統計/ 客戶評鑑分類 模糊邏輯案例推理/決策樹 公式 (Modeling) 基因規劃/基因演算/迴歸 銷售預測 群組 (Clustering) 類神經網路/模糊邏輯/ 市場區隔 基因演算/統計,資料探勘應用現況,Safeway 販賣促銷資訊（e.g. coupon) 音樂/電影喜好問卷蒐集 Fidelity Investment客戶服務 （cross-selling/ wallet share) First USA Bank信用卡資料（汽車房貸） Capital One 降低貸款風險損失率 First Union預測潛在流失客戶 預測侵蝕性的物質對皮膚的影響降低產品(藥品或毒品)的發展成本和時間，以及減少動物實驗的需求 分析零售商店歷史銷售記錄與位置概述以決定最佳的位置 分析提款機設置地點最佳位置,Data Mining 過程,了解應用領域 建立目標集、選擇目標資料集 去除資料雜質、做先置處理 減少資料和資料轉換 選擇資料探勘的模式（功能） 選擇資料探勘的演算法（技術） 資料探勘 評估第七步驟的結果 整理發現的知識,實例應用,客戶評鑑與分類 (NeuroFuzzy) 提升郵購回函率 (Fuzzy) 股市交易最佳化規則之發掘 (GA) 零售商品與客源群聚相關性分析 (Neural/Statistic) 民航機重落地分析（Regression Tree) 化妝品偏好分析（Classification Tree) 窯燒最佳化控制（Neural/GA) 大哥大忠誠客戶與游離客戶之分析及預測（Classification Tree),股市交易最佳化規則之發掘,規則一假如 6日RSI 小於 20且 6日BIAS 小於 -4% 時 則 買入並持有12日 規則二假如 6日RSI 大於 80且 6日BIAS 大於 5% 時 則 賣出並放空10日,提昇Direct Mail回函率,寄出信函數（寄出成本）,回函數,節省,目標行銷,大眾行銷,預定目標,Segment 1 (Age 43)(42.8%),Segment 2 (Age 42)(24.8%),Segment 3 (Age 52)(20.4%),Segment 4 (Age 26)(11.9%),Market Segmentation Segment size, average age,Figure 9.3 Segmentation Results: Segment Size and Average Age,population,Segment3,Segmnet1,Segmenet4,Segment2,Target Categories,A v g $ s p e n t,3000,2000,2500,1500,1000,500,0,Market Segment Analysis Segments vs. Population,Figure 9.4 Market Segmentation Analysis,Safeway 案例,面臨之挑戰 8 million transaction data/week (4 T MB) 500家店面與600萬客戶 市場競爭激烈，傳統手法技術式微 （如更低價位，更多據點，多類產品） 新的競爭關鍵焦點：掌握客戶需要-哪類客戶買哪些商品以及購買頻率,Market Basket Analysis (菜籃分析）,Coke Milk Juice Egg,Coke,Milk,Juice,Egg,Egg,Juice,Milk,Coke,其它相關應用,發掘背部手術成敗關鍵因素 磁磚顏色配比決策輔助 旋窯燃燒最佳化控制 研磨機鋼球配比及置放址決策輔助 電子能量、功率、廢氣流量、氨氣流量組合對氮氧化物及硫氧化物去除效率之模式發展 污染排放量預測模式（DECADES MODEL） 燃燒爐中NG、LPG、與正常空氣之配比對燃燒效率及其他有害氣體之排放程度之影響,其它相關應用(續),發掘共同基金潛在客戶 銀行活期存款帳戶流失率估計 相關產品群組設計（cross-selling） 預測油田生產量 海上石油外溢對生態破壞影響之估計 飛機結構負載,醫療案例,DISXPERT - 殘障職業轉介專家系統 區別分析尋找分類要因 資料學習以萃取分類規則 整合專家規則與萃取分類規則 延伸應用 客戶分類,醫療保險FAMS 的 功 能,偵測 ( Detection ) 利用fuzzy modeling和統計技術來分析群組的行為，針對每個醫療服務提供者評定分數，以反應其遍離行為標準的程度 調查 ( Investigation ) 分析提供者的分數和詳細的賠償資料 解決 ( Settlement ) 詳細分析群組行為和賠償的報告和圖表。報告可以用來協商、解決問題和檢舉不法之事 預防 ( Prevention ) 支援提供者的監視和提供新的工具來評估和教育他們，改善提供者的行為，以防止醫療詐欺和濫用，減低保險公司的損失,FAMS 的特性,利用案例資料的“retrospective analysis”，分析帳目和醫療提供者的醫療工作，以找出有嫌疑的提供者 依據醫療專業和地理位置來定義群組 例如，你可以著重於Los Angeles的經神科、Hartford的皮膚科、大都會地區的緊急救護服務,建置資料剖析應注意事項,在規畫Data Warehouse時即應與所需Mining之目標結合 配合資料處理情況 Data Warehouse Data Marts Cube 選擇軟硬體發展平台 分期或分步驟並以漸進式方法開發 80%心力需投入於Data Preparation步驟 常見之主機平台包括：IBM/390, HP9000, IBM RS-6000, SUN, UNISYS,可能遭遇問題之影響因素,企業教育訓練之不足 不適當之支援工具 資料之無效性 資料樣型（patterns）太多 多變與時間性資料 複雜之資料型態 沒有現成之模式可立即使用 資料品質 資料可取得性 專家意見,Web/WAP Mining,Dynamic product catalog Dynamic banner Dynamic content Tailored mailing list,Data Mining for CRM/Churn Management,Defector identification Campaign promotion Marketing resource allocation Risk assessment & fraud detection Royal customer identification,Business Intelligence in Electronic Commerce,建議與結論,以資訊科技為主軸之經營管理 資料之保存、管理與運用為致勝關鍵 善用商業智慧工具以有效解決問題,案例（一）建物抵押貸款申請評估,說明：評估模式針對五個輸入變項值給予綜合評定 分數-1).建造的施工品質、 2).建築物的位置、 3).申貸人的資產、 4).申貸人的收入、 5).利 息支付情況。各個項目的評分範圍從0分到 100分。 可使用之技術：基因演算法、決策樹、類神經 網路、基因規劃法,計分模式結構,案例（二） DM寄送對象評分,說明：評估模式針對六個輸入變項值給予綜合評定 分數 - 1).盈餘、2).住家地理位置、 3).房地產 總值、 4).年齡、 5).小孩個數、 6).是否結婚。 可使用之技術：基因演算法、決策樹、類神經 網路、基因規劃法,計分模式結構,窯燒最佳穩定控制結果,x1 x2 x3 x4 x5,資料探勘技術與發展,報告人 邱昭彰 博士 資訊管理系/資訊管理研究所 元智大學 URL:.tw/faculty/chiu/chiu.htm,類神經網路-監督式學習,類神經網路-非監督式學習,模糊規則庫,Neuro-Fuzzy 類神經- 模糊系統,Genetic Algorithm （基因演算）,基因演算原理,GP(基因規劃）,GP-Fuzzy 基因規劃- 模糊系統,案例推理流程,If Time_band =2.5 years and Time_employed =1.5 year while reject is only 3.2% likely. A total of 63 cases fit this profile, 61 accepts and 2 rejects.,決策樹,過去相關RD經歷,民營單位計畫 網際網路客戶購買行為分析暨預測（安瑟線上），2000 網頁瀏覽使用行為分析（發現者國際公司），2000 大哥大門號轉換與客戶流失分析(自行研究)，2000 網際廣告暨電視廣告採買組合決策輔助系統(潤利公司)，1999 消費者對化妝品之品牌選擇模式建構與分析（資生堂、佳麗寶與香奈兒），1999 ISP客戶使用意願分析因果預測模式建構(自行研究)，1999 信用卡持卡人延滯繳款預測模式研究（某國內金融機構）,1999 信用卡簽帳金額預測（某金融單位），1999 保險產品與客戶選擇分析輔助系統（某保險經濟人公司），1999 醫院洗腎中心護理人員排班輔助系統(長庚醫院)，1998 船席調配作業專家決策系統(基隆港務局)，1998,過去相關RD經歷 (續）,公營單位 “基因工程演算法則應用於飛機結構負載歷程之分析，“ 航發中心，NSC 89-2623-D-155 -005，1999/7/12000/6/31 “動態基因規劃，“ 國科會， NSC 89-2416-H-155 -015，1999/8/12000/7/31 “建立區域整體資源規劃資料庫先期研究，“台灣電力綜合研究所，TAE87001, 1999/1/11999/6/31 “非破壞檢測專家系統推理機構之開發，“中科院，NSC88-2623-D-155-003，1998/7/11999/6/31 “GA-Fuzzy在證券投資之輔助應用，“國科會，NSC88-2416-H-155-019，1998/8/11999/7/31 “智慧型水泥設備操作系統之研究,“ 亞洲水泥公司，CFF87006, 1998/2/1 1999/1/31 “全民健康保險復建醫療費用專業審查一致性之評估研究,“ 中央健保局， D0H87-NH-031, 1998/3/1 1999/2/28,研發之方法與技術,。Genetic Algorithms(基因演算法) 。Genetic Programming(基因規劃法) 。Neural Networks(類神經網路) 。Fuzzy Logic(乏晰理論) 。Case-Base Reasoning(案例庫推理) 。Rule-Based System(專家規則) 。Genetic-Based Decision Tree System(決策樹專家系統),軟體資源（智慧型系統實驗室）,Rule-Base packages LEVEL5 XpertRule Profiler WinRosa GA packages Evolver GeneHunter Generator CBR packages Induce IT Esteem Fuzzy Logic pack