资料采矿分类分析系统之建构与应用-信用贷款违约与选股

1、資料採礦分類分析系統之建構與應用-信用貸款違約與選股系統應用 指導教授：姜林杰祐 博士學生：陳冠名摘要本研究以資料採礦的分類方法為核心，嘗試建構一開放式的分類分析系統，其內含的分類演算法包括ID3、C4.5、貝氏分類法與記憶基礎推論法等。為驗證本系統的有效性，本研究以銀行信用貸款資料庫為例，分類正常戶與違約戶；並將此分類工具應用於股市的分析、預測，期能以此系統發展資料趨導式的選股模型Company Logo報告大綱第一章、研究目的與動機。第二章、文獻探討。第三章、資料採礦分類分析系統開發。第四章、實例應用一。第五章、實例應用二。第六章、結論與未來研究。Company Logo研究動機與目的 近

2、年來資料氾濫，如何在過度氾濫的資料中去蕪存菁，將無用的資料過濾，進而獲得有用的資訊、知識是相當重要的議題，而資料採礦即是對資料進行分析，以求在大量資料中獲取資訊的有效方法。Company Logo資料採礦方法在財金領域應用現況Philip Joos 等(1998) 將Logit Model以及決策樹用於比利時某大型銀行資料庫進行信用分類，獲得80%以上之的準確度。Nazli Ikizler等(2000)使用決策樹C4.5演算法對銀行放款資料進行分析，試圖找出令人感興趣的分類規則，此研究結果發現數條有用之分類規則，可供決策運用。Muh-Cherng Wu等(2006)以決策樹結合濾嘴法則，應用於

3、股市交易，獲得13%的報酬率。Company Logo資料採礦於金融業之應用 資料來源：吳振晃(2003) 應用領域應用情況信用卡公司信用卡公司使用資料採礦來增加信用卡的應用，作購買授權決定，分析持卡人購買行為，並偵測詐騙行為金融服務機構分析師使用資料採礦技術，來分析大量的財務資料，建立交易模型來發展投資策略銀行銀行使用資料倉儲來促進資料採礦作業，並詳細的分析客戶資料，然後整合這些成果以形成行銷策略，也可以使用資料採礦技術，識別客戶的貸款活動，調整金融商品以符合客戶需求，尋找新客源，加強客戶服務。 保險公司資料採礦技術最近已提供保險業者，從大型資料庫中取得有價值的資訊以進行決策，這些資訊可讓保

4、險業者進一步認識客戶，並可有效的偵測保險詐欺。Company Logo資料採礦方法 分群。分群是針對樣本進行劃分，與分類不同的是，進行分類時使用者必須明確知道要以何種準則來對樣本進行劃分，而分群屬於非監督式學習法，使用者不需知道樣本要依何種準則進行劃分(有時也無法得知)，分群演算法會自動對樣本進行劃分，在圖形辨識、市場區隔等領域都有優異的表現，主要演算法有K-平均法、K-物件法等。關聯。此演算法主要是要探究，當某一事件發生時，是否會帶動另一事件跟著發生，是一種探究因果關係的方法，最著名的應用為購物籃分析，用以發現消費者的購買行為，以Apriori演算法最為經典。分類。為一監督式學習方法，主要用

5、於對樣本進行類別的劃分，如對銀行客戶進行信用分級、預測違約戶等都是其主要應用領域，分類包含了眾多演算法可供使用，如決策樹、類神經網路、支援向量機(SVM)、貝氏分類法、記憶基礎推論法(MBR)等都是知名的分類演算法。Company Logo決策樹ID3：以資訊理論作為屬性選擇之依據C4.5：改良自ID3Company Logo貝氏分類法 貝氏定理：現實中，類別C中出現X客戶的機率無法求得 再假設各屬性值相互獨立 由上述可得Company Logo記憶基礎推論法 步驟1 選取訓練樣本集 步驟2 計算屬性距離絕對差：平方差：標準差：步驟3 計算資料距離，將上述求得各屬性距離加以組合成一個值，用以代

6、表兩資料間的距離，常用合成方式如下 總和：標準化總和：歐基里徳距離：Company Logo記憶基礎推論法(續)步驟4 選取k筆鄰近資料進行表決，為了避免表決時有平手的情況，k應取單數為佳。步驟5 表決方式選擇，判定方式以選出之k個鄰近資料進行多數決，多者即為該預測樣本歸屬之類別，常用判定方式如下：民主選舉法：所選之k個鄰近樣本具有相同權重，以多者為勝。加權選舉法：依據所選之k個鄰近樣本與預測樣本的距離給予權重，距離預測樣本愈近，則權重愈大。Company Logo系統架構Company Logo決策樹流程 Company Logo貝氏分類法流程 Company Logo記憶基礎推論法流程 C

7、ompany Logo銀行信用貸款違約分析實驗流程決策樹分析貝式分類法分析記憶基礎推論法分析Company Logo實驗流程資料獲取：將欲進行分析之資料載入資料表資料前置處理：共有雜訊處理、資料離散化、訓練/測試樣本選取三部份雜訊處理：將兩標準差以外之資料視為雜訊。資料離散化：以等寬裝箱法將連續型資料分為五類。訓練/測試樣本選取：隨機挑選151筆資料進行訓練，75筆資料用於測試。探勘方法選取：依使用者需求選取合適之探勘方法，系統提供方法有決策樹、貝氏分類法、記憶基礎推論法。Company Logo決策樹分析 實驗設定 參與屬性 貸款金額、性別、學歷、婚姻、職業、是否雙薪、保證人、收入、年齡、子

8、女人數、 負債、信用卡、用卡狀況、建物樣式、建物坪數、建築年數、押品樓層、寬緩本金、信用型態等19個屬性。 目標屬性 信用型態，0代表不違約，1代表違約。雜訊處理 將2標準差以外的資料視為雜訊，予以刪除。 資料離散化 以等寬裝箱法，將連續型資料分為5類樣本選取原本300筆資料，經過雜訊處理後剩下226筆，隨機挑選151筆為訓練樣本，75筆為測試樣本。 探勘演算法 ID3、C4.5。 中止條件 最大深度1、2、3層，及無限制。 Company Logo決策樹分析(續)實驗結果 ID3 實驗結果C4.5 實驗結果 無限制 最大深度1 最大深度2 最大深度3 樣本內準確度 10.73510.7550

9、.9338樣本外準確度 0.520.70670.53330.5733無限制 最大深度1 最大深度2 最大深度3 樣本內準確度 10.72190.74170.7616樣本外準確度 0.61330.73330.69330.7067Company Logo決策樹分析(續)分類規則 Company Logo決策樹分析(續)樹狀圖Company Logo貝式分類法分析 實驗設定實驗結果參與屬性 貸款金額、性別、學歷、婚姻、職業、是否雙薪、保證人、收入、年齡、子女人數、負債、信用卡數、用卡狀況、建物樣式、建物坪數、建築年數、押品樓層、寬緩本金、信用型態等19個屬性 目標屬性 信用型態，0代表不違約，1代表

10、違約。 雜訊處理 將2標準差以外的資料視為雜訊，予以刪除。 資料離散化 以等寬裝箱法，將連續型資料分為5類 樣本選取 原本300筆資料，經過雜訊處理後剩下226筆，隨機挑選151筆為訓練樣本，75筆。 探勘演算法 貝氏分類法。 樣本內準確度 0.7610 樣本外準確度 0.6578 Company Logo記憶基礎推論法分析 實驗設定參與屬性 貸款金額、性別、學歷、婚姻、職業、是否雙薪、保證人、收入、年齡、子女人數、 負債、信用卡、用卡狀況、建物樣式、建物坪數、建築年數、押品樓層、寬緩本金、信用型態等19個屬性。 目標屬性 信用型態，0代表不違約，1代表違約。雜訊處理 將2標準差以外的資料視為

11、雜訊，予以刪除。 資料離散化 以等寬裝箱法，將連續型資料分為5類樣本選取各類別隨機挑選30筆，共60筆資料作為訓練樣本集；挑選15筆鄰近資料作為表決資料集，隨機挑選75比為測試資料集。探勘演算法 記憶基礎推論法。 其他 1.針對各距離函數及合成方式一一測試， 共有九種測試組合2.判定方式採民主選舉法Company Logo記憶基礎推論法分析(續)實驗結果 總和 標準化總和 歐基里徳距離 絕對差 0.76 0.76 0.6267 平方差 0.6267 0.6267 0.56 標準差 0.88 0.88 0.9333 Company Logo實例一總結決策樹因為有一條條的分類規則輸出，較易解釋獲得

12、之分類結果，在實務上較受歡迎，且輸出之規則可做為未來決策判斷之用。貝氏分類法以貝氏定理為基礎簡單易用，且只需知道各類別所包含的資料個數，即可計算出機率，因此此方法具漸增性當資料增加時不必從頭計算，只需將新舊資料各類別之資料數加總即可 。記憶基礎推論法之預測效果最優，對於小樣本也可獲得不錯的準確度，然而卻也是此方法之缺點，此法因為計算量太過龐大，不適於大樣本之預測。 Company Logo資料導向的選股模型建構 台灣上市公司個股應用台灣大盤指數應用Company Logo台灣上市公司個股應用 此部份將資料探勘技術應用於股票市場，分析上市公司的財務資料，用以預測下一季的股票平均季報酬，進而使用這

13、些規則來協助投資者建立選股模型。本實驗採決策樹以及貝氏分類法進行測試，詳細如下Company Logo決策樹 實驗設定 參與屬性 現金週轉率、資產週轉率、營收成長率、成本率、營業比率、股東權益報酬率、資產報酬率、財務槓桿度、資產、負債、股本、營業淨利、稅後淨利成長率、營業外收支、基本EPS、季平均報酬等16個屬性目標屬性 季平均報酬，0代表低於門檻，1代表高於門檻。 門檻值 目標屬性分類的依據，此實驗測試季平均報酬0%、3%、5%三種情況。 雜訊處理 將2標準差以外的資料視為雜訊，予以刪除。 資料離散化 以等寬裝箱法，將連續型資料分為3類，詳細資料請見下列資料轉換前數值表，以及資料轉換後數值表

14、。 實驗資料 台灣上市公司2000年第一季至2007第三季。 樣本選取 經過雜訊處理後剩下11548筆，隨機挑選7698筆為訓練樣本，3850筆為測試樣本。探勘演算法 C4.5 中止條件 最大深度5層，最低樣本比例1%，以及無限制。 Company Logo決策樹(續)實驗結果 季平均報酬0% 實驗結果 季平均報酬3% 實驗結果 季平均報酬5% 實驗結果 無限制 最大深度5 最低樣本比例1% 樣本內準確度 0.5572 0.5236 0.5423 樣本外準確度 0.4932 0.5247 0.5106 無限制 最大深度5 最低樣本比例1% 樣本內準確度 0.7017 0.6956 0.6945

15、 樣本外準確度 0.666 0.6852 0.6813無限制 最大深度5 最低樣本比例1% 樣本內準確度 0.7894 0.7844 0.7832 樣本外準確度 0.7542 0.775 0.7732 Company Logo決策樹(續)分類規則 由圖中規則可知，營收成長率、股東權益報酬率、資產週轉率等屬性較為重要，投資者在分析公司財務狀況時，可以多留意這些屬性，例如，由圖15之規則我們可知營收成長率介於1612.85 3437.00，且資產週轉率介於0.14 0.34則平均季報酬大於5%，因此在進行股票選擇時，投資者可優先考量符合此條件之公司。Company Logo貝氏分類法 實驗設定參與

16、屬性 現金週轉率、資產週轉率、營收成長率、成本率、營業比率、股東權益報酬率、資產報酬率、財務槓桿度、資產、負債、股本、營業淨利、稅後淨利成長率、營業外收支、基本EPS、季平均報酬等16個屬性目標屬性 季平均報酬，0代表低於門檻，1代表高於門檻。 門檻值 目標屬性分類的依據，此實驗測試季平均報酬0%、3%、5%三種情況。 雜訊處理 將2標準差以外的資料視為雜訊，予以刪除。 資料離散化 以等寬裝箱法，將連續型資料分為3類，詳細資料請見下列資料轉換前數值表，以及資料轉換後數值表。 實驗資料 台灣上市公司2000年第一季至2007第三季。 樣本選取 經過雜訊處理後剩下11548筆，隨機挑選7698筆為

17、訓練樣本，3850筆為測試樣本。探勘演算法 貝氏分類 Company Logo貝氏分類法(續)實驗結果 門檻值 0% 門檻值 3% 門檻值 5% 樣本內準確度 0.5052 0.6843 0.7708 樣本外準確度 0.4964 0.6818 0.7734 Company Logo台灣上市公司個股應用總結 以季平均報酬5%所得預測效果不管終止條件為何皆較其他為好。實驗最佳準確度約為70%，表現並不優異，可就參與屬性多做調整，已達到更理想的目標。Company Logo台灣大盤指數應用 本案例使用技術指標，結合決策樹C4.5演算法，用以預測台灣大盤趨勢，先利用系統求得分類規則，再挑選出具代表性之

18、規則，利用所挑選之規則進行回測，以測試投資績效。Company Logo資料區間 資料為1968年1月至2007年12月每日之TES指數，本實驗以移動視窗法將資料進行分段，每段十五年，共分六段，每段中以前八年為訓練樣本，次兩年為測試樣本，最後五年之資料進行回測，每段移動幅度為五年，如下圖：Company Logo資料數值說明變數名稱 資料型態 數值說明 移動平均(MA) 類別 0：其他1：MA走勢向上，指數由下向上突破MA(黃金交叉)2：MA走勢向下，指數由上向下突破MA(死亡交叉)3：MA走勢向上，指數向下突破MA(假跌破)4：MA走勢向下，指數向上突破MA(假突破)5：指數由上而下逼近MA

19、，但沒有跌破MA，且向上翻升(拉回)6：指數由下而上逼近MA，但沒有突破MA，且向下反轉(反彈)乖離率(BIAS) 類別 0：其他1：BIAS小於-4.5%2：BIAS大於5%指數平滑異同移動平均(MACD) 類別 0：其他1：DIF由下而上突破MACD2：DIF由下突破MACD Company Logo實驗設定 參與屬性 MA、BIAS、MACD、KD等十三個技術指標 目標屬性 指數投資報酬率 探勘演算法 C4.5 中止條件 最大深度5層，最大深3層。 Company Logo實驗結果 最大深度3層實驗準確度 最大深度5層實驗準確度期間 19681977 19731982 19781987

20、19831992 19881997 19932002 19982007 準確度 0.5972 0.5818 0.6049 0.6527 0.561 0.6402 06061 期間 19681977 19731982 19781987 19831992 19881997 19932002 19982007 準確度 0.6736 0.6695 0.6224 0.7047 0.6272 0.685 0.6551 Company Logo有效規則篩選 期間買賣訊號使用指標規則說明19681997買DMI, BR, BIAS, OBV(1)+DI由上而下突破-DI且BR介於0.65.2間(2)乖離率介於

21、-0.0450.05間且OBV值由正轉負賣DMI, BIAS, %R, OBV(1)+DI由下而上突破-DI且WMS%R介於2080間(2)乖離率介於-0.0450.05間且OBV值由負轉正19731982買BIAS, MA, DMI, %R(1) 乖離率介於-0.0450.05間且MA走勢向下，指數由上向下突破MA(死亡交叉)(2) 乖離率介於-0.0450.05間且MA走勢向上，指數向下突破MA(假跌破)(3) 乖離率介於-0.0450.05間且指數由下而上逼近MA，但沒有突破MA，且向下反轉(反彈)賣BIAS, MA, DMI, PSY(1)乖離率介於-0.0450.05間且MA走勢向上

22、，指數由下向上突破MA(黃金交叉)(2)乖離率介於-0.0450.05間且MA走勢向下，指數向上突破MA(假突破)(3)乖離率介於-0.0450.05間且指數由上而下逼近MA，但沒有跌破MA，且向上翻升(拉回)(4)+DI由下而上突破-DI且乖離率介於25%75%間19781987買BIAS, DMI, %R(1)乖離率介於-0.0450.05間且9日WMS%R值大於80(2)乖離率介於-0.0450.05間且+DI由上而下突破-DI賣BIAS, DMI, %R(1)乖離率介於-0.0450.05間且9日WMS%R值小於20(2)乖離率介於-0.0450.05間且+DI由下而上突破-DICom

23、pany Logo有效規則篩選 (續)期間買賣訊號使用指標規則說明19831992買BIAS, DMI, %R乖離率小於-0.045乖離率介於-0.0450.05間且9日WMS%R值大於80乖離率介於-0.0450.05間且+DI由上而下突破-DI賣BIAS, DMI, %R(1)乖離率介於-0.0450.05間且9日WMS%R值小於20(2)乖離率介於-0.0450.05間且+DI由下而上突破-DI且WMS%R介於2080間19881997買BIAS, MA, DMI乖離率小於-0.045乖離率介於-0.0450.05間且MA走勢向下，指數由上向下突破MA(死亡交叉)乖離率介於-0.0450

24、.05間且MA走勢向上，指數向下突破MA(假跌破)乖離率介於-0.0450.05間且+DI由上而下突破-DI賣BIAS, MA, DMI(1)乖離率介於-0.0450.05間且MA走勢向上，指數由下向上突破MA(黃金交叉)(2)乖離率介於-0.0450.05間且MA走勢向下，指數向上突破MA(假突破)(3)乖離率介於-0.0450.05間且指數由上而下逼近MA，但沒有跌破MA，且向上翻升(拉回)(4)乖離率介於-0.0450.05間且指數由下而上逼近MA，但沒有突破MA，且向下反轉(反彈)(5)乖離率介於-0.0450.05間且+DI由下而上突破-DI且WMS%R介於2080間19932002

25、買BIAS, DMI, %R, PSY(1)乖離率介於-0.0450.05間且9日WMS%R值大於80(2)乖離率介於-0.0450.05間且+DI由上而下突破-DI(3)乖離率小於-0.045且PSY介於25%75%之間賣BIAS, DMI, %R(1)乖離率介於-0.0450.05間且9日WMS%R值小於20(2)乖離率介於-0.0450.05間且+DI由下而上突破-DICompany Logo回測 系統所獲得之分類規則，無非想建立一選股模型，以運用於股票市場，期能對投資者有所幫助，此處說明將先前獲得之分類規則做適當處理，再利用程式交易軟體”TradeStation”對選股規則進行回測，驗

26、證選股模型對投資者是否有所幫助。 報酬率回測期間197819821983198719881992199319971998200220032007總報酬率53%-574.8%1707.8%985%-629.2%866.8%Company Logo交易資訊以及報酬曲線期間一(19781982)交易資訊 期間一(19781982)報酬曲線期初金額100000期末淨利53000交易次數30獲利次數23勝率76.67%平均交易獲利/損失1766.67最大獲利金額30000最大損失金額-26000平均獲利交易金額4452.17平均損失交易金額-7057.14期末報酬率53%Company Logo交易資訊

27、以及報酬曲線(續)期間二(19831987)交易資訊 期間二(19831987)報酬曲線 期初金額100000期末淨利-574800交易次數154獲利次數96勝率62.34%平均交易獲利/損失-3732.47最大獲利交易金額167800最大損失交易金額-286200平均獲利交易金額4608.33平均損失交易金額-17537.93期末報酬率-574.8%Company Logo交易資訊以及報酬曲線(續)期間三(19881992)交易資訊 期間三(19881992)報酬曲線期初金額100000期末淨利1707800交易次數114獲利次數56勝率49.12%平均交易獲利/損失14980.7最大獲利交

28、易金額934800最大損失交易金額-287800平均獲利交易金額86514.29平均損失交易金額-54086.21期末報酬率1707.8%Company Logo交易資訊以及報酬曲線(續)期間四(19931997)交易資訊 期間四(19931997)報酬曲線期初金額100000期末淨利985000交易次數186獲利次數106勝率56.99%平均交易獲利/損失5295.7最大獲利交易金額293200最大損失交易金額-104000平均獲利交易金額33416.98平均損失交易金額-31965期末報酬率985%Company Logo交易資訊以及報酬曲線(續)期間五(19982002)交易資訊 期間五

29、(19982002)報酬曲線 期初金額100000期末淨利-629200交易次數243獲利次數144勝率59.26%平均交易獲利/損失-2589.3最大獲利交易金額203200最大損失交易金額-395800平均獲利交易金額27530.56平均損失交易金額-46400期末報酬率-629.2%Company Logo交易資訊以及報酬曲線(續)期間六(20032007)交易資訊 期間六(20032007)報酬曲線 期初金額100000期末淨利-629200交易次數217獲利次數144勝率65.44%平均交易獲利/損失-2589.3最大獲利交易金額204000最大損失交易金額-395800平均獲利交易金額20814.08平均損失交易金額-46400期末報酬率866.8%Compa