资料探勘在财务领域运用案例

資料探勘在財務領域的運用-以債券型基金之績效評估為例

第一页，共五十六页。2簡報大綱組員簡介研究目的研究架構研究方法與實證研究-BPN與MARS研究結論第二页，共五十六页。3組員簡介松山家商夜間部教學組組長教務行政工作游世文(MI0951049)連展科技資訊科技部副理集團Softwareteam管理與

專案開發：

含SAP,BW,SEM,BPM(J2EE)陳聖儒(MI0961007)連展科技資訊科技部

電子流程開發課課長電子流程開發專案管理葉士宗(MI0961004)陽明大學

教務處專案助理教務處資訊化業務陳思雅(MI0952011)第三页，共五十六页。研究目的研究目的將資料探勘工具運用於財務領域應用資料採勘工具：倒傳遞類神經網路(BPN)

多元適應性雲形迴歸(MARS)分析債券型基金經理人的擇時能力探討兩DATAMINING工具在分類問題的精確度4第四页，共五十六页。研究架構研究動機與目的文獻與研究方法介紹基金分群分類結果比較與分析結論MARS分類模式BPN分類模式5第五页，共五十六页。資料探勘（DataMining）：從資料庫或大量資料儲存體中，挖掘有用資訊的過程。過程包含以下步驟：資料選取（DataSelection）資料整理（Cleaning）資料擴充（Enrichment）資料編碼（Coding）資料探勘（DataMining）探勘報告（Reporting）研究方法－資料探勘6第六页，共五十六页。資料探勘應用模式分類問題（Classification）：依資料特定屬性判別其歸類趨勢分析（TrendAnalysis）：利用現有數值預測一個連續變數的

未來值分群模式（Clustering）：依資料特性的相關性予以分組關聯分析（Associations）：找出在群組中同時出現的事件順序型樣（SequentialAnalysis）：找出事件「先後」發生的順序

分類問題的應用工具傳統統計方法：如羅吉斯迴歸、鑑別分析人工智慧：如類神經網路無母數統計：如多元適應性雲形迴歸研究方法－資料探勘7第七页，共五十六页。8資料探勘資料探勘與傳統統計分析之比較資料探勘在分析前不需對資料提出假設在探勘過程中發掘出資料存在的可能訊息能更真實地反映出資料的隱藏特性研究方法－資料探勘第八页，共五十六页。9研究方法－基金選股暨擇時能力選股能力暨擇時能力理論模型選股能力：經理人對個別證券價格的預測能力擇時能力：經理人對整個市場波動的預測能力張瑞芬(2002)模型定義：檢測能力判斷：當、兩個係數中任一係數顯

著，即認定該基金具有擇時能力。ititititiitXvXvYea+++=--1,1,,,tiv,1,-tiv第九页，共五十六页。10實證研究－樣本資料簡介研究期間為︰1999年7月至2001年6月變數︰11個，包括：

月資料：基金成立長短

季資料：贖回金額、申購金額、申購周轉率、基金規模、

贖回周轉率、買斷債券比率、基金淨值、

債券附買回投資比率、存放金融機構比率、

申購金額與贖回金額差值樣本基金數︰34支基金訓練資料：27支基金

測試資料：7支基金第十页，共五十六页。11實證研究－擇時能力分析擇時能力檢測模型根據1999年7月至2001年6月，共24個月之月資料，檢定vi,t

、vi,t-1是否顯著為正，顯著水準為0.05。當二係數中任一係數為正，即判定此基金具有擇時能力檢測結果：15支具備擇時能力，19支不具備tYtiv,iatiX,ie：第t期之大華債券價格指數：第i支基金之價格指數：第t期第i支基金之債券買斷比率：第t期第i支基金之衝擊反應權數：第i支基金之干擾項ititititiitXvXvYea+++=--1,1,,,第十一页，共五十六页。12簡報大綱組員簡介研究目的研究架構研究方法與實證研究-BPN與MARS研究結論第十二页，共五十六页。類神經網路（ArtificialNeuralNetworks）概念一種包含軟體與硬體的運算系統，使用相連的人工神經元來模仿生物神經網路的資訊處理能力，架構如同大腦神經組織神經元細胞由樹狀突(Dendrites)與軸突(Axon)(神經突)組成樹突接受其他神經元發出之訊息，將訊息傳入細胞本體處理後，再經由軸突傳達到另一個細胞的樹突優點具高速計算能力、高容量記憶能力、學習能力及高容錯能力對於非線性資料型態的問題處理有不錯的表現研究方法－類神經網路13第十三页，共五十六页。14接收器輸出器兩神經元的聯結機制CPU類神經原理－人類神經元結構第十四页，共五十六页。15類神經原理-神經元架構X1w1

X2w2

YX3w3

輸入值權重加總轉換函數輸出轉換函數非線性，為兼具正、負向收斂的S型函數即輸入值無限大時，輸出值為1，反之為011IjOje-=+qåå+=ijiijjOwIq第十五页，共五十六页。16倒傳遞類神經網路架構與學習(1)目標：透過權數的修正，以達到資料變數的正確分類。步驟：1.由亂數取得原始權數 2.將每個輸入變數乘上權數後加總

3.透過轉換函數求得輸出值

4.計算輸出值與實際真值誤差error

5.反向計算隱藏層神經元誤差並修正所有權數第十六页，共五十六页。17倒傳遞類神經網路架構與學習(2)1.輸出值與實際結果的誤差Errj=Oj(1-Oj)(Tj-Oj)2.將誤差以權值分配給隱藏層Errj=Oj(1-Oj)(ΣkErrkwjk)3.修正權重Wij=wij+(1)ErrjOI((1)為學習率)第十七页，共五十六页。18倒傳遞類神經網路實例(1)X1 測試樣本為(1,0,1)W14輸出目標值1W15

W24W46X2W25W56W34

X3W35

輸入層隱藏層輸出層12312456第十八页，共五十六页。19倒傳遞類神經網路實例(2)輸入值

依亂數求得各神經元權數神經元常數x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1神經元總輸入訊號(Ij)輸出訊號(Oj)４(1*0.2)+(0*0.4)+(1*-0.5)-0.4=-0.71/(1+e0.7)=0.332５(1*-0.3)+(0*0.1)+(1*0.2)+0.2=0.11/(1+e-0.1)=0.525６(0.332*-0.3)+(0.525*-0.2)+0.1=-0.1051/(1+e0.105)=0.474å+=ijiijjOwIqOj=1/(1+e-Ij)第十九页，共五十六页。20倒傳遞類神經網路實例(2)Errj=Oj(1-Oj)(Tj-Oj)神經元Tj與實際值Tj比較公式610.474*(1–0.474)(1–0.474)=0.131150.13110.525*(1-0.525)(0.1311)(–0.2)=-0.006540.13110.332*(1–0.332)(0.1311)(-0.3)=-0.0087Errj=Oj(1-Oj)(Errkwjk)kå權數常數初值學習率與修正公式修正結果w46-0.3Learningrate(L)=0.9

wij=wij+(L)ErrjOi

θj=θj+(L)Errj-0.3+(0.9)(0.1311)(0.332)=-0.261w56-0.2-0.2+(0.9)(0.1311)(0.525)=-0.138w140.2

0.2+(0.9)(-0.0087)(1)=0.192w15-0.3-0.3+(0.9)(-0.0065)(1)=-0.306w240.4

0.4+(0.9)(-0.0087)(0)=0.4w250.1

0.1+(0.9)(-0.0065)(0)=0.1w34-0.5-0.5+(0.9)(-0.0087)(1)=-0.508w350.2

0.2+(0.9)(-0.0065)(1)=0.194θ4-0.4

0.1+(0.9)(0.1311)=-0.261θ50.2

0.2+(0.9)(-0.0065)=0.194θ60.1-0.4+(0.9)(-0.0087)=-0.408第二十页，共五十六页。類神經網路（續）運算流程收集資料21選擇預測變數決定網路參數及結構預測變輸數入與網目路標

值

計算並調整鍵結權重計算誤差值符合終止條件否是預測研究方法－類神經網路第二十一页，共五十六页。22實證研究－類神經網路資料分析倒傳遞類神經網路架構隱藏層數目：單一隱藏層輸入層神經元數目：n（即預測變數個數）隱藏層神經元數目：

依根均方誤差(RMSE)為判斷標準，

採用2n-2、2n-1、2n、2n+1、2n+2

等五種情形進行比較分析選擇輸入變數：各變數之前8季季資料(結果)包含81個輸入變數，以0.005、0.01、0.03、0.07的學習率各變數之前4季季資料(結果)包含41個輸入變數，以0.001、0.005、0.01、0.02的學習率 第二十二页，共五十六页。23實證研究－類神經網路資料分析隱藏層數目學習率訓練資料RMSE測試資料RMSE1600.0050.0575850.6255470.010.0329740.640410.030.0149910.6442440.070.0089260.6505931610.0050.0584850.6218870.010.0329280.6348510.030.015240.6711250.070.6666670.6546541620.0050.0581030.6245460.010.0331940.64450.030.0152240.6317690.070.6666670.6546541630.0050.0577940.6209720.010.0329060.6584230.030.0152090.6675240.070.6666670.6546541640.0050.0576190.6228580.010.0330850.6381950.030.0152380.6800710.070.6666670.654654最終網路模式第二十三页，共五十六页。24實證研究－類神經網路資料分析返回判別後群體原始群體具擇時能力不具擇時能力具擇時能力1(33.3%)2(66.67%)不具擇時能力1(50%)3(50%)整體正確判別率57.14%(4/7)輸入各變數前8季季資料之BPN判別結果第二十四页，共五十六页。25實證研究－類神經網路資料分析隱藏層數目學習率訓練期RMSE測試期RMSE800.0010.3775800.5961260.0050.2290740.5963030.010.1418970.5224270.020.0587250.516837810.0010.3731190.5945320.0050.2306290.5971570.010.1295650.5098010.020.0579070.506462820.0010.3781610.5874690.0050.2295650.5897200.010.1444140.5362350.020.0555130.509543830.0010.3648130.5821430.0050.2277470.05883590.010.1385010.5247270.020.0593200.509218840.0010.3670640.5923840.0050.2299890.5888290.010.1342660.5229850.020.0541840.505954最終網路模式第二十五页，共五十六页。26實證研究－類神經網路資料分析判別後群體原始群體具擇時能力不具擇時能力具擇時能力2(66.67%)1(33.33%)不具擇時能力1(25%)3(75%)整體正確判別率71.42%(5/7)輸入各變數前4季季資料之BPN判別結果第二十六页，共五十六页。MARS（Friedman,1991）概念：利用數段線性方程式間的節點趨近非線性

模型，一種有彈性的高維度問題分析工具應用：經濟、化學、醫學、工程計算等專業領域優點：運算時間短、自動篩選變數，可迅速建立

分類模型通用模型研究方法－多元適應性雲形迴歸åÕ---×+=Mmkkkmmkvkmmmtxsaaxf11),(0)]([)(ˆ+27第二十七页，共五十六页。尋找最佳模型兩階段第一階段：前推式(Forward)演算法

依資料本身參數的關係，產生解釋方程式(BasicFunction,BF)的個數（新的主要影響因子、折點、或交互作用），讓MARS模型成長，直到找到一個非常大的模型為止第二階段：後推式(Backword)演算法：

修剪不適用之BF，利用GCV準則刪除貢獻度小的BF[]221M)(1)(ˆ1)(úûùêëé--=å=NMCxfyNMGCVNiii研究方法－MARS28第二十八页，共五十六页。MARS-非線性模型圖29第二十九页，共五十六页。以單變數為例，若MARS的預測模型為：y=3+0.75．Max(0,x-15)+0.15．Max(0,15-x)研究方法－MARS30第三十页，共五十六页。MARS—ForwardStepwiseMARS運算流程31第三十一页，共五十六页。MARS—BackwardsStepwise32第三十二页，共五十六页。33MARS相關論文研究國

外論文研究作者/年代應用領域DeVeaux,Gordon,Comiso＆Bacherer(1993)地球科學FriedmanandRoosen(1995)醫學Bose(1996)資料探勘技術比較Nguyen-Cong,Dang＆Rode(1996)遺傳學之基因工程Griffin,Fisher,Friedman＆Ryan(1997)礦石區分DeGooijer,RayandKrager(1998)匯率預測研究方法－MARS第三十三页，共五十六页。34MARS相關論文研究國

內論文研究作者/年代應用領域陳慧瀅(民83)進口車、國產車需求預測許峻源(民90)信用卡客戶申請分析傅坤泰(民90)評估企業績效蔡宛純(民90)信用卡客戶申請分析顏毓靜(民91)股票型基金之績效評估黃明輝(民91)債券型基金之績效評估劉瑞鑫(民91)台股指數報酬率預測唐筱菁(民91)企業財務危機預測葉素美(民91)匯率預測陳怡萍(民91)IC產業經營績效黃正鳳(民91)醫學研究方法－MARS第三十四页，共五十六页。35MARS相關論文研究國

內論文研究作者/年代應用領域連惟謙(民92)顧客流失與顧客價值之研究林展平(民92)游泳會員流失分析陳姍霓(民92)房貸信用評等模式之建構陳怡妃(民92)健康俱樂部會員保留分析陳靜怡(民92)失業率預測黃立維(民92)資料探勘技術比較林正剛(民93)非營利組織顧客流失率分析范鴻晸(民94)財務危機之預警唐培文(民94)台股期指與基金價格預測蔡宛純(民94)漸進式信用評分模式謝弘一(民94)乳癌病患存活能力分析研究方法－MARS第三十五页，共五十六页。MARS運算流程收集資料36選擇預測變數產生可能的BF建過構度最配大適的模型修剪MARS模型計算誤差值符合終止條件否是預測研究方法－MARS第三十六页，共五十六页。37實證研究－MARSMARS選擇輸入變數：各變數之前8季季資料(結果)各變數之前4季季資料(結果)

第三十七页，共五十六页。38實證研究－MARS輸入各變數前8季季資料之MARS變數篩選結果較具貢獻性的輸入變數：由11個篩選為4個Func.Std.Dev.-GCVNo.ofBFVariable10.4690.6322贖回金額20.3220.3792附買回投資比率30.1910.1991買斷債券比率40.2330.2312贖回金額50.2500.2491申購金額第三十八页，共五十六页。39實證研究－MARS返回判別後群體原始群體具擇時能力不具擇時能力具擇時能力2(66.7%)1(33.3%)不具擇時能力1(25%)3(75%)整體正確判別率71.42%(5/7)輸入各變數前8季季資料之MARS判別結果第三十九页，共五十六页。40實證研究－MARS輸入各變數前4季季資料之MARS變數篩選結果較具貢獻性的輸入變數：由11個篩選為4個Func.Std.Dev.-GCVNo.ofBFVariable10.7140.4361買斷債券比率20.4300.4172附買回投資比率30.1620.2281申購與贖回金額差值40.1770.2511成立時間長短50.4250.2781買斷債券比率第四十页，共五十六页。41實證研究－MARS判別後群體原始群體具擇時能力不具擇時能力具擇時能力3(100%)0(0%)不具擇時能力0(0%)4(100%)整體正確判別率100%(7/7)輸入各變數前4季季資料之MARS判別結果第四十一页，共五十六页。42實證研究－綜合比較各判別模式鑑別結果綜合比較表判別模式BPNMARS8季變數資料4季變數資料8季變數資料4季變數資料鑑別結果57.14%(4/7)71.42%(5/7)71.42%(5/7)100%(7/7)運算時間1分52秒27秒5秒4秒第四十二页，共五十六页。43研究結論研究結論在債券基金擇時能力的判別上，MARS具有較佳的判別能力，且所需的運算時間較短。透過MARS的變數篩選功能，瞭解到影響債券型基金擇時能力的重要因素有：買斷債券比率附買回債券投資比率申購與回金額差值基金成立時間長短第四十三页，共五十六页。44MARS實證研究-房貸信用評等陳姍霓(民92)房貸信用評等模式之建構研究結論影響房貸用評等變數有18個1.性別2.年齡3.婚姻4.教育程度5.職業6.服務年資7.月收入8.月付金額佔總收入比例9.貸款成數10.保證人人數11.借保人關係12.有無優惠貸款13.是否自住14.貸款型態15.總貸款金額16.貸款房屋屋齡17.借保人信用狀況18.房屋型態第四十四页，共五十六页。45MARS實證研究-房貸信用評等MARS模式之顯著變數及基本方程式變數名稱重要程度基本方程式月付金額佔總收入比例100.00%BF1=max(0,月付金額佔總收入之比例-5.000)保證人人數96.35%BF3=max(0,1.000–保證人人數)BF6=max(0,保證人人數-2.000)貸款成數71.51%BF12=max(0,貸款成數-72.000)借保人之信用狀況68.09%BF8=(借保人之信用狀況=0)貸款形態54.57%BF10=(貸款形態=0OR貸款形態=3)MARS鑑別方程式：Y=0.015+0.004*BF1+0.259*BF3+0.790*BF6-0.187*BF8+0.094*BF10+0.011*BF12第四十五页，共五十六页。46MARS實證研究-房貸信用評等月付金額佔總收入比例：

BF1=max(0,月付金額佔總收入之比例–5%)當月付金額佔總收入比例達5％以上時，顯示該借款申請者之信用狀況較差。保證人人數：

BF3=max(0,1–保證人人數)BF6=max(0,保證人人數-2)保證人之人數為一人或兩人時，其違約風險較低，若無保證人或保證人達三人以上時，則有較高的違約風險。第四十六页，共五十六页。47MARS實證研究-房貸信用評等貸款成數：BF12=max(0,貸款成數-72)貸款成數低於72%時，顯示借款申請者的信用狀況較好，若貸款成數高於72%，則貸款成數越高越可能發生違約狀況借保人之信用狀況：BF8=(借保人之信用狀況=0)若借保人的信用狀況良好，將對借款人的信用評等有正向幫助。貸款形態：BF10=(貸款形態=0OR貸款形態=3)新購屋及他行增貸的貸款戶較容易被區隔至違約的類別中第四十七页，共五十六页。48BPN&MARS在其他論文之成效比較(1)判別模式BPNMARS8季變數資料4季變數資料8季變數資料4季變數資料鑑別結果57.14%(4/7)71.42%(5/7)71.42%(5/7)100%(7/7)運算時間1分52秒27秒5秒4秒黃明輝(民90)

資料探勘在財務領域的運用-以債券型基金之績效評估為例第四十八页，共五十六页。49陳麒文(民91)

健康休閒俱樂部顧客流失分析模式之研究模

式整體正確判別率鑑別分析73.04%羅吉斯迴歸68.70%人工類神經網路84.78%多元適應性雲形迴歸86.52%BPN&MARS在其他論文之成效比較(2)第四十九页，共五十六页。50判別種類{0–0}{1–1}整體正確率財務指標+MARS66.67%75.00%72.22%財務指標+智慧資本+MARS66.67%79.17%75.00%財務指標+MARS+BPN75.00%79.17%77.78%財務指標+智慧資本+MARS+BP