【源版】即233倒传递类神经网路

第23章類神經網路

本章的學習主題

1.類神經網路的基本概念

2.類神經網路之應用

3.倒傳遞類神經網路

4.類神經網路之運算注意事項

5.類神經網路STATISTICA軟體操作範例說明123.1類神經網路的基本概念一種計算系統，包括軟體與硬體，它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬，它從外界環境或者其它人工類神經元取得資訊，並加以運算，再輸出其結果到外界環境或者其它人工神經元。223.1類神經網路的基本概念3圖23-1生物神經網路結構圖23-2人工神經元結構23.1類神經網路的基本概念4圖23-3簡單的類神經網路23.1類神經網路的基本概念一、類神經網路的分類(一)依學習策略分類1.監督式學習網路(supervisedlearningnetwork)2.無監督式學習網路(unsupervisedlearningnetwork)3.聯想式學習網路(associatelearningnetwork)4.最適化應用網路(optimizationapplicationnetwork)523.1類神經網路的基本概念6(二)依網路架構分類1.向前式架構：神經網路由神經元分層排列，形成輸入層、隱藏層、輸出層。每一層只接受前一層的輸出作為輸入，稱前向式架構。圖23-4前向式架構23.1類神經網路的基本概念2.回饋式架構：即輸出層神經元的資訊回饋到輸入層，或層內各神經元間有連結者，或神經元不分層排列，只有一層，各神經元均可相互連結者稱回饋式架構。7圖23-5回饋式架構23.1類神經網路的基本概念二、類神經網路運作範例類神經網路的運作範例大致上分為三種：(一)訓練範例1.監督式訓練範例：由代表範例特徵的輸入變數資料，與代範例預測或分類的目標輸出變數資料共同組成。2.無監督式訓練範例：由代表範例特徵的輸入變數資料組成。3.聯想式訓練範例：由代表範例特徵的狀態變數資料組成，該變數值既是輸入亦是輸出，以替代方式決定變數值。8未學習網路+訓練範例+學習演算已學習網路加權值加權值23.1類神經網路的基本概念(二)測試範例測試範例為評估已學習網路之學習效果所使用的範例，其形式與訓練範例相同。該範例只使用回想演算法得到推論輸出值，之後與目標輸出值比較，以評估網路學習的精確度。(三)待推案例網路學習完後，可用網路推論待推案例的結果。待推案例沒有目標輸出變數資料。網路根據待推案例之輸入變數資料，透過回想演算法，推論出輸出值。9已學習網路+測試範例+回想演算法已學習網路評估精度已學習網路+待推案例+回想演算法待推案例推論推論輸出值23.1類神經網路的基本概念三、類神經網路的基本架構類神經網路的基本架構可分三個層次：(一)處理單元的作用可用三個函數來說明(二)層(layer)(三)網路(network)1023.1類神經網路的基本概念1.集成函數(summationfunction)：將輸入變數資料或前一層神經元之輸出與連接加權值加以綜合，即I=f(W,X)。常用的函數包括加權乘積和與歐氏距離等。2.作用函數(activityfunction)：將集成函數值與神經元狀態加以綜合，通常是直接使用集成函數輸出，即netjn=Ijn11(一)處理單元的作用可用三個函數來說明123.轉換函數(transferfunction)：將作用函數輸出值轉換成處理單元輸出，即Yj=f(netj)。常用函數包括硬限函數、線性函數與非線性數函數。23.1類神經網路的基本概念23.1類神經網路的基本概念(二)層(layer)若干個具有相同作用的處理單元集合成「層」。層本身有三個作用：1.正規化輸出：將同層中的處理單元的原始輸出值加以正規化，作為「層」的輸出。2.競爭化輸出：在同層的所有處理單元之原始輸出值中，選擇一個或數個最強值的處理單元，令其值為1，其餘為0後，再作為「層」的輸出。3.競爭化學習：在同層的所有處理單元之原始輸出值中，選擇一個或數個最強值的處理單元，網路將只調整與該單元相連的下層網路連結。1323.1類神經網路的基本概念(三)網路(network)網路本身有兩種作用：1.學習過程(learning)：從範例中學習，以調整網路連接加權值的過程。2.

回想過程(recalling)：以輸入資料決定網路輸出資料的過程。1423.2類神經網路之應用類神經網路的應用極為廣泛，在工業與工程方面的應用包含工業與工程資料分析、工業與工程故障診斷、工業與工程決策諮詢、工業與工程製程監控、工業與工程最適化問題求解。在商業與金融方面的應用包括商業決策、商業預測、商業分析；在科學與資訊方面的應用包括醫學疾病診斷、醫學影像診斷、氣象預測、化學儀器分析解釋、複雜現象映射與模式化、感測資料分類、軍事目標追蹤、犯罪行為聚類分析、性向測驗分析、資料庫聯想搜尋、電腦輔助教學、電腦音樂、專家系統等。1523.2類神經網路之應用網路架構學習策略向前式架構回饋式架構監督式學習認知機倒傳遞網路(BPN)機率神經網路(PNN)學習向量量化網路(LVQ)反傳遞網路(CPN)波茲曼機(BM)時空樣本識別網路(STPR)新認知機(也可作無監督式學習)無監督式學習自組織映射圖(SOM)自適應共振理論(ART)聯想式學習霍普菲爾網路(HNN)雙向聯想記憶網路(BAM)最適化應用霍普菲爾—坦克網路(HTN)退火神經網路(ANN)16表23-1類神經網路架構模式23.3倒傳遞類神經網路

倒傳遞網路是應用一個訓練範例的一輸入值向量X，與一目標輸出向量T，修正網路加權值W，而達到學習的目的。基本原理是利用最陡坡降法的觀念，將誤差函數予以最小化。17誤差函數Tj=輸出層目標輸出值Aj=輸出層推論輸出值一、網路架構輸入層：輸入變數資料，該層處理單元數目依問題而定。處理單元之轉換函數為線性函數，亦即f(x)=x。隱藏層：表現輸入層處理單元間的交互影響。處理單元之轉換函數為非線性函數。輸出層：輸出變數，該層處理單元數目依問題而定。處理單元之轉換函數為非線性函數。18倒傳遞網路在隱藏層與輸出層之非線性轉換函數，最常使用雙彎曲函數，即23.3倒傳遞類神經網路23.3倒傳遞類神經網路19圖23-6倒傳遞類神經網路模型23.4類神經網路運算注意事項

資料的準備—樣本數

20若樣本數接近所需估計的權重數時，就會產生過度配適(over-fitting)的情形，使模型失去通則性(generalizability)。樣本數應為5至10倍的連結權重數。連結權重數未知時：樣本數則為輸入變數數目的平方值樣本數≧c×(輸入變數數目×輸出變數數目)隨機分配樣本為訓練樣本與測試樣本23.4類神經網路運算注意事項

資料的準備—檢視資料21輸入變數應使用計量資料：對於非計量變數值應重新編碼。極端值應被仔細地考慮甚至刪除。變數標準化。23.4類神經網路運算注意事項22定義模型架構隱藏層層數一般問題可取一層隱藏層，較複雜的問題則取二層隱藏層。隱藏層處理單元數目(輸入層單元數+輸出層單元數)/2(輸入層單元數*輸出層單元數)1/2

若問題複雜度較高，隱藏層單元數目宜多。若測試範例之誤差值遠高於訓練範例之誤差值，則隱藏層單元數目應減少，反之，則應增加。23.4類神經網路運算注意事項23模型估計在網路的訓練過程中，訓練範例與測試範例的誤差值均會逐漸降低，但若測試範例的誤差停止下降，甚至開始上升時，則表示有過度訓練的情形發生，因此研究者應在測試範例之誤差上升前即停止訓練。23.4類神經網路運算注意事項24

評估模型結果評估模型包括評估輸出變數的預測或分類水準。在預測的問題上，通常使用誤差均方根來評估模型；在分類的問題中，可利用分類矩陣(classificationmatrix)來計算出個案被正確分類的機率是多少。23.4類神經網路運算注意事項25模型效度最後一步是要確認所找到的解是整體最適且要盡可能的一般化。研究者應該使用不同的處理單元數目去測試，以確定不可能再達到更好的解。模型之評估指標26誤差均方根(RMSE)

絕對誤差平均

(MAD)

絕對百分比誤差平均(MAPE)

誤差平均

(ME)

S.D.RatioR2

1－(S.D.Ratio)23.4類神經網路運算注意事項六、使用類神經網路之優缺點27類神經網路的能力可處理複雜的關係，特別是非線性的關係。預測及分類。無法針對輸入變數的相對重要性以及變數間的相關提供解釋。28範例29範例結果—類神經網路權重H1H2H3H4H5Threshold-0.5708-1.0318-0.21040.18380.5564從屬動機(AFM)1.0144-0.8577-0.53380.71520.0135權力動機(PM)-0.0691-0.3014-0.6934-0.60480.0231成就動機(ACM)-0.80430.62550.9140-0.6311-0.9096能力(AB)0.70370.1983-0.6980-0.94010.7491與公司分享(KS_CO)0.8147-0.1990-0.32470.6751-0.7579與會員分享(KS_KS)-0.2836-0.13140.70240.26590.9349資訊基礎(IFT)0.66260.7198-0.9963-0.58940.0337認同基礎(IDT)-0.89660.4535-0.51870.4382-1.0227隱藏層處理單元行為意圖(BI)H10.4850H2-0.3958H3-0.6878H4-0.8250H50.603430範例結果—各輸入變數之重要程序排序AFMPMACMABKS_COKS_KSIFTIDT訓練範例74325816測試範例64237815由敏感度分析可得知，影響「行為意圖(BI)」最重要的變數為「資訊基礎(IFT)」與「能力(AB)」，次要變數為