泛朦第三系—神经系(NeuralNetwork).ppt

泛朦第三系神經系 (Neural Network),報告人: 張士行教授 Prof. Dr. Albert Chang 光電博士. 企管碩士. 電子碩士. 機械碩士 PICO 7 Tools Founder Editor of CJME (cited in EI) Graduate School of Business & Management,VIT CEO of PID Lab. Cellular Phone: 886-939924099 Email: ,類神經網路導論,類神經網路（artificial neural network）或譯為人工神經網路： 模仿生物神經網路的資訊處理系統。,精確定義,一種計算系統：硬體、軟體。 大量簡單的相連人工神經元：模仿生物神經網路的能力。 取得資訊：外界環境、人工神經元。 輸出結果：外界環境其他人工神經元。,背景（1）,1957年（電腦發展的初期）：第一種類神經網路模式 感知機（ Perceptron ）提出。 1960年代中期沒落。,沒落因素,1.本身理論無法突破（ EX：XOR問題）。 2.數位電腦、人工智慧的吸引。 3.當時相關技術無法實現神經電腦。,背景（2）,80年代中期：類神經網路的研究復興，而在短短數年之內蔚為風潮。 原因：如下4點。,復興原因（1）,類神經網路在理論的建立與模式的開發上有了突破，最明顯的突破包括： 霍普菲爾網路（ Hopfield neural network， HNN） 倒傳遞網路（Back-propagation network）。,復興原因（2）,復興原因（3）,從現代生物學、認知學、心裡學對生物神經網路的瞭解，提供了發展新的類神經網路模式的啟示。,生物神經元模型,生物神經網路： 由巨量的神經細胞，或稱神經元所組成，神經細胞的形狀和一般的細胞有很大的不同。,神經細胞,神經核：神經細胞呈核狀的處理機構。 軸索（神經軸）：神經細胞成軸索狀的輸送機構。 樹突（神經樹）：神經細胞成樹枝狀的輸出入機構。 突觸（神經節）：神經細胞神經樹上乘點狀的連結機構。,人工神經元模型（1）,類神經網路：由許多的人工神經細胞（artificial neuron）所組成。又稱類神經元、人工神經元、處理單元（ processing element）。 每一個處理單元的輸出以扇形送出，成為其它許多處理單元的輸入。,人工神經元模型（2）,其中 Yj = 模仿生物神經元模型的輸出訊號。,處理單元輸出值與輸入值的關係式： 一般用輸入值的加權乘積和之函數來表示,人工神經元模型（3）,f 模仿生物神經元模型的轉移函數（transfer function）。 Wij 模仿生物神經元模型的神經鏈結強度，又稱鏈結加權值。,人工神經元模型（4）,Xi 模仿生物神經元模型的輸入訊號（input signal）。 模仿生物神經元模型的閥值（threshold value）。,人工神經元模型（5）,鏈結（connection） ：介於處理單元間的訊號傳遞路徑。 每一個鏈結上有一個數值的加權值Wij，用以表示第i處理單元對第j處理單元之影響程度。,人工神經元模型（6）,一個類神經網路:由許多個人工神經元所組成，並且可以組成不同的 網路模式（network model） 或 網路典範（networkparadigm）。,類神經網路模型(1),倒傳遞網路（back- propagation network，BPN ）:應用最普遍。 BPN:包含許多層(含若干個處單元),類神經網路模型(2),輸入層單元:輸入訊息。 輸出層單元：輸出訊息。 隱藏層單元：提供類神經網路表現處理單元間的交互作用與問題的內在結構的能力。,網路分類（1）,目前著名類神經網路不下數十種，主要分為四類 1.監督式學習網路：從問題領域中取得訓練範例（有輸入變數值，也有輸出變數），並從中學習輸入變數與輸出變數內在對映規則，以應用於新的案例（只有輸入變數值，而需推論輸出變數值的應用）如BP。,網路分類（2）,2.無監督式學習網路：從問題領域中取得訓練範例（只有輸入變數值），並從中學習範例的內在聚類規則，以應用於新的案例。 3.聯想式學習網路：從問題領域中取得訓練範例（狀態變數值），並從中學習範例的內在記憶規則，以應用於新的案例，如霍普菲爾網路。,網路分類（2）,4.最適化應用網路：對一問題決定其設計變數值，使其在滿足設計變數下，使設計目標達最佳狀態的應用，如退火神經網路。,類神經網路運作（1）,類神經網路的運作過程分成兩個階段： 學習過程：從範例學習，以調整網路連節加權值的過程 。 回想過程：網路依回想演算法，以輸入資料決定網路輸出資料的過程。,類神經網路運作（2）,1.訓練範例：藉此調整網路連結加權值。訓練範例型式依所使用的網路模式之不同而異。 2.測試範例：用以評估網路學習成果所使用的範例。 （1.2）差異：前者只用回想演算法得到推論輸出值，並與目標輸出值比較，以評估網路學習精度。,類神經網路運作（3）,3. 待推案例：網路學習過程完後，可用網路推論待推案例的結果。 （2.3）差異：前者沒有目標輸出變數向量,優點,高速計算能力 高容記憶能力 學習能力 容錯能力,應用,監督式學習應用：分類、預測。 非監督式學習應用：聚類。 聯想式學習應用：雜訊過濾、資料擷取。 最佳化問題應用：設計、排程。,基本架構（1）,處理單元：類神經網路基本單位 作用可用三個函數來說明： 1）集成函數 2）作用函數 3）轉換函數,基本架構（2）,層：若干個具相同作用的處理單元集合成。 層的三種作用： 1）正規化輸出 2）競爭化輸出 3）競爭化學習,基本架構（3）,網路：若干個具不同作用的層集合成網路 網路兩種作用： 1）學習過程 2）回想過程,C：實數型常數。單調 ( monotonic ) 遞增 、平滑且可微分的函數。 採用：倒傳遞類神經網路 、連續型霍普菲爾網路，都是此種活化函數。,倒傳遞網路,倒傳遞類神網路模式是目前類神網路學習模式中最具代表性，應用最普遍的模式。 倒傳遞類神經網路屬於監督式學習網路，因而適合診斷、預測等應用。,輸出向量,輸入向量,輸出層：表示輸 出變數 隱藏層：表示輸 入處理 單元間 的交互 影響 輸出層：表示輸 入變數,範例,文章： Integration of Gray Prediction and Fuzzy Model for Improving Back-propagation Learning Algorithm R.J.Kuo , C.Y.Chiu , and C.C.Hsieh Fuzzy 2000,題目簡述,基本觀念：利用灰預測和模糊理論來改善BP的訓練速度。 模擬：XOR範例 設定：初始學習率：0.3，學習次數1000次。 由MSE（mean square error）來判定收斂效。,解法（灰色）,建立GM（1,1）模型的灰微分方程式目的：預測error（PE） and change of error(PCE) 。 用PE和PCE根據FUZZY規則，調整訓練參數 。,解法（類神經）,各層間初始權重：亂數。 開始時訓練誤差大：給大學習率使系統收斂快。 當訓練接近最佳化：給小學習率以免震盪。 訓練速度調整是根據PE和PCE。,解法（模糊）,P