应用部分权重学习法训练连续式双向联想记忆体.ppt

1,應用部分權重學習法訓練連續式雙向聯想記憶體,主講人：藍 國 桐 博士 德明財經科技大學 資訊科技系,2,I. 前 言 II. 連續式雙向聯想記憶體的訓練 III. 實驗結果與分析 IV. 結 論,3,I. 前 言,Bidirectional Associative Memory；BAM的問題： 記憶容量太少 交鏈 (cross talk) 的現象 假穩態 (spurious state),4,I. 前 言,改善 BAM 的其他研究： Multiple Training；MT Bidirectional Learning；BL (partial multiple training; PMT) Pseudo-relaxation algorithm for BAM；PRLAB,5,I. 前 言,連續式雙向聯想記憶體(continuous additive BAM)： 使用微分方程組來描述其動態行為,6,II. 連續式雙向聯想記憶體的訓練,雙向聯想記憶體(BAM)：,7,II. 連續式雙向聯想記憶體的訓練,雙向聯想記憶體(BAM)：,8,II. 連續式雙向聯想記憶體的訓練,9,II. 連續式雙向聯想記憶體的訓練,訓練方式- PMT：,10,II. 連續式雙向聯想記憶體的訓練,訓練過程：學習演算法(learning algorithm),initialization: bTuned=True; while(bTuned) bTuned=False; for(for every training pattern) 1. perform associative remembering processes 2. if (cant recall correctly) perform PMT training algorithm bTuned=True; ,11,III. 實驗結果與分析,12,III. 實驗結果與分析,本實驗將探討在不同的位元錯誤率下，BAM和cBAM對於錯誤樣型的自我校正能力。,本實驗中，對每一個字型的辨識過程均重複作 100 次取其平均作為該字型的辨識率，然後我們再取所有字型辨識率的平均值當作實驗結果。,13,III. 實驗結果與分析- 實驗一,14,III. 實驗結果與分析- 實驗一,(a) 10組標準字型情況下的錯誤位元辨識率,15,III. 實驗結果與分析- 實驗一,(b) 15組標準字型情況下的錯誤位元辨識率,16,III. 實驗結果與分析- 實驗一,(c) 26組標準字型情況下的錯誤位元辨識率,17,III. 實驗結果與分析- 實驗一,本實驗所使用的是部分權值訓練法(PMT)，它已被證實：對於聯想記憶體(BAM)的記憶容量的提昇具有相當好的能力。,cBAM的錯誤位元辨識能力明確地優於BAM,權值訓練法亦適用於cBAM,18,III. 實驗結果與分析- 實驗二,19,III. 實驗結果與分析- 實驗二,(a) 10組標準字型情況下的錯誤位元辨識率,20,III. 實驗結果與分析- 實驗二,(b) 15組標準字型情況下的錯誤位元辨識率,21,III. 實驗結果與分析- 實驗二,(c) 26組標準字型情況下的錯誤位元辨識率,22,III. 實驗結果與分析,cBAM的錯誤位元辨識能力明確地優於BAM,權值訓練法適用於cBAM,23,III. 實驗結果與分析,cBAM的神經元的淨值變化具有 “暫態” 與 “穩態” 現像，延長 “暫態” 時間與降低 “穩態” 的高度可以提高 cBAM 的錯誤位元辨識能力。,24,IV. 結 論,PMT的學習方式可以提昇BAM的記憶容量。 錯誤位元數量超過其 “辨識能力” 時，其錯誤位元辨識率會呈指數遞減。 連續式雙向聯想記憶體擁有較佳的回想能力