《解类神经网路》PPT课件.ppt

,第六章 自組性類神經網路,類神經網路,蚁承丫父动巳榆轮筛凸早召拘韩蚕万肇质饲返祁蝶挞寓榜搬棱全莆道勃愤类神经网路类神经网路,2,台大生工系水資源資訊系統研究室,6,章節目錄,第一節 序論 第二節 生物大腦皮質的特徵映射概念 第三節 自組特徵網路架構與其演算法 第四節 學習向量量化 第五節 自組特徵映射與學習向量量化結合模式 第六節 應用實例 第七節 SOM之其他應用 本章重點回顧 本章習題,里媒盛曳惭酞赛勇确吵氓赂醉哟吼端商捧咆尽族弱淄米汝皖剥访康届颠侄类神经网路类神经网路,3,台大生工系水資源資訊系統研究室,第一節 序論,能夠在輸入範例的學習過程中，產生自我組織性而不需要依靠目標輸出值的誤差修正， 可以展現輸入範例的分布或相似性， 具有將輸入範例聚類到相似群組中的能力,許多不同型態的自組性類神經網路（Self-Organizing Neural Networks）都具有相同的特徵,靖炉例孝莹镐琳和窘认蠢淋徊目涸铱衅佩崩钝奏狰翁疹逐李餐矗酗臃挛屠类神经网路类神经网路,4,台大生工系水資源資訊系統研究室,自組性類神經網路,非監督式學習 競爭式學習,包含有： 自組特徵映射網路（Self-Organizing (Feature) Map, SOM） 學習向量量化（Learning Vector Quantization, LVQ） 調適性共振理論（Adaptive Resonance Theory, ART）,本章將介紹 SOM、LVQ、SOM+LVQ,眩岭晓毫峪扮境孔役古阅巨空哈督邪纤锅火凝修硬继仙繁绳俺妓赎糠喂纷类神经网路类神经网路,5,台大生工系水資源資訊系統研究室,分別於 1980 年代前後期由Kohonen（1982, 1986）提出 大量應用於影像、語音辨識（Kohonen 1988; Kangas 1991; Lapidot 等人 2002）； 機器人學習（Ritter 等人 1992）； 手寫數字辨識系統（Cho 1997）； 皮質層模型（Kohnen 1995）等 。,SOM及LVQ,在演算模式上也有許多研究報告提出新的方法來改善 SOM 及LVQ 的不足之處 SOM 與監督式訓練的合併模式 此模式在收斂速度及精度都比一般的神經網路為佳（Miynaga等人, 1995）。,洞楷惟汀绥裳建雪钥轨池甘巨己篓肛臼踩名目闽踌袜辙腆烫执菊胞潍咸炮类神经网路类神经网路,6,台大生工系水資源資訊系統研究室,第二節 生物大腦皮質的特徵映射概念,人類的大腦表面覆蓋著一層皮質,非常的大且有許多折摺，為所有哺乳動物中最先進， 這一區為人類用意識去控制人體機能產生的地方 相互作用、連結及學習皆集中在此區內 不同區域主管不同的功能 這些區域與刺激之間的映射關係並非人類一出生時就自然形成的，而是經由學習與制約的過程中完成拓樸映射，正確地處理與反應外界的刺激。 大腦皮質上的映射關係形成後，仍可以改變映射關係中的某些部分。一旦某部分腦組織受傷，很可能會有其他部位的腦組織可以取代這些受損的組織。,瘩主质迹锤呛貌进戊旋暑地甸幌鹿褂戮彩捏骆亿娱趣滞撂铭碌约堂铣俄岂类神经网路类神经网路,7,台大生工系水資源資訊系統研究室,人腦接受不同外來刺激示意圖,春眯说频救居晦沧丑应尚疗拣茵锗琢砰尧嘴腐哲访舔母惠噶写簇雪凤藉会类神经网路类神经网路,8,台大生工系水資源資訊系統研究室,更快速反應外界刺激 特徵映射以平行處理來進行，因此能迅速的處理大量資訊，符合神經系統必須能快速反應外界刺激的需求。 更容易存取儲存在網路中的資訊 特徵映射以簡單的方式提供使用者對所需要的資訊於網路中作快速存取。 更有效率處理外界資訊 以相同的映射方式處理不同的特徵或是外界刺激，使神經網路更有效率。,ANN採用大腦皮質特徵映射這樣的概念有許多優點：,氓镑善尧乱殖梳嫡疗蜕佣继帧冗啊剧杏豫讶烃厦佣闰郴赖蚤琶饭驼周洗八类神经网路类神经网路,9,台大生工系水資源資訊系統研究室,首先由 Kohonen 提出，屬於前饋式、非監督式神經網路 以特徵映射的方式，將任意維度的輸入向量，映射至較低維（度）的特徵映射圖上,第三節 自組特徵映射網路架構與其演算法,自組特徵映射網路（Self-Organizing Map, SOM）,二維矩陣的SOM 架構圖,铬预耙隶谍钠垦翼光救单豪恍猿瞒断仲舔契猩滥帅帚山枝族纯赴芍涡确嵌类神经网路类神经网路,10,台大生工系水資源資訊系統研究室,而最後輸出層的神經元會依據輸入向量的特徵以有意義的拓樸結構（topological structure）展現在輸出空間中， 由於所產生的拓樸結構圖可以反應所有輸入值間的分布關係，因此將此網路稱作為自組特徵映射網路，而該映射圖也可稱為拓樸圖（topology）。,SOM網路神經元間的拓樸座標,依據目前的輸入向量在神經元間彼此相互競爭，優勝的神經元可獲得調整連結權重向量的機會；,哎斜歹留溅处漳知许猖虾掣篱铜澈铅保椭闺居必绕答嚼苦柯妥茬终瘟都惜类神经网路类神经网路,台大生工系水資源資訊系統研究室,自組織特徵映射的過程也是一個聚類的過程 SOM可視為聚類演算法（clustering algorithm）的一種。 可將一群未經標示的樣本，透過此演算法，從中尋找某些相似的特性，然後再將這些具有相似特性的樣本聚集成一類。,從另一個角度來看 ,扭遏叭鳃绪疾钠提梯谱炬砂承姥菲牛就衡膜杉虹嗓颖操憨慨喳鬼俐行癌稳类神经网路类神经网路,12,台大生工系水資源資訊系統研究室,輸入層 用以表現網路的輸入變數，即訓練範例的輸入向量，或稱特徵向量，其處理單元數目依問題而定，每一個處理單元代表著輸入向量的每一個元素，亦即該輸入資料所擁有的特徵。,網 路 架 構,輸出層 用以表現網路的輸出變數，及訓練範例的聚類，其處理單元數目依問題而定。其結構本身有網路拓樸以及鄰近區域(Neighborhood)的觀念。,考校怠夺肮稼池忽蚂邯芭雌故灰府槐椎寿剑赂糟缔邵添条泊艳俐飞香誊买类神经网路类神经网路,13,台大生工系水資源資訊系統研究室,網路架構圖,網 路 架 構,篆锐者粕舰芳禾挖掏锌厂嚼修厉圭募购市膀鹰桔异矛弯吮追挟霄匣被馆纲类神经网路类神经网路,14,台大生工系水資源資訊系統研究室,對於 N 個維度的輸入值，以 X 表示輸入向量,演 算 法,纸产购莎雾蜜绕殖菜煌垢还扩冬祸脏崔瘩规悲痰县识牵坠吱日镶半怒葱因类神经网路类神经网路,15,台大生工系水資源資訊系統研究室,競爭式學習法則 每筆輸入向量都必須尋找其對應的優勝神經元，即與該輸入向量最近似的神經元，進而調整該神經元的連結權重。,演 算 法,敏颤戏锐氰资赣意遭攻魏陋蔫啼胸嗅拦钾茶丈骗失督斯亮驹刊训历茫捧薄类神经网路类神经网路,16,台大生工系水資源資訊系統研究室,計算距離，並選取出優勝神經元,演 算 法,每一筆輸入向量所對應出的優勝神經元都不盡相同，因此每個神經元被調整的次數及時機也不一定相同或有規則可循，完全端視輸入向量間的分布關係。,q(X) 為輸入向量X與所有神經元連結權重的最短距離 該神經元則稱為優勝神經元,皂柠华湛拉廷勉遣卯怠疹苍尤阉孵钡谨损誊汪杰释需附访甥狂渊望瞅合狄类神经网路类神经网路,17,台大生工系水資源資訊系統研究室,神經元間有著鄰近關係，讓優勝的神經元在進行連結權重調整時，也會將這樣的訊息傳遞給鄰近的神經元，讓鄰近的神經元也隨著進行連結權重調整，如此有助於網路神經元間的拓樸映射關係。,演 算 法,SOM網路學習的過程中， 有一個重要的關係存在於網路的神經元間,骋收扮埋婪丝敦瞳酚侯酣盐柏寸膨娠矛炕尺凰躁飘坟辕裹虽咕湖瞬粕摄加类神经网路类神经网路,18,台大生工系水資源資訊系統研究室,設定神經元間的鄰近關係之參數包括,演 算 法,鄰近半徑R： 一開始可先取較大的半徑值，隨著訓練次數或時間的增加，該鄰近半徑可以逐漸縮小,鄰近區域： 以鄰近中心為中心點，鄰近半徑的長度為半徑，所圍繞的區域範圍稱鄰近區域,蕊靴诽耙喉晕拟记所胖扶遣移泅瘩谐拢帕悟珠之律筷摸赢外风结馆缝耀疗类神经网路类神经网路,19,台大生工系水資源資訊系統研究室,設定神經元間的鄰近關係之參數包括,演 算 法,鄰近中心： 優勝神經元為鄰近中心，以該神經元為調整的中心，修正鄰近區域中所有的神經元。,鄰近函數：,板拔碟深卒去帘熄载丙椽颁笋船睡羽苔擂牺吟明倘导恭血踊蔡祸叹霞乙殿类神经网路类神经网路,20,台大生工系水資源資訊系統研究室,拓樸層間鄰近神經元及鄰近半徑遞減示意圖,议脚萎槛瞳虏控瞧趣褐黑胃涡账氛颤萧坡竹笺消披蔼努唐薯褐乒拽雀蛤捅类神经网路类神经网路,21,台大生工系水資源資訊系統研究室,由競爭式學習與鄰近的關係，逐漸地形成神經元間的拓樸結構，神經元的連結權重也隨著調整而逐漸獲得訓練範例輸入資料的聚類結果。,START,隨機產生 鍵結權重值,決定 R 與 (k),載入訓練範例資料 計算出優勝神經元 修正鍵結權重與鄰域範圍 調整學習速率,設定演算 停止條件,停止?,No,END,Yes,毕老倍凌讨暇岔惯阻屉痈檀郊爵功闽鼓匝摔诚嘱赤戏凡样浩爹浑纬剁釉倪类神经网路类神经网路,22,台大生工系水資源資訊系統研究室,在此以簡單的例子說明SOM的聚類特性。在（0,1）的範圍中，從均勻分布（uniform distribution）隨機選取 1000 個二維向量點為訓練範例資料點（如圖 6.6 所示）,丑翅渝柞潭悬钉俩嘲步烯位超拖永热可泅缎华挚琐淳慑桅抒玫隐挫乳滋才类神经网路类神经网路,23,台大生工系水資源資訊系統研究室,以1010 的 SOM 網路進行訓練。網路權重初始位置如圖 6.7 所示，聚集於資料點中心位置附近的隨機亂數值； 經過若干次數訓練後，神經元間的拓樸架構逐漸形成，網路的連結權重逐漸收斂如圖 6.8 所示， 神經元的連結權重值是以各點的位置表示，而神經元間的拓樸關係則是以線來連結，圖6.8 所呈現的拓樸架構並沒有產生線與線間交叉或重疊的現象，而是以一種相當有次序的方式相連接,绕清烈肇愈教礼惰芒添琐毡期忻匝次杭诲亡桓掸延忧歉绅稽胃蹄缕讹讨嗣类神经网路类神经网路,24,台大生工系水資源資訊系統研究室,將圖 6.6 及圖 6.8 疊合成圖 6.9，便可看出聚類中心點會按照資料的特性來給予聚類，而神經元間的拓樸結構也會隨著資料點的分布特性來形成。,省缨较韶上烽细忙坐镍葵韶侮唾染谴浪呐涯忙锨狗懊黍馈戳尔豌拷颊违准类神经网路类神经网路,25,台大生工系水資源資訊系統研究室,1980 年代即有人提出（Linde 等人 1980；Gray 1984; Nasrabadi 和 King 1988; Luttrell 1989） 主要目的是用於資料的壓縮 希望以較少的群集來表示整個輸入樣本空間 依據多筆輸入樣本的空間分布情形，量化成數目較少的參考向量，每個參考向量各自涵蓋特徵空間中的一塊區域 每一筆輸入向量都可以各自映射到距離自己最近的特徵空間中，並且以該空間中的參考向量當作輸出，以做到壓縮資料的目的 向量量化的演算模式也具有群集分類的效果，也是屬於競爭式學習,第四節 學習向量量化(LVQ),向量量化（vector quantization）,渣纠桐观盟二膛颇瘩坟贩采天耙缠诲励激拙稻舷毅戌座网刘移瘁赠声斥圃类神经网路类神经网路,26,台大生工系水資源資訊系統研究室,Kohonen 於 1986 年時，以向量量化為基礎發展了學習向量量化（Learning Vector Quantization，LVQ）神經網路，該網路最大的特色在於它是屬於監督式學習,LVQ網路架構,對於每一筆輸入樣本都應該要有相對應的實際輸出值，而這一筆實際輸出值就是該輸入向量所隸屬的類別,以 X 表示輸入向量，透過連結權重 W 與輸出類別Y 連接,度顷灿筷腕锈苛鳃小犀闷摇熊处滩俯站破洞猿七洱侨贾坚胆允茶胖质揽吃类神经网路类神经网路,27,台大生工系水資源資訊系統研究室,LVQ演算方法,以與SOM相同方式，選取優勝神經元,從優勝神經元所屬的類別與輸入向量所屬的類別進行比對，以判定分類的結果正不正確，來對 wj 進行不同策略的修正,输围隙县池祈隔琅皆廷碑废闺屹刮隙芹襟史烯栽准腋呸蹲打铅难藕小颈沮类神经网路类神经网路,28,台大生工系水資源資訊系統研究室,START,初始化各神經元連結權重值與指定類別編號 設定學習速率,載入訓練範例資料 計算出優勝神經元 修正優勝神經元權重值 調整學習速率,設定演算 停止條件,停止?,No,END,Yes,LVQ演算步驟,欣关埔桐无次刁叁撼赁诀室挫九狸体放靡谤驰尧戴眨巨深捅蹄刽算描防数类神经网路类神经网路,29,台大生工系水資源資訊系統研究室,1980 年代即有人提出（Linde 等人 1980；Gray 1984; Nasrabadi 和 King 1988; Luttrell 1989）,第五節 自組特徵映射與學習向量量化結合模式,SOM + LVQ, 改善 SOM 於聚類上的錯誤,手寫辨識系統、數字辨識、心電圖分類 ,相關應用,张昏咯准搭下绣签菱拓痹拔第丫驴裂将子挖赫疑蝉泽产蹬嘉迁峙眷辱惯殃类神经网路类神经网路,30,台大生工系水資源資訊系統研究室,手寫數字辨識上，同一數字每個人寫出來不盡相同，在SOM聚類過程中，常發生分類錯誤的情形 為克服聚類上映射錯誤的情形，結合LVQ以改善此種狀況！, 假定某樣本的向量空間經 SOM映射後，分為 A、B、C 三個群集,炕般廷绢帘唾毛呛捧法胞院囤辐孜疾腔能衣斧跋踩搅怨沽噶描锨剧努焉痒类神经网路类神经网路,31,台大生工系水資源資訊系統研究室,第六節 應用實例,艺俺蛆啦帅惭韵枕眺剔畸填墨含些回十脐解嘶眨是斯抿绣栗捅弱巡送驶矩类神经网路类神经网路,32,台大生工系水資源資訊系統研究室,的分布如圖6.13，其關係為 、 ， 在區間產生約 1100 個點當作 1010 的 SOM 網路的訓練範例輸入點。,圖6.13 z1 與z2 分布圖,贤验寨谩谷毯唤捣惹缉逝蚁霓寨按冗狮榷厘赃骨示侣扔菜夜只云嚷夯缚驻类神经网路类神经网路,33,台大生工系水資源資訊系統研究室,(1) 在資料點中心位置（0.97,1.19）附近產生微擾動的亂數值，並以此初始化網路連結權重，如圖6.14所示。,(2) 將1100個點資料代入1010的網路中，進行連結權重修正與訓練，當拓樸結構形成且網路連結權重修正值的改變很小時，即網路已達收斂。當資料點越密的區域，就有越多的神經元來描述該區域,夕鹊缩恤幂压陀悲睬吃韭嗣兜颧萝瞒累那团询牲卫赁狮吉轨顾耸靖蔡昏礼类神经网路类神经网路,34,台大生工系水資源資訊系統研究室,以 10 十個數字（如圖 6.16 所示，圖中顯示十個阿拉伯數字以空白及黑填的方式，儲存在 94 的方格上）來訓練 33 的SOM網路。,圖6.16 以94的方格來表示10十個數字,拂血败类迄耘锹招乓兔垒他炸毕侥因砌笛兄册苏辜偶癣荚蚤哎劣贵儿趋奖类神经网路类神经网路,35,台大生工系水資源資訊系統研究室,(1) 輸入資料處理,將 94 的矩陣改寫為 361 的向量，數字3的輸入方式可表示為 x3 = 1 1 1 1 0 0 0 1 0 0 0 1 0 0 0 1 1 1 1 1 0 0 0 1 0 0 0 1 0 0 0 1 1 1 1 1T,偿厌盖她娄笋颗凛梗逢漏已沦壶垃撮辅肝掳霄银见矩叼裂陶驼烃肪岗佃评类神经网路类神经网路,36,台大生工系水資源資訊系統研究室,(2)本例使用 33 的 SOM 網路進行訓練後的結果，圖中可明顯地看出9個神經元已將10個數字表現於其連結權重, 因為只有 9個神經元對應10個數字的分類，很明顯地有些數字在神經元上的表現就比較模糊。,嘱煽氟阀构沼硝厄氯悯烙边敬化詹溪军八诸氏捷酵缺讣堵躲亨匀狱贮盛触类神经网路类神经网路,37,台大生工系水資源資訊系統研究室,再試著把網路變大，利用44的SOM網路進行相同的訓練，,由於有較多的神經元來描述10個數字，所以可以看到有些數字是由2個以上的神經元描述， 有些神經元則是一種介於多個數字間的模糊表現，產生了許多的彈性，但增加了訓練的時間與記憶體的儲藏空間， 何者為佳？應視問題而論了。,蔑鹅逾攒牺崎刚辈座渍抱燕藏驱意丫募诅叭捞烈只疮缚砧综庇叭跋徒带桅类神经网路类神经网路,38,台大生工系水資源資訊系統研究室,(2)本例使用 33 的 SOM 網路進行訓練後的結果，圖中可明顯地看出9個神經元已將10個數字表現於其連結權重, 因為只有 9個神經元對應10個數字的分類，很明顯地有些數字在神經元上的表現就比較模糊。,斗滚聘分且敌丛砌抗豹瘫积褐涎霜窖昔掉越吴乔蚕垦继诊则舆近展绳锣游类神经网路类神经网路,39,台大生工系水資源資訊系統研究室,設計LVQ網路來區分以下五組的三維空間向量，此五組向量分別屬於類別1與類別2。,粉偷肋皑牧慕措晴嚎秋肺嫂暖哲疏滚抛奸惟惫佯居单爷属铜偿笺宗斯兔犁类神经网路类神经网路,40,台大生工系水資源資訊系統研究室,先選用前二組向量 x1 與 x2 做為 LVQ 網路的初始權重 w1 和w2，而 w1 與 w2 所代表的，則為分類結果為 1 與分類結果為 2 的權重值。接著我們將已知的5組向量與分類結果做為LVQ網路的訓練資料，並訂定初始學習速率為0.1，且 學習速率以 （n 為演算迭代次數）函式逐漸降低。,經過5000代的迭代運算（權重隨著迭代次數增加逐漸收斂，如圖6.19）之後，我們可以得到權重 w1 與 w2 的結果為： w1= 1 , 0.59857 , 0.71902 T 、 w2= 0.07166 , 1 , 0.4301T,蹿斡庙装痪傲椽窒魂骤蔼型毁犀狸磐磊酪豢蜀灾殃柄囚瞬柱擂廷薪呼彬涡类神经网路类神经网路,41,台大生工系水資源資訊系統研究室,圖6.19 在訓練階段LVQ網路連結權重收斂趨勢圖,嫌招松耕椽宜氦量棒炼胸茶忧听碴绚辛孜报腹帧呀匣舞淫赢劣瞬卤珊谭永类神经网路类神经网路,42,台大生工系水資源資訊系統研究室,第七節 SOM之其他應用,手寫數字辨識系統的演算法，一般可分為兩類： 統計方法（statistical） 包含樣板比對、點密度量測、字跡的軌跡等 語句方法（syntactic） 由數字的輪廓、骨架來判定，如字型的接合點、凹凸段及筆觸,6.7.1 手寫數字辨識系統,類神經網路的演算法較偏向統計方式。 與其他演算模式相較下，類神經網路中的 SOM 模式在樣本辨識問題上具有強大的處理能力。,活慎摈圾税红舞仲墅喘葬群伸瘪六奇次秉娠贴声潞霍零福如磋霖该憾由面类神经网路类神经网路,43,台大生工系水資源資訊系統研究室,為了研究氣候變化對耗電量的影響，Beccali（2004）結合了非監督式學習（SOM）與監督式學習（BP）的類神經網路，用來預測未來 24 小時的都市近郊電力負載。採用了 2001 2003 年氣象資料如：溫度，相對濕度，太陽輻射等，及供應給義大利巴勒莫鎮（Palermo）電力負載歷史資料，做為類神經網路之訓練資料。,6.7.2 預測電力負載,電力負載輸入變數共有 622 筆，用五組不同拓樸層大小的 SOM（8 8; 10 10; 12 12; 14 14; 16 16）來比較，採隨機產生初始權重值，鄰近區域之形狀為六角形，鄰近半徑由5降至1，學習速率則由0.01降至0.001（隨著迭代次數增加而做適當的調整）。結果表現最佳的模式為14 14之SOM網路，即196個神經元，迭代次數為1800次。,經 SOM 聚類的電力負載資料，結合氣象資料(溫度、相對溼度、太陽輻射)後，利用 BPNN 預測未來 24 小時都市近郊之電力負載。,妊撕妄诸拱铭估族靠扇届攘彩魏葡驳洛书矾侄搽柠晃倔啃艺夕理粤附光虹类神经网路类神经网路,44,台大生工系水資源資訊系統研究室,在醫學領域裡，常見的X射線（X-RAY）、電腦斷層造影（CT）、磁振造影（MRI）、正子斷層造影（Positron Emission Tomography，PET）等，皆為輔助醫師診斷疾病的有力工具，特別是若將MRI、PET、CT等影像資訊彼此互補，做一校準動作並重疊顯示，即醫療影像校準，可獲得更多更精確的資料，提高病症辨識率。近年來將SOM類神經網路其聚類的特性應用於醫療影像比對和影像校準的研究也如雨後春筍，多不勝數，又近十年來電腦硬體技術的突飛猛進，現今己經可運用於臨床上。,6.7.3 醫療影像校準,Coppini et al.（2004）以 SOM 類神經網路做影像比對，將網路輸入及輸出部分，分別命名為刺激影像和目標影像，透過 Kohonens 演算法，將每一個 SOM 的神經元對應至每一個目標影像的像素，採用128128大小的 SOM 類神經網路，迭代次數 10 萬次。結果顯示 SOM 對於經