《解类神经网路》PPT课件.ppt

第六章自組性類神經網路 類神經網路 蚁承丫父动巳榆轮筛凸早召拘韩蚕万肇质饲返祁蝶挞寓榜搬棱全莆道勃愤类神经网路类神经网路 2 台大生工系水資源資訊系統研究室 6 章節目錄 第一節序論第二節生物大腦皮質的特徵映射概念第三節自組特徵網路架構與其演算法第四節學習向量量化第五節自組特徵映射與學習向量量化結合模式第六節應用實例第七節SOM之其他應用本章重點回顧本章習題 里媒盛曳惭酞赛勇确吵氓赂醉哟吼端商捧咆尽族弱淄米汝皖剥访康届颠侄类神经网路类神经网路 3 台大生工系水資源資訊系統研究室 第一節序論 能夠在輸入範例的學習過程中 產生自我組織性而不需要依靠目標輸出值的誤差修正 可以展現輸入範例的分布或相似性 具有將輸入範例聚類到相似群組中的能力 許多不同型態的自組性類神經網路 Self OrganizingNeuralNetworks 都具有相同的特徵 靖炉例孝莹镐琳和窘认蠢淋徊目涸铱衅佩崩钝奏狰翁疹逐李餐矗酗臃挛屠类神经网路类神经网路 4 台大生工系水資源資訊系統研究室 自組性類神經網路 非監督式學習競爭式學習 包含有 自組特徵映射網路 Self Organizing Feature Map SOM 學習向量量化 LearningVectorQuantization LVQ 調適性共振理論 AdaptiveResonanceTheory ART 本章將介紹 SOM LVQ SOM LVQ 眩岭晓毫峪扮境孔役古阅巨空哈督邪纤锅火凝修硬继仙繁绳俺妓赎糠喂纷类神经网路类神经网路 5 台大生工系水資源資訊系統研究室 分別於1980年代前後期由Kohonen 1982 1986 提出大量應用於影像 語音辨識 Kohonen1988 Kangas1991 Lapidot等人2002 機器人學習 Ritter等人1992 手寫數字辨識系統 Cho1997 皮質層模型 Kohnen1995 等 SOM及LVQ 在演算模式上也有許多研究報告提出新的方法來改善SOM及LVQ的不足之處SOM與監督式訓練的合併模式此模式在收斂速度及精度都比一般的神經網路為佳 Miynaga等人 1995 洞楷惟汀绥裳建雪钥轨池甘巨己篓肛臼踩名目闽踌袜辙腆烫执菊胞潍咸炮类神经网路类神经网路 6 台大生工系水資源資訊系統研究室 第二節生物大腦皮質的特徵映射概念 人類的大腦表面覆蓋著一層皮質 非常的大且有許多折摺 為所有哺乳動物中最先進 這一區為人類用意識去控制人體機能產生的地方相互作用 連結及學習皆集中在此區內不同區域主管不同的功能這些區域與刺激之間的映射關係並非人類一出生時就自然形成的 而是經由學習與制約的過程中完成拓樸映射 正確地處理與反應外界的刺激 大腦皮質上的映射關係形成後 仍可以改變映射關係中的某些部分 一旦某部分腦組織受傷 很可能會有其他部位的腦組織可以取代這些受損的組織 瘩主质迹锤呛貌进戊旋暑地甸幌鹿褂戮彩捏骆亿娱趣滞撂铭碌约堂铣俄岂类神经网路类神经网路 7 台大生工系水資源資訊系統研究室 人腦接受不同外來刺激示意圖 春眯说频救居晦沧丑应尚疗拣茵锗琢砰尧嘴腐哲访舔母惠噶写簇雪凤藉会类神经网路类神经网路 8 台大生工系水資源資訊系統研究室 更快速反應外界刺激特徵映射以平行處理來進行 因此能迅速的處理大量資訊 符合神經系統必須能快速反應外界刺激的需求 更容易存取儲存在網路中的資訊特徵映射以簡單的方式提供使用者對所需要的資訊於網路中作快速存取 更有效率處理外界資訊以相同的映射方式處理不同的特徵或是外界刺激 使神經網路更有效率 ANN採用大腦皮質特徵映射這樣的概念有許多優點 氓镑善尧乱殖梳嫡疗蜕佣继帧冗啊剧杏豫讶烃厦佣闰郴赖蚤琶饭驼周洗八类神经网路类神经网路 9 台大生工系水資源資訊系統研究室 首先由Kohonen提出 屬於前饋式 非監督式神經網路以特徵映射的方式 將任意維度的輸入向量 映射至較低維 度 的特徵映射圖上 第三節自組特徵映射網路架構與其演算法 自組特徵映射網路 Self OrganizingMap SOM 二維矩陣的SOM架構圖 铬预耙隶谍钠垦翼光救单豪恍猿瞒断仲舔契猩滥帅帚山枝族纯赴芍涡确嵌类神经网路类神经网路 10 台大生工系水資源資訊系統研究室 而最後輸出層的神經元會依據輸入向量的 特徵 以有意義的 拓樸結構 topologicalstructure 展現在輸出空間中 由於所產生的拓樸結構圖可以反應所有輸入值間的分布關係 因此將此網路稱作為自組特徵映射網路 而該映射圖也可稱為拓樸圖 topology SOM網路神經元間的拓樸座標 依據目前的輸入向量在神經元間彼此相互競爭 優勝的神經元可獲得調整連結權重向量的機會 哎斜歹留溅处漳知许猖虾掣篱铜澈铅保椭闺居必绕答嚼苦柯妥茬终瘟都惜类神经网路类神经网路 11 台大生工系水資源資訊系統研究室 自組織特徵映射的過程也是一個聚類的過程SOM可視為聚類演算法 clusteringalgorithm 的一種 可將一群未經標示的樣本 透過此演算法 從中尋找某些相似的特性 然後再將這些具有相似特性的樣本聚集成一類 從另一個角度來看 扭遏叭鳃绪疾钠提梯谱炬砂承姥菲牛就衡膜杉虹嗓颖操憨慨喳鬼俐行癌稳类神经网路类神经网路 12 台大生工系水資源資訊系統研究室 輸入層用以表現網路的輸入變數 即訓練範例的輸入向量 或稱特徵向量 其處理單元數目依問題而定 每一個處理單元代表著輸入向量的每一個元素 亦即該輸入資料所擁有的特徵 網路架構 輸出層用以表現網路的輸出變數 及訓練範例的聚類 其處理單元數目依問題而定 其結構本身有 網路拓樸 以及 鄰近區域 Neighborhood 的觀念 考校怠夺肮稼池忽蚂邯芭雌故灰府槐椎寿剑赂糟缔邵添条泊艳俐飞香誊买类神经网路类神经网路 13 台大生工系水資源資訊系統研究室 網路架構圖 網路架構 篆锐者粕舰芳禾挖掏锌厂嚼修厉圭募购市膀鹰桔异矛弯吮追挟霄匣被馆纲类神经网路类神经网路 14 台大生工系水資源資訊系統研究室 對於N個維度的輸入值 以X表示輸入向量 演算法 纸产购莎雾蜜绕殖菜煌垢还扩冬祸脏崔瘩规悲痰县识牵坠吱日镶半怒葱因类神经网路类神经网路 15 台大生工系水資源資訊系統研究室 競爭式學習法則每筆輸入向量都必須尋找其對應的優勝神經元 即與該輸入向量最近似的神經元 進而調整該神經元的連結權重 演算法 敏颤戏锐氰资赣意遭攻魏陋蔫啼胸嗅拦钾茶丈骗失督斯亮驹刊训历茫捧薄类神经网路类神经网路 16 台大生工系水資源資訊系統研究室 計算距離 並選取出優勝神經元 演算法 每一筆輸入向量所對應出的優勝神經元都不盡相同 因此每個神經元被調整的次數及時機也不一定相同或有規則可循 完全端視輸入向量間的分布關係 q X 為輸入向量X與所有神經元連結權重的最短距離該神經元則稱為優勝神經元 皂柠华湛拉廷勉遣卯怠疹苍尤阉孵钡谨损誊汪杰释需附访甥狂渊望瞅合狄类神经网路类神经网路 17 台大生工系水資源資訊系統研究室 神經元間有著鄰近關係 讓優勝的神經元在進行連結權重調整時 也會將這樣的訊息傳遞給鄰近的神經元 讓鄰近的神經元也隨著進行連結權重調整 如此有助於網路神經元間的拓樸映射關係 演算法 SOM網路學習的過程中 有一個重要的關係存在於網路的神經元間 骋收扮埋婪丝敦瞳酚侯酣盐柏寸膨娠矛炕尺凰躁飘坟辕裹虽咕湖瞬粕摄加类神经网路类神经网路 18 台大生工系水資源資訊系統研究室 設定神經元間的鄰近關係之參數包括 演算法 鄰近半徑R 一開始可先取較大的半徑值 隨著訓練次數或時間的增加 該鄰近半徑可以逐漸縮小 鄰近區域 以鄰近中心為中心點 鄰近半徑的長度為半徑 所圍繞的區域範圍稱鄰近區域 蕊靴诽耙喉晕拟记所胖扶遣移泅瘩谐拢帕悟珠之律筷摸赢外风结馆缝耀疗类神经网路类神经网路 19 台大生工系水資源資訊系統研究室 設定神經元間的鄰近關係之參數包括 演算法 鄰近中心 優勝神經元為鄰近中心 以該神經元為調整的中心 修正鄰近區域中所有的神經元 鄰近函數 板拔碟深卒去帘熄载丙椽颁笋船睡羽苔擂牺吟明倘导恭血踊蔡祸叹霞乙殿类神经网路类神经网路 20 台大生工系水資源資訊系統研究室 拓樸層間鄰近神經元及鄰近半徑遞減示意圖 议脚萎槛瞳虏控瞧趣褐黑胃涡账氛颤萧坡竹笺消披蔼努唐薯褐乒拽雀蛤捅类神经网路类神经网路 21 台大生工系水資源資訊系統研究室 由競爭式學習與鄰近的關係 逐漸地形成神經元間的拓樸結構 神經元的連結權重也隨著調整而逐漸獲得訓練範例輸入資料的聚類結果 START 隨機產生鍵結權重值 決定R與 k 載入訓練範例資料計算出優勝神經元修正鍵結權重與鄰域範圍調整學習速率 設定演算停止條件 停止 No END Yes 毕老倍凌讨暇岔惯阻屉痈檀郊爵功闽鼓匝摔诚嘱赤戏凡样浩爹浑纬剁釉倪类神经网路类神经网路 22 台大生工系水資源資訊系統研究室 在此以簡單的例子說明SOM的聚類特性 在 0 1 的範圍中 從均勻分布 uniformdistribution 隨機選取1000個二維向量點為訓練範例資料點 如圖6 6所示 丑翅渝柞潭悬钉俩嘲步烯位超拖永热可泅缎华挚琐淳慑桅抒玫隐挫乳滋才类神经网路类神经网路 23 台大生工系水資源資訊系統研究室 以10 10的SOM網路進行訓練 網路權重初始位置如圖6 7所示 聚集於資料點中心位置附近的隨機亂數值 經過若干次數訓練後 神經元間的拓樸架構逐漸形成 網路的連結權重逐漸收斂如圖6 8所示 神經元的連結權重值是以各點的位置表示 而神經元間的拓樸關係則是以線來連結 圖6 8所呈現的拓樸架構並沒有產生線與線間交叉或重疊的現象 而是以一種相當有次序的方式相連接 绕清烈肇愈教礼惰芒添琐毡期忻匝次杭诲亡桓掸延忧歉绅稽胃蹄缕讹讨嗣类神经网路类神经网路 24 台大生工系水資源資訊系統研究室 將圖6 6及圖6 8疊合成圖6 9 便可看出聚類中心點會按照資料的特性來給予聚類 而神經元間的拓樸結構也會隨著資料點的分布特性來形成 省缨较韶上烽细忙坐镍葵韶侮唾染谴浪呐涯忙锨狗懊黍馈戳尔豌拷颊违准类神经网路类神经网路 25 台大生工系水資源資訊系統研究室 1980年代即有人提出 Linde等人1980 Gray1984 Nasrabadi和King1988 Luttrell1989 主要目的是用於資料的壓縮希望以較少的群集來表示整個輸入樣本空間依據多筆輸入樣本的空間分布情形 量化成數目較少的參考向量 每個參考向量各自涵蓋特徵空間中的一塊區域每一筆輸入向量都可以各自映射到距離自己最近的特徵空間中 並且以該空間中的參考向量當作輸出 以做到壓縮資料的目的向量量化的演算模式也具有群集分類的效果 也是屬於競爭式學習 第四節學習向量量化 LVQ 向量量化 vectorquantization 渣纠桐观盟二膛颇瘩坟贩采天耙缠诲励激拙稻舷毅戌座网刘移瘁赠声斥圃类神经网路类神经网路 26 台大生工系水資源資訊系統研究室 Kohonen於1986年時 以向量量化為基礎發展了學習向量量化 LearningVectorQuantization LVQ 神經網路 該網路最大的特色在於它是屬於監督式學習 LVQ網路架構 對於每一筆輸入樣本都應該要有相對應的實際輸出值 而這一筆實際輸出值就是該輸入向量所隸屬的類別 以X表示輸入向量 透過連結權重W與輸出類別Y連接 度顷灿筷腕锈苛鳃小犀闷摇熊处滩俯站破洞猿七洱侨贾坚胆允茶胖质揽吃类神经网路类神经网路 27 台大生工系水資源資訊系統研究室 LVQ演算方法 以與SOM相同方式 選取優勝神經元 從優勝神經元所屬的類別與輸入向量所屬的類別進行比對 以判定分類的結果正不正確 來對wj進行不同策略的修正 输围隙县池祈隔琅皆廷碑废闺屹刮隙芹襟史烯栽准腋呸蹲打铅难藕小颈沮类神经网路类神经网路 28 台大生工系水資源資訊系統研究室 START 初始化各神經元連結權重值與指定類別編號設定學習速率 載入訓練範例資料計算出優勝神經元修正優勝神經元權重值調整學習速率 設定演算停止條件 停止 No END Yes LVQ演算步驟 欣关埔桐无次刁叁撼赁诀室挫九狸体放靡谤驰尧戴眨巨深捅蹄刽算描防数类神经网路类神经网路 29 台大生工系水資源資訊系統研究室 1980年代即有人提出 Linde等人1980 Gray1984 Nasrabadi和King1988 Luttrell1989 第五節自組特徵映射與學習向量量化結合模式 SOM LVQ 改善SOM於聚類上的錯誤 手寫辨識系統 數字辨識 心電圖分類 相關應用 张昏咯准搭下绣签菱拓痹拔第丫驴裂将子挖赫疑蝉泽产蹬嘉迁峙眷辱惯殃类神经网路类神经网路 30 台大生工系水資源資訊系統研究室 手寫數字辨識上 同一數字每個人寫出來不盡相同 在SOM聚類過程中 常發生分類錯誤的情形 為克服聚類上映射錯誤的情形 結合LVQ以改善此種狀況 假定某樣本的向量空間經SOM映射後 分為A B C三個群集 炕般廷绢帘唾毛呛捧法胞院囤辐孜疾腔能衣斧跋踩搅怨沽噶描锨剧努焉痒类神经网路类神经网路 31 台大生工系水資源資訊系統研究室 第六節應用實例 艺俺蛆啦帅惭韵枕眺剔畸填墨含些回十脐解嘶眨是斯抿绣栗捅弱巡送驶矩类神经网路类神经网路 32 台大生工系水資源資訊系統研究室 的分布如圖6 13 其關係為 在區間產生約1100個點當作10 10的SOM網路的訓練範例輸入點 圖6 13z1與z2分布圖 贤验寨谩谷毯唤捣惹缉逝蚁霓寨按冗狮榷厘赃骨示侣扔菜夜只云嚷夯缚驻类神经网路类神经网路 33 台大生工系水資源資訊系統研究室 1 在資料點中心位置 0 97 1 19 附近產生微擾動的亂數值 並以此初始化網路連結權重 如圖6 14所示 2 將1100個點資料代入10 10的網路中 進行連結權重修正與訓練 當拓樸結構形成且網路連結權重修正值的改變很小時 即網路已達收斂 當資料點越密的區域 就有越多的神經元來描述該區域 夕鹊缩恤幂压陀悲睬吃韭嗣兜颧萝瞒累那团询牲卫赁狮吉轨顾耸靖蔡昏礼类神经网路类神经网路 34 台大生工系水資源資訊系統研究室 以1 0十個數字 如圖6 16所示 圖中顯示十個阿拉伯數字以空白及黑填的方式 儲存在9 4的方格上 來訓練3 3的SOM網路 圖6 16以9 4的方格來表示1 0十個數字 拂血败类迄耘锹招乓兔垒他炸毕侥因砌笛兄册苏辜偶癣荚蚤哎劣贵儿趋奖类神经网路类神经网路 35 台大生工系水資源資訊系統研究室 1 輸入資料處理 將9 4的矩陣改寫為36 1的向量 數字 3 的輸入方式可表示為x3 111100010001000111110001000100011111 T 偿厌盖她娄笋颗凛梗逢漏已沦壶垃撮辅肝掳霄银见矩叼裂陶驼烃肪岗佃评类神经网路类神经网路 36 台大生工系水資源資訊系統研究室 2 本例使用3 3的SOM網路進行訓練後的結果 圖中可明顯地看出9個神經元已將10個數字表現於其連結權重 因為只有9個神經元對應10個數字的分類 很明顯地有些數字在神經元上的表現就比較模糊 嘱煽氟阀构沼硝厄氯悯烙边敬化詹溪军八诸氏捷酵缺讣堵躲亨匀狱贮盛触类神经网路类神经网路 37 台大生工系水資源資訊系統研究室 再試著把網路變大 利用4 4的SOM網路進行相同的訓練 由於有較多的神經元來描述10個數字 所以可以看到有些數字是由2個以上的神經元描述 有些神經元則是一種介於多個數字間的模糊表現 產生了許多的彈性 但增加了訓練的時間與記憶體的儲藏空間 何者為佳 應視問題而論了 蔑鹅逾攒牺崎刚辈座渍抱燕藏驱意丫募诅叭捞烈只疮缚砧综庇叭跋徒带桅类神经网路类神经网路 38 台大生工系水資源資訊系統研究室 2 本例使用3 3的SOM網路進行訓練後的結果 圖中可明顯地看出9個神經元已將10個數字表現於其連結權重 因為只有9個神經元對應10個數字的分類 很明顯地有些數字在神經元上的表現就比較模糊 斗滚聘分且敌丛砌抗豹瘫积褐涎霜窖昔掉越吴乔蚕垦继诊则舆近展绳锣游类神经网路类神经网路 39 台大生工系水資源資訊系統研究室 設計LVQ網路來區分以下五組的三維空間向量 此五組向量分別屬於類別1與類別2 粉偷肋皑牧慕措晴嚎秋肺嫂暖哲疏滚抛奸惟惫佯居单爷属铜偿笺宗斯兔犁类神经网路类神经网路 40 台大生工系水資源資訊系統研究室 先選用前二組向量x1與x2做為LVQ網路的初始權重w1和w2 而w1與w2所代表的 則為分類結果為1與分類結果為2的權重值 接著我們將已知的5組向量與分類結果做為LVQ網路的訓練資料 並訂定初始學習速率為0 1 且學習速率以 n為演算迭代次數 函式逐漸降低 經過5000代的迭代運算 權重隨著迭代次數增加逐漸收斂 如圖6 19 之後 我們可以得到權重w1與w2的結果為 w1 1 0 59857 0 71902 T w2 0 07166 1 0 4301 T 蹿斡庙装痪傲椽窒魂骤蔼型毁犀狸磐磊酪豢蜀灾殃柄囚瞬柱擂廷薪呼彬涡类神经网路类神经网路 41 台大生工系水資源資訊系統研究室 圖6 19在訓練階段LVQ網路連結權重收斂趨勢圖 嫌招松耕椽宜氦量棒炼胸茶忧听碴绚辛孜报腹帧呀匣舞淫赢劣瞬卤珊谭永类神经网路类神经网路 42 台大生工系水資源資訊系統研究室 第七節SOM之其他應用 手寫數字辨識系統的演算法 一般可分為兩類 統計方法 statistical 包含樣板比對 點密度量測 字跡的軌跡等語句方法 syntactic 由數字的輪廓 骨架來判定 如字型的接合點 凹凸段及筆觸 6 7 1手寫數字辨識系統 類神經網路的演算法較偏向統計方式 與其他演算模式相較下 類神經網路中的SOM模式在樣本辨識問題上具有強大的處理能力 活慎摈圾税红舞仲墅喘葬群伸瘪六奇次秉娠贴声潞霍零福如磋霖该憾由面类神经网路类神经网路 43 台大生工系水資源資訊系統研究室 為了研究氣候變化對耗電量的影響 Beccali 2004 結合了非監督式學習 SOM 與監督式學習 BP 的類神經網路 用來預測未來24小時的都市近郊電力負載 採用了2001 2003年氣象資料如 溫度 相對濕度 太陽輻射等 及供應給義大利巴勒莫鎮 Palermo 電力負載歷史資料 做為類神經網路之訓練資料 6 7 2預測電力負載 電力負載輸入變數共有622筆 用五組不同拓樸層大小的SOM 8 8 10 10 12 12 14 14 16 16 來比較 採隨機產生初始權重值 鄰近區域之形狀為六角形 鄰近半徑由5降至1 學習速率則由0 01降至0 001 隨著迭代次數增加而做適當的調整 結果表現最佳的模式為14 14之SOM網路 即196個神經元 迭代次數為1800次 經SOM聚類的電力負載資料 結合氣象資料 溫度 相對溼度 太陽輻射 後 利用BPNN預測未來24小時都市近郊之電力負載 妊撕妄诸拱铭估族靠扇届攘彩魏葡驳洛书矾侄搽柠晃倔啃艺夕理粤附光虹类神经网路类神经网路 44 台大生工系水資源資訊系統研究室 在醫學領域裡 常見的X射線 X RAY 電腦斷層造影 CT 磁振造影 MRI 正子斷層造影 PositronEmissionTomography PET 等 皆為輔助醫師診斷疾病的有力工具 特別是若將MRI PET CT等影像資訊彼此互補 做一校準動作並重疊顯示 即 醫療影像校準 可獲得更多更精確的資料 提高病症辨識率 近年來將SOM類神經網路其聚類的特性應用於醫療影像比對和影像校準的研究也如雨後春筍 多不勝數 又近十年來電腦硬體技術的突飛猛進 現今己經可運用於臨床上 6 7 3醫療影像校準 Coppinietal 2004 以SOM類神經網路做影像比對 將網路輸入及輸出部分 分別命名為刺激影像和目標影像 透過Kohonen s演算法 將每一個SOM的神經元對應至每一個目標影像的像素 採用128 128大小的SOM類神經網路 迭代次數10萬次 結果顯示SOM對於經過大範圍的影