具自动分类机制之

天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,1,具自動分類機制之 人臉辨識網路相簿,Department of Computer Science and Information Engineering , Southem Taiwan University of Technology , M97G0102 姚芳德,1,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,2,Outline,目的 人臉辨識 分類技術 網路相簿 執行步驟 結論,2,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,3,目的,01,目前台灣的網路相簿都是以單純的註解標示或是標籤機制來作相簿管理，網路相簿與網路社群都是以”人”為主角，因此若能結合人臉辨識與人像辨識的功能必能提高網路相簿之便利性，以及增加該服務的應用性。所以本計畫提出以機率類神經網路(probabilistic neural network, PNN) 結合貝氏定理(bayes theorem)的方法，將相簿中已註釋的臉進行訓練。若是有新的臉出現，就會結合貝氏定理與機率類神經網路以其所產生的結果做為該臉部人名的推薦。,3,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,4,人臉辨識,近，已有許多關於人臉偵測的技術研究被發表，其中使用的方法約可分為下列幾種,Template matching approach Neural network approach Knowledge-based approach Color-based approach,02,4,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,5,Template matching approach,Template matching approach 將臉部特徵設定為一個或多個template，用標準模型描述人臉或是部份的人臉特徵，再以Searching window 的方式偵測。而此模型的依據研究者所使用的演算法而同。最後偵測結果的判定大多使用輸入影像與樣板間的相關值（correlations）決定影像中是否含有人臉部位的存在。此方法的優點是方法簡單容實作，缺點是考慮到臉部的方向、旋轉、大小等條件時，運算的時間複雜將大幅的增加。,5,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,6,Neural network approach,人臉是一個複雜的圖片影像，在拍攝人物時，往往會在人物後方有背景影像存在，Neural network 的方法則是先分割輸入影像為個subimages 的影像，再將這些subimages 影像標準化後輸入Neural network 的架構做訓，讓Neural network 自動分辨哪一區域為人臉哪一區域為背景，藉此達到人臉偵測的目的。這樣的方式對於正面且旋轉的人臉偵測有著極佳的效果，但考慮人臉的傾斜與旋轉時，效果就是那麼好。,6,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,7,Knowledge-based approach,Knowledge-based approach 又稱為rule-based approach，將人們用判斷該物件是否為人臉的直覺想法寫成程式判斷式。主要原則為描述人臉上的特徵之幾何關係當作判斷依據，如眼睛、嘴巴彼此間的相對位置，可能呈現三角關係。這一的方法通常需要將影像經過前處以求得人臉上的相關特徵後才能作驗證動作。此外，如何明確有效的將人們對於人臉的認知轉換成相對的法則是一個問題。如果測試的條件太過嚴謹，可能因為某幾條法則測試失敗而無法對人臉區域做出正確的判斷。,7,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,8,Color-based approach,Color-based approach 是近幾廣泛被應用的方法。此方法的基礎是人膚色在色彩空間中會群聚於一定的範圍區域中。 Color-based approach 臉部偵測法對膚色做統計並且建一個膚色分佈的model，藉由對輸入影像像素對像素（pixel by pixel）與膚色model 的比對結果將可得到膚色的區域，Color-based approach 優點是處速快，且偵測的結果受人臉姿勢變化的影響，缺點是當背景出現與膚色相近的景物，可能會產生誤判的結果。,8,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,9,分類技術,非監督式(non-supervised)-由資料中統計分佈直接尋找最佳的閥值K-Means監督式(supervised) 求取閥值前需要經人工提供基本資料或經過訓練後再依這些資料演算以找出閥值貝氏分類法類神經網路,03,9,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,10,k-mean在概念與實作上相當的簡單，且在處理大量資料時相當有擴充性 (scalable) 且有效率，但是卻也存在一些缺點無法處理類別性資料維度 容易受雜訊與偏移值影響其群集中心 起始群集中心選擇上的影響 群集數量決定上的困難,非監督式 K-mean,監督式 貝氏定理,貝式定理是機率論中的一個結果，它跟隨機變數的條件機率以及邊緣機率分佈有關。在有些關於機率的解說中，貝氏定理(貝葉斯更新）能夠告知我們如何利用新證據修改已有的看法。僅適用於類別變數。 僅能應用於分類問題(預測類別變數) 假設變數間為獨立互不影響，因此使用時頇要謹慎分析變數間的相依性,10,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,11,類神經網路的原理為模擬人腦的思考方式，依人腦中每個神經元與神經元間的突觸所傳遞的訊息強弱，刺激下一個神經元使其產生不同大小的訊號向外輸出。在實作應用上，類神經網路經過簡化成為一單向多連結的架構，通常分為輸入層、隱藏層與輸出層三部分，各層以節點與連接線連結，每一連接線分別記錄了權重，而節點本身則記錄偏移植。亦即一個信號若從連接線的一端輸入，其輸出給另一端的數值為輸入值乘上權重，而在接受此信號的節點反應則為，其所接受到的輸入值為所有對此節點之連接線的傳入值總和加上此節點本身所記錄的偏移值，而其輸出值為輸入值經過轉換函式的運算結果,監督式-類神經網路分類法 (neural network classification),11,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,12,改良- 機率神經網路架構,改良機率神經網路 (Modified Probabilistic Neural Network, MPNN) 機率神經網路的輸出方式是採取勝者全拿的競爭式輸出方式， 其輸出結果會是所有學習類別中的一類，所以， 機率神經網路較適合處理分類的問題。 而改良式機率神經網路的輸出方式則不同於機率神經網路競爭化的輸出方式。 改良式機率神經網路在輸出層利用重心法取代了原本的勝者全拿的輸出。 採用了此種方法， 使得改良實機率神經網路能夠有效地應用在函數逼近的問題上。,缺點 所需記憶體與訓練範例數成正比網路回想所需時間與訓練範例數成正比只能做分類問題,優點 演算法中僅有一個參數: 平滑參數變更平滑參數, 網路不需要重新學習增刪訓練範例, 網路不需要重新學習網路可估計各分類的相對機率網路學習過程極快速可用有限電腦資源解決大的分類問題,12,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,13,介紹目前國內外具有 人臉偵測機制之網路相簿TeraSnaps Riya Hiants,04,網路相簿,13,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,14,國內外的相關應用,14,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,15,15,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,16,HiAnts,16,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,17,現狀分析,因為在相簿中大部份會儲存以人為主的相片，所以將人臉框出並且加上標註就能快速分辨出相片中所有的人，加快人與人之間認識的速度。此外，在有需要找尋某個人或是某兩個人(以上)的合照時也能非常迅速的找出來。但是使用者對於一直做著重複的動作會產生惰性，不可能每次新增相片的時候都會註釋每張相片，更何況若是新增大量的相片，不僅註釋起來費時而且會讓使用者感覺缺乏實用性。,17,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,18,進行步驟,05,目前我們已分別從各個實驗中驗證，上面簡報所述之方法皆有 其可行性，唯希望建置一個整合所有方法之完整實驗之方案此計畫預計利用一年，分三個階段進行，三個階段如下,人像相簿之建置 人臉辨識機制之實作與測試 人像自動分類推薦機制實作,18,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,19,Schideual,伺服器環境建置,第一個階段主要先開發一個能提供使用者上傳與編輯標籤(TAG)功能的網路相簿，此實驗平台建置穩定後，後續的功能方能在此平台上作擴展與實驗，此三個月為整個計畫的前期平台建置。,1 月,2 月,3月,相簿環境建置,相簿測試,穩定性測試,4月,19,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,20,Schedule,演算法開法與程式,第二個階段便開始導入人像辨識之應用於網路相簿上，主要分為演算法開發與實際撰寫程式、驗證演算法、與網路相簿整合、整合後之網路相簿整體測試,驗證演算法,整合進相簿,人像辨識網路 相簿測試,5 月,6 月,7月,8月,20,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,21,Schedule,演算法開法與程式,第三個階段為導入分類技術到網路相簿內，首先須要先實驗演算法並且先實作在單機平台上，接下來驗證演算法，確定演算法的可行性，再整合進網路相簿。,驗證演算法,整合進相簿,自動分類網路 相簿測試,9月,10 月,11月,12月,21,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,22,Schedule,格網環境建置,第四個階段希望能整合格網技術，運用分散式運算來降低主機負載,10月,11 月,12月,演算法改寫,格網相簿整合,整體效能測試,22,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,23,預計完成之工作項目與成果,第一階段開發可實際使用之網路相簿實現一穩定的網路社群實驗平台 第二階段開發一可行性高的人臉偵測方法並且能整合在網路上之相簿發表偵測技術之論文與實驗結果 第三階段提供一種分類演算法可於網路相簿上作分類推薦機制開發之相關技術可轉移業界使用開發完之系統與環境可供後續研究使用,23,天下事有难易乎,为之,则难者亦易矣;不为,则易者亦难,24,結論與貢獻,目前台灣網路相簿與網路社群相當盛行，但其相關的應用與服務仍停留在技