颅颜患者手术前後之特徵点比对系统.ppt

顱顏患者手術前後之特徵點比對系統,姓名：馬嘉宏 指導教授：萬書言教授,2,大綱,研究背景 研究動機 研究目的 文獻探討 研究方法 時程表 參考文獻,3,序論,背景 目前大都以其他病患術前術後的影像，讓患者以肉眼來進行比對，且靠想像進行模擬。 由於缺少手術前後的統計數據，因此無法針對個人預估術後的情形。 相同影像放大縮小，對於影像比對而言，仍是重點。(醫生的實際經驗),4,傳統影像比對 像素(pixel)比對 針對整張影像進行比對 缺點 所需的計算量大 效率不高 傳統影像比對標準 歐氏距離 針對點與點之間的距離進行比較 缺點 影像縮放時，所得出的結果會不同。 須先進行影像比例校對的動作。,5,6,為什麼選用特徵點？ 人類在辨識物體時，都是靠特徵點來判斷的。 人與人見面時，所靠的就是特徵點的組合。 許久未見的朋友、家人，即使變胖變瘦，見面時仍能一眼認出。 為何會有似曾相似的感覺。 為何會有大眾臉。 特徵點不變，感覺不變；特徵點改變，感覺改變。 因此選用特徵點是最能表達人類感覺的特性，且所選特徵點越多越能代表物體，則效果越好。,7,人臉常用特徵點,8,動機 對於顱顏有缺陷或欲進行整形的患者而言，進行手術前，如能大概了解手術後的模樣，能增加患者的手術意願與信心。 為了未來能夠預測手術後的情形，統計手術前後的差異是必要的。 訂定適合的比對標準，能夠提高比對的效果。進而提高預測的準確率。,9,使用傳統方式進行比對，對於結果難以量化。因此本論文將發展不受影像比例影響，且量化簡單的方法來進行手術前後的比較。 為了減少人為的影響，在特徵點的擷取部份，採用自動的方式。,10,目的 實做一套利用特徵點來進行影像比對的系統。 本論文針對特徵的相對位置來進行量化，進而能夠提供日後在手術模擬上有力的數據。 主要步驟： 五官定位 特徵自動擷取 特徵點比對。,11,文獻探討,人臉偵測 在人臉偵測部份，有三種方式。 色彩分析(Color Analysis) 在吳瑞珍的論文中提到，由 RGB轉換至其他色彩空間，利用其特性來進行分析。 對轉換後的影像，經由實驗數據的統計之後，確定人臉判斷的閥值，以此將背景與膚色分開。 優點：排除亮度的干擾，可增加判斷的準確率。 缺點：不同人種，必須有不同的判斷標準。,12,類神經網路(Neural Network) 在Raphael Feraud的論文中，提到利用Neural Network來進行人臉的偵測。 Neural Network必須要先經由大量的已知資料，來進行網路的訓練，使得網路的輸出能越接近所需。 優點：即使不同人種亦能夠有良好的效果。 缺點：需有大量的資料進行訓練，若進行訓練的資料不良，則網路效果會打折扣。,13,進化演繹法(Evolutionary Computation) 在吳明衛的論文中，是先將皮膚與邊緣偵測出來後，再運用進化演繹法來進行人臉偵測。 利用橢圓的中心位置、長軸半徑、短軸半徑及旋轉角度作為參數，進行突變(Mutate)與交配(Crossover)來偵測出人臉。 優點：可以判斷不同人種，且不受亮度影響。 缺點：需要大量的資料，進行演化。,14,五官定位 吳瑞珍在論文中提出，利用臉上五官與膚色不一樣，因此將非膚色的部份取出，再經由判斷的規則，即可定位出眼睛位置。 嘴巴定位則是藉由嘴唇相對於周遭膚色而言比較紅，因此採用色彩來定位嘴唇位置。 眉毛與鼻子則是經由與眼睛嘴巴的相對位置來進行定位。 吳明衛提出的方法，則是以統計學的觀點，來進行五官的相對位置的定位。,15,特徵擷取 吳瑞珍論文提出利用已經定位的五官，對局部影像做處理。分別對五官進行不同形式的特徵擷取。 優點：針對五官不同的特性進行擷取，在方法上具有較大的靈活度。 吳明衛所提出的方法，是利用統計學與色度的方式將眼睛的特徵點取出，再根據眼睛的特徵點進行其他五官的特徵擷取。 缺點：由於是依相對關係進行擷取，因此若一個特徵點錯誤，可能會影響到其他特徵點的擷取。,16,研究方法,17,先將二維的影像，由RGB色彩空間，轉換為YCrCb色彩空間。 並利用實驗後的數據，定出膚色可能的範圍，成為判斷的閥值。,18,用型態學的方法，將部份的雜訊去除，接著計算膚色密度，便可定出人臉範圍。 接著進行五官的定位與特徵擷取，使用吳瑞珍、吳明衛論文中所提出的方法。 讓使用者決定是否要增減自動產生的特徵點。,19,讓使用者選取他所感興趣的區域，針對該區域來進行比對。 在比較的標準方面，則是採用特徵點與特徵點間，距離與角度的關係。,20,先將取出的特徵點依序標號，並計算出線與線間的角度，與五官之間的距離。 因角度不會隨著影像的放大縮小而有所改變，因此選用角度作為比較的標準，不會受到影像大小的影響。,21,22,比較五官之間的距離，則是因為人的五官比例，並不會有明顯的改變。若比例相差過大，則有可能是動過重大手術，或根本是不同的人。 將兩張影像所得出的結果進行比較，若比較結果相差一定程度以內，則忽略不記，否則就將相差程度輸出。,23,三維影像，則是利用網格模型來進行比較。 先由使用者輸入特徵點，計算特徵點的範圍內，網格數量的多寡，數量越多則曲度越大。 比較兩張影像，相對特徵點間的曲度，相差程度則以顏色表示。,24,時程表,25,參考資料,1 吳瑞珍 ”人臉特徵自動抽取之演算法設計與應用,” 元智大學電機工程研究所碩士論文,2002年6月。 2 吳明衛 ”Automatic Facial Expression Analysis System,” 成功大學電機工程研究所碩士論文,2003年6月。 3 鐘仁厚 ”基於模糊邏輯之臉部表情辨識,” 中央大學電機工程研究所碩士論文,2008年7月。 4 Raphael Feraud “A Fast and Accurate Face Detector Based on