医学课件以細胞學及影像處理技術 分析乳房腫瘤

以細胞學及影像處理技術 分析乳房腫瘤 國立嘉義大學 資訊工程研究所 指導教授：柯建全 博士 研究生：林俊志 大綱 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望 2 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望 3 導論 研究動機 研究目的 文獻探討 4 根據行政院衛生署之統計，乳癌高居台灣女性癌症死亡原因第四 名，對女性生命造成相當大的威脅，因此乳癌之早期診斷與適當 治療具有相當大之重要性。 當女性進行自我檢測發現乳房硬塊時，應趕緊就醫，以醫師專業 之醫療知識進行理學檢查，若必要時則需安排更進一步之檢查。 5 乳癌之檢查方式 乳房超音波 乳房 X光攝影 粗針抽吸切片檢查 細針抽吸細胞學檢查 6 研究動機 目前國內乳癌細胞病理診斷，皆由病理科醫師使用肉眼直接透過 顯微鏡觀察切片影像 。 但若只以人工的方式持續地對大量影像進行判讀工作，需要耗費 相當多的人力與時間。 且可能因為疲勞或因不同觀察者之主觀意見等因素而造成判讀結 果不一，甚至導致誤判。 7 研究目的 本研究的主要目的在於利用數位影像處理技術，以細 胞病理學為基礎，建立一套電腦自動化輔助診斷系統 。 可協助醫師在臨床診斷時，能夠以電腦自動化方式分 辨出有問題之乳房切片影像，以利病理科醫師針對這 些有問題之影像進行進一步檢驗。 8 文獻探討 新加坡 Nanyang科技大學的 Hao Zhou,K.Z.Mao 膀胱刺瘤細胞影像 以臨界值法分割出細胞核部分 利用形態學適應性連續侵蝕方法找出每個細胞核的 marker 以分水嶺運算取出完整細胞核並同時分離重疊細胞核 以細胞核之分割成功作為系統效能評估之標準 所分割取出之細胞核之中殘留不屬於細胞核之細胞質部 分。 9 文獻探討 Iowa大學 Kyoung-Mi Lee與 W. Nick Street 利用非監督式學習方式或使用者描繪方法建立細胞核輪 廓的特徵樣板 利用 Hough Transform與半自動找尋輪廓之 Snake技術切 割出細針切片上之細胞核 利用已建立之 template資料庫分析判斷各細胞核究竟為 良性或惡性 但此論文僅以面積作為判斷時的參數，其準確可有再 提高的空間。 10 文獻探討 中原大學蘇振隆教授所指導 針對子宮頸抹片常細胞進行半自動化辨識 利用直方圖等化技術增強抹片影像之對比性 利用 Active Contour Model取出細胞核之輪廓 最後針對所取出之輪廓點進行特徵參數擷取，根據所設 定之標準將細胞分類。 11 文獻探討 國外學者對於乳癌影像研究方面，大多專注在細 胞學的相關研究較多，以類神經網路、色彩分析 、形態學運算或分水嶺演算等各種方式將細胞核 部分從影像中萃取出來 。 利用橢圓形模組或是主動式輪廓模型逼近出細胞 核輪廓，與肉眼判讀之結果或與事先建立樣板資 料庫進行比對，再對系統效能進行評估。 12 文獻探討 國內乳房腫瘤影像之研究，目前仍以乳房超音波影像 以及 X光影像的分析辨識研究較多，而以影像處理技術 應用於癌症診斷之系統，則以子宮頸抹片診斷與分析 系統居多 。 相對地以影像處理技術應用在乳房細胞學診斷方面的 研究則相當少。 13 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望 14 乳房組織細胞病理及 相關影像處理技術 乳癌的臨床表徵 腫塊 乳頭下陷 皮膚變化 乳頭常分泌物 腋下淋巴結腫大 乳房上有數週無法癒合之傷口 15 常見之乳房惡性腫瘤 乳腺腺癌 癌細胞呈典型的腺體樣排列。細胞呈錐形，核位於細胞一側，呈扭 曲、折疊、凹陷等畸形改變，呈粗顆粒狀，分佈不均；核仁多而形 態不規則，胞質豐富，略嗜鹼性，胞質及核內可見多量瀰散的小空 泡。 乳腺單純癌 由管內癌發展而來，為抹片上最常見乳腺癌：癌細胞巨大， 多為裸核；核仁多且巨大，畸形大多染成深藍色，細胞大小 、形態染色均不一致。 16 常見之乳房惡性腫瘤 乳腺髓樣癌 此型細胞成分極豐富與單純癌一起稱為實體癌，癌細胞一般 中等大小，圓形、細胞質中等量。核染色質緻密，網狀。核 仁中等大而顯著，可二個以上。胞質內空泡罕見，含較多粗 細不等的紫紅顆粒。癌細胞團內、外有較多淋巴細胞，與機 體對腫瘤的免疫作用有關，為本癌的特點。 乳腺粘液腺癌（膠樣癌） 癌細胞成群或成團，胞體較大，胞質內可見大小不等的粘液 空泡，將胞核擠壓到細胞邊緣形成癌細胞。細胞團外可見片 狀藍染無結構的粘液樣物質。 17 麥瑪通 (MAMMOTOME)切片取樣技術 優點 讓醫師不用經過動手術的方式，就能取得足量的乳 房組織進行確定診斷或切除。 準確性比傳統粗針活體檢查高三倍。 平均每例實際手術時間約在十分鐘左右，而且病人 在局部麻醉之下不會感到疼痛，且能迅速完成，術 後傷口不需縫合。 18 麥瑪通 (MAMMOTOME)切片取樣技術 在實體 X光或超音波的引導下將探針經皮穿刺至乳房內 。 對好位置後，真空系統就將組織吸入至探針前端之取樣凹 槽內。 旋轉式切割刀在電腦精準控制下會往前推進，抓、切取組 織標本。 經由探針將已取得樣本運送到組織收集匣。 醫師旋轉探針，重覆相同步驟，直到所有要取樣的部位皆 已取樣完成。 最後退出探針，在活體檢查部位加壓即完成取樣。 19 乳房切片製作步驟 1、 取樣固定 2、洗滌與脫水 3、透明化 4、浸蠟 5、封臘 6、切片 7、溶解切片上之蠟 8、染色 9、封蓋 20 影像處理技術 主動式輪廓模型 （ Active Contour Model） 在 1987年， Kass提出主動式輪廓模型 (Active Contour Model)，即所謂的 Snake 。其方法將影像本身所含的資訊加入能量最 佳化計算，以判斷所得到之輪廓偵測的結果 是否收斂至最佳輪廓。 21 主動式輪廓模型 V1 V2V3 V4 Vn Vn-1 Vn-2 同一搜尋線上之 三個候選點 22 主動式輪廓模型 設定外部力量的主要目的是要吸引影像中符合要求的特徵 點或者輪廓點。此外部能量式子包含影像的梯 G和影像 強 I的特徵資訊。 內部力量公式，可反應輪廓的連續性與平滑性，內部力量 的計算採用了控制點的一階與二階導數 。 23 支援向量機 (Support Vector Machine) 支援向量機是以統計學習理論為基礎發展出來的一種新一 代學習演算法，為近年來相當熱門的一項分類技術。 支援向量機將訓練資料映射到一個高維的空間裡，將所有 不同類的訓練資料 Xi加上標籤： +1或是 -1，用以 表示資料點屬於哪個分類， Xi則代表一個可包含許多特徵 的 N維向量。 24 系統效能評估方式 正常細胞核 異常細胞核 系統判斷為 正常細胞核 TN FN 系統判斷為 異常細胞核 FP TP TP (True Positive，真陽性 )：實際為病變細胞，系統判 為病變細胞，判斷正確。 TN (True Negative，真陰性 )：實際為正常細胞，系統 判為正常細胞，判斷正確。 FP (False Positive，偽陽性 )：實際為正常細胞，系統判 為病變細胞，判斷錯誤。 FN (False Negative，偽陰性 )：實際為病變細胞，系統 判為正常細胞，判斷錯誤。 25 系統效能評估方式 準確性 ：表示在所有可疑病灶範圍中，系 統對於正常細胞與常細胞判斷正確的比。 敏感 ：表示常細胞由系統判斷為常細胞的比。 有效性： 表示正常細胞由系統判斷為正常細胞的比。 在醫學診斷上，對敏感 (Sensitivity)的要求最高，因敏感反 映常之細胞核被系統診斷出來之比，若在乳房細胞影像中存 在常之細胞核，必須被偵測出來，不可遺漏造成判斷錯誤。 26 ROC曲線 ROC曲線（ Receiver Operating Characteristic Curve） 及 ROC曲線下面積，是近年來常被用於評估醫學臨床診斷方 法準確性的一項指標。 27 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望 28 研究架構與方法 29 影像前處理 灰階轉換 對比強化 30 灰階轉換 我們利用下列灰階轉換公式將如左下圖之原始彩色影像轉 換為 YIQ色彩空間中的 Y component灰階影像，得到一如右 下圖之灰階影像 31 對比強化 Sigmoid Function A原始影像陣列原始影像灰階最小值 B 強化後影像 G2 增益值： 1-10 臨界值： 0-1 =6 =0.65 32 Otsu演算法 Otsu分割演算法的目的在於找尋一最佳的臨界值 T，以 T為臨界值可將影像灰階值分為兩個群集，使得同一群 集內的灰階變數和為最小，不同群集間的灰階變 數為最大。 假設轉換後的影像灰階值為， L為灰階範圍， N為像素總數 ，透過選擇臨界值 T後，可將區塊中的像素分為兩個群集和 ，表示灰階值範圍介於 1T的像素群 (細胞核部分 )，表示灰 階值範圍介於 T+1L的像素群 (背景 )。 33 Otsu演算法 假設任一灰階值為 i， i=0L發生機率值可表示為： 上式中 代表區塊中，灰階值為 i的像素個數， N為全部像 素的個數，藉由上式機值我們可利用下列公式計算出 和 兩個像素群的個別灰階平均值 和 ，變數 和 ，以及兩像素群所佔的比 和 ，且對於任何影像區塊 皆會存在 的關係。 34 Otsu演算法 35 Otsu演算法 一旦計算出上列各數值後，接著就可計算出群集內的變 數 (Within-class Variance) ，群集間的變數 (Between -class Variance) ，其公式表示如下： 36 一旦對細胞抹片影像執行臨界值分群後，即可取得一臨界值 T，透 過此臨界值即可將分群後的兩群資料以二值化儲存，藉由臨界值 分割能分離出抹片影像的前景與背景兩群，而分群之公式定義如 下： If G(x,y) T D(x,y)=0 Otherwise D(x,y)=255 37 去除間質細胞 、紅血球 與人工雜點 去除紅血球：分析 R成份直方圖 去除間質細胞 ： 分析色調直方圖 ，亦可用於去除紅血球 去除人工雜點：去除面積小於 50像素點之物件 紅血球 細胞核 紅血球 細胞核 紅血球 細胞核 38 原始彩色影像 影像中殘留紅血球 與人工雜點 去除殘留紅血球與人工雜點之結果 39 分離重疊細胞核 在進行組織切片後，玻片上之組織將會具有立體厚，造 成細胞核所在位置並非位於單一平面，玻片上可能同時存 在數個平面的組織結構，因而會產生細胞核重疊之問題。 此外在利用 Otsu演算法區分前景與背景時，有可能因為相 鄰細胞核與細胞核之間距離過於接近而連結在一起。 40 本研究擬藉由計算重疊細胞核之重心、在與連心線垂直方向建立 搜尋範圍，找尋接近於細胞核重疊交界處之最佳分割點，再連接 此兩分割點，即可將重疊之細胞核分離。 本研究設定面積大於 1.5倍平均細胞核面積者為重疊細胞核之 值 設為 1.5。 41 欲分離之重疊細胞核 第一次形態學侵蝕運算，連通元件數目 = 1 第二次形態學侵蝕運算，連通元件數目 = 1 作第三次形態學侵蝕運算，連通元件數目 = 1 42 第四次形態學侵蝕運算，連通元件數目 =2，已分離 求出兩顆細胞核個別之重心 43 找出候選分割點 分割點會位於與左右鄰點曲變化較大之處，對於曲 的計算，我們採用 K-Curvature計算各輪廓點的曲，其 計算公式為 ai (xi-xi+K , yi-yi+K) bi (xi-xi-K , yi-yi-K) ci cos and -1 ci 1 44 一旦量測所有輪廓點之曲後，接著計算某輪廓 點與相鄰前一點曲變化值 cur_diffpre、與相鄰 後一點曲變化值 cur_diffnext 若上述兩數值為一正一負，代表此輪廓點位於 輪廓線凹陷之處，列為可能之分割點。 cur_diffpre cur_diffnext 45 在重疊細胞核之輪廓線中，可能會找到許多候選分割點，但是根 據我們的觀察，重疊細胞核在連心線兩側處會有兩個最大曲變 化的點 P1， P2。 我們在連心線上種植與連心線垂直之搜尋範圍，在搜尋線範圍內 搜尋是否可找到最佳分割點 P1， P2，使得 P1， P2與相鄰點曲變 化最大 ， 且 曲變化值大於某個臨界值。 將 P1與 P2連線，即可將此二重疊細胞核分離 。 46 O1( ) O2( ) 重疊之細胞核 畫出連心線 Candidate points 在搜尋範圍內找出可能之分割候選點 Best segmented Point P2 找出最佳分割點 Best segmented Point P1 連接最佳分割點， 分離重疊細胞核 47 下圖為實際影像之重疊細胞核分割步驟圖，藉由配合曲 找尋分割點之方式，將找出之兩分割點連線，即可分離細 胞核 。 求出最佳分割點 連接分割點，分離重疊細胞核的結果 48 取得初始輪廓 接著我們採用形態學邊界取出 (Boundary Extraction)運算 ，藉此偵測出細胞核之初始輪廓，取得細胞核之初始輪廓 影像 ，其公式如下 。 49 逼近最佳輪廓 若任一原始輪廓 Ci中，總共有 M個輪廓點，我們以 5點為間 隔，將初始輪廓依取樣大小切割取樣為 j (j= )個控制 點 vi,j， ， 。 在控制點 所在輪廓線位置之垂直方向上種植搜尋線 (Search Line)，取搜尋線上之 及 內外側各取兩點 共五點為邊界候選點 (Boundary Candidate)Pi,j,k， ，其中 Pi,j,0 = 。 50 計算此五個邊界候選點所在位置對應之灰階影像之梯 G(Pi,j,k)與強 I(Pi,j,k)大小以求出外部能量 Eext 計算邊界候選點 Pi,j,k的一階導數與二階導數求出內部能量 Eint，其公式可表示如下： Eext( ) = I(Pi,j,k) + G(Pi,j,k) Eint( ) = (Pi,j,k) + (Pi,j,k)” 51 事實上，若以傳統之主動式輪廓模型對細胞影像偵測最佳 輪廓，會因為間質細胞或癌化細胞核內部之亮不均勻等 因素，影響最佳輪廓之偵測 。 因此本研究加入輪廓影像特徵、輪廓位置等特徵參數，採 用一改良的輪廓偵測模型，將原本的輪廓能量函數公式 重新改寫為公式 加入關連性的能量函數 ，以反應更精確的偵測結果 。 52 關連性輪廓偵測 1.輪廓影像特徵的相關性 2.輪廓位置特徵的相關性 53 以上之步驟應用於實際影像之結果如下圖所示 原始彩色影像 所取得之細胞核初始輪廓 54 將初始輪廓對應至原影像之灰階影像 種植搜尋線 55 所取得之最佳輪廓影像 56 特徵參數量測 我們與病理科醫師分析討論的結果，初步決定計算各細胞 核之曲、面積、緊密、對比等具有臨床指標意義之 特徵參數，作為判別細胞發生病變與否的判斷標準。 將上述特徵參數算出之後，導入 SVM進行分類動作，並以分 類結果為依據，計算準確、敏感、特等數值以評 估系統之效能。 為了增加判讀的正確性，本研究將位於影像邊緣之不完整 細胞核暫不列入分析。 57 細胞核之面積 病變之細胞核的面積會因為常增生而明顯增大。 本研究與醫師討論後，決定出一正常細胞核面積範圍之經驗 值作為臨界值 ， 80 Areai 180若影像中細胞核之面積未介 於正常範圍內，即將其歸類為有問題之細胞核 病變之細胞核以紅色表示之，而判別為正常之細胞核則以黑 色表示，若有面積小於正常面積範圍之細胞核，代表為壞死 之細胞，以綠色表示之，但亦歸類為正常之細胞核。 58 輪廓點之曲 我們採用 K-Curvature計算各輪廓點的曲 。 若某一輪廓點與相鄰兩輪廓點之曲差大於 TC ，代表此輪廓點可能 位於輪廓過突起處或凹陷處，則可判斷此細胞核之形狀較不規則 。 本研究所設定之經驗臨界值 TC值為 0.4 59 細胞核之緊密 緊密適合評估物體形狀之變化 實合判斷細胞核之形狀是否接近圓形或鬆散 當細胞核趨近圓形時，緊密數值會被最小化，反之隨著細胞核輪 廓之不規則，其值會隨之增加 。 緊密之公式為周長 2/面積。 60 細胞核之對比 癌化細胞可以內部亮之兩種情況來判別其為病變之細胞 第一細胞核內部會因為染色體即將分裂而造成內部亮不均，呈現亮暗程 有很大差之情況 第二，根據細胞病理與取樣結果，若細胞核内部亮偏暗且很均勻，亦為病 變之細胞 我們設定一經驗灰階變數範圍 100 Variancei 300，若灰階變數位於經 驗範圍之外，即判別為病變之細胞核 61 辨識結果 經過與病理科醫師之討論，只要細胞核在上述各項特徵檢驗過程中 ，任何一項特徵被標記為常，便可將該細胞核歸類為有問題之細 胞核。 62 支援向量機 當系統取出所有 n個細胞核之特徵參數之後，每個細胞核 Ni， ，會 獲得一組相對應之特徵參數數據： Curvi、 Areai、 Compi、 Variai 我們將以上特徵參數分別正規化之後，可以得到一組正規化後的值： N_Curvi， N_Areai， N_Compi， N_Variai，正規化之公式如下 ： 63 支援向量機 在算出每顆細胞核 Ni所對應之正規化數據之後，我們 將 N_Curvi、 N_Areai、 N_Compi、 N_Variai設為細胞核 Ni所對應之四維的特徵向量 Xi (N_Curvi， N_Areai， N_Compi， N_Variai)，將 Xi導入在 SVM中用於處理分類 問題的函 式 ： 然後我們利用台大資工林智仁教授所提供之 SVM程式進 行細胞核的分類工