人脸追踪法应用於监控.ppt

人臉追蹤法應用於監控系統之研究 授課教授 蘇仲鵬教授主講者 李姿慧學號 9212218國立雲林科技大學電機系 Outline 數位影像處理數位影像之取樣與量化數位影像處理演算法人臉偵測與追蹤影像中人臉特徵之判別靜態與動態影像的人臉偵測與追蹤臉部追蹤影像的前置處理搜索區域的設定橢圓形頭部追蹤系統硬體結論 人臉追蹤法之應用 用臉部表情或方向來作為控制機械動作 人機介面 臉部表情偵測 用臉部表情來表達情緒的細緻動作 如卡通動畫的製作 人物在動靜間的表現 人臉辨識 用在保全系統方面 就是將人臉影像和資料庫做比對 以辮別出對方身份 視訊電話 將影像前後景的分離與壓縮 使其在網路上傳輸能有率且不失真 讓說話者的影像能夠清楚呈現在對方眼前 利用電腦對影像作計算 經過處理後的影像能夠提供所需的資訊 以便能利用這些資訊來處理問題 對影像灰階作轉換 增強其中有用資訊 使影像品質提高 以便肉眼之觀察與理解 或使電腦做進一步處理 影像灰階轉換 影像分析 影像壓縮 萃取 分析影像中有助於目標工作的資訊 其可使電腦對影像作進一步之分析 例如 灰階特徵 邊界特徵 顏色特徵 形狀特徵之表示與描述 數位影像處理 數位影像之取樣與量化 利用電腦針對取樣與量化後的數位影像陣列資料作各種運算及處理 最佳的影像前處理就是擷取不需後續處理的好影像 但有時因拍攝技術或環境不佳的關係 使得取出的影像品質不能盡如人意 因此必須借助影像前處理來補償 影像前級處理 影像中級處理 影像後級處理 基本數位影像處理演算法 顏色分割最直接方法就是將影像的長條圖 colorhistogram 裡做多重閥值 colorthreshold 依據顏色分佈做選擇性的過濾 將所需顏色從影像中分離出 如此就能將目標做顏色判別 影像中人臉特徵之判別 顏色分割 一 正規化RGB NormalizedRGB HSL Hue Saturation Luminance RGB HSL 優點 分離影像中顏色和亮度缺點 電腦中轉換較耗時 不適即時的訴求 影像中人臉特徵之判別 顏色分割 二 YCbCr YIQ Y Luminance 亮度元素Cb Blueness 彩度元素Cr Redness 彩度元素 對亮度分離性高 方便和彩度方開操作 顏色分割的目的就是把臉部從背景中分離出 影像中人臉特徵之判別 移動物體偵測 形狀分析 連續影像相減法 最佳的影像前處理就是擷取不需後續處理的好影像 但有時因拍攝技術或環境不佳的關係 使得取出的影像品質不能盡如人意 因此必須借助影像前處理來補償 樣板比對法Template basedmatching 以特徵為準的方法Feature basedmethod 靜態影像人臉偵測 人工智慧判別 運用顏色作判斷 紅外線偵測 運用多種綜合方式 相較於靜態影像 動態影像就多了物體移動的資訊 所以在判定人臉位置時 一開始都是先以動態影像所判斷出來的位置作依據 之後再以連續的影像用不同的追蹤方法追蹤人臉 由於臉部追蹤是建立在連續的影像上 因此演算法必須快速 因為在即時的環境中 臉部追蹤演算法的速度會直接影響影像的連續性及位置的正確性 利用連續影像的優點 而減少搜尋空間 把前面影像的結果作為後面影像不同調的情形 而產生錯誤 所以 若動態影像能夠搭配靜態影像偵測人臉的方式 就能夠減低錯誤率的發生 動態影像人臉偵測 a 背景的濾除背景對於人臉追蹤而言就是雜訊 所以必須要作影像的前置處理 盡量把背景去掉 對於攝影機靜止不動時 較好的方式就是將兩張連續影像相減 把沒有在移動的背景去除 但對於移動式攝影機就不能使用這個方法 因為背景和主體對攝影機來說都在移動 無法分辨出靜止的背景和移動的物體 b 人臉的大小人臉在影像中的大小 會因位置及方向的不同而有大小的變化 追蹤系統必須在人臉變化有一定大小範圍內才能夠追蹤 應用樣板比對方式所作的技術 可能就會因為臉部與樣板的大小不同而無法正確的追蹤 c 亮度變化由於周圍環境的亮度不同 會使得影像當中的顏色深淺產生變化 這種情形會直接影響到樣板比對的準確性 所以亮度參數的部分就必須要考慮到人臉追蹤的模型裡 動態影像人臉追蹤 在人臉追蹤系統中 適應性對實際情況運作時很重要 適應性就是指系統在不同的環境之下 如目標 環境的變化 不會受其影響 還可以正常操作 所以在設計時 以下的因素就必須要考慮到 系統流程圖 經由CCD擷取影像 影像前置處理 膚色分析縮小搜尋區域 橢圓形頭部追蹤 判斷頭部中心位置是否改變 是否超出CCD擷取範圍 平面控制電路 平台轉動 回到初始位置 系統前處理流程圖 膚色分析 將影像二值化 將人臉處理成一個遮罩 消除影像中雜點 找出膚色區域 輸入影像 結果 膚色分析取閥值所得二值化影像 二值影像後續處理 Dilation Erosion Open Close 結果 二值影像後續處理 Dilation Erosion 二值影像後續處理 結果 二值影像後續處理 搜索區域的設定 橢圓形頭部追蹤 搜索區域的設定 橢圓形頭部追蹤 系統硬體 攝影機 影像擷取卡 個人電腦 平台控制器 旋轉平台 1 橢圓形追蹤法是依據建立好的橢圓樣本和人臉做比對 目的是使判斷時間縮短 降低即時追蹤的特點 但也限制了受測者所在的位置 也就是人臉相對於攝影機必須要有固定的大小 才不會因為比對樣板與人臉大小的不同而比對失敗 2 影像追蹤系統採用單一攝影機的方式 所以僅能追蹤單