（信号与信息处理专业论文）基于sift算法的atm视频人脸识别系统研究.pdf

基于s i f t 算法的k f m 视频人脸识别系统研究 i i i i i ；皇宣叠i i i i i i i ；i i i i i i i i 宣葺宣i i 罱i i i i i i i 宣i 宣皇i i i i i i i i i i i i 宣i i i 葺i i i i i i i i i 薯i i i i i i i i ；i i 摘要 近几年来，模式识别技术在计算机技术充分发展的作用下得到了广泛的应用。其中 人脸识别技术作为模式识别的关键技术已经应用在方方面面。人脸识别技术多指人身份 确认等信息，人脸图像获取最佳途径就是通过视频监控获取以及通过身份证照片获取。 a t m 取款机的应用也越来越广，与此同时一些不法分子利用a t m 取款机犯罪的频率也 越来越高，具体表现在非法取钱、非法盗取他人银行卡密码等行为。如何有效的对人们 取款过程进行监控，有效的对取款人进行保护，这一问题成为当代研究的热点问题。 由于a t m 取款机的视频提取结构特征比较明显，它是由一系列图像的以取款顺序 的条列组合而成的。视频条目在结构时间序列上较为固定，通常取款人单个出现，取款 时每帧图像内容变化不大，运动较小，且取款人到a t m 取款机前插入银行卡往往就是 一个人取款的开始，从银行卡中取卡就是取款结束。本文视频人脸识别过程共分为以下过 程： 首先将获取到的视频统一格式压缩，把压缩后的视频分解成单帧图像，去除背景图 像帧，将剩余的每帧图像按时间先后顺序排列储存。然后对图像组中的每帧图像进行预 处理，储存为待处理图像组。 然后将处理过的图像组中每帧图像按照基于肤色的算法利用预先训练出的肤色阈 值进行人脸检测，然后去除图像：少部分连同区域，最后将检测后的图像进行膨胀以便扩大 肤色区域，储存为待处理图像组，将其中的图像二值化处理，水平累加投影，大致绘制 出直方图曲线，按此曲线将所有视频图像分为正脸图像类、左侧脸图像类和右侧脸图像 类；经过大量视频训练，a t m 】玟款视频一般时间长度为2 0 秒左右，按照最低a v i 压缩 格式1 5 帧秒压缩，大概有3 0 0 帧图像左右，选择1 0 帧正脸关键帧方能代表此视频。计 算正脸图像类中检测出肤色区域与整幅图像的比值，求出所有图像的比例值均值，按照 比值顺序将每类中的图像序列重新排列，取出前五帧图像作为前五帧关键帧，然后将以 五帧图像为一组进行分组( 不够五帧的最后一组按噪声图像处理) ，分别计算每组中图像 序列号与比值的方差和比例值均值，如果每组图像的比例值均值大于所有图像的比例值 均值则保留此组图像，然后将两个方差相加，求出最小的一组作为另外五帧关键帧。如 果正脸匹配识别不满足要求，则对于左、右侧脸图像类各选取投影直方图曲线峰值最明 显的五帧图像作为辅助关键帧待识别匹配。 哈尔滨工程大学硕士学位论文 i i ；i ；i ；i ；i i 眷i ；i i i 高i ；i ；宣；高；i ；i ；i ；i i i i ；i i ；i i ；i i ；i i ；i i i 最后运用s i f t 局部特征匹配算法将提取的1 0 帧正脸关键帧与人脸库图像进彳亏- 特征 匹配存储匹配结果，然后利用r a n s a c 算法将匹配后的图像做去除误匹配处理。 关键词：人脸识别；关键帧提取；s i f t 算法；r a n s a c 算法 基于s i f l l 算法的a t m 视频人脸识别系统研究 a b s t r a c t i nr e c e n ty e a r s ，p a t t e mr e c o g n i t i o nt e c h n i q u e sa r ew i d e l yu s e di nc o n d i t i o no ff u l l d e v e l o p m e n to fc o m p u t e rt e c h n o l o g y a st h em a i nt e c h n i q u eo fp a t t e mr e c o g n i t i o nt e c h n i q u e s ， f a c er e c o g n i t i o nt e c h n o l o g yi s a l r e a d yu s e di nm a n ya s p e c t so fl i f e f a c er e c o g n i t i o n t e c h n o l o g yu s u a l l yr e f e r st oi d e n f it yv e r i f i c a t i o na n ds o m eo t h e ri n f o r m a t i o n ，f a c ei m a g e sa r e m o s t l yg o tt h r o u g hv i d e os u r v e i l l a n c ea n di d e n t i t yc a r dp h o t o si nd a i l yl i f e a u t o m a t i ct e l l e r m a c h i n e sa r eu s e dm o r ea n dm o r e w i d e ，a tt h es a m et i m e ，t h ef r e q u e n c yo fc r i m e so nl a w l e s s a u t o m a t i ct e l l e rm a c h i n e sb yp e r s o na r ei n c r e a s i n g l yh i g h ，s u c ha si l l e g a lw i t h d r a w a l sa n d i l l e g a ls t e a lb a n kc a r dp a s s w o r d h o wt oe f f e c t i v em o n i t o rt h ew i t h d r a wp r o c e s sa n dp r o t e c t t h er e m i t t e e ，h a sb e c o m eah o ti s s u ei nc o n t e m p o r a r yr e s e a r c h s i n c et h es t r u c t u r a lc h a r a c t e r i s t i c sf r o mv i d e oo fa u t o m a t i ct e l l e rm a c h i n e sa r eo b v i o u s i ti sm a d eu po fs e r i e so r d e r so fw i t h d r a wm o n e y v i d e oe n t r yo ns t r u c t u r a lt i m es e r i e si s r e l a t i v e l yf i x e d ，r e m i t t e e sn o r m a l l yi n d i v i d u a la p p e a r , t h ec o n t e n t so fe a c hf r a m ei m a g e c h a n g el i t t l e ，a n da r es m a l lm o t i o n s ，m o r e o v e r , ar e m i t t e et oa t mm a c h i n e si s o f t e nt h e b e g i n n i n go faw i t h d r a w a l i nt h i sp a p e r , t h ef a c er e c o g n i t i o np r o c e s si sd i v i d e di n t ot h e f o l l o w i n gp r o c e s s e s ： f i r s t l y , c o m p r e s s i n gt h ev i d e oa c c e s s e di nu n i f o r mf o r m a t ，d e c o m p o s i n gt h ec o m p r e s s e d v i d e oi n t oas i n g l ei m a g e ，r e m i a v i n gt h eb a c k g r o u n di m a g ef l a m e ，s t o r i n ge a c ho ft h e r e m a i n i n gf r a m e sc h r o n o l o g i c a l l yi n t h e np r e p r o c e s s i n ge a c hf r a m ei m a g ei ng r o u pa n d s t o r i n ga sp e n d i n gg r o u p ； a f t e r w a r d s ，f a c ed e t e c t i n ge a c hf l a m ei m a g ei np r o c e s s e dg r o u pb n 】i na c c o r d a n c ew i t h t h eu s eo fp r e - t r a i n e dc o l o rt h r e s h o l db a s e do ns k i nc o l o ra l g o r i t h m ，t h e ne x p a n d i n gt h e d e t e c t e di m a g ei no r d e rt ob r o a d e nt h ec o l o ra r e a ，s t o r i n ga sp e n d i n gg r o u p ，t r e a t i n gt h e i m a g e i nw i t h b i n a r yp r o c e s s i n ga n d l e v e la c c u m u l a t i o n p r o j e c t i o n ，a p p r o x i m a t e l yp l o t t i n g h i s t o g r a mc u r v e ，a l lt h ev i d e oi m a g ea r ed i v i d e di n t op o s i t i v ef a c ei m a g ec l a s s ，l e f tp r o f i l e c l a s sa n dr i g h tp r o f i l ec l a s s ；a f t e rl a r g e sn u m b e ro fv i d e ot r a i n i n g ，a t mv i d e oi sg e n e r a l l y3 5 s e c o n d s ，i na c c o r d a n c ew i t ht h em i n i m u ma v ic o m p r e s s i o nf o r m a to f15f r a m e s | s e c c o m p r e s s e d ，t h e r ea r ea l m o s t50 0f l a m e s ，s e l e c t i n g 10f l a m e so fp o s i t i v ef a c ei m a g ec a n r e p r e s e n tt h ev i d e o c a l c u l a t i n gt h er a t i oo fd e t e c t e ds k i nc o l o ra r e ai np o s i t i v ef a c ei m a g e s 哈尔浜二l 程大学硕士学位论文 ；i i ；i i ；i ；i i ；i i i ；i i 笛i i ；i ；i ；宣i i i i i i i i ；i i i ；i i ；i i ；i i ；i i i ；i i ；i ； a n dt h ew h o l ei m 。a g e s ，r e o r d e r i n gt h es e q u e n c eo fi m a g e si ne a c hc l a s sa c c o r d i n gt ot h er a t i o ， p i c k i n gu pf i r s tf i v ef r a m e sa sk e yf r a m e s ，t h e nt a k ef i v ef r a m ei m a g e sa so n eg r o u p ( t hel a s t g r o u pl e s st h a nf i v ef r a m e si sc o n s i d e r e dt ob en o i s e ) ，s e p a r a t e l y c o u n t i n gt h es q u a r e d e v i a t i o no fi m a g es e q u e n c en u m b e ra n d r a t i o ，a d d i n gu pt w os q u a r ed e v i a t i o n s ，c a ku l a t e m i n i m u mg r o u pa sa n o t h e rf i v e k e yf r a m e s p i c k i n gt h em o s to b v i o u sp e a kv a l u eo f p r o je c t i o nh i s t o g r a mo fr i g h ta n dl e f t p r o f i l e s a ss e c o n d a r yk e yf r a m et ob ei d e n t i f i e d m a t c h i n g f i n a l l y , m a t c h i n gt h e10p o s i t i v ef a c ek e yf r a m e ss e l e c t e du p o nl o c a lf e a t u r em a t i ：h i n g a l g o r i t h ma n df a c ed a t a b a s ea n ds t o r i n gt h er e s u l t ，t h e nu s i n gr a n s a ca l g o r i t h mr e m o v i n g t h ee r r o r ：m a t c h e di m a g e s k e yw o r i d s ：f a c er e c o g n i t i o n ；k e yf r a m ee x t r a c t i o n ；s i f ta l g o r i t h m ；r a n s a ca l g o r i ：h m 第1 章绪论 i i i i i i i i i i 宣i i i i i i i i i 昌i i i i i i i i i i i 置i 宣i i i i i i ；宣宣萱嗣i i ；宣；i i ；暑置i i ；i ； 第1 章绪论 1 1 人脸识别研究背景及意义 在达尔文的著作人与动物的情绪表达中涉及到了有关人脸情感表达的概念，其 中指出人类经常通过脸部表情、器官之间的协作来表达情感，同时也指出人脸是识别身 份的重要载体。计算机通信技术的充分发展对人类社会产生了巨大而且深远的影响，在 这个时期人脸识别技术得到充分发展并应用在社会的各个领域( 比如视频监控、身份验 证等) 。在这些应用情况中，均对系统提出了应具有较高实时性和很好的抗噪性的要求。 人脸检测技术与目标识别技术作为人脸识别的基础，越来越受到研究者的重视，与此同 时高性能的计算机的发展为这项技术起到了推波助澜的作用，许多种人脸识别技术应运 而生。伴随着计算机技术的发展，人脸识别技术已经不是单纯的从某一幅图片中提取人 脸，而是在一段视频中提取信息来推断是否存在人脸，进而识别人脸。当今研究中，有 效处理监控视频的算法成为模式识别方向研究的重点。 随着银行业客户终端a t m 机的不断推广使用，其安全防范工作就变得越来越显重 要，同时难度也越大。视频监控手段越来越受到广泛的关注，但是绝大多数监控手段都 存在不同程度的缺点，主要表现在：( 1 ) 存取的大量视频信息没有能够得到及时的处理； ( 2 ) 摄像机放置位置没有一个统一的标准，使得图像不便于处理。因为a t m 取款机视 频人脸特征信息丰富，所以选用人脸识别方法作为监控方法。 常用的人脸识别方法有以下四种。 1 ) 基于知识的人脸识别方法，这种方法分别有以下几人对其进行了改进，并且取 得了很好的效果。 ( 1 ) 有学者在1 9 9 4 年根据面部器官之间不同的几何关系、颜色亮度等信息提出了 一种由上而下的规则化的面部检测技术。在这之后，有学者将镶嵌图方法进行了改进， 将人脸对称的划分为类似九宫格的区域，在检测过程中自适应的调整每个区域的大小， 在每个区域内利用灰度等信息检测该范围内是否存在人脸。 ( 2 ) 根据人脸器官之间的结构特征，姜军等学者在总结前人算法的前提下提出了 一种改进算法。这种算法将颜色信息、梯度信息、二值化图像关系等规则综合使用，用 来增强算法的鲁棒性【1 1 。 ( 3 ) p i t a s 等学者归纳总结出了一种方法。这种方法将人脸图像二值化后投影到水 哈尔滨工程大学硕士学位论文 ；i ；i i ；i i 宣i i i i i ；i i i i i i ；i i ；i i ；毒i i ；暑宣；i i ；i i i j 宣i ；i i ；苦；i ；i i ；i i ；i ；i ；i ；i ； 平轴线上，在一个二维坐标系内绘制出一条投影直方图的曲线，检测存在曲线中两个突 变点，这两个点分别、对应着人脸左右两边，类似的将图像垂直投影，可以得到人脸的 上下两边。由此可以得出人脸的大致轮廓。 2 ，) 基于特征的人脸识别方法，分别有以下几人提出了针对特征算法的改进方法， 有些方法取得了很好的效果； ( 1 ) 假如获取到的人脸图像中人脸与背景区分并不是十分明显的情况下，s i i o h e y 在总结前人算法的基础上提出了一种适用这种情况的算法。这种算法通过拟合出人脸边 界来检测人脸，经试验表明如果背景中存在着边界与人脸大致相同的类椭圆边界时，这 种算法往往会发生错误【2 | 。 ( 2 ) l e t m g 等人总结出一种几何特征的方法，该方法利用人脸面部各个器官之间 的特征进行人脸特征表征。 ( 3 ) y o w 总结前人算法提出了一种可以检测不同表情、不同姿态的检测人脸拘方 法。这种方法将：俭测到的图像经过数学算法处理过的滤波器，求出局部响应的极值点， 然后利用1 这些极值点来描述人脸大概的位置，然后将四周敏感的边缘点链接起来构或人 脸大致的边缘曲线【3 j 。 3 ) 基于模板匹配的人脸识别方法，分别有以下几人提出了针对模板匹配算法的玫进 方法，其中有些方法取得了较好的效果； ( 1 、ls a k a i 等学者利用面部各个器官之间的几何特征建立模型，能根据这个模型识 别出图片中的正脸图像。这种方法将输入人脸库图像进行训练，分别提取正脸图像、不 同角度的侧脸图像的轮廓，分别运用s o b e l 边缘检测算法、c a n n y 边缘检测算法进：，亍边 缘检测，提取出轮廓线，利用这个轮廓线与样本图像进行匹配，进而进行识别。在：确定 了人脸面部轮廓：艺后，利用相同的方法分别确定人脸各个器官之间的几何关系以及各自 的位置。 ( 2 ) 有学者将人脸检测过程划分为两个阶段，利用边缘特征来定义人脸的四周曲 线，但是这种人脸图像必须是无遮挡的和正脸图像。 ( 3 ) 在模板匹配方法中最经典的方法就是有c o o t e s 等学者通过改进前人算法i 是出 的两种主动模型。，这两种模型分别是通过模板表征人脸形状特征的模型( 主动形状模型) 和通过模板表征人脸外貌特征的模型( 主动表观模型) 。当今学者提出多种基于模板的 匹配方法都是在这两个模型基础上加以改进并深入研究而提出来的 4 1 。 4 ) 由于基于统计模型的方法识别准确，因为这类方法是经过大量训练集训练而得， 在训练集合中几乎包括了所有可能遇到的情况，子空间算法、神经网络算法、支持向量 第1 章绪论 机算法隐马尔可夫算法是常用的统计模型算法。子空间算法又由主成分分析算法与线性 判别分析算法构成。虽然这类算法识别准确、精确度高，但是在总结方法时需要大量训 练集训练并且算法计算时间长，这两个缺点制约了这一算法的发展。当代学者研究最多 的算法就是主成分分析算法，分别有以下几人对此算法进行了改进： ( 1 ) 首先由t u r k 等学者提了特征脸算法和m o g h a d d a m 等学者提出的检测人脸算 法都是经典的p c a 算法。其中m o g h d d a m 改进了传统的p c a 算法，该算法的优点是统 一考虑的人脸与非人脸图像的样本分布，明显的提高了检测的准确性1 5 】。 ( 2 ) 在线性判别分析方法中f l d 算法是最具有代表性的算法，这种算法将检测到 的样本图像分为2 5 个类，样本图像中存在大量的人脸图像与少部分的背景图像，然后 由计算出2 5 个类的每个类内离散度与相互之间的离散度，最后根据两个离散度的比例 值求出投影矩阵，进而检测出人脸j 。 ( 3 ) v n v a p n i k 提出了一种全新的训练模型理论支持向量机( s v m ) 。支持向 量机的计算原理简单来说就是升维和线性化。升维就是把样本向高维空间映射，但升维 的后果导致计算复杂，可以通过一个线性超平面实现线性划分来解决这个问题。 1 2 人脸识别研究内容与难点问题 人脸识别作为当今社会应用最为广泛、研究最多的一种生物识别技术相对于其他生 物识别技术具有很多明显的优点。相比指纹识别，人脸识别采用非接触的方法采集，不 会给人造成不适的感觉。没有侵犯性，很容易被接受；人脸识别不需要使用者配合，各 种监控摄像头均能采集到人脸，具有隐蔽性强的特点；人脸识别追踪能力强，选用合适 的硬件配合检测时可以达到实时效果的 j 标跟踪；人脸识别方法的硬件实现设备简单， 价格便宜便于广泛应用。采集虹膜、指纹时均需要专业的设备，这相比于人脸图像通过 普通摄像头就能方便的采集大大提高了检测成本，不具备广泛的应用条件。 虽然人脸检测系统的研究已经取得了长足的进步，但是距离期望的识别效果还有较 大距离，目前人脸识别存在以下几个问题待解决： ( 1 ) 背景中可能存在不同程度的噪声：这种噪声可能是相近人脸，也可能是对人 脸不同程度的干扰； ( 2 ) 同一张人脸的差异性：人脸不但随着人的喜怒哀乐的表情变化而变化，而且 受发型、眼睛和胡须的影响很大。同样的同一个人在不同场合由于拍摄角度、光线的不 同很可能导致检测出不同的结果【7 1 。 哈尔滨二 程大学硕士学位论文 此外人脸识别这一技术的发展应是以数学、物理等多门基础学科共同发展为前提来 发展的。未来只：有在提高算法仿真的真确性和运用更高性能的硬件的前提下才能进一步 提高人脸识别的质量和缩短匹配时间进而达到实时性的目的。 1 3 人脸检测问题的评价标准 人脸识别系统的性能标准主要有识别率、漏检率、误识别率以及识别时间等。 ( 1 ) 识别率也成为正确率( h i tr a t e ) 。识别率是指按照训练集训练得到的方法在 测试集中正确检测到的人脸数目除以测试集中包含的总人脸数，即： 识别率= 嚣畿枷。 ( 1 - ， ( 2 ) 漏检率( m i s sr a t e ) 。也就是检测出在背景图像的部分中实际存在少量人脸图 像的图像总数除以总人脸图像数，即： 漏检率= 豢鬻1 0 。 m 2 ) ( 3 ：) 误识别率( f a l s e a l a r mr a t e ) 。将背景或噪声图像错认为是人脸图像的总和除 以总人脸数，即： 误识别率= 纛淼1 0 。 ，】- 3 ) ( 4 ：) 识别时间的定义为在单位时间内检测出人脸的数目。如何尽可能的缩短识别 时间，在实际应用中保证识别正确的前提下达到实时性的目的是今后研究的重点。 ( 5 ) 鲁棒性( r o b u s t ) 是指标准人脸检测系统具有的一种抗噪声抗干扰对各种不确 定性干扰的一种免疫力，鲁棒性应该对系统中所有成员都成立。 总体看来在上述性能指标当中识别率和鲁棒性是制约值系统的主要性能指标，如何 提高识别率增强系统的鲁棒性是今后研究的重点。 1 4 本论文的内容安排 本文首先讨论了a t m 视频人脸识别研究的目的意义以及人脸识别主要的四种方法 并简要探讨了四种方法的发展过程以及四种算法各自的特点。通过1 0 0 个视频训练集训 4 第1 章绪论 i i i 墨i i i i i i i i 宣i i i i i i 高i i i i i i i 置葺；i i i i i i i 篁i i i i i i i i i 置i i i i i 意i 叠i i i i i i i i ；昌；i i i i 葶i ；j i ； 练方法，5 0 个视频测试集测试结果。通过算法仿真发现正确率达到8 5 3 ；4 个视频检 测错误，错误率为2 7 ；共有1 2 个视频漏检，漏检率为1 2 。下图1 1 给出本文算法 流程。 图1 1 算法流程 本文各章节内容安排如下： 第一章绪论。主要对选题的目的意义做了介绍，讨论了人脸识别的各种方法及每 种方法的发展过程；然后说明了人脸识别系统的几个性能指标，对系统评价指标进行了 哈尔滨工程大学硕士学位论文 i i 苦；i i ；i i ；i i i i i 葺i i i ；i i i i i i 葺i i i ；i i i i i i ；i i ；i i i ；i 宣；i i ；i i ；i i ；暑i ；i i ；i i ；i ； 明确。 第二：章基于肤色的人脸检测研究。首先对常用的几种彩色空间模型做了介绍，并 对几种彩色空间相互转换做了表述；然后介绍了常用的几种基于肤色算法的人脸检测模 型，并运用大量的训练集，训练出检测算法的参数；最后针对本文肤色算法，做了样本 实验取得了较好的效果。 第三章关键帧提取技术。首先介绍的几种常用的视频关键帧提取技术，并说明了 几种关键帧提取技术的优点以及不足；然后介绍了本文大量视频训练所得的关键帧提取 算法；最后根据本文算法选取视频提取出关键帧作为样本。 第四章匹配识别算法分析。详细介绍了本文所用的匹配算法s i f t 算法，选取 第三章提取关键帧与人脸库图像进行匹配识别；然后介绍了r a n s a c 算法，本运用此 算法对所匹配得到的人脸图像进行误匹配处理。针对本文所提及的算法，选取一个视频 做了人脸识别。最后总结了本文所做的工作。 第2 ：章基于肤色的人脸检测研究 i i i i i i i i i i i i i i i i i i i i i i i i i i i 看i 置i 宣i i i i i i i i i i i i i i i i i i i 宣置i i i i i i i i i i i 宣i i i i 置i i ；i i i 昌； 第2 章基于肤色的人脸检测研究 2 1 图像彩色空间 2 1 1 彩色空间概述 一般来说，大量不同色彩的集合被称作彩色空间，也可以被称作色彩空间或色彩模 式，我们经常通过建立彩色空间来确定一个彩色标准。 灰度图像、二值图像、h s v 值图像、r g b 值通向、n t s c 值图像等统称为数字图 像。二值图像是一个分为2 级灰度图像，其中白色取值1 ，黑色取值0 ；灰度图像按照 灰度等级分为1 6 、6 4 、2 5 6 等灰度格式坤l 。 2 1 2r g b 彩色空间 r g b 彩色空剐9 j 是应用最为广泛的彩色空间之一，显示器、打印机、c c d 摄像头等 设备在进行图像处理的时候，其彩色空间基本均是由r g b 空间转换而来。r g b 彩色空 间将红色、绿色、蓝色作为原色，通过3 维直角坐标系对原色进行组合，形成复合色。 根据r g b 彩色空间的特性，我们选用以立方体为图像单位来表示r g b 彩色空间。 如图2 1 中r g b 彩色空间图像单位中的主对角线上，红、绿、蓝三种初始颜色的强度 相等，过渡地产生从暗至明的白色。图中八个点中( 2 5 5 ，2 5 5 ，2 5 5 ) 为白色，( o ，0 ，o ) 为黑 色，其它六个角点分别相应的标出了红、黄、蓝、青、品红和绿色【l 。 g t - i 馏n y e l l o w 2 5 5 ，2 5 5 。聃j b l u e ，7 * i l ) ，0 ，2 5 5jn - l a g n o t a ：2 5 5 ，02 5 5 转 图2 1r g b 彩色立方体和彩色立方体示意图 根据三基色原理，由基色光单位来度量光，则在r g b 彩色空间中可以用r 、g 、b 哈尔滨工程大学硕士学位论文 i i 高i i i ；赢i i i ；i i i ；i i i i ；i i i ；i i i ；i i i i ；i i 宣；i i ；i ；i i ；i i ；i i i ；i i ；i i i ；i i i ；i i i 葺i 宣；i i i 三色分量混加表示任意颜色的光f ： f = f i r + g g + b b ( 2 1 ) 其中可以用立方体坐标系中的一个点来代表f ，其坐标值随着r g b 三基色的系数变化 而变化。由于以红色、绿色、蓝色为三种基色表示r g b 彩色空间，可以很清楚的看出 它的物理意义很明显，这使得其适用于很多彩色投影仪显像管的工作。但r g b 彩色空 间并不适用于所有彩色特点，所以一下几种彩色空间被提了出来。 2 1 3h s i 彩色空间 在人们日常生活中有些学者发现通过你用色饱和度( s a t u r a t i o n ) 、强度( i n t e n s i t y ) 和色调( ：h u e ) 来描述一种彩色空间正好符合人的视觉系统，这种彩色空间就是我们经 常用到的h i s 彩色空间。通常情况下，像素的亮度由颜色类别、深浅程度、强度值来决 定，像素的色度由饱和度和色调来决定。 ：为了不失一般性，假设的彩色是红色假设0 ”的彩色是红色，1 2 0 。的是绿色，2 4 0 。的 是蓝色。色调从0 。到2 4 0 。覆盖了所有的可见光谱彩色，2 4 0 。到3 0 0 。之间是肉眼可以观 察到的光谱色【1 l j 。 举例来说明饱和度的概念：假设红色对应的色度为0 ，饱和度为1 。把白色与红色 相混合，红色所占的比例将明显减小，减少了红色的饱和度，但是红色的亮度不变。红 色和白色相混合生成的粉红色饱和度的值为0 5 。随着白色的增加，红色将进一步被稀 释，饱和度进一步降低，最后接近0 ( 白色) 。相反的，如果将红色与黑色相混合，它的 亮度就会降低，饱和度和色度不变。如图2 2 可表示h i s 颜色空间： c y 图2 2h i s 彩色空间模型 第2 章基于肤色的人脸检测研究 如图2 2 是一种描述h i s 彩色空间的模型，相对于其他模型来说，这种模型较为复 杂，但是它能够明确的展现色调，亮度以及饱和度的变化情况j 。在这个模型当中： 第一，色度与饱和度，色度与亮度的关系由线条来表示。 第二，圆锥上的纵轴表示亮度，其中轴线代表亮度值，通过明暗变化，轴线上的点 代表着各种不饱和的颜色。这些点分为不同的灰度等级，其中最暗的点事黑色，相反最 亮的点为白色 第三，在色调相同的情况下，圆锥的纵切面表示了不同饱和度与亮度的关系。 相对于颜色，人的视觉系统对亮度的变化反映更加强烈，因此为了更好的对颜色进 行处理和识别，通常情况下采用h s i 彩色空间来模拟人的视觉系统。在h s i 空间中不但 可以进行大量的计算机视觉和图像处理的算法，而且三种分量之间的关系又是相互独立 的关系。 r g b 彩色空间与h i s 彩色空间的转换关系如下公式所示 1 1 】： 式中， 或者， ，：r + g + b 3 h=l-i-90-arctan(去33)360 + 。，g l 叫半 f ：2 r - g - b g b f0 h = _ 1 3 6 0 0 矿b g f b g b ；1 8 0 ，g b ) ( 2 2 ) 慨o s - 1 - 卷辫褊i ( 月一g ) 2 + ( r b ) ( g b ) 2 j 气 s = 1 一斋鬲 m ( r ，g ，b ) f 尺+ g + b 1 。 、。” ，：垦g 皇 3 ( 2 3 ) ( 2 - 4 ) ( 2 - 5 ) ( 2 - 6 ) ( 2 7 ) 一 哈尔滨工程大学硕士学位论文 ；i ；i i i ；i i i i i i i i ；i i ；i i ；宣；i i i i i i ；i i ；i i 葺i i ；i ；i ；宣宣；i i ；i 式中，r g b 中的红色、绿色、蓝色简称为r 、g 、b ；h i s 中的色度、色饱和度和亮度 简称为h 、s 、i 。 h i s 空间转换r g b 空间的公式如下： ( 1 ) 当0 。i t 1 2 0 。时有： 尺= 三 1 + 一s c o s 。( h 圳) , ”1 4 3c o s ( 6 0= 去( 1 ，g _ 拈m b 。 ”日厂、3 、” 。一 ( ，2 ) 当1 2 0 。日 2 4 0 。时有： g=：量1+鬻=去”乳b=45s,3c o s ( 1 8 0 小g 。 o 日) ”、3 、” ( 2 - 8 ) ( 2 9 ) ( 3 ) 当2 4 0 。日 3 6 0 。时有： b：二每1+蕊scos(h-240。)j_，g：弓(1一s)，r：45sgb(：!-101) 3 。c o s ( 3 0 0 。一日) ”3 、 ” 一 一7 2 1 4 j v 彩色空间 另一种应用在欧洲电视系统上的彩色空间是y u v 彩色空间，这种彩色空间属于p a l ( p h a s ea l t e r n a t i o nl i n e ) 系统，最大的优点是有效的将色度与亮度各自独立的表示。 颜色的亮度由y 来表示，u 和v 一般代表色差，s 也被称作色调。色调的两个分量是相 互正交的矢量 1 2 】。如图2 3 所示y u v 彩色空间： 坌t ( 1 0 3 。) 一 l 絮( 6 1 。) 套 ， ， 昔( 1 6 7 心 l ；、厂 蓝( 3 4 7 。) ( 2 8 3 。) 绿( 2 4 1 。、夕 s 图2 3y u v 彩色空间 由上面提到的色调信号中可以很明显的看出它是一个二维矢量信号，相位角和：漠值 分别表示了色度信号矢量所对应颜色的色调、饱和度。 第2 章基于肤色的人脸检测研究 i i i ；i i i i i i 暑i ；i i i i i i i i i i i i 罩赢宣葺薯宣；篁置i i 置i i i i i i i i i i i i i 高宣葺誊；i 互i i i i ；i i i i ；置置置j 暑i i i i ； 2 1 5y c r c b 彩色空间 y c r c b 彩色空间的应用i 司样也非常广泛，j p e g 图片中所米用的图像空间就是y c r c b 彩色空间。该彩色空间常常被用于摄像机、数字电视、d v d 等产品的彩色编码方案。 y c r c b 是将y u v 改进而得到的。其中y 代表亮度，c r c b 中的c b 和c r 分别代表蓝色 分量和红色分量。y c r c b 彩色空间与r g b 彩色空间的转换关系如下公式所示【1 2 ： r ：11三。2。一yg 1 - 03 4 4 1 4 - 07 1 4 1 4c b 1 2 8 。2 1 1 ， l = 1 | |一“) l b j1 1 1 7 7 2 0 00 j i c r 一1 2 8 j 】， c b c r 1 2 2 肤色检测技术 0 2 2 9 0 一o 1 6 8 7 0 5 0 0 0 0 0 5 8 7 0 - 0 3 3 1 3 - 0 4 1 8 7 0 0 1 1 4 00 0 5 0 0 01 2 8 - 0 0 8 1 31 2 8 01 r g b 1 ( 2 - 1 2 ) 人脸检测的目的是在给定的图像中获取人脸的位置、姿态和大小的过程。人脸检测 系统输入视频分解成单帧图像中，有的图像包含人脸，输出的是图像中人脸的位置、数 目以及尺度等信息的描述。人脸检测即为从复杂的背景中提取和证明人脸存在的区域， 以及眼睛、眉毛、嘴唇等检测中可能使用到的人脸部分特征。 许多科研领域，例如人脸识别和人脸合成等工作均以人脸检测为基础。人脸检测是 一项极具挑战性的工作，主要由于以下几点因素： 第一，人脸的结构不一，人脸上的纹理比较复杂；第二，成像背景较为复杂；第三， 不同的光线( 阴影等遮挡效果) 对于人脸特征的提取影响较大。 影响人脸检测的外在条件非常多，如何通过有效的方法来利用人脸的共同特征为人 脸建模，是人脸检测的重点和难点。现阶段人脸检测的方法分为基于知识建模的方法与 基于统计知识建模的方法。 在a t m 视频当中由于录取的是彩色视频，分解出的图像是彩色图像，彩色图像中 最清楚的特征为肤色，在彩色信息人脸检测方法中，人脸检测和目标跟踪的主要参数是 肤色，肤色有对微笑形变和缩放不敏感等鲁棒性优点。因此基于肤色的人脸检测算法得 到了广泛的应用。t e r r i l 1 3 】对不同的彩色空间和肤色模型进行了评估，z a r i t 1 4 1 对不同彩 色空间采用了肤色分割。一般这种方法先在背景中提取人脸区域，再使用几何特征对人 哈尔滨工程大! 学硕士学位论文 ；i ；i i ；i i i ；i i i ；i i i i ；i i i ；i i i ；i i ；i ii i ；i i i ；i i ；i i ；i 置i ；i i ；i i ；i 宣i i ；i i i ；宣 脸进行检测。 在基于a t m 视频的录制过程中，因为录制的是彩色视频，取款过程中人脸特征信 息丰富且明显，所以通过肤色来进行人脸检测。 通过在背景图像中截取对应人脸肤色的像素来实现基于肤色的检测。由于图像采集 设备更新换代速度不断提高，近几年来基于肤色检测算法被提及的越来越多，很多国内 外学：耆都将基于肤色的检测算法作为人脸检测的主流算法【1 5 。 肤色特征在人脸检测中是- o o 宏观特征，这种特征不需要大量的视频作为训练，无 论是一幅图像还是一个视频只需要对于固定人种的人拟定相应的肤色就能够进行人脸 检测。 由于肤色只占据颜色空间中很小的一部分频带，因此可以根据特定的颜色信息来判 断肤色是否存在。首先根据对变通量和区域的分析，能够对肤色像素点进行归类，寻找 可能存在人脸的区域。 虽然基于颜色的检测系统不受表情、姿态变化的影响，能够通过不同的视角检测人 脸，但是由于人感知到的颜色和打到视网膜光线的频率不一样以及不同种类的摄像设备 所拍摄的图像有一定的彩色偏差等因素，可能会导致成像的图像中像素具备不同的颜色 值【】6 i 。基于以上原因，必须对得到的颜色等信息进行进一步的校准。 通过以上分析可知，不同的检测方法可能会导致检测结果有所差异，因此，想要通 过具有高鲁棒性的模型来精确检测人脸在空间中的多维分布是一个非常艰巨的任务【1 7 j 。 所以，如何根据实际情况来采取相应的检测手段，降低检测的复杂度同时满足检测的需 求，是需要重点考虑的问题。 2 3 基：于：肤色的人脸检测技术 通常情况下，需要对检测的图像进行预处理，预处理的主要工作为灰度归一化和几 何归一化。灰度归一化是指通过克服光线强度的变化所产生的影响从而提高识别率。几 何归一化是将待检测图像中的人脸的调整到同样的大d , 幂t l 位置。 人脸图像可分为灰度图像和彩色图像。其中灰度图像只包含亮度指标，通过对亮度 值的量化，将黑色到白色分别用0 到2 5 5 来替代，共包含2 5 6 个连续的等级。彩色羽像 由红、绿、蓝三原色组成，不同的颜色是由不同含量的红、蓝、绿三种颜色组成的。 一般来说，可先对彩色图像进行灰度化处理，过程如下图2 4 所示： 第2 章基于肤色的人脸检测研究 像素点颜色放量 得到红绿蓝三色 读取图像数据 斗 一- +得到灰度图像 重新赋值 分量 图2 4 灰反化流程 下面简单介绍下常用灰度图像预处理的算法： ( 1 ) 图像平滑 图像平滑的目的是消除噪声。除了遮挡，失真等情况，在进行图像处理的时候经常 会存在一些比较特殊的噪声。加性噪声、量化噪声和乘性噪声是经常遇到的噪声。其中 乘性噪声对信号的影响最为明显，如果处理不当，极有可能导致图像细节的缺失。因此 如何在保证图像细节完整的情况下去除更多的噪声就成为了图像平滑的主要任务【1 7 。 在进行图像平滑处理时，根据不同情况选择不同的模板对图像进行平滑，随机地选 取一个像素点，将此像素点与模板中心相重合，对模板覆盖的其它像素点做加权处理， 然后求得平局值。这样来实现平滑过程。 在数字图像处理方法中经常用模板对图形进行处理。采用图像平滑模板滤除噪声的 主要思想就是运用平均算法的思想对以一点为中心的周围几个运算点相加求平均来弱 化噪声，随之而来的噪声被均摊到周围的点上，使得图像有些模糊模板的阶数n 越大， 平滑的效果越好，但是伴随的计算量也就越大，因图像