（电路与系统专业论文）人脸检测和定位方法研究.pdf

国防科学技术人学研究生院学位论文 摘要 f 人脸识别技术是模式识别领域的一个i j 沿课题 有着十分广泛的应用前景 因而越来越成为当前模式识别和人 钳能的一个研究热点 人脸检测是人脸识 别技术中的最基本的i j i 期工作 人脸检测效粜直接决定了计算机人脸识别的能 j j l 本文酋先对计算机人脸自动识别技术的研究背景以及发展历程做了简单的 回顾 然后针对人脸检测的几个步骤分别进行了研究 在图像的预处理上 通 过改进的s o b e l 算r 力 法对边缘进ij 了检测 m 点提出了快速的滤除边缘图像 中非重要边缘线和干扰线的 滤除算法 在算法的核心内容上 本文利用了形状 特性来获取人脸的整体信息 提出了一个基于梯度信息的椭圆形模板 从而能 有效的应用于含有人脸倾斜等情况的复杂背景图像中 通过分析人脸的局部灰 度特性来获取人脸的局部信息 同时对人脸进行精确的定位 先是利用对原图 的垂直灰度投影曲线确定人脸的左j i 边界 并分离出此区域的高低灰度图 以 便分图定位人脸的脸部特征 接着利 i j 对经过边缘检测的高灰度图的水平投影 确定下颌 嘴 鼻子 眼的垂直位髑 在相应位置附近 对鼻子 眼睛 嘴依 次进行准确定位 同传统的同类算法柏比 我们提出的算法在对人脸位置变化 的鲁棒性以及正确率上都取得了较好的效果 厂 l 文章最后总结了影响人脸识别技术实用化的几个因素 并提出了研究和开发 成功的人脸识别技术所需要考虑的几个重要方面 进而展望了入脸识别技术今 后的发展方向 文 关键词 人脸检测 边缘检测 模板匹够灰度投影j 蚺l 页 国防科学技术人学研究生院学位论文 ab s t r a c t f a c er e c o g n i t i o nt e c h n o l o g y f r i i sf r o n t l i n et a s ki np a t t e r nr e c o g n i t i o n d o m a i n w h i c hh a se x t r e m e l ye x t e n s i v e a p p l i c a t i o n s t h u s t h es t u d y o ft h e t e c h n o l o g yh a sg i v e nr i s e m o r ea n di n t e r e s t sf o rs e a r c h e r si np a t t e r nr e c o g n i t i o n a n da r t i f i c i a l i n t e l l i g e n c e f a c ed e t e c t i o ni s t h eb a s i cp r o p h a s ew o r ko ft h ef a c e r e c o g n i t i o nt e c h n o l o g y i t si m p a c td i r e c t l yd e c i d e st h ep o w e ro fr e c o g n i z i n gf a c e s a i nt h i s p a p e r rr e s e a r c hb a c k g r o u n do fa u t o m a t i cf a c e r e c o g n i t i o n a n di t s r e l a t i o nt oh u m a nv i s i o ns y s t e ma r eb r i e f l yr e v i e w e d n e x t t h i s p a p e r a d d r e s s e sa n u m b e ro f i m p o r t a n ti s s u e si n f a c ed e t e c t i o n i nt h ep r e p r o c e s s i n gs t e p an e w e d g e d e t e c t i o nm e t h o db a s e do nam e n d e ds o b e lo p e r a t o ri s p r o p o s e d o t h e r s a sa i m p o r t a n c ec o n t e n t w eb r i n gu paf a s tm e t h o dt h a tc a nr e m o v et h eu n i m p o r t a n t e d g el i n ea n dn o i s el i n ei nt h ee d g ei m a g e a ne d g ed i r e c t i o nb a s e dt e m p l a t ei s p r o p o s e dt om o d e lt h ef a c ec o n t o u r t h e no u rm e t h o d c a nb ee f f e c t i v e l yu s e df o r i m a g e s w i t hv a r i o u sp a t t e r nf a c e sa n dc o m p l e xb a c k g r o u n d sw eg e tt h ep a r t c h a r a c t e rt h r o u g ha n a l y z i n gt h e p a r tg r a y l e v e l c h a r a c t e ro ff a c e s a tt h es a m e t i m e g e t t h e p r e c i s i o np o s i t i o n i ts e g m e n t sh i g hg r a y l e v e lr e g i o n a n dl o w g r a y l e v e lr e g i o ni no r d e rt o l o c a l i z ef a c i a lf e a t u r e si ns e g m e n t e dr e g i o n s f i r s t l o c a l i z e st h ev e r t i c a l p o s i t i o no fc h i n m o u t h n o s e a n de y e sw i t hg r a y l e v e l p r o j e c t i o n t h e n l o c a l i z e st h eh o r i z o n t a lp o s i t i o no ft h e mi na s s o c i a t e dv e r t i c a l p o s i t i o n s i nt h i sm e t h o d n o s e i sf i r s tl o c a l i z e dt oa i do t h e rf e a t u r e s l o c a l i z a t i o n c o m p a r e dw i t hc o n v e n t i o n a lm e t h o d s o u rs y s t e mi s f o u n dt ob em o r er o b u s tt o n o i s ea n dh e a dp o s ev a r i a t i o n s a tl a s t b a s e do nt h ea n a l y s i sa n dc o m p a r i s o n t k e yf a c l o r si nf a c er e c o g n i t i o n t e c h n o l o g i e sa r ec o n c l u d e d a n dd i s t i l l e da ss u g g e s t i o nt of u t u r er e s e a r c h k e y w o r d sf a c ed e t e c t i o n e d g ed e t e c t i o n t e m p l a t em a t c h i n g g r a y l e v e l p r o j e c t i o n 瓤i i 弧 国防科学技术人学研究生院学位论文 第一章绪论 我在本章内容中三l 要介绍了人脸检测研究的特点和背景 国外和国内研究的现 状以及主要研究方法的特点和本文研究的n 5 发点 1 1 研究背景 随着社会的发展 各个方面对有效性的自动身份验证的要求日益迫切 由于 生物特征是人的内在属性 具有很强的自身稳定性和个体差异性 如 指纹 人脸 视网膜 虹膜 基因 声音等 因此 l 物特征足身份验证的蠼理想依据手段 其中 人脸 是人体内一个极为普通 复杂具有很强表征性的模式 相比其它人体生物特 征具有以下特点 人脸蕴涵的信息量远远比人体的其它生物特征丰富 人脸特征信息可以直接应用 j l n 极不窑易盗用或者假冒 人脸特征具有较为友好的入机界l l i i 易于为用户所接受 人脸特征在应用上非常方便 不需要其它任何辅助设备 我们通过观察人脸的外部特征 可以判断一个人的性别 种族 甚至身份和性 格 因此 对人脸的研究还不仅局限在工业 科学研究上 而且在哲学 心理学 医学 人文等领域也有蒲广泛的研究意义 计算机技术的成熟和发展 使其应刚领域不断扩展 计算机人脸识别技术成为 当今计算机视觉技术和模式识别技术的新纳热点 计算机人脸识别技术也就是利用 计算机分析人脸图像 进而从i i j 提取 j j 饪效的i 别信息 用来 辨识 身份的一门 技术 因此该技术已经在公安系统的罪犯身份识别 驾驶执照及护照等与实际持证 人的核对 银行及海关的监控系统和榭应的门卫系统等方面发挥了重要的作用 虽 然人类的人脸识别能力很强 能够记住并辨别出上千个不同的人脸 可是计算机则 困难多了 其表现在 人脸表情丰富 人脸随年龄增长而变化 人脸所成图像受光 照 成像角度及成像距离等影响 而且从二维图像重建三维人脸是病态过程 目前 尚没有很好的描述人脸的三维模型 另外 人脸谚 别还涉及到图像处理 人体科学 计算机视觉 模式识别和神经网络等学科 也和人脑的认识程度紧密相关 这诸多 籀i 弧 国防科学技术人学研究生院学位论文 因素使得人脸识别成为一项极宦挑战性的课题 人脸检测则是所有人脸研究的第一个步骤 它的任务是首先对由摄像机输入的 图像进行分割 既把控幅图像分割成两f i i j 分 一部分为人脸区域 另一部分为非人 脸区域 从而完成在图像中的人脸定位 作 因此 检测对于整个应用系统的性能 起着关键性作甩 人脸检测在整个系统r i l 的作j 可山图1 1 表示 巫叵 二咂叵硎量耸测 豳1 1 人脸检测在应用领域的作用 从中我们可以看到 检测结果的好坏直接影响入脸识别的性能 因此人脸检测 技术在人脸识别中起到了关键性的作用 一个较为完整有效的人脸识别系统对人脸 检测的要求主要包括 检测准确性 即检测出是否含有人脸的结果的准确 尽量减少误检和漏检的 概率 定位精确性 印检测人腧的位铽要精确 要尽盘减少结果中非入脸区域 特 别是当根据人脸的主要特征对图像进行定位的时候 保证其精确性 定位精 度在象素级 这样可以为后面的人脸识别的商识别串打下基础 检测的快速性 如果系统是实时的 则对检测的速度要求较高 这就要求在 算法上进行优化 但是一般情况下 提高速度往徒是以降低检测准确度为代 价的 所以对检测速度的要求是根据不同的识别系统丽有差异的 瓤2 鞋 国防科学技术人学研究生院学位论文 1 2 研究现状综述 计算机入脸识别技术是近2 0 年来爿逐渐发展起来的 9 0 年代更成为科研热点 仅1 9 9 0 年到1 9 9 8 年之间 e i 可检索到的棚关文献就多达数千篇 人脸识别试验所 采用的人脸库通常不大 常用的人脸i 别实验库以美国军方的f e r e t 库最为权威 它包括多人种 多年龄段 各利 表情变化 光照变化 姿态变化的图像 图像的数 量和实验人数也是最多 可以充分验证人脸识别的算法 但是由于该图像库的实验 者都是美国军人 所以这个实验库对外不足公丌的 目前还没有专门用来检测人脸 和定位算法的图像库 在一幅图像中寻找人脸的位置 对于人的眼睛来说是一件比较简单的事情 然 而要让计算机具有人眼的这一功能 却不是一件简单的事情 最早的人脸定位工作 大概要算s a k a i 等人于1 9 6 9 年提出的一利 基于模板的方法 在这个系统中使用了人 脸的几个主要特征 如上额线 眼 口等 的模板来代替人脸 然后把输入图形的 边缘图与各模板匹配 并根据匹配度来确定人脸的位置 这种方法优点是算法比较 简单 但同时由于它建立的模板过于简单使得它对于人脸的尺度 旋转等的变化却 无能为力 而后f i s c h l e r 和e l s e h l a g e r 在1 9 7 3 年提出了一种较为松散的模板空间模 型 算法的性能有所改善 经过多年的研究 人们针对人脸检测已经进行了各种各 样的探索 并提出了多种人脸的检测方法 实际上 人脸检测是一个整体识别和特 征识别共同作用的结果 具体来说 远处辨认人 主要是整体识别 而在近距离的 人脸i 别中 特征部件则更重要 另外 人脸的各个部件对识别的贡献也是不同的 如眼睛和嘴巴的重要度要大于人的彝予 人脸上半部分重要性大于人脸的下半部 分 其中特殊的人脸更容易被谚 别记住 比如说歪嘴 或者是独眼龙等人脸就更容 易来辨识 本文从检测基于整体或局部的方砸把现有的方法大致分为两大类 一类 是基于人脸各部分特征的检测方法 另一类是把人脸作为一个缒体来考虑的检测方 法 下面对每一类方法中较为乳型的算法作一个简单的描述 1 2 1 基于人脸分布特征的检测方法 这种方法又可以认为是自下而上的方法 即算法首先识别出人脸上的一些有代 表性的特征 如眼 鼻 口 面颊 下巴等 然后根据这些特征的存在信任度和其 相互之间的几何关系综合起来确定该位鼹人脸的存在 赫3 贞 国防科学技术人学研究生院学位论文 y a n g 和h u a n g 在 l 基于马赛兜i 刘捉出了一种f i 2 e 复杂场景下分割多个大小不 同的人脸的算法 此算法利用了一个u i 三层组成的基于知识的金字塔 在第一层用 建立在此分辨率下较粗略的规则l 对拿图像进行扫描 找出所有可能是人脸的位置 和大小 其得到的结果作为第二层的输入 第二层将由第一层得到的每一个候选面 孔分成8 8 的子块 在此基础上用一个亚细的规则2 进行寻找判别 第三层则在上 一层的基础上得到最终结果 在实验结果t 此方法在检测6 0 幅图像时得到了8 3 的正确率 这利 方法的优点是首先把f t 观的人脸特征规则化并形成了一个完整的系 统 因此得到了广泛的引用 l i 等人在 2 3 中首先建立人的眼睛 口 面颊和下颌的数学模型 也即各自的 模板 然后利用形态学的方法检测图像l j 的谷点 先确定眼睛及嘴的大致位置 后 用h o u g h 变换和动态包络模型确定其较为精确的轮廓位置 继而由此确定面颊和下 巴的位置 最后得到人脸的精确轮廓 这利 基于模型的形态学方法在用于检测正面 的身份证式的人脸图像中取得了较好的效果 j e n g 等人 4 提出了一种基于人脸特征几何分布关系的方法 这种方法先在图像 中找到候选的人脸的主要特征 眼 u 鼻 然后根据这些候选特征的几何分布 与标准人脸的差别来最终确定此处是否存在人脸 其实对于人脸特征几何分布的规 律在解剖学中早就有人提出了 三停五眼 的标准 j e n g 的系统则是较完美的完成 了这一设想 5 提出了一个利用神经网络对人脸进行分割的算法 也属于上面的类型 它能 分割包含多个面孔的图像 此方法首先把图像的边缘增强 而后在此基础上建立由 两部分组成的b p 网络 第一部分成为予网络 它直接与增强后的图像发生关系 以眼睛 鼻子和嘴巴为待识别的模式进行训练 在这一部分中 不同的脸部特征对 应着不同的识别网络 也可称为兄弟网络 即它们间的关系是并列的 第二部分为 父网络 它在子网络输出的基础上利j t 原始图像作一综合判断 这种算法只用了较 少的图像进行了检测 四幅人脸图像 两幅人形卡通图像 另外属于此类方法的 还有f 6 儿7 等等 这些方法都是充分利j f j 已知的人脸炙l iu 信息 找出各分稚特征之间的几何关系 从而进行人脸的抽取 下词对这类方法的共同特征性进行简单的总结 其优点大概 第4i l i 国防科学技术人学研究生院学位论文 为 用人脸的特征定位 这种方法在给出人脸主要特征的位簧的同时给出人脸位 置 因此较为方便的川1 诸如人脸u 刖等办面的应用巾 检测的虚瞥较少 这是因为在算浊的第一少就考虑到人脸的较多分布特征 因此较容易与其它物体区分 1 其缺点大致表现在以下儿个方i 面 算法上不很成熟 用于检测的规则或者模板并无统一的标准或很成熟的理论 基础 大都根据人的直观得出 因此结果受其影响也比较大 受限制较多 也即对输入的原始图像的要求较高 一般对正面人脸的检测正 确率商 而对人脸的旋转 倾斜 大小等变化不能适应 识别率较低 应用领域狭隘 如果进行人的监控跟踪 人脸上的特征就成为不必要的检测 并且一般时间上也不允许 1 2 2 基于人脸整体特征的检测方法 相对于上一种方法 这类方法就是自上而下的原理 也就是它首先根据人脸的 整体特征找出人脸的位鼍 再根据应用的需要 在分割后的图像中定出一些主要特 征的位置 r o w l e y 等 8 9 提出了一种基于双b p 神经网络的检测方法 输入图像首先经直 方图平均等预处理后 被选取的象素矩阵进入第一级网络 r o u t e rn e t w o r k 来输 入人脸的倾斜角度 根据这一角度对象素矩阵进行矫正 然后再输入到核心检测网 络中 以判断该位置是否存在人脸 为了保证较少的虚警 检测网络可以由多级组 成 然后综合他们的各自的结果以得出最终的结论 该方法选用了多分辨率技术来 解决人脸的大小问题 但这也使得算法的处理时间比较长 另外 还有很多方法采 用了不同的神经网络月j 于人脸豹检测定位 如参考文献 1 0 l l 在文献f 1 2 中 d a i 和n a k a n o 描述了一种基于灰度共生矩阵的检测方法 这种 方法首先把输入图像转换到y i q 彩色空f i i j 然后利用亚洲人的皮肤特色得出了一些 候选区域 在每一个候选区域内 得到其侮一个象素的临界矩阵 再接着抽取其纹 理特征 并与预知人脸的特征比较以判定该区域人脸的存在 在其实验结果中 对 翦5 虹 国防科学技术人学研究生院学位论文 于一些标准人脸检测测试图像甚至达到了1 0 0 的检测率 根据的大量的观察和实验 研究人员发现人的皮肤颜色有别于其他的大部分物 体 因此人们丌始探索利用彩色信息进行提取人脸信息的方法 1 3 中提出了直接 在r g b 空间上提取人脸的策略 1 4 i 利用了彩色空间上的高斯概率分布来寻找人 的皮肤颜色占有的特有区涮 上i n i 捉到的 1 2 川 的方法又是龌于另一种彩色空阃的 力 法 1 5 中对皮肤和头发的颜色分别建立了两个模糊模型 然后再与人头形状的 一个模糊模型进行匹配找出人脸的最后他胃 山于其模型简单 运行速度快的优点 这种方法得到了人们广泛的重视 但足另一方面它的性能受到背景颜色的影响比较 大 通过对人脸或头部的观察 很容易发珧人脸都有其大致固定的形状 因此研究 人员又提出了许多基于形状信息的检测方法 最早的检测方法 1 6 1 就是基于椭圆形 模板来完成的 利用到椭圆形模板的还有1 1 7 l8 1 9 丽其中 1 9 q b 的方法则是形状 信息和彩色信息的综合 先用彩色信息找出图像中皮肤的位爱 再用一个椭圆形模 板筛选出人脸的位置 从该研究的结果来看 效果是比较好的 所以本文中借鉴了 这种方法 也使用椭圆形模板进行人脸检测 但是 在算法的核心问题上我们提出 了一种新的椭圆形模板来进行人脸的初定位 o o v i n d a r a j u 在 2 0 也提出了另一种基 于边缘形状信息的方法 其中它对于人脸的边缘图像采用7 三个特征线段组成的模 型来表示 在匹配的过程中用到其方向 长度以及相互之间的位置关系等信息 并 且还可以从照片题目的文字信息中获取人的个数 并通过递归的改变匹配条件来检 测多个人脸 但它在匹配时脸部的边缘线段要求有一定的连续性 虽然算法中进行 了边缘连接 但这一点在实际图像中仍难以做到 另外 由于其匹配的规则并不能 l 佳一地代表人脸的轮廓 所以检测结果中有较多的康警 基于形状的方法还有 t a n k u s 2 1 的凸检测方法等 基于整体特征的算法 把人脸看成一个整体 并提取其特有的属性值以进行匹 配 这类方法的主要性能如下 其优点 鲁棒性强 由于算法基于人脸的整的特性 当某个特征发生变化时一般不会 影响最后的检测结果 因此一般受人脸的大小变化 旋转 倾斜 俯仰等影 第6 页 国防科学技术人学研究生院学位论文 响比较小 符合人眼视觉的特点 其土要的缺点是 主要特征的位鼹不易确定 受人脸的位氍影响 因此这类方法一般比较适合 1 j 于跟踪监控等应用中 以上讨论了两类撼本的人脸检测力法 j f 分别对其性能进行了分析 其实除了 这种分类方法 还可以按其它的知识分类 如根据研究的模型性质可以分为 基于 统计信号分析建模和基于知识的建模 并且每类方法都不是孤立的 2 2 就综合应 用了自上而下和自下丽上的技术 这样便于结合两者的优点以达到系统的要求 1 3 本论文的研究出发点 从前面介绍的情况来看 我们知道人脸的检测是一个整体识别和特征识别共同 作用的结果 所以 在这辅论文中 我选择基于控体特征中的形状信息对输入图像 t f 的人脸区域进行检测并进行初步定位 然后利用基予人脸分布特征的方法通过检 测出人眼 鼻子 嘴巴等主要部件的位罱来对人脸进行精确定位 选择这种人脸检 测的方法主要是考虑到以下特点 比较符合人眼的观察原理 在一幅含有人脸的图像中人脸独具其形状特征 也就是说 在绝大多数的图像中 完全可以直接只用形状信息找出人脸的大 概位置 人脸检测只是人脸识别的一个关键的步骤 是为了能够高效率 低错误概率 的识别人脸打好基础 为了达到这一目的 往往需要给出人脸图像的精确定 位 这里使用基于人脸分布特征的检测方法 就是通过检测人眼等主要人脸 部件的位置来提高人脸的定位精 叟 一 1 4 论文的结构安排 本文针对人脸检测中存在的一些问题进行了详细的研究 结构安排如下 在第 二章 介绍了图像底层处理的几个步骤 其中包括图像的一些预处理措施 包括直 方图扩展 图像滤波 边缘跟踪 并对边缘提取以及干扰线的去除进行了一定的研 第7 页 园防科学技术人学硼究生院学位论文 究 对比了几种处理方法的效果 第三章详细介绍了基于椭圆形模板的人脸整体特 征的检测方法和模型 第四章则详细介绍了基于灰度突变性质的人脸分布特征的检 测和人眼 鼻子和嘴巴等人脸主要部什的定位方法 第五章是根据提出的算法对整 个人脸检测和定位系统的详细说叫 以及优缺点的描述 这也是我们的系统集成部 分 第六章则给出我们的总结和展辫 最后足i i f 录和参考文献 舔8 贝 国防科学技术人学研究生院学位论文 第二章图像的底层处理 文章主要介绍了图像的几个预处理环1 7 和二值图的处理 2 1 图像的预处理 我们知道图像处理中 在大多数的情况下山于受到客观因素 如 光照 环境 的影响 输入图像可能出现颜色分和不均衡 亮度过高或过低或者噪声过大的情况 使得图像的质量不很理想 或者图像的分辨率不能满足系统的需要 因此必须经过 一些处理过程才能输入到处理系统巾 这蝗处理环节就被称为图像的预处理过程 图像的预处理在计算机视觉 图像识别 i 得到了广泛的应用 这主要是因为它实际 上也是一个去除无用信息 提 高算法效率和速度的过程 预处理做得好可以减少后 面核心算法中的工作量 相反如果缺少必要的预处理过程 则会对后面系统的结果 产生较大的影响 有可能造成工作量的增大和效率的降低 更有可能决定算法的有 效性 在缀煞禳漱系统 中 鞭处理都占有很大的比熏羲 纛零幂统中麸涉及到图像增 强 图像滤波等过程 下面分别给予讨论 2 1 1 图像的增强和滤波 图像增强技术是一种扩展图像对比度 优化视觉效果的图像处理技术 图像增 强的主要目的就是改善图像灰度级的动态效果 使其能够适合人眼看着舒服 图像 增强的技术方法 现在还没有衡量图像质量的通用标准可以用来作为图像增强处理 器的设计规则 实际工作中一般根据实践经验来判撅 璃 枣较为常用的方法大概分 为两种 空域处理法和频域处理法 下面给予简单的舟蝌l 1 空域处理法 一幅数字图像f x y 经过增强处理厉变为另一幅新的图像g x y 这种处理方法 就成为空域处理法 在二维空间上进行j 竹强处理 主要是在灰度级上做文章 即利 用灰度对比度增强的方法 进行灰皮级映射变换 它主要包括 线性灰度变化 即 g x y 和f x y 成恒定的线性关系 这种变换一般是用于成像设备的非线性或图像记 录设备动态范围小等因素 使得灰度对比度不足 图像的细节分辨不清等缺点 分 段线性灰度变化 指g x y 和f x y 在不同的灰度范围成不同的线性关系 这种变换 瓤9 砸 国防科学技术人学研究生院学位论文 的日的主要是为了突山图像t 感兴趣的扶度区问或目标 而相对抑制不感兴趣的区 域 非线性狄度变换 则是指g x y i j f x y i l j 非线性变换 如对数变换 指数变换 等 得出 以上三种变换基本上是象素的 点对点 的变换 现在应用的比较多的 是基于图像直方图的一种方法 下面对这一技术做一个简单的介绍 图像的狄度级直方图是一种函数 它表示数字图像中每一灰度级与该灰度级出 现的频率之间的对应关系 其优点是能很明确的表示出图像的灰度级分布 从而了 解该图像的亮度分布 图2 1 给出了两个示意图 轴轴 囤2 1 直方图示例 因此 当图像由于光照条件较差辩缝 凳或者过暗衬 我铂可以对直方图进行调 整 对图像进行增强处理 直方图均衡化 技术是现在应用比较多的处理方法 它的原理是 使各灰度级具有午f 同的m 现概牢 把闱像纳灰度范围拉丌 并且让灰 度频率大的灰度级间隔变大 让灰度直方图在较大的动态范围内趋于一致 从而使 图像看起来枕较清晰 图2 2 给山了一幅图像 修正后图像及其直方图 横坐标为 象素值 纵坐标为出现的次数 的示例 从1 1 1 我们可以看出图像的效果有了明显的 改善 但我们必须指出这种方法会修正图像的视觉质量 但同时也会增加一些噪声 有时甚至会得不偿失 在下面滤波中我们还提 这个问题的 f i10 妪 国防科学技术人 了 研究生院学位论文 2 频域法图像增强 图2 2 真方图均衡化的效果 这种处理方法是在图像的f o u r i e r 变换域上进行修改 增强我们感兴趣的频域分 量 然后将修改后的f o u r i e r 变换值i i f 作反变换 便得到增强了的图像 除了上面的图像增强的方法之外 还仃其他的一些较为常见的方法 在此不进 行一一介绍了 我们知道 从实际最物转换成图像竹息 订 图像的生成 传输 压缩或转换过 程中 由于多种因素的影响 输出图像t 会含有一些随机噪声 而且这些噪声是不 i j 避免的 噪声使得图像的质量有所f 降 这类噪声的特点是离散性和随机性 因 此 一般都需要采用滤波的方式来去除噪声的二f 扰 目前 滤波的方法有很多 像 r i 值滤波 低通滤波 商通滤波等 水文采川1 了r i 值滤波的方法 下面对其原理和 采用的根掘进行说明 i 值滤波山r i u k e y 泞先j j j r 一维仿l j 处理 历米很快用到二维图像的平滑中 它足一种抑制噪声的非线性处理力 副 这种力洲i 的特点足运算简单 便于实现 在 滤除叠加白f 噪声和长尾舜加噪声办而h j 极好的特性 尤其足在滤除脉冲噪声的同 时可以很好的保护信号的细节 所以能够较好的保持图像边界信息 但这种算法会 使图像丢失细线和小块的1 标区域 j i 小文j 二要征人脸的整体特征的检测巾使用 国防科学技术人学研究生院学位论文 中值滤波 所以对于细线和小区域的丢失征一定范围内是允许的 并不会影响到人 脸整体形状的检测 低通滤波的原理则是凼为噪声频谱一般位于空间高频区域 因 此可以通过低通滤波的方法 使得高频分尼受到抑制而达到去噪声的目的 因为图 像中的边缘与灰度级中的急剧变化都是与高频分量有关 与高频噪声相混淆 所以 在使用低通滤波进行去噪的同时也有可能去掉图像原有的高频信息 不能达到有效 保护边缘的目的 同样 高通滤波虽然能够较好的保留边缘 使得图像获得尖锐化 但是却不能有效的去除噪声 因此 我选川了一 值滤波的方法来去除噪声 中值滤 波的原理是 存在一个确定邻域人的规定 图像1 1 1 值滤波后某象素点的输出等于该 象素点邻域中各象索狄度值的一 值 如前所述 中值滤波可以消除一些噪声 其小包括直方图增强后的增加的噪声 但是 有时当图像的亮度没有影响图像视觉效果的时候 这时直方图增强有时会大 大增强原来图像的噪声 即使滤波后也不能达到要求的效果 2 2 图像的二值化 本 宵主要介绍了图像的边缘检测 连接和一些干扰信息的去除问题 2 2 1 边缘检测 边缘检测在图像处理与计算机视觉巾占有特殊的位置 它是底层视觉处理中最 重要的环节之一 边缘检测的基本思想是首先利用边缘增强算子 突出图像中的局部边缘 然后 定义象紊的 边缘强度 通过设爱门限的方法提取边缘点集 对于一维信号 二维同理 而言 边缘大致为如下的实线所示的阶跃或者虚线 所示的逐渐变化的情况 一 i l 更 7 一 f丫a 国防科学技术人学研究生院学位论文 图2 3理想的边缘信号 在此种情况下 我们认为如图所示的a 点为边缘点 并从中可以看出来图像的 局部边缘可以认为是两个灰度明显不同的区域之间的过渡 图像的梯度函数即图像 灰度变化的速率将在这些过渡边界上存在最大值 因此 通过基于梯度算子或者一 阶导数的检测器来估计图像灰度变化的梯度方向 增强图像的这些变化区域 然后 对该梯度进行阈值运算 如果梯度值火二j 二某个给定的门限 则存在边缘 再将被确 定为边缘的象素连接起来 以形成包围着区域的封闭曲线 一阶微分是图像边缘检测的基本办法 l 矧像函数f x y 在点 x y 的梯度 即一阶 微分 是一个具有方向和大小的矢罱 即 v f x y o 篓f i a 一 一 钟 在0 方向的变化速率可由下式给出 变化率曩大方向为 望c o s 0 一o f s i n 口 烈删 口 2 1 2 2 2 3 梯度值的大小为 1 g x y 警 2 c 考 2 c 2 4 所有基于梯度的边缘检测器之间的根本区别就是算予应用的方向 以及在这些 方向上逼近图像一维导数的方式和将这些近似值合成为梯廑幅度的方式 当我们考虑数字图像的离散域时 可将图像的一阶差分直接替代图像函数的偏 导数 二维离散图像函数在x 方向的一阶差分定义为 f x l y 一f x y 2 5 籀13 页 国防科学技术人学研究生院学位论文 y 方向的一阶差分定义为 2 6 根据上面所述的原理 索贝尔 s o b e l 提出了一种将方向差分运算和局部平均 运算相结合的方法 即s o b c l 算予 该算子是在以f x y 为中心的3 x3 的邻域上计 算x 和y 方向上的偏微分 即 s f i x l y 1 2 x l y x l y 1 f x l y 1 2 x l y f x 一1 y 十1 2 7 s r x i y 1 2 f x y 1 x l y 1 卜 f x i y 1 2 f x y 1 f x l y 1 2 8 实际上 上式应用了f x y 邻域的图像强度的加权平均插值 其梯度的大小为 g x y s 板鄙 母 2 9 或者取绝对值 g x y s 慨l 随l 2 1 0 本文中采用了后面一种梯度近似值 在实际的应用中 通常是利用简单的卷积核来计算方向差分 不同的算子对应 不同的卷积核 它们产生的两个偏导数在图像一个点上用均方值或绝对值求和的形 式结合起来 下圈给出了s o b e l 算子的卷积核 适当选取门限t h s 作如下判断 若g x y t h s 则 x y 为边缘点 s x y 为 边缘图像 篝鼻 幕 国防科学技术人学研究生院学位论文 2 2 2s o b e l 算子的改进 s o b e l 算子是边缘检测算子 故其处理模板中备因子之和为零 另一方面 由于 正的因子与负的因子之和分别为4 和一4 在某种情况下处理的结果可能出现数据 溢出 即超出灰度值允许的范围 这样羚必会造成梯度计算方面的误差 尤其我们 在闽值的选择上 如果采用了和梯度 r 关的阈值 这个阈值也不能真实反映整个图 像梯度情况 结果会造成 定幅值下的边缘信息的丢失 所以 为了克服这个缺结 我们采取了一种带有疑减因子s c a l e 的s o b e l 并了 用s c a l e 去除以s o b e l 算子的计 算结果 可以消除数据溢出的可能 从i t i j 保留了所有边缘的数值 公式如下 s x y m a x i s t i s i s c a l e 2 1 1 或者 s x y 1 足 l s i s c a l e 2 1 2 在灰阶边缘图中 我们可以看到幅度不等的各种边缘 其中 衰减因子s c a l e 如 果选择4 它同时也是归一化因予 h i j 两个灰度层的阶跃 交界处的处理结果就是 它们的灰度差值 2 2 3 闽值的选择 利用阙值分割图像以及对原始图像进行二值化处理是图像处理的基本问题 并 在图像分析和识别中起到了重要的作用 但是由于图像处理对象和目的的千差万 别 在实际工作中常常遇到这样的现象 即一种阈值的选择方法对某些应用问题很 有用 而对另一些闯趣可能变得很不适应 所以 本论文中在边缘检测的阈值的选 择问题上 还需要以我们研究的图像对象的情况来确定 因此 我们常采用的措施 是先寻找阈值所具有的一系列性质 或者说寻找阙值g 所具有的一系列必要条件 在我们进行边缘检测中 阈值具有以下几条性质 闽值g 将介于目标扶度与背景狄皮之 1 i j 如果g 为阐值 分割t i t 的背景与目标点占多数 而梯废值大等于g 的点 边 界点 应该是少数 如果g 是阙值 该值处于图像边缘点处 且边缘点处灰度值跃变较大 第15 剪 困 科学技术人 产州究生院学他论文 灰度值近似为g 的r i 将构成 f 杯n 0 边界 i i 而足封闭体 揪掘 i 面的性质和我们神 u l f i 介 的边缘捡测内容来看 若g 是闽值 则图像 l 扶泼值为g 的点的刚近扶度位变化将会搬人 一 j 以川邻域梯度来度量灰度值的跃 变 即灰度值为g 的点处的梯度值将会 l 人 f l l 艇山于噪声的梯度值也是很大 因 此川梯度最大点的狄度值作为闽位 j 能火效 州址 我们知道 既然有上述的结论 砸少梯度越火点的狄j 耍值足阅他的一t j 能 陀比就越人 w 此自然想到用对梯度进行加 权平均来产生闽值的方法 即 g f i j h i 2 13 f 其中h i j 为图像 i j 点处的梯度f f t f i j 是加权系数 但是只是用加 权的梯度作为阈值 产生的二值图像线条比较车i i 还不能真实的反映出图像的边缘 情况 所以还需要对阙值进行进一步的限制 来细化边缘二值图 在这里 我们采 用了如下的限制 如果一个点是边缘点 认为它的梯度值是其4 邻域内x 方向或者 y 方向的梯度值的擐大值 弗 1 辽定x 和y 力 向上的挪度值之问的差值在一个较小 的难数值之间 下面是根据对阈值进行l 定l l i 后 j f s o b e l 算子处理的二值图像的 对比图 其中 a 图是原始输入图像 b i 划魁改进 s o b e l 算子处理的效果 c 是改进后的s o b e l 算子的处理效果 田2 4 a b c s o h e l 算予处理对比情况 2 2 4 边缘跟踪 边缘跟踪是二值图像i l i 常 玎到的 年l 木操作 具体的跟踪步骤如下 1 根掘图像的有关知l i jj 0 j 4 定检测准则和跟踪准则 通常是根据灰度值作为 门限的判据 山于我们往阿谢的边缘检测的过程中已经大致的提取了图 像的边缘曲线 其检测的标准比较高 所以我们在这里的跟踪实现上主 要的准则是对断点进行连接 细化边缘以及对零放的噪声干扰进行滤除 蚺 i 是 瓤 一 国防科学技术人学研究生院学位论文 2 按照光栅扫描的方式对图像进行扫描 寻找满足跟踪准则的点 当找到 这样的点 便把它作为 现在点 做上标记 如 记作某个约定值 3 用跟踪准则检查 现在点 邻点 满足跟踪准则的象素点被接受为新的 现在点 并打上标记 在这个搜索的过程中 可能出现的情况和采取 的方法 现在点 是曲线的分支点或者儿条曲线的交点 取满足跟 踪准则诸邻点中的一个作为新的现在点 继续进行跟踪 而将其余诸点 存储起来 供以后继续跟踪使用 若在跟踪过程中又遇到新的分支点或 者交点 则重复进行上面的步骤 当跟踪过程中的现在点的邻点全不 满足跟踪准则时 则该分支曲线的跟踪结束 回到最近的一个分支点处 取出另一个满足跟踪准则的邻点作为新的现在点 重复上述跟踪步骤 当全部分支点处的全部特跟踪的点均已经熙踪完毕后 便返回第二步 继续扫描 以选取新的现在点 4 当全幅图像扫搦完成时 跟踪过程就结束 根据上面所介绍的跟踪步骤 我们可以设计下面的算法t 说明tf i r s t 是一个标记 当跟踪开始的时候 它设置为t r u e f o u n d 也是一个标记 当找到轮廓上的下一个点的时候 它为t r u e 1 由上至下 由左至右对图像进行扫描 在轮廓上选一点a 作为初始 点s t a r t 并标志f i r s t t r u e l 2 设置当前点c u r r e n t s t a r t 初始搜索方向s d 6 参见图2 5 的定义 3 w h i l e c u r r e n t s t a r t 或者 f i r s t m t r u e d o b e g i n l 置标志f o u n d f a l s e l 计数k o s w h i l e f o u n d f a l s e 并且 k 3 d o b e g i n 2 第17 甄 国防科学技术人学研究生院学位论文 i fc u r r e n t 的 s d 1 在轮廓i t h e n b e g i n 3 霞j 鼍1 1 点c u r r e n 1 3 改变搜索方向s d s d 箭标志f o u n d t r u e e n d 3 e l s e i fs d 的一个邻域b 点在轮廓一i t h e n b e g l n 3 改变当前点c u r r e n t b 鬻标志f o u n d t r u e e n d 3 e l s e i f s d 1 的一个邻域b 点在轮廓上t h e n b e g i n 3 改变当前点c u r r e n t b 置标志f o u n d t r u e e n d 3 e l s e 改变搜索方向s d 2 如果s d 七臻参 掣s 8 2 0 如果3 d 2 2 9 则s 6 1 4 簧计数k k i 5 e n d 2 瓤i8 删 国防科学技术人学i j j f 究生院学 7 论文 6 置标志f i r s t f a l s e 7 e n d i 8 算法结束 该算法在技术j 二足比较成熟的 f 阿i l 放粜年 迷j 叟上都是令人比较满意的 如果 在跟踪前原边缘图像的断点比较多州 往往是凶为原图像质攮较差 阈值选取不当 造成的 一般应该先进行适当的膨h 长和腐蚀处理 使边缘图像尽量保持连接 并 去掉部分零散的噪声 f 扰短线和点 3 与究成边缘跟踪过程之后 如果该图像中包含 人脸的话 应该有一个比较大的类椭网形l l l 线和蓿干保持封闭的区域 因为我们对 边缘图像进行提取的l j 的就是对人脸的整体儿何特征的有无进行判断 所以对于一 些比较小的封闭曲线w 以进行滤除 2 2 s 干扰线的去除 边缘检测之后得到的二值图像由刁j 噪声的影响 边缘并不连续 而且还存在着 一些零散的噪声及不必要的干扰对我们的算法有影响 另外 在经过以上处理后的 二值图像中存在着许多干扰 其中有 些特殊的线会对我们的算法产生影响 其中 影响比较大的是圈像中的竖直鄹水平的直线 并且这两种直线在很多背景中普遍存 在 所以这里着手应用一种比较简单快速的方法对这些干扰绒进行滤除 具体实现 算法如下 1 由输入的二值图像形成备条边缘的链表 2 根据链表去除点数少于阐值a 的边缘 其中a 的取值可以根据所有 边缘长度的捧序中的情况瓶定 这一步可以滤除部分小的干扰线和 对整体几何特征影响刁二人的边缘 3 对边缘图像中的竖直j f i l 水5 i 二i 扰线进行滤除 算法如下 f o r 每一条边缘线 相似性函数 配为f 韧始值足o 读取第一个边缘点 j a 为初始 囊 w h i l e 该当前边缘点非蹑后一个点 第19 颤 围防科学技术人 列d f 究尘院 何论文 i f 下一个边缘 的纵 蝰标或一横 卜卡 j i1 f j i 棚同 f f a e l s ef i 一b i f f 大j 闽衄f 1 1 证叨从起始点t j l 始的祁分0 为 线 i j j j 上除这部分直到f i j 现下一个坐标变化的 点为止 e l s e f 小j 阂值 1 2 f 0 1t i l l t l n l 为 也 读取f 一个点 f 面对这一算法做以f 说明 算法中的两个变昂a 干 b j c i 1a 足增j j l 线的直线特征的 a 越火则 f 增川越快 b 则棚反 小并 2 t 为要去除较长的直线 并且要避 免错误的擦除 此al 玟f j l 篮小 a 2 而b 应该取一个较大的值 2 b 5 算法l f l 的两个i 蚓 1 i l 嗣li 2 分刖川来界定直线和非直线 其大小同 上面的a b f t 部足通j 我仃j 刈 些枷i 准图像进行测试后确定的 通过本算法t l j 以知道如i 铡25 所示f j j 拐线也可能被认为是直线而 去除掉 这是i j i 为我仃j 没仃考虑到横坐标和纵坐标的区别 但足因 为这样的线f i 定 f i 会j i 人脸l 的轮廓线 所以不会对我们后面的算 法造j 戊坏的影响 我们j 足去除丁 瞳直刷水 卜力 l 的白 线 而没有涉及到倾斜的直 线 这是冈为刘1 我们的矩法影响比较大的就是竖直和水平线 并 且这两种直线f 1 7 姬一i 也址经常 现的 m20l j 1 2 3