（机械电子工程专业论文）基于svm的灾区残缺人体图像的检测研究.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得西南科技大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 日期：确乒伽 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期：劬孙 西南科技大学硕士研究生学位论文第1 页 摘要 现在的图像检测领域中包含的研究方向有很多，但都是在基于完整特征的情况 下进行检测。本文主要针对基于s v l v l 算法的残缺面部、残缺手部和残缺耳部检测。 本文以残缺人体检测技术为主要研究内容，在归纳分析一些经典算法后，对以下技 术点进行了深入研究： ( 1 ) 本文的残缺人体检测方法融合了小波变换和离散余弦变换。图像经过小波 变换，提取得到图像的低频和高频分量。离散余弦变换本身具有非常好的压缩性能， 同时他在计算方面也具有很好的有效性，两方面的结合使得提取图像的特征少而精。 也使得输入向量的维数减小，从而减少了计算的复杂性。 ( 2 ) 由于单纯的支持向量机方法很耗时而且比较难以实现，这是需要对待检测 图像要整幅逐步搜索检测的原因。本文在对残缺人体检测中，采用了一种基于非平 衡二叉树的s v m 多类别分类方法。采用这种方法能够保证准确的检测，同时也使得 检测速度接近实时的要求。 由于残缺人体检测系统相对比较复杂，涉及的内容也比较多，虽然本文在检测 的研究里取得阶段性成绩，然而距离实时性应用还是有比较大的差距，还有待于我 们继续研究改进和完善，使得救援工作更加有效的开展。 关键词：残缺人体检测支持向量机小波变换离散余弦变换 西南科技大学硕士研究生学位论文 第1 i 页 a b s t r a c t n o w a d a y s ，t h e r ea b em a n yi m a g ei n s p e c t i o n si sn o w i n c l u d e di nt h ed e t e c t i o nf i e l d ， b u tt h ed e t e c t i o n sa r ei nt h ec a s eo ft h ef u l lf e a t u r e i nt h i sp a p e r , w es t u d yf r a g m e n t a r y f a c e ，h a n da n de a rd e t e c t i o nb a s e do ns v ma l g o r i t h m i nt h i sp a p e r , w et r e a ti n c o m p l e t e h u m a nd e t e c t i o nt e c h n o l o g ya st h em a i nr e s e a r c hc o n t e n t i ns u m ，a f t e ra n a l y s i s i n go fa n u m b e ro fc l a s s i ca l g o r i t h m s ，t h et e c h n i c a lp o i n t so ft h ei n - d e p t hs t u d ya r eo nt h e f o l l o w i n g ： ( 1 ) am e t h o do fi n c o m p l e t eh u m a nd e t e c t i o nb a s e do nd i s c r e t ec o n s i n et r a n s f o l r l t l a n d w a v e l e tf e a t u r e sa n ds u p p o r tv e c t o rm a c h i n ea l g o r i t h mi sp r o p o s e d t h el o w f r e q u e n c ys u b _ i m a g ea n dt h eh i g hf r e q u e n c ys u b _ i m a g ea b et r a n s f o r m e db yw a v e l e t t r a n s f o r m d i s c r e t ec o s i n et r a n s f o r mi t s e l fh a sv e r yg o o dc o m p r e s s i o np e r f o r m a n c e ， a n di ta l s oh a sav e r yg o o de f f e c t i v e n e s si nt h ec a l c u l a t i o n w h i c hm a k et h es m a l ls e to f c o e f f i c i e n t si sr e t a i n e d i tr e d u c e st h ed i m e n s i o no fi n p u tv e c t o ra n dc o m p u t a t i o n a l c o m p l e x i t y ( 2 ) b e c a m eas i n g l es u p p o r tv e c t o rm a c h i n em e t h o di sv e r yt i m e 。c o n s u m i n ga n di t i sv e r yd i f f i c u l tt ob e c o m et u r e ，t h er e a s o nf o rw h i c hi st h en e e dt ot r e a tt h eg r a d u a l d e t e c t i o no ft h ei m a g et os e a r c ht h ee n t i r es i t ei n s p e c t i o n i n c o m p l e t eh u m a nd e t e c t i o ni n t h ep a p e ra d o p t e dan o n - b a l a n c e db i n a r yt r e eo fs v m - b a s e dm u l t i - c l a s sc l a s s i f i c a t i o n m e t h o d t h i sm e t h o dc a ne n s u r et h ea c c u r a t ed e t e c t i o n ，a n di ta l s om a k e sd e t e c t i o nr a t e c o m et on e a rr e a l - t i m er e q u i r e m e n t s b e a c a u s ed e t e c t i o ns y s t e mo fi n c o m p l e t eh u m a ni sr e l a t i v e l yc o m p l e x i ti n v o l v e s v e r ym a n yc o n t e n t s i nt h i sp a p e r , t h o u g hd e t e c t i o no ft h ei n i t i a ls t u d ya c h i e v e di n i t i a l r e s u l t s ：a w a yf r o mt h er e a l t i m ea p p l i c a t i o n si ss t i l lar e l a t i v e l yb i gg a p t h i sr e q u i r e s u s t oc o n t i n u et os t u d yt oi m p r o v ea n dp e r f e c tt h es y s t e m ，w h i c hm a k i n gr e l i e fw o r kb e c o m e m o r ee f f e c t i v et oc a r r yo u t k e yw o r d s ：f r a g m e n t a r yh u m a nb o d yd e t e c t i o n ；s u p p o r tv e c t o rm a c h i n e s ；w a v e l e t t r a n s t o i t n ；d i s c r e t ec o n s i n et r a n s f o r m ，。 i 童 西南科技大学硕士研究生学位论文第1 i i 页 目录 1 绪 仑“1 1 1残缺人体概述”1 1 1 1 残缺人脸面部l 1 1 2 残缺人耳2 1 1 3 残缺手部2 1 2 残缺人体检测技术2 1 2 1 残缺人体生物特征4 1 2 2 残缺人体特征检测技术的应用”4 1 3支持向量机简介一5 1 4 本研究课题来源及意义“6 1 5本文的工作“7 2s v m 及改进算法”8 2 1 最优超平面理论基础8 2 1 1 支持向量机的思想8 2 1 2 最优超平面8 2 1 3 最优超平面的求解1 0 2 2核函数1 1 2 3用于分类的支持向量机12 2 3 1 用于分类的线性支持向量机1 5 2 3 2 用于分类的非线性支持向量机1 7 2 4用于回归的支持向量机1 8 2 5基于支持向量机的检测算法1 9 2 5 1 最优化理论2 0 2 5 2 二次规划2 1 2 6改进算法2 2 2 6 1 类间分离性测度2 2 2 6 2 算法描述2 3 2 6 3 训练时间的复杂度分析2 4 2 7本章小结2 5 3 残缺面部特征提取与s v m 分类检测2 6 3 1人眼的边缘检测一2 6 3 1 1 传统的人眼检测方法2 6 11li薯 、 西南科技大学硕士研究生学位论文第1 v 页 3 1 2 基于s v m 的人眼检测流程2 7 3 1 3 样本的来源及预处理2 7 3 1 4 特征提取2 9 3 1 5 训练样本选取3 0 3 1 6 弱分类器的选取3 1 3 1 7 选择核函数3 2 3 1 8 人眼检测的结果分析3 2 3 2嘴巴的边缘检测3 5 3 2 1 人嘴检测系统3 6 3 2 2 嘴部特征提取3 8 3 2 3 训练样本选取3 9 3 2 4 嘴部检测分类器3 9 3 2 5 弱分类器选择4 0 3 2 6 嘴部检测结果分析4 0 3 3 面部轮廓的边缘检测。4 2 3 3 1 人脸面部轮廓检测的算法流程4 2 3 3 2 样本采集4 3 3 3 3 图像的预处理4 4 3 3 4s 分类器的训练4 6 3 3 5 人脸检测结果分析4 7 3 4本章小结4 9 4 残缺手部特征提取与s v m 分类5 0 4 1 人手检测方法综述5 0 4 2检测过程5 0 4 3 人手样本集5 1 4 4数据预处理5 2 4 5h a a r 特征值计算方法积分图5 3 4 5 1 提取人手候选区域5 4 4 5 2 训练s v m 和残缺手的检测”5 4 4 5 3 分类器构造5 4 4 5 4 选用核函数5 5 4 6实验结果和分析5 6 4 7本章小结5 7 5 残缺人耳特征提取与s v m 分类5 8 西南科技大学硕士研究生学位论文第v 页 5 1残缺人耳检测方法综述5 8 5 1 1 检测系统介绍：5 9 5 1 2 置信度的计算5 9 5 2人耳样本来源及预处理6 0 5 2 1 残缺人耳图像的灰度化处理6 0 5 2 2 人耳图像的降噪处理6 l 5 2 3 人耳图像的归一化6 1 5 2 4 灰度归一化6 l 5 3检测过程6 4 5 4训练过程6 5 5 5实验结果分析6 5 5 6 本章小结”6 8 结论6 9 致谢7 l 参考文献”7 2 攻读硕士学位期间发表的与学位论文内容相关的学术论文及研究成果7 6 西南科技大学硕士研究生学位论文第1 页 1 绪论 1 1 残缺人体概述 在地震等灾害的环境中，发现人体特征对救援工作起着重要的作用，但 是在重灾区，暴露在外面的大部分都是残缺不全的肢体，针对这些不完整的 人体特征信息的检测，就有着非同一般的意义。而残缺人体特征包括残缺人 脸面部特征、残缺人耳特征以及残缺人手部特征。 1 1 1残缺人脸面部 残缺人脸面部检测技术是残缺人体检测系统的一个非常重要环节，也是 地震等灾害情况中的对救援起着至关重要的技术之一。在传统的人脸检测中， 人脸检测系统可供参考的文献资料有很多，其性能也是非常优良的；但是残 缺人脸面部信息是一个软性目标。可供参考的资料屈指可数，其检测和识别 更加复杂，同时也使得难度加大。 同时在地震等灾区进行残缺人脸面部检测，其挑战性在模式识别问题中 也是很大的。这里难点主要存在两方面：一方面是由残缺人脸面部本身内在 的变化所导致的，如被地震中障碍物遮盖部分人脸等等；另一方面是由于拍 摄角度和光照条件等外在的条件变化引起的。对于人类自身来讲，能够非常 容易进行快速准确的残缺人体检测，而对于计算机自动检测系统而言，残缺 人体的检测则非常具有挑战性。所以在进行残缺人脸面部检测的时候，可以 将面部分成几个部分进行检测：人眼，人嘴，以及面部轮廓。 对人眼进行检测的方法有很多，主要是a n n 和s v m 等方法，支持向量机 首先需要将低维的原始特征空间转换到高维，然后要把非线性的问题转换， 最终转换为线性问题，另外还要采用核函数，这样就淘汰了人眼检测在高维 空间的复杂运算。嘴部检测对整个残缺人脸面部检测来说，它的检测价值尤 显珍贵，因其特征明显区别于脸部其他特征，所以，对于检测救援很有意义。 面部轮廓检测对残缺人脸检测是一个很重要的补充，同时可以提高在地震灾 害情况下的救援效率。 对残缺人脸检测分开进行检测，一方面可以提高检测效率，更能有效的 开展确认工作，充分利用脸部丰富的信息特征。另一方面，对整体的检测由 于在重灾区使得更加困难，分别对人眼部、人嘴部以及整体轮廓进行检测更 能充分体现本检测系统的目的。 西南科技大学硕士研究生学位论文第2 页 1 1 2 残缺人耳 残缺人耳检测系统是残缺人体检测系统的一个非常新颖的方向，这个检 测系统有两个逻辑模块：第一模块和第二模块。第一模块主要是为了确定分 类规则。在第二模块中，首先收集需要等待检测用户的人耳原始图像，将残 缺耳朵的特征提取出来，然后与事先在目标特征数据库中的特征模式进行匹 配，最后根据分类规则做出分类决策。 1 1 3 残缺手部 残缺手部检测是残缺人体检测的很重要的部分，因为在地震等灾害情况 下，人手会本能的露出来，所以手部就成为检测生命的一个非常重要的特征， 但此时的人手，很有可能出现变化，如断指等情况。总之，手部检测对人体 检测的现实意义就很大，但是残缺人手的检测具有很大的挑战性。 1 2 残缺人体检测技术 残缺人体检测的方法，首先对残缺人体建模的方法是基于知识以及统计， 同时把所有待检区域与人体模型间的匹配程度进行比较，从而得到可能存在 残缺人体特征的区域。主要有两类基本方法，它们是基于特征的以及图像的 残缺人体检测方法。前者始于二十世纪六七十年代，是人体检测的主要研究 方向。它是先利用人体的有关先验知识和经典的检测方法得到残缺人体特征 及皮肤颜色等低层特征，然后通过对这些视觉特征之间的距离，角度或者区 域的度量来完成检测。很明显这种方法中视觉特征是关键，所以，这类检测 方法称为基于特征的检测。后者则利用现有的模式识别理论，把残缺人体检 测问题看作一个更一般的检测问题，这种方法不需要进行特征检测和分析， 它是通过学习算法隐含利用人体的知识进行分类，以达到检测的目的。 首先看一下基于特征的残缺人体检测方法。这种方法大致分为三个方面， 第一方面是低层分析，第二方面是特征分析和第三方面a c t i v es h a p e m o d e l 。 这里所谓低层分析就是定位人体特征。人体线条以及像素属性都是分析 图像，从而定位残缺人体特征的考虑因素。但是由于本身固有的特点，经过 低层处理所获得的基本信息是很模糊的，这是因为低层分析自身的原因。 与上面分析相比，特征分析就能够把残缺人体信息特征全面的概括出来， 而且信息表达也很清晰。我们组织图像特征的依据，就是参考人体的几何分 西南科技大学硕士研究生学位论文第3 页 布特性。 图1 - 1残缺人体检测的主要方法分类 f i g 1 1 t h em a i nm e t h o do fd e t e c t i o no fi n c o m p i e t ec i a s s i f i c a t i o no f t h eh u m a nb o d y 现在进行特征分析主要有两种：第一种方法是对特征的信息检索按照顺 序进行，这种方法所用的就是人体特征间的相对位置。第二种方法是把特征 信息进行组合，这种方法采用的是人体模型的差异性。 不需要把每个人的信息特征作为参考，是基于图像方法与基于特征的检 测的最大差异，简言之，基于图像方法的残缺人体检测方法就是模板匹配， 总体上来说模板匹配的方法又可以分成三小类，如下进行逐个分析： 西南科技大学硕士研究生学位论文第4 页 ( a )线性子空间方法。残缺人体图像仅仅是我们采集的原始图像中的一 个非常小的空间，也就是其中的子空间，现在有很多方法可以选择来表示这 个子空间，如p c a 、f a 等 3 , 1 0 , 1 ：, 1 4 】。 ( b )神经网络方法。现今在视觉检测中最流行的方法就是神经网络方 法，用于残缺人体检测的基础是m l p 他”，这也是第一种神经网络的应用，本 方法在简易的数据库上进行测试，测试结果还是非常让人满意的。 ( c )统计方法，基于信息理论的系统等方法均属于此类，其中o s u n a 等把s v m 用于人体检测，而s e h n e i d e r m a n 和k a n a d e 等n 引则描述了两种人 脸检测器，这两种方法都是基于贝叶斯决策法则的。此外q i n a 和h u a n g 等， 也进一步对此方法进行了探索。 1 2 1 残缺人体生物特征 残缺人体生物特征检测技术就是利用残缺人体本身所固有的物理特征， 残缺手部、残缺耳部、残缺面部等都是他所具有的特征信息，残缺人体检测 系统判定是否有人存在的关键所在，是采用一些方法对原始图像进行预处理 以及进行模式识别。总之，残缺人体生物特征检测就是生物特征在缺失其完 整性，通过仅保留的一部分特征，检测出最终目标。 从理论上讲，只要合乎以下条件的任何人体物理以及行为特征均可用于 检测。 第一就是普遍性：对需要检测的物体都应该具备的特征。 第二就是唯一性：这一信息特征对每个人都出现不一样的表现。 第三就是永久性：随着年龄的增长、时间的改变都无法彻底改变这一特 征。 第四就是采集性：应该是便于测量的特征。 1 2 2 残缺人体特征检测技术的应用 残缺人体检测技术因为它巨大的优点展示出了强大的生命力，才不过短 短几十年的时间发展到如今规模。在近几年，残缺人体检测研究成果和应用 产品不断推陈出新。 使用残缺人体唯一和可靠以及稳定的生物信息特征，来当作鉴别是否存 在人的特征，这种检测方法将在现代社会生活中起到越来越重要的作用，发 展前景还是非常美好的。不过，残缺人体生物特征检测技术还有很多工作要 去探索。残缺人体生物特征检测技术，与传统的人体检测相比，具有更大的 西南科技大学硕士研究生学位论文第5 页 挑战性。众所周知，任何一个单一的残缺人体信息特征都具有比别的特征更 好的优点，同时也具有很大的缺点，所以，具有1 0 0 的检测能力的信息特征 还没有发现。 事实上，检测性能实际的需要也绝不是单单靠单一的残缺生物特征所能 实现要求的。为此，很自然会想到把多个不同的残缺人体特征有效的结合起 来进行检测，这种方法对检测系统性能的改善有很大的帮助。这种利用多个 残缺人体信息特征的检测系统，是将来研究和开发的一个趋势。将多个残缺 生物特征揉合在一起是错误的理解该问题，实质问题是如何更加有效地集成 多个残缺生物特征。 1 3 支持向量机简介 模式识别、回归分析等问题，其共同的特点都是从部分数据( 样本) 中学 习知识、获取信息，即根据对己知数据的分析尽可能总结出对整个数据集都 适用的普遍规律。但是，在模式识别问题中，如何针对已有的有限样本找到 最佳的分类面? 在回归分析中，如何有效地控制回归函数的容量，来实现最 优的数据拟合? 面对这些问题，传统的理论和方法无法给出令人满意的答案。 近年来，在这些问题的推动下，随着对机器学习研究的不断深入，统计学习 理论( s t a t i s t i a sl e a r n i n gt h e o r y ，s l t ) 及建立在该理论基础之上的支持向 量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 得到了飞速发展和广泛应用。 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是由v v a p n i k 与其领导的 贝尔实验室的小组一起开发出来的一种新的机器学习技术。s v m 的理论基础 来自于v a p n i k 等提出的统计学习理论，它的基本思想是，对于一个给定的具 有有限数量训练样本的学习任务，如何在准确性( 对于给定训练集) 和机器容 量( 机器可无错误地学习任意训练集的能力) 进行折衷，以得到最佳的推广 ( g e n e r a li z a t i o n ) 性能。与传统统计学相比，统计学习理论( s t a r is t i c a l l e a r n in gt h e o r y 或s l t ) 是一种专门研究小样本情况下机器学习规律的理论。 该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计 推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下 得到最优结果。v a p n i k 等人从六、七十年代开始致力于此方面研究，到九十 年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理 论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。 支持向量机算法奠定的理论基础，包括统计学习理论的v c 维理论以及结 西南科技大学硕士研究生学位论文第6 页 构风险最小化原则。 1 9 9 2 年，b o s e r ，g u y o n 和v a p n i k 等人在at r a i n i n ga 1 9 0 r it h mf o r o p t i m a lm a r g i nc l a s s i f i e r s 一书中，提出了最优边界分类器算法，这也 是支持向量机算法的最初模型。1 9 9 3 年，c o r t e s 和v a p n i k 在( t h es o f t m a r g i nc l a s s i f i e r 一书中，进一步探讨了非线性情况下的最优边界分类问 题。接着，v a p n i k 在1 9 9 5 年发表的( t h en a t u r eo fs t a t i s t i c a ll e a r n i n g t h e o r y 一书中，完整地提出了基于统计学习理论的支持向量机学习算法。 1 9 9 7 年，v a p n i k ，g o k o w ic h 和s m o l a 发表的s u p p o r tv e c t o rm e t h o d f o r f u n c t i o n a p p r o x i m a t i o n ，r e g r e s s i o ne s t i m a t i o n ， a n ds i g n a l p r o c e s s i n g 一文中，详细介绍了基于支持向量机方法的回归估计方法 ( s u p p o r tv e c t o rr e g r e s s i o n ，s v r ) 和信号处理方法【5 j 。 支持向量机成功地解决了高维问题和局部极值问题。支持向量机使用大 间隔因子来控制学习机器的训练过程，使其只选择具有最大分类间隔的分类 超平面，又叫最优超平面( 在不可分情况下，又引入松弛因子来控制经验风 险) ，从而使其在满足分类要求的情况下，又具有最高的推广能力。寻找最优 超平面的过程最终转化为二次型优化问题( q u a d r a t i cp r o g r a m m i n g ，q p ) ，从 理论上说，得到的是全局最优解。 s v m 在处理非线性分类问题上，将输入空间映射到高维的特征空间是与 传统的学习机器本质不同的地方，我们要在高维特征空间中寻找最大间隔超 平面，仍然要使用大间隔因子。也就是说，输入空间中的非线性分类面与高 维特征空间中的超平面是相互对应关系的。s v m 在高维特征空间中得到优化， 是一种错误的解读。而是通过一些具有特殊性质的核函数【6 - 9 1 ，将高维特征空 间中的内积运算转化为原始空间中核函数的运算，从而巧妙地避免了在高维 特征空间中处理问题的困难。 作为统计学习理论中v c 维理论和结构风险最小化原则的具体实现方式， 支持向量机集优化、核、最佳推广能力等特点于一身。支持向量机方法在第 二章有详细介绍。 1 4 本研究课题来源及意义 本文研究课题来源于四川省教育厅科研基金( 项目编号：2 0 0 6 c 部分。 残缺人体检测对灾害情况下的救援起着非常重要的作用。任何 西南科技大学硕士研究生学位论文第7 页 的部分被发现，均可以认定该区域有人体的存在，所以现实救援中，该检测 系统具有非常高的运用价值，由于残缺人体的特征信息非常大，包括残缺面 部、残缺手部、残缺耳部。而残缺面部又可以细分为眼部、嘴部、面部轮廓 的检测。 尽管近年来，有很多关于人体检测的研究，但是残缺人体的检测文献还 是风毛麟角，所以本文的研究具有非常重要的意义。 1 5 本文的工作 从目前的残缺人体检测研究发展来看，复杂背景下的残缺人体检测依然 面临很多困难。但自动残缺人体检测必然会有很好的发展前景。所以在复杂 背景下的残缺人体检测技术研究依然是一项在探索前进中的课题。 残缺人体图像的收集与人脸，人眼，人耳图像的采集和处理具有一定的 相似性，鉴于目前残缺人体检测研究在复杂背景下的匮乏，借鉴现有的人体 检测技术和思想，对残缺人体检测有着很重要的意义。论文共分五章，各章 的主要内容概述如下： 第一章概括地震等灾害环境下对残缺人体检测的背景和生物特征，给出 了残缺人体检测的发展前景。简单介绍了支持向量机，并说明了s v m 的优点。 给出了研究残缺生物特征检测的价值，并给出本文研究思路和内容安排。 第二章着重介绍了支持向量机的基本思想和原理，介绍了最优超平面及 求解方法，着重介绍了核函数以及分类和回归的支持向量机，最后介绍了改 进后的算法，为后面高效的残缺人体检测提供了支持。 第三章介绍基于s v m 的残缺面部的检测过程，首先针对眼睛的检测，然 后是人嘴检测，最后是人脸面部轮廓检测，并分别说明了分开检测的意义， 以及与神经网络算法比较的检测结果。 第四章介绍基于s v m 的残缺手部的检测过程，介绍了残缺手部的基本信 息特征，然后介绍了收集原始图像库，并对其进行预处理。最后实现其检测。 在本算法下的检测结果分析。 第五章介绍基于s v m 的残缺耳朵的检测过程，着重介绍了残缺人耳检测， 包括残缺人耳图像库的建立，预处理，训练，最终实现残缺耳部的检测。最 后介绍了在本算法下的检测结果分析。 最后对本文做了总结，提出了存在的一些问题，指出今后应努力的方向 和对未来工作的展望。 西南科技大学硕士研究生学位论文第8 页 2 s v m 及改进算法 在理论上说，s v m 方法就是一种寻求折衷的最佳方法，这种折衷是在指 定训练样本的学习能力和学习精度之间选取的，他是建立的理论基础有两方 面，一方面是在结构风险最小原理，另一方面就是v c 维理论，从而使得推广 能力取得很好的效果。 2 1最优超平面理论基础 2 1 1 支持向量机的思想 s v m 的思想是这样实现的：首先通过预先已经选择好的某一个非线性变 换，将输入的未知向量x 映射到高维特征空间z ；然后在这个特征空间中， 构造一个最优分类超平面，如图示： 图2 - i原空间与特征空间之间的映射 s v m 把输入空间映射成某个高维特征空间，然后在这个特征空间中构造 一个最优超平面。 2 1 2 最优超平面 我们把来自某训练集 ( y l ，x 1 ) ，( ) ，f ，x f ) ， x 尺”，y - i ，1 ) 向量x 中的任意两个子集，这其中有子集i 的y = l 以及子集口的y = l ，因为 西南科技大学硕士研究生学位论文第9 页 超平面的公式如f ： g 矽) = c ( 2 1 ) 是可以分开的，但是使得下面不等式成立的条件是一个单位向量( i 矽i _ 1 ) 和 存在一个常数c b ) 卜c ，如果薯， 矽) _ o ) ，其中d ( x ，戈) 表示某种 “距离 函数； ( 4 ) s i g m o i d 核：k ( x ，舅) = t a n h ( y ( x ，j ) + c ) ，( y ，c r ) 。 当然也可以在上面己知的核函数构造出新的核函数，具体参见文献 3 4 ， 3 5 。 2 3 用于分类的支持向量机 v a p n i k 在1 9 9 2 年到1 9 9 5 年提出的结构风险最小化原则，从而构成支 持向量机的核心内容。可以得到小的误差，同时又可以保证对独立的测试集 保持小的误差。 分类超平面的最优求解，其实就是是一个数学规划问题，具体表达如下： 假定样本集为：( 一，”) = l ，刀，z r d , j ， + 1 ，一1 ，如果此刀个都是可以线 性可分的样本，那么一定可以满足某个超平面： w x + b = 0 ( 2 - 2 2 ) 完全分开此两类样本。同时做到保持一般性，假如超平面和样本点的最 近距离为，即m i n w x + 6 i = ，则超平面方程能够具备下面的约束条件： 乃( w 而+ 6 ) l ，i = l ，2 ，刀 ( 2 2 3 ) 西南科技大学硕士研究生学位论文第13 页 任意一点而与超平面的距离为： 特皆 ( 2 - 2 4 ) 符号i i 1 i 就是欧氏空间的2 一范数。如果与超平面( 2 1 ) 所一一对应的分类间隔 为a ，则： a = ( m i = + l n d ( 葺) + 唑l l d ( x j ) x s ：y x j ：y , (= + l 、。 = 一l j = m 胛i n 。，眢+ m 胪i n ，销 2 蒜m i 训n ，1 w x , + b l + m 炉i n ，h + 6 | ) i 2 商( 2 - 2 5 ) 最大间隔分类超平面的求解问题就可以等价于求解如下规划问题： m i n 如w 0 2 s ，彤( w x + 6 ) l ，i = 1 2 。刀 ( 2 2 6 ) 以上所求的解，与鞍点是相互对应的： 跏6 咖圳嚼 ( w 6 ) 一1 ) ( 2 - 2 7 ) 在式中，就是拉格朗日乘子。原问题的对偶问题就是： 掣w ( a ) = m a x t p 蔓 嘶一三嘉嗍鹏州) 豇善乃- 0( 2 _ 2 8 ) 【o ，f _ 1 ，刀 求解并最后得到最优的l a g r a n g e 乘子。 西南科技大学硕士研究生学位论文第14 页 f ( x ) = s g n ( w x ) + 6 = s g n q + ( 五x ) + 6 l ，= i j(2-29) 矿= m 西_ _ 这里，w 为最优分类面的权系数向量，研为最优解，b 为阈值。 池扣i i + c 喜当 j j 耋! ：x + 6 1 一缶z = ，2 ，甩 。2 3 。， 目前的规划问题就转化为式( 2 2 9 ) 中c 0 就是一个正则化常数，故而 可以这样理解规划问题为： 其中的条件为： 掣c 口，2 警 窆i f f i lq 一丢毫q 吩只乃c 一。_ ， 。2 3 。， 姒善m q - 0 【0 c ，i = l ，聆 ( 2 - 3 2 ) 在上面的一系列讨论里，最优分类面中最终的样本点大多是以点积 ( t x ) 的形式出现的。把核函数引进 ( x ) = s g n ( w x ) + 6 = s g n m ( 薯z ) + 6 l 扭i j ( 2 - 3 3 ) 就可以得到： 厂( x ) = s g n 喜q 只k ( _ x ) + 6 ) ( 2 一。2 4 ) li i ijr9 1 4 、 以上就是我们要的支持向量分类机。 西南科技大学硕士研究生学位论文第15 页 2 3 1 用于分类的线性支持向量机 我们假设训练样本集 ( 薯，m ) f = 1 , 2 ， 大小为，如果x j 是属于第一类范 围，那么就可以标定为正( 乃= 1 ) ，如果出现在第二类的范围里，那么就可以 标定为负( 只= 一1 ) 。我们的测试数据应该正确地进行分类。 如果有这样的平面w x + b = 0 能够满足w 葺+ b 1 ， = 1 或者 1 4 + b - 1 ，y i = 一1 ，f = 1 , 2 ，- ，则称训练集是线性可分的，其中w 五表示向 量w r 与x r 的内积。把以上两式总结为一个表达式： y f 【w 薯+ 6 ) 1 ，i = 1 , 2 ，z ( 2 3 5 ) 根据统计学习理论我们知道，最优超平面是超平面没错误分开以及样本 数据和超平面的距离最大，从而得到的判别函数如下： y ( x ) = s g n ( w x + b ) ( 2 - 3 6 ) 他的泛化能力能够很优。在这里s g n ( ) 是符号函数。在求解最优超平面 要使得2 0 叫i 尽量最大化，也就是使得 l l w l l 2 尽量最小化，我们这样做的目的 是转换如下的二次规划问题： m i n h 2 ( 2 - 3 7 )w ，dr 只w 。而十6 ) 1 , i = 1 , 2 ，j 如果是线性不可分训练样本集，超平面的最优化就要引进非负松弛变量 毒，i = 1 , 2 ，分类问题就变为 嘶删l 叫1 2 + c 善毒 ( 2 - 3 8 ) 咒( w 而：丢) l 一舌，磊巷，扛l ，2 ，爿 7 其中f 为惩罚参数，在这里c 越大就是对错误分类的惩罚越大，从而就 越接近线性可分情况。在这里我们求解这个具有线性约束的二次规划问题， 即： m 龟x m i l l o ： o 叫1 2 + c 圭石一q k 加而+ 6 ) 一l + 舌卜圭届专 【( 2 3 9 ) 口，w b f l l = i ，。iir 0 q ，0 s 局 j 其中q ，尼分别为拉格朗日乘子，从而可以看出： 急= o 专w = 善l 啪 西南科技大学硕士研究生学位论文第16 页 丝o l b ：o 专圭m ：o - i = l 1 。 钇d l p w = o - - - c 一一届= o钇w “ 对偶最优化问题就是如下 m a x l = 善nq 一士窨嘉口，咒乃_ 一) 0s c i 酗乃_ 0 ( 2 - 4 0 ) ( 2 - 4 1 ) 可以分为以下几种情况：( 1 ) 够= 0 ；( 2 ) 0 一 嘶一 c ，( 3 ) = c 就是通过 最优化求解从而得到的。支持向量( s u p p o r tv e c t o r ，s v ) 是可能( 2 ) ( 3 ) 对 应的x j 。只有支持向量对最优超平面、判别函数有贡献，支持向量机他所对 应的学习方法。( 2 ) 所对应的蕾称为边界支持向量( b o u n d a r ys u p p o r tv e c t o r ， b s v ) ；( 3 ) 所对应的薯称为标准支持向量( n o r m a ls u p p o r tv e c t o r ，n s v ) 。根 据k a r u s h k u h n t u c h e r ( k k t ) 条件，在最优点，拉格朗日乘子与约束的积为0 ， 即 q 嘶谍卜0 4 2 ， 对于标准支持向量( 0 _ - 0 ；根据上面得到当= 0 ，所 以，任意标准支持向量五，满足 以【w 再+ b ) = l 从而计算参数b 为 b = m w 五= m 一口y j x j 毛 ( 2 4 3 ) 薯n s v 为了使计算可靠，对所有标准支持向量分别计算b 的值，然后求平均， 即： 6 = 上n n s v 毛罴p 卜x j 。s v 哆w 刁 4 4 ， 式中，矿为标准支持向量数。 西南科技大学硕士研究生学位论文第17 页 2 3 2 用于分类的非线性支持向量机 如果是个非线性的训练集，训练集数据x ，采用非线性函数矽( ) 把他映射 到一个高维线性特征空间，我们所构造最大间隔超平面可能存在在无穷大的 线性空间中，分类器的判别函数通过以上步骤就可以得到了。分类平