（计算机应用技术专业论文）视频目标检测技术研究.pdf

摘要 视频目标检测技术研究 摘要 引言：计算机视觉技术的快速发展也离不开目标检测与识别技术 的发展。目前目标的检测和识别已经完整地整合在了一起，让检测成 为识别的基础。对于目标的种类和属性的不同对应有好多种各式各样 的检测识别算法，如s i f t 、a d a b o o s t 、h um o m e n t s 等等。本文主要研 究视频检测识别技术。如何提高视频检测算法的精确度和训练时的效 率是最主要的问题。本文的主要研究内容如下： ( 1 ) 在新的视频分帧程序中融合了f f m p e g 解码技术，使新程序分帧 的视频格式可以是任意格式。并增设了多种分帧方式( 如直接抓取、 播放抓取、场景抓取等) 如各种视频使视频分帧功能更加强大。 从视频文件中识别目标物体，首先提取视频文件中的帧，然后从帧 中识别所需要的各种信息。新程序分帧的视频格式可以是任意格式， 新程序支持包括几乎所有视频格式的分帧解码诸如a v i ，m e g ，m p e g ，a s f , m o v , w m v , r m ，r m v b ，f l v 等等在内的。支持的视频分帧的方式多样化： 如直接抓取、播放抓取、场景抓取等方式。 ( 2 ) 在新的视频目标检测算法中添加了场景识别功能，使新算法比 传统检测算法的检测速度和效率得到提高。 改进后的算法的检测速度和效率大大提高，处理的时间上，新算 法也变快了许多。这些是由于新算法融入了场景变化检测的功能。添 加了场景变化检测的话，程序就可以忽略掉连续具有相同背景的帧， 北京化工大学硕士学位论文 而默认这些帧的信息都是具有与第一个帧相同的信息。这时检测识别 效率会得到进一步提高。 ( 3 ) 在新的视频目标检测算法中将a d a b o o s t 算法和s i f t 、h um o m e n t s 算法结合起来。使相对于传统检测算法，新算法对被检测物体的多样 性适应性较强。 经过实验的具体分析，相对于传统算法，新算法对物体的放大、 缩小、掩盖( 即检测目标被其他物体部分遮盖) 、旋转、扭曲压缩等 都有检测效果更好，精确度更高。 关键字：计算机视觉，a d a b o o s t 算法，目标检测 h a b s t r a c t r e s e a r c ho fo b je c td e t e c t i o nt e c h n o l o g y b a s e do na d a b o o s ta l g o r i t h m a b s t r a c t i n t r o d u c t i o n ：c o m p u t e rv i s i o nt e c h n o l o g yi si n s e p a r a b l ef r o mt h e r a p i dd e v e l o p m e n to fo b j e c td e t e c t i o na n dr e c o g n i t i o nt e c h n o l o g y t h e c u r r e n to b je c td e t e c t i o na n dr e c o g n i t i o nh a sb e e nc o m p l e t e l yi n t e g r a t e d t o g e t h e r , s ot h a td e t e c t i o nb e c o m e st h eb a s i sf o ri d e n t i f i c a t i o n t h et y p e a n dp r o p e r t i e so ft h eo b j e c tc o r r e s p o n d st oag o o dv a r i e t yo fd i f f e r e n t k i n d so fd e t e c t i o na n di d e n t i f i c a t i o na l g o r i t h m s ，s u c ha ss i f t ，a d a b o o s t ， h um o m e n t sa n ds oo n t h i s p a p e r s t u d i e sv i d e od e t e c t i o na n d i d e n t i f i c a t i o nt e c h n i q u e h o wt oi m p r o v et h ea c c u r a c yo f v i d e od e t e c t i o n a l g o r i t h m sa n dt h ee f f i c i e n c yo ft r a i n i n gi st h em a i np r o b l e m t h i sa r t i c l e m a i n l yi n c l u d e st h ef o l l o w i n g ： ( a ) t h es u b f r a m ef u n c t i o ni nt h ev i d e op r o g r a mc o m b i n e sf f m p e g d e c o d i n gt e c h n o l o g y , t h en e wp r o c e d u r e ，t h ef r a m eo ft h ev i d e of o r m a t c a nb ea n yf o r m a t t h ea d d i t i o no fav a r i e t yo fs u b f r a m ea r ea d d e dt ot h e p r o g r a m ( s u c ha sd i r e c tc a p t u r e ，p l a yc a p t u r e ，s c e n ec a p t u r e ，e t c ，m a k i n g t h ev i d e os u b f r a m em o r ev a r i o u sa n dp o w e r f u l r e c o g n i t i o nf r o mt h eo b j e c ti nt h ev i d e of i l e ，e x t r a c tt h ev i d e of i l e f i r s tf r a m e ( f r a m e ) ，t h e nf r o mt h ef r a m et oi d e n t i f ya l lt h ei n f o r m a t i o nw e n e e d v i d e of r a m i n gn e e d st h em o s tc o m m o nv i d e of o r m a tt h a tc a n 北京化工大学硕士学位论文 d e c o d et h ev i d e oa n de x t r a c tf r a m e s ，a n de v e n t u a l l ya st h e s ef r a m e sa r e d e t e c t e da st h ei m a g et od e t e c tw h e t h e rt h e r ea r es u s p i c i o u su s e r st of i n d t h eo b j e c t t h en e w p r o c e d u r e ，t h ev i d e of r a m ef o r m a tc a nb ea n yf o r m a t ， n e wp r o g r a ms u p p o r t ，i n c l u d i n ga v i ，m e g ，m p e g ，a s f , m o v , w m v , r m ， r m v b ，f l v , e t c a l m o s ta l lv i d e of o r m a t s ，i n c l u d i n gt h es u b - f r a m e d e c o d i n g t h et r a d i t i o n a lf r a m i n gp r o c e s si n v o l v e ss e v e r a lc o m m o n l y u s e df o r m a t ss u c ha sa v i ，r m v ba n ds oo n s u p p o r tt h ed i v e r s i f i c a t i o no ft h ev i d e os u b f r a m e s ：i ft h ed i r e c t c a p t u r e ，p l a yc a p t u r e ，s c e n ec a p t u r e ，e t c ( b ) o b j e c td e t e c t i o na l g o r i t h mi nt h ev i d e os c e n er e c o g n i t i o nw a s a d d e ds ot h a tt h en e wm e t h o do fd e t e c t i o nt h a nt h et r a d i t i o n a ld e t e c t i o n a l g o r i t h mt oi m p r o v es p e e da n de f f i c i e n c y ，i m p r o v e dd e t e c t i o na l g o r i t h m g r e a t l yi m p r o v e dt h es p e e da n de f f i c i e n c y , p r o c e s s i n gt i m e ，t h en e w a l g o r i t h ma l s oc h a n g e dal o tf a s t e r t h e s ea r et h en e wa l g o r i t h mi s i n t e g r a t e di n t ot h es c e n ec h a n g ed e t e c t i o nf u n c t i o n a d das c e n ec h a n g e d e t e c t i o n ，t h e n ，t h ep r o g r a mc a ni g n o r et h eb a c k g r o u n do far o ww i t ht h e s a m ef r a m e ，w h i l et h ed e f a u l ti n f o r m a t i o ni nt h e s ef l a m e sa r et h ef i r s t f r a m eh a st h es a m ei n f o r m a t i o n a tt h i st i m et h ee f f i c i e n c yw i l lg r e a t l y i m p r o v et h ed e t e c t i o na n di d e n t if i c a t i o n ( c ) o b j e c td e t e c t i o na l g o r i t h mi nt h ev i d e ow i l la d a b o o s ta l g o r i t h m a n ds i f t ，h um o m e n t s ，a l g o r i t h mt o g e t h e r m a g n i t u d ea n da n g l ef o rt h e c o n v e n t i o n a ld e t e c t i o na l g o r i t h m ，t h en e wa l g o r i t h mt od e t e c to b j e c t so n a b s t ra c t t h ed i v e r s i t yo fm o r ea d a p t i v e ，c o m p a r e dw i t ht r a d i t i o n a la l g o r i t h m ，t h e n e wa l g o r i t h mo b j e c tz o o mi n ，c o v e ru p ( t h a ti s ，s o m eo t h e ro b j e c t d e t e c t i o no b j e c ti sc o v e r e d ) ，r o t a t i o n ，c o m p r e s s i o n ，d i s t o r t i o ne f f e c t sa r e b e t t e rd e t e c t e d k e y w o r d s ：c o m p u t e r v i s i o n ，a d a b o o s ta l g o r i t h m ，o b j e c td e t e c t i o n v 北京化工大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者签名：日期： 斟q ：上兰 关于论文使用授权的说明 学位沦文作者完全了解北京化工大学有关保留和使用学位沦 文的规定，即：研究生在校攻读学位期间沦文工作的知识产权单 位属：i 匕京化工大学。学校有权保留并向围家有关部门或机构送交 论文的复印件和磁盘，允许学位论文被台阅和借阅；学校可以公 稚学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。 保密论文注释：本学位论文属于保密范围，在土年解密后适用 本授权书。非保密沦文注释：本学位论文不属于保密范陶，适用木授 权书。 作者签名：盎簦 导师签名：掣一 日期：! 垒二竺! 三 第一章绪论 1 1 研究背景 第一章绪论 从很长时期看来，我们的计算机还是一个永远需要人来介入的工具，之所以 称之为工具，因为它还没有具有像人类思维的东西( 如人类的辨别能力，思考能 力等等) 还需要被动地接受由键盘、文件输入的信息，而不能主动从这个世界获 取信息并自主处理。人们为了让计算机看到这个世界并主动从这个世界寻找信 息，发展了机器视觉；为了让计算机自主处理和判断所得到的信息，发展了人工 智能科学。此时我们就可以有能力让计算机也像人一样的得到“学习 ，让它也 具备部分和人一样的识别能力，能区分和定位自然界图像等等其中的目标物体。 从上个世纪到现在，机器视觉的发展已经历了一个漫长的过程。经过研究者 们的不懈努力，新的信息技术和媒体手段的出现，使得更加有效和友好的人机交 互方式得到了发展，新型的人机交互将不再依赖传统的输入设备。而且，计算性 价比的提高和视频获取成本的降低，使得计算机视觉系统能够向桌面级和嵌入式 系统发展，这意味着计算机视觉系统能够安装在一切电子系统之中。相信在不久 的将来，拥有高级视觉系统的智能电子产品会给我们的生活带来更大的方便。计 算机视觉要处理的一个重要内容，就是对目标物体的视觉处理。可疑图像中的相 关研究希望用户感兴趣的东西如身份、状态和意图的信息能够从图象中提取出 来，然后由计算依此做出反应( 比如通过检测出目标物体就可以对它进行相应的 图像处理，使其可以根据用户的需要来) 。由于人脸和脸部表情已经被心理学家、 神经科学家和工程师们研究了多年，所以人脸和脸部表情识别的研究得到了更多 的关注。但是其他目标物体却还很少有人研究过，因为还没有人训练过其他比较 陌生的目标物体的分类器( c l a s s i f i e r ) ，从而本文就是研究如何训练此类分类 器，让计算机也具有识别一般普通目标物体的能力。 目标识别主要包括目标检测和人脸识别两部分。而最先的准备工作还要准备 大量的正样本( p o s i t i v es a m p l e 即要检测的目标物体图像) 和负样本( n e g a t i v e s a m p l e 即不包含目标物体的图像) ，最近也有人研究出动态物体和模糊物体的检 测等等，新的技术不断出现乜喝3 。目标识别技术主要集中使用在人脸识别领域。 与指纹、视网膜、虹膜、基因、掌纹等其它人体生物特征识别系统相比，人脸识 别更加直接、友好，其使用者无心理障碍。人脸识别技术应用背景十分广泛，可 用于公安系统刑侦破案的罪犯身份识别、身份证及驾驶执照等证件验证、银行及 海关的监控、自动门。而普通物体的目标检测可用有特殊需求的用户和公司。如 工厂检测废水量，设备是否完好等等。 北京化工大学硕士学位论文 1 2 研究现状 1 9 9 5 年，f r c u n d 和s c h a p i r c 两人共同提出基于h a a r 特征的a d a b o o s t 算法 “1 ，这是在目标检测方面具有里程碑式的意义，该算法的原理主要是根据弱学习 的反馈，从而适应性地变化调整预订假设的错误率，使得在不降低效率的前提下， 检测的准确度得到了比较大的提高。 在a d a b o o s t 算法发明之前使用的是b o o s t i n g 算法璐1 ，该算法的发展过程 如下： 1 关于p a c 学习模型： 学习中计算的图形图像的处理乃至计算机视觉方面的作用非常重要，有了它 才有了计算机视觉今天在各个领域的快速发展壮大。其中可学习的理论又可以分 为统计学习理论和计算学习理论这两个部分。其中统计学习理论主要是与经验过 程关系密切，而计算学习理论是概率理论中慢慢发展起来的，如今发展的比较成 熟，成为概率论中的一个重要分支，它主要的应用领域在于实验处理的基础上进 行的各种量的估计，主要研究当采样越来越多的情况下，这些估计值是否收敛到 未知的真值的问题，概率论成为它的理论基础；它也是主要研究怎样构造出比较 有效的学习算法以及考虑并计算学习算法的复杂性问题。 计算学习理论中常用的模型就是p a c ( p r o b a b l ya p p r o x i m a t e l yc o r r e c t ) 学习模型，在1 9 8 4 年首先由v a l i a n t 在其论文中首先提出来的嘲。论文中把“学 习当成是一种“过程，而且是在该过程是在当明显清晰的过程或模式不存在 时仍能获取知识的，然后给出了一种方法，它是从计算角度来获得这种“过程” 的，这种方法包括如下部分： ( 1 ) 收集合适信息机制的选择； ( 2 ) 学习的协定； ( 3 ) 能在合理步骤内进行关于学习的概念的分类。 虽然学习的概念的范围会受到内在的算法复杂性限制了，但仍然给出了一些 有现实价值的，比较重要的，可以进行学习的概念例子。其实p a c 学习的实质 就是基于样本的训练，然后使算法的输出以概率接近一个未知的目标真值的意 思。p a c 学习模型是在考虑一个基本框架，该框架是以样本复杂度及计算复杂 度为基础的，然而只有比较成功的学习才被定义为具有形式化的概率理论。因为 p a c 模型本身并不强求学习器能输出零错误率的假设，而只要求其输出的错误 率能被限定在某预订的常数范围内( 当然彦雳戮可以危煮。同时也不要求学 习器对我们所有的进行随机抽取的样本都能成功学习成功，只要其失败的概率被 限定在某个常数范围内( 垓考旋也可取任意d , ) o o 可，所以学习器最终将可以学习 2 第一章绪论 到一个预先可能近似到的正确的假设。 2 弱学习与强学习： 在使用b o o s t i n g 算法的时候人们最非常关注的一个问题就是如何根据观测 来的数据来学习从而得到精确的假设，机器学习的一个重要目标就是尽可能精确 地估计新的样本口3 。然后就随机猜测是或否的问题，那么将会有一半的正确率。 简单地说，一个假设要是能够稍微地提高猜测正确的概率，那么这个假设就称为 弱学习的过程，得出这个算法的过程称为弱学习算法口1 。目前可以使用半自动化 的方法预先为任务构造好各自的弱学习算法，当然这个构造过程需要大量的数量 的假设集合，这个假设集合是建立在简单规则的组合和对样本集的性能评估的基 础之上然后生成的。同理，一个假设要是能比较显著地提高猜测正确的概率，那 么这个假设就称为强学习1 。一般来讲，构造出只比随机猜测好一点的弱学习算 法很简单，但是如果要构造一个强学习算法却是一件相当困难的事情，需要耗费 大量的学习和训练时间。后来k e a r n s 提出了一个等价问题n 们，即是弱学习算法 与强学习算法间的等价问题：是否可以把弱学习算法转化为强学习算法。如果它 们真的等价的话，则只需要找到一个弱学习算法，让它直接将其提升为强学习算 法。后来k e a r n s 和v a l i a n t 两人证明出只要在训练时输入有足够的数据，弱学 习算法就能通过集成的方式生成任意高精度的假设( 强学习方法) 1 。 3 b o o s t i n g 方法： b o o s t i n g 是为提升、加强。现在一般指的是将弱学习算法而提升为强学习算 法的一种算法n 羽。 b o o s t i n g 算法是在k e a r n s 和v a l i a n t 证明后才真正成熟起来的n 驯。1 9 9 0 年，s c h a p i r e 最先构造出一种多项式级的算法n 引，即最初的b o o s t i n g 算法。这 种算法定义了如何将弱分类规则转化成强分类规则。在一年之后，f r e u n d 又提 出了一种效率更高的b o o s t i n g 算法n 刀。1 9 9 3 年，d r u c k e r 和s c h a p i r e 两人首 次提出以神经网络作为弱学习器，然后应用b o o s t i n g 算法来解决实际中的问题 n 8 1 。b o o s t i n g 算法在很多领域已得到简单而有效的应用。如分类、建模、图像 分割、数据挖掘等领域。至到1 9 9 5 年，f r e u n d 和s c h a p i r e 提出的 a d a b o o s t ( a d a p t i v eb o o s t i n g ) ，是对b o o s t i n g 算法的一大提高u 引。 1 3 本文的主要内容及研究工作 1 视频分帧： 要想从视频文件中识别目标物体，首先得提取视频文件中的帧( f r a m e ) ，然后从 帧中识别我们所需要的各种信息。视频分帧需要针对绝大部分的常用视频格式文 北京化工人学硕十学位论文 件，可以解码视频并从中提取帧，并最终将这些帧作为作为被检测图像来检测是 否有用户所要查找的可疑目标物体。 2 目标检测 目标检测需要从被检测的图像中定位找出可疑目标物体，并给它标记出来已 示区别，这里目标检测就涉及到检测的精度与速度的问题。但归根到底是我们用 a d a b o o s t 算法训练的分类器的质量问题。这里的重点还是如何训练分类器的问 题。如何给出训练需要的各种参数和各种正负样本，制作的正负样本的质量也直 接影响n i j i i 练分类器的质量，还有训练时间的长短和机器配置等等。不论怎样， 训练分类器需要综合各方面的信息，最终确定出一个最佳训练方案。其中的 a d a b o o s t 算法是基于h a a r 特征的目标搜索算法幽1 ，将弱分类器提升为强分离器， 弱分类器的训练及选取训练一个弱分类器( 特征f ) 就是在当前权重分布的情况 下，确定f 的最优阈值，使得这个弱分类器( 特征f ) 对所有训练样本的分类误 差最低。选取一个最佳弱分类器就是选择那个对所有训练样本的分类误差在所有 弱分类器中最低的那个弱分类器( 特征) 。 3 目标识别 即使用训练好的分类器和o p e n c v 提供的p e r f o r m a n c e 工具来直接对图像进行 检测控。 本文的主要内容和组织构架如下： 第一章绪论。本章分析了课题的研究背景，a d a b o o s t 算法的研究现状，介 绍了本文的主要内容和研究工作。 第二章a d a b o o s t 算法视频目标检测技术，本章详细介绍了a d a b o o s t 算法训 练训练器。以及利用该算法生成级联分类器所需要注意的问题和该算法的基本原 理。并简单与其他的机器学习算法进行了对比。 第三章检测识别算法过程。本章主要介绍了实现检测识别技术的程序框 架、操作过程以及使用到的各种技术和功能。介绍并分析了使用a d a b o o s t 算法 进行样本训练的详细过程和注意要点，以及使用级联分类器进行检测，最后利用 级联分类器来使用特征脸进行识别。 第四章a d a b o o s t 算法改进。本章主要是提出各种改进算法的策略。主要从 检测识别的精确度和效率方面来考虑。提出了比如h a a r 特征多样化、场景检测、 与其他算法结合等等策略。最后分析了各种算法的优缺点和改进后a d a b o o s t 算法 的主要好处。 第五章：实验结果与分析。利用新的算法和旧的算法进行了对比，主要从可 靠性、效率、多样性的角度进行。突出新算法相对于旧算法的各种优点。 第六章总结与展望。对本文的研究工作做了一些总结、评价和展望。 4 第一章绪论 1 4 本文的主要创新点 能够利用现有的图片与资料对目标识别分类器进行训练，使目标识别分类器 拥有对任何种的物体进行检测和识别的能力。并还可以不断的通过增加训练时间 和难度来达到增加识别精度和准度的目的。 1 对几乎所有格式的视频文件进行编解码且提供多种抓取帧的方式。 2 对多种目标物体进行检测，只要训练的分类器的质量比较高，可以任意给 出需要检测的物体，进行一段时间的精确的训练，都可以得出较好的目标识别分 类器，从而从图像中检测出我们需要查找的目标。 3 训练时增加h a a r 矩形特征的样式和种类，扩展的h a a r 特征瞳2 1 使复杂目标分 类器训练在检测时变得快捷简单了。 4 检测识别之前增加场景变化检测功能，增强了过滤无关图片的能力，这时 检测识别效率会大大提高。 5 结合s i f t 算法、h um o m e n t s 轮廓匹配算法乜钔，以此来提高视频检测算 法的图象匹配检测准确度和速度，使检测效率得到提高。 1 5 总结 本章分析了课题的研究背景，以及当前目标检测算法( 如a d a b o o s t 算法) 的 研究现状，最后介绍了本文的主要内容和研究工作，并阐述了本文对当前视频目 标检测算法的改进工作。最后列举了本文的一些创新点。 5 第二章基于a d a b o o s t 算法的视频目标检测识别技术 第二章基于a d a b o o s t 算法的视频目标检测识别技术 2 1a d a b o o s t 算法的训练步骤 在使用a d a b o o s t 算法计算出的每个h a a r 特征都有一个对应的弱分类器，但 是不是每一个计算出来的h a a r 特征都能比较客观嘲。有效地描述所要检测识别 目标的( 如小刀、水杯，人脸等) 灰度分布的某一特点，关键是怎样从很多的h a a r 特征中挑选出最优的( 最客观最有效的) h a a r 特征并制作生成分类器用于目标的 检测与识别，这是a d a b o o s t 算法训练过程所要解决的关键问题，它也是直接关系 到算法精度和速度的关键因素3 。 训练系统总体框架，由“训练部分 和“训练过程中的不断补充的额外 部分”构成。在系统框架之中，此训练系统可以将它分为下面几个必要的部分模 块。 ( 1 ) 输入正样本集和负样本集，借助样本集中给出的矩形特征原型的情况下， 通过计算并获得矩形特征集： ( 2 ) 输入计算出的特征集，按照a d a b o o s t 算法给出的弱学习算法，确定阈值， 将特征与弱分类器一一对应起来，获得弱分类器集： ( 3 ) 输入得到的弱分类器集，在训练中给出检出率和误判率以来限制训练结 果，然后就可以使用本文的adabo o8t 算法挑选算出其中的最优的弱分类器 去构成需要的强分类器： ( 4 ) 输入得到的强分类器集，将其组叠为最终的级联分类器； ( 5 ) 输入需要不断补充的非目标图片集，然后再按上述方法不断地生成强分类 器，组合强分类器为临时的级联分类器，筛选并补充级联分类器，使得级联分类 器的级数越来越多。 7 北京化工大学硕上学位论文 图2 - 1a d a b o o s t 算法的训练分类器的步骤 f i g 2 - 1t r a i n n i n gp r o c e d u r eu s i n ga d a b o o s ta l g o r i t h mf o rc l a s s i f i e r 2 1 1 选择调练样本 我们需要将紧凑而且轮廓较清晰的目标图片作为训练的样本输入，否则会造 成训练的错误率较大，造成训练的费时而且难找出较好的矩形特征集。图l 是要 使用的一串训练样本，把它们的大小归一化为w x h 像素的( 其中w 为归一化后图 8 * 一e 肇f a d a b o o s t 算诘的祝顿目标榆测识别技术 片的高，h 为归一化后图片的宽，根据具体的目标各有不同如人脸2 4 x 2 4 ，小刀 人约为2 0 x 4 0 ) ，大小2 4 x 2 4 是比较适合r 洲练中的，在一串训练样本中正训练 样本必须是包台有识别目标( 如人腧或小川或五角星等) ，但是识别目标的形状外 形太小颜色都各有不同所以在选取正样本的过程中蔓考虑到训练样本的多样 性，像各种形状外形大小颜色的样本都要有所输入补充进去以使得训练h 来分类 器在捡测识别时具有通用性。负训练样本，大小也被归化为2 4 x 2 4 像素即和正 样本同样的大小，输入的各样本都不尽相同，分别代表各个样本的各个方面性质 特征。选择使用的正负样本最好不要给许多只含有一个目标的样本，可以选择使 用含有多个检洲识别目标的图片，这样既有利于管理和分类，也可以提高洲练时 的速度。负样本给的数量需要足够多，情景和类型小多的图片都要有所包含，一 般训练时负样本的个数需要在几卜万张以上而且在训练的过程中根据训练得到 的精度继续地添加更多的负样本。 。p 瞻4 严_ _ _ _ _ _ a m 。一 i d _ - 北京化工大学硕士学位论文 2 1 2 从样本中提取h a a r 特征 口嗣团圈目 圉燃圃 图2 3 常用的几种h a a r 特征 f i g 2 - 3s o m ep o s i t i v es a m p l e si nt r a i n i n g 最经常用到的h a a r 特征有上述几种啪1 ，如图2 3 所示。在这上述几种h a a r 特征的基础上我们也可以设计出更多、更复杂的特征。以大小为2 4 x 2 4 像素的 训练样本为例，如果使用上述几种特征进行衍生韵话，会使用到的h a a r 特征会 到达几十万个甚至上千万个个。如此巨大的数量给a d a b o o s t 算法中的后迭代训 练工作带来了非常巨大而复杂的计算，这样便直接导致极为费时的a d a b o o s t 算 法训练过程，这里便是a d a b o o s t 算法的关键之处啪1 ，这也是该算法需要函待改 进的关键的地方之一。 2 1 3 从h a a r 特征生成弱分类器 a d a b o o s t 算法中所训练的弱分类器是任何种类的分类器，像决策树侧，神 经网络，隐马尔科夫模型眦3 。每一个弱分类器都由一个h a a r 特征计算而来， 而h a a r 特征又是从样本集中提炼计算出来的，所以每一个h a a r 特征都对应着一 个弱分类器3 | 。而它又要按照它所对应的那个h a a r 特征的参数来进行定义，从 而得出h a a r 特征的一些位置上的信息，h a a r 特征参数又要通过对训练样本的 统计才能得出来，既然是统计就要保证样本集的数量，一般来说是正负样本数量 越多越复杂训练时间越长，但能得出比较准确的h a a r 特征参数啤1 。 1 0 第二章摹于a d a b o o s t 算法的视频目标榆测识别技术 2 1 4 采用a d a b o o s t 算法选取优化的弱分类器 a d a b o o s t 算法训练过程其中阶段一个就是要从众多的弱分类器中挑选最优 的，并赋予权重过程，既然每个h a a r 特征就对应一个弱分类器，在样本集中获 取的h a a r 特征又有很多很多，那么就要在其中选中更有效更精确的弱分类器， 这主要是同过a d a b o o s t 算法综合训练各个h a a r 特征及参数的去试检测正样本和 负样本中的目标，并不断地改变各个弱分类器的权重，再不断地迭代训练，看看 准确率如何，准确率最高的那个弱分类器即是最优的弱分类器汹1 。比如说 a d a b o o s t 算法在识别人脸的过程中，它得到的特征值有很多( 包含有上述的十几 种基本的h a a r 特征) ，而在人的脸、鼻子、眼睛、头等等反映的特征值中鼻子和 眼睛或者头和耳朵的轮廓形成得出的特征值最明显最优，最能鉴别出一个人的脸 的特征1 。 2 2a d a b o o s t 进行训练检测的基本原理 p a u lv i o l a 和m i c h a e lj o n e s 于2 0 0 1 年将a d a b o o s t 算法在人脸检测中得以实 现汹3 ，在训练过程中会不断往算法中添加一些训练集以不断提高训练出良好的分 类器，针对不同的训练集训练同一个分类器( 弱分类器) 是它的基本思想，接着 把这些从不同训练集上训练出来的分类器接合起来，这样便形成了一个强分类 器。对于a d a b o o s t 算法而言，每个训练集都有一个对应的权重，标志着该训练 集在训练过程中的重要和考虑程度，各个训练集是通过比较调整每个样本对应的 权重来达n i ) l l 练目的的。最初时，训练中各个样本所对的权重是相同的，如果出 现h 1 分类错误的样本，则需要加大该分类错误样本的权重；而如果出现分类 正确的样本，则需要降低该样本的权重，这样做到话，训练中分错的样本就会 被突出显现出来，从而我们可以得出一个比较新的样本分布u 2 。对于新得出 来的样本分布，可以对弱分类器再次进行训练，得到弱分类器h 2 。依次类推， 经过n 次循环计算，生成n 个弱分类器，最终将这计算出的n 个弱分类器按 一定预设的权重叠加起来，这样就得到最终想要的强分类器。 对a d a b o o s t 算法的研究已经有很长的一段时间啪1 ，最初是用于对人脸检测， 由于当时许多用于人脸检测的效果不佳，如早期的模板匹配、子空间方法，变形 模板匹配等。近期人脸检测的研究主要集中在基于数据驱动的学习方法，如统计 模型方法m 1 ，神经网络学习方法h ，统计知识理论和支持向量机方法h 引，基于马 尔可夫随机域的方法h 羽，以及基于肤色的人脸检测h 4 l 。目前在实际中应用的人脸 j t 京化t 大学项学位论女 检溯方法多为基于a d a b o o s t 学习算法臼勺方法。 a d a b o o s t 检测方法是一种建立柚税分罔、若干个强分类器构成的缴联检测 器和a d a b o o s t 算法( 主要是训练分类器的算法) 的基础之上的，该检测方法具体 分成了下血的三块，下面以举五角星的榆测和识别为例： 首先，使用h a r r 特征表示五角星，然后使用“积分图”柬快速计算出需要的 h a a r 特征值： 再者，使用a d a b o o s t 算法挑选出一些最能代表记角星的矩形特征( 弱分类 器) ，也就是晶优弱分类器，再按照加救投票的方式将弱分类器构造为个强分 类器： 最后，将训练得到的若干强分类器串联组成一个数联结构的层叠分类器， 级联结构能有效地提高分类器的检测速度。因为它是通过过滤缩放的方式进行检 测，首先将最不可能是目标的图片位置排除，也就是先使用级联分类器巾权重最 小的强分类器进行检测，然后再逐个使用权重更大的强分类器这样可以快速地 排除很多不必要重复进行检测的位置和图片。 a d a b o o s t 算法是一种主要通过分类的方法来进行_ | 盎测的，它的基本原理就 是把一些比较弱的分类方法台在一起，组合出新的很强的分类方法( 强分类器) ， 最后构成级联分类器。 例如下图中首先a d a b o o s t 算法会算出从样本中的弱分类器( 下右) ，判断 o o o o o 图2 罂识别的崮片( 序) ，训练得山弱分类器( 一) n 2 - 4 p i c t u r e f o rr e c o n i z i n g ( t e f l ) ，w e a kc l a s s i f i e r ( r l g h t ) 当然简单地通过上面一个弱分类器是远远不够的，它只能判断血角星的血个 顶点的相对位置。需要精准地判断出给出的图片巾是否包台 角星，还需要另外 的分类器。如：下面的分类器就又多了几个弱分类器，它们分别表示m 了各个五 角星顶点的相对联系与联系们方式( 是通过线段链接) 的。 第二章基于a d a b o o s t 算法的视频目标检测识别技术 图2 - 5 训练得出多个叠加的最优弱分类器( 右) f i g 2 - 5m a n yf i n e s tw e a kc l a s s i f i e r ( r i g h t ) 五角星检测的直接目的是从图片中找出包含有五角星的子窗口，将这些子窗 口和不包含有五角星的非目标的子窗口分开，这样就达到了检测识别的目的。大 致步骤如下： ( 1 ) 在我们给出的正样本图片中提取一些简单的特征( 称为h a r r 特征) 。 那么如何计算这些h a m 特征呢? 我们通过将白色区域内的像素和减去黑色 区域，所得出的差值就是我们需要h a m 特征值，由于各个图片在各自特定的位 置得出的h a a r 特征和灰度值都不一样，因此在目标图片与不含有目标的图片的 相同位置上，所得的差值是不同的，所以算出的这么多的h a a r 特征可以帮助我 们来识别目标。 ( 2 ) 现在所使用的a d b o o s t 训练方法是使用数千张归一化好的正样本图片( 切 割好的目标图片) ，和几十力张负样本图片( 背景图片) 作为训练样本。正样本 图片归一化大小不尽相同，对于像五角星等目标的训练图片一般归一化成2 5 * 2 5 的大小。在这些我们给定的样本图片里，可以计算出来使用的h a a r 特征数将近 有几万个之多，这时就必须使用训练算法进行挑选最优有效的分类器，一般情况 下，a d a b o o s t 算法挑选数千个有效的h a m 特征来形成弱分类器集，后将他们训 练成强分类器组，最后组成目标检测器( 级联分类器) 。 r 3 ) a d a b o o s t 的训练算法训练出一个目标检测器后，便可以使用了。在检测识 别的过程之中，算法将把检测器窗口进行缩放以使它能检测各种大小的目标，还 可以将图像按比例依次缩放，然后在缩放后的图片的各个位置的2 0 * 2 0 的子窗 口依次进行判别是否是要检测的目标。 目前目标检测在实际应用中主要用于目标识别的预处理，即在图像中准确标 定出目标的位置和大小。然后再将该位置的信息提取出来与数据库中的信息进行 比对，从而得出与库中信息的相似度是多少，一般预先可以确定下来检测相似度 的阀值，当比对的相似度大于确定的阀值时则表明是目标物体，否则不是。 1 3 北京化工人学硕_ 上学位论文 2 3 其他的机器学习算法与对比 目前有很多有关目标学习的算法。如在o p e n c v 中包含的机器学习算法就有 马氏距离( m a h a l a n o b i sd i s t a n c e ) 、k m e a n s 、贝叶斯分类器( b a y e sc l a s s i f i e r ) 、 b o o s t i n g 、决策树( d e c i s i o nt r e e ) 等等。 一马氏距离： 马氏距离最先是由印度的统计学家马哈拉诺比斯( m a h a l a n o b i s ) 提出的，是用 来表示数据之间的协方差距离。它后来被证明是一种比较有效的计算两个未知样 本集的相似度的方法。跟欧式距离的不同之处是它考虑到了各种特性之间的联系 ( 例如：一个人的所测量的身高的信息同样会多少反映出这个人在体重方面的信 息，毕竟它们两者是有内在联系的) ，并且是它是与尺度无关的，也就是说独立 于测量尺度。对于多变量向量而且它的一个均值为协方差矩阵为，那么它的马 氏距离就定义为一个公式。同样马氏距离如果把它定义成为两个是同一分布且它 的协方差矩阵为的随机变量和差异的程度。 当然要是我们把协方差矩阵看为单位矩阵，那么就可以进一步把马氏距离就 简化成欧式距离的样式，要是矩阵为对角阵的话，那么可以成为正规化的欧氏距离 的样子。第i 个样品与第j 个样品的马氏距离d i j 用下式计算： d j = ( ( xi xj ) 。s - i ( xi x j ) ) u 上 当然应用马氏距离机器学习算法“5 1 会有很多优点。第一不会受到量纲的影 响，而且原始数据的测量单位和两点之间的马氏距离没有关系；根据标准化数据 与中心化数据( 也就是原始数据减去均值所得的差) 就可以算出的关于二点的马 氏距离有同样的值。另外它还可以排除变量与变量之闾的干扰。然而它的缺点就 是高估了变量有细小变化的所产生的作用。 马氏距离h 钉( m a h a l a n o b i sd i s t a n c e s ) 的计算需要注意以下问题： 1 、马氏距离的计算只有以总体样本来作为基础，它的这一思想可以从上述 关于协方差矩阵各种推理和解释中看出来，换句话说，要是我们拿来了两个同样 的样本，并把它们放在两个不同的总体里，然后就可以计算出的这两个样本问的 马氏距离，发现它们的距离值是不相同的，