（模式识别与智能系统专业论文）基于特征检测的车辆跟踪技术的研究.pdf

声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 嗍：埘蚰 l 一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 释： 一 一 北京邮l 乜人学硕i j 学位论文基于特征检测的下辆跟踪技术的研究 基于特征检测的车辆跟踪技术的研究 摘要 智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ：i t s ) 良好的发展前 景和日益提升的应用需求推动着其核心技术车辆目标检测和跟踪的 不断发展。传统的检测方法使得基于视频图像处理技术的车辆检测应用 得以推广，但算法的固有缺陷成为系统性能提升的瓶颈。近年来，基于 目标本身所特有的一些显著的视觉特征的车辆检测方法在智能交通领域 备受研究者瞩目。本文就基于特征提取的车辆跟踪方法的设计和实现进 行了深入的研究。在照明度较好的白天，车辆图像的结构信息突出、充 分，本文推荐使用角点作为特征，可以实现高效的目标检测。而针对跟 踪子任务，采用基于图像金字塔光流的特征跟踪方法，能获得目前针对 目标的大尺度运动预测的最好结果。作为对系统性能的改进和完善，傍 晚检测基于场景下相对清晰、充分的边缘信息进行；夜间检测则依赖唯 一明显、稳定的特征车头灯的识别来实现。实验表明，上述方法在 不同光照条件的卡口监测环境下都具有较高的检测精度和实时的处理速 度，同时对图像旋转、噪声和阴影干扰具有很好的鲁棒性。 局部二元模式( l o c a lb i n a r yp a t t e r n ：l b p ) 是一种有效的纹理描述 算子，但采用l b p 对车辆进行特征描述的研究尚属空白。本文的贡献集 中体现于首次将l b p 纹理描述器应用到交通视频中的车辆特征的提取 上，并基于n i b l a c k l b p ( n l b p ) 算法实现了一个全新的对光线变化自适 应的车辆跟踪方法，弥补了前述方法中系统对局部光线骤变敏感、昼夜 算法不统一的重大缺陷。本论文提出的方法由三个部分组成：通过对交 通视频图像兴趣区域( r e g i o no fi n t e r e s t ) 中n l b p 特征成分分布的统计 直方图变化规律的分析，获得能有效表征车辆的通用的主要特征成分 ( g e n e r a lc r i t i c a li n g r e d i e n t s ：g c i ) ：在新输入图像的r o l 中进行主成分 提取，并从满足一定数量标准的结果中选取部分具有代表性的特征点以 实现目标的检测和标识；采用线性卡尔曼( k a l m a n ) 滤波对已标识的目标进 行基于特征的运动估计、确认，并依据统计标准进行抓拍以提高系统的正 j ! 室! ! ! ! ! ! ! 叁兰堡! ：兰竺丝竺生堑堑丝型堕! 塑坚堕垫查堕堕壅 确率。对比实验结果证明，n l b p 特征明显优于基本l b p 特征。新系统 的正确率得到进一步提升的同时，虚警率得以有效降低，并且，具有更 为稳定、可靠的性能。 关键词：局部二元模式车辆检测车辆跟踪特征提取运动估计 l i r e s e a r c ho nf e a 兀7 r ed e t e c t l 0 nb a s e d v e h i c l et r a c n gt e c h n o l o g y a b s t r a c t a sc o r et e c h n o l o g i e so fi n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ( i t s ) ，v e h i c l e d e t e c t i o na n dt r a c k i n ga r ep u s h e df o r w a r dc o n t i n u a l l ya l o n gw i t hi t s g o o d p r o s p e c t sf o rd e v e l o p m e n ta n du p g r a d i n ga p p l i c a t i o nd e m a n d s t r a d i t i o n a l d e t e c t i o nm e t h o d sm a k ev i d e o i m a g ep r o c e s s i n gb a s e dv e h i c l ed e t e c t i o n p o p u l a r i z e d ，b u tt h e i ri n h e r e n tl i m i t a t i o n sb e c o m eb o t t l e n e c k o fs y s t e m p e r f o r m a n c ei m p r o v e m e n t i nr e c e n ty e a r s ，m o r er e s e a r c h e r sf o c u so n d e t e c t i n gv e h i c l e sb a s e do ns o m ed i s t i n c tv i s u a lf e a t u r e so nt h e i rb o d y w o r k t h i sp a p e rt a k e sd e s i g na n dr e a l i z a t i o nf o rf e a t u r ee x t r a c t i o nb a s e dv e h i c l e t r a c k i n gm e t h o da ss u b j e c tt od of u r t h e rr e s e a r c h i ng o o dl i g h t i n gc o n d i t i o n d u r i n gd a y t i m e ，t h es h a p ei n f o r m a t i o no fv e h i c l ei so u t s t a n d i n ga n ds u f f i c i e n t i nt r a f f i c i m a g e s ，s ot h a te f f i c i e n to b j e c td e t e c t i o nc a nb er e a l i z e db y e m p l o y i n gc o r n e r sa sf e a t u r e f o rt r a c k i n gt a r g e t ，t h eb e s te s t i m a t i o nt ol a r g e m a g n i t u d em o t i o n o f o b j e c t s a t p r e s e n t c a nb ea c h i e v e d b yf e a t u r e p o i n t - b a s e dm u l t i - r e s o l u t i o no p t i c a lf l o wa l g o r i t h m t om a k ep e r f o r m a n c eo f d e t e c t i o ns y s t e mp e r f e c t ，v e h i c l ed e t e c t i o ni nt h ee v e n i n gi sc a r r i e do u tb y m e a n so f e d g ee x t r a c t i o n ，a se d g ei n f o r m a t i o ni s l e g i b l ea n da b u n d a n t r e l a t i v e l y a tn i g h t ，i t sr e a l i z a t i o nr e l i e so nh e a d l i g h t sr e c o g n i t i o n ，b e c a u s e t h e ya r et h eo n l yd i s t i n c ta n ds t a b l ef e a t u r ei nt h a ts c e n e e x p e r i m e n t sp r o v e t h a tar e a l - t i m ep r o c e s s i n gs p e e da n dh i g hd e t e c t i o np r e c i s i o na r ea v a i l a b l ea t t o l l - g a t ei nd i f f e r e n tl i g h t i n gc o n d i t i o n s ，w i t hm e t h o d sm e n t i o n e da b o v e 1 1 1 北京邮i 【1 人学硕i ：学位论文罐于特征枪测的下辆跟踪技术的研究 m o r e o v e r t h es y s t e mi sr o b u s tt oi m a g er o t a t i o n ，s h a d o wa n dn o i s e l o c a lb i n a r yp a t t e r n ( l b p ) i sf a m o u sa sa ne f f e c t i v et e x t u r ed e s c r i p t o r ， b u tn op r e v i o u sw o r kh a sf o c u s e do nu t i l i z i n gi tf o rf e a t u r ed e s c r i p t i o nt o v e h i c l e si ni t sd o m a i n t h em a i nc o n t r i b u t i o no ft h i sp a p e ri st h a tl b p t e x t u r ed e s c r i p t o ri sb r o u g h tf o r w a r dt oe x t r a c tf e a t u r ef o rv e h i c l e si nt r a f f i c v i d e oi m a g e sf o rt h ef i r s tt i m e ，a n dan o v e ln i b l a c k - l b p ( n l b p ) a l g o r i t h m b a s e dv e h i c l et r a c k i n gm e t h o di sd e v e l o p e d t h en e wa l g o r i t h mi sa d a p t i v et o v a r i o u si l l u m i n a t i o n c h a n g e s ，t h u s ，i tc a nm a k eu pf a t a ll i m i t a t i o n so f p r e v i o u so n e n a m e l yt h a ti ti ss e n s i t i v et os u d d e ni l l u m i n a t i o nc h a n g e si n l o c a la r e a sa n di t sd e t e c t i o nm e t h o d si nd a yt i m ea n da tn i g h ta r er e p u g n a n t t h ea p p r o a c hp u tf o r w a r di nt h i sp a p e ri n c l u d e st h r e es t e p s ：f i r s t l yt h eg e n e r a l c r i t i c a li n g r e d i e n t s ( g c if o rs h o r t ) t h a tc a ni n d i c a t ev e h i c l e se f f e c t i v e l ya r e s e l e c t e df r o mn - l b p f e a t u r e s ，t h r o u g ha n a l y z i n gc h a n g i n g r u l e so f d i s t r i b u t i o nh i s t o g r a m so fn l b pf e a t u r e sa c q u i r e df r o mr e g i o no f i n t e r e s t ( r o i ) i nt r a f f i cv i d e oi m a g e s t h e ng c i a r ee x t r a c t e df r o mr o ii nt h e n e wi m a g ea n da t y p i c a lp a r t o ft h e m ，w h i c hs a t i s f ys o m eq u a n t i t a t i v e s t a n d a r d a r es e l e c t e df o ro b j e c td e t e c t i o na n di d e n t i f i c a t i o n l i n e a rk a l m a n f i l t e ri se m p l o y e df o rf e a t u r eb a s e dm o v e m e n te s t i m a t i o na n da f f i r m a n c et o l a b e l e do b j e c t s f i n a l l y ，c a p t u r ei sc a r r i e do u ta c c o r d i n gt os t a t i s t i c a ls t a n d a r d t oi m p r o v ec o r r e c tr a t eo ft h es y s t e m e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h e s u p e r i o r i t yo fn l b pf e a t u r eo v e rb a s i cl b pf e a t u r e c o r r e c tr a t ei si n c r e a s e d f u r t h e r ，w h i l e ，f a l s ea l a r mr a t ei sd e c r e a s e de f f e c t i v e l y a l s o ，p e r f o r m a n c eo f t h en e ws y s t e mi sm o r es t a b l ea n dr e l i a b l e k e y w o r d s ：l o c a lb i n a r y p a t t e r n v e h i c l ed e t e c t i o nv e h i c l et r a c k i n g f e a t u r ee x t r a c t i o nm o t i o ne s t i m a t i o n i v ， 北京邮i 【1 人学硕i ：学位论文基于特征榆测的车辆跟踪技术的研究 目录 摘罢量l a b s t r a c t i i i 第一章绪论1 1 1 选题目的及意义1 1 2 车辆检测技术研究现状2 1 3 文章主要研究内容及安排4 第二章特征检测6 2 1s i f t 6 2 2h o g 特征9 2 3h a a r l i k e 特征9 第三章基于特征检测的车辆跟踪方法的设计与实现1 1 3 1 基于角点检测的图像金字塔光流跟踪法1 1 3 1 1角点检测1 1 3 1 2 图像金字塔光流法1 5 3 2 傍晚和夜问检测性能改进一1 7 3 2 1 基于边缘的傍晚检测。1 8 3 2 2 基于车灯的夜间检测1 9 3 3 基于n l b p 特征的车辆跟踪方法1 9 3 3 1 纹理特征检测2 0 3 3 2 习i i 练2 2 3 3 3 基于k a l m a n 的局部特征匹配跟踪算法2 5 第四章实验结果及分析2 8 4 1 基于角点检测的图像金字塔光流跟踪法的结果及分析2 8 4 1 1 角点检测结果及分析2 8 4 1 2 图像金字塔光流法跟踪结果及分析2 9 4 1 3 方法性能分析3 0 4 2 傍晚和夜i 日j 检测性能改进结果及分析3 2 v ! ! 室堕! 坚叁堂塑土兰垡丝兰兰：芏竺堑丝型竺! 塑坐堕丝查塑丛塑 4 2 1 基于边缘的傍晚检测结果及分析3 2 4 2 2 基于车灯的夜间检测结果及分析3 3 4 3 基于n l b p 特征的车辆跟踪方法结果及分析3 5 4 3 1n l b p 特征提取结果及分析3 5 4 3 2 基于k a l m a n 的局部特征匹配跟踪算法结果及分析3 7 4 3 3 方法性能对比3 9 第五章结论及展望4 1 参考文献。4 3 至殳谢4 8 攻读学位期间发表的学术论文目录4 9 v l 北京邮i u 人学顾：i ：学位论文 基于特征榆测的车辆跟踪技术的研究 第一章绪论 1 1 选题目的及意义 交通安全作为公共安全的重要组成部分，其意义之重大关系着国计民生。当今， 机动车辆保有量的急速攀升导致城市和道路交通面临的各种问题尤为突出。由主观或 客观原因致使的交通违法行为、交通事故频繁发生，在影响了正常交通秩序的同时， 对国民经济、社会发展和人们的生命及财产安全造成了极大的威胁，城市交通管理面 临的压力与同俱增，单纯依靠人力已经愈束愈难以满足同益艰巨的管理要求。各级交 通管理部门深刻意识到，要想构建一个和谐、畅通、有序的交通环境，在加强交通法 规宣传、强化驾驶员遵法行驶意识的同时，如何借助于先进的高科技设备，对各种违 法行为、异常情况进行及时、有效的监测和处理，已经成为迫在眉睫的课题，“科技 强警刻不容缓。近年来，应运而生的智能交通系统在科学、有效地解决交通管理 问题上发挥了积极的作用。i t s 的终极目标是协助车辆在安全、耗费尽可能小的情况 下，以最快的速度达到目的地。它不但可以实时监测、记录道路上的车辆的流量分布、 拥挤排队等状况，以协助交管部门及时进行流量引导；还可以有效地识别或惩处车辆 的违章、异常行为，从而约束了驾驶员的非法操作，降低了事故的发生频率。因此， i t s 为交通规划、管理、道路养护等部门提供了重要的研究基础和运行数据；此外， i t s 在协助公安部门获取科学、重要的技术手段和证据，快速侦破交通事故或重大犯 罪逃逸和机动车盗抢等案件方面起到了不可估量的作用。 i t s 应用技术的发展基本可以划分为三个阶段：基于物理感应技术的检测，基于 电磁波技术的检测和基于视频图像处理技术的检测。 ( 1 ) 基于物理感应技术的检测 检测一般是借助感应线圈实现的，有电磁变化感应线圈或压力变化传感线圈等， 都是基于对车辆通过线圈时所带来的变化因素进行分析来工作的。但物理元器件的性 能及工作条件对系统性能具有非常大的限制作用，同时，设备的安装施工难度大、破 坏性强。 ( 2 ) 基于电磁波技术的检测 典型产品如红外线检测仪、微波检测仪和超声波检测仪等，它们利用光波稳定的 热辐射或直线传播被破坏以及发生反射现象等特性作为检测的依据。可惜仪器可获得 的交通参数比较少，且对温度、噪声等干扰比较敏感。 ! ! 室! ! ! ! ! ! 坚叁兰堕! ：堂丝笙竺 一一 苎堑堡丝! 墨! ! 堕! 塑些堕垫查塑型眨! ( 3 ) 基于视频图像处理技术的检测 上述两种系统的缺陷限制了其应用的进一步推广。而以图像处理与计算机视觉技 术为先导的智能交通系统产业，以其卓越的性价比，在国内各方面的关注下得到良好 发展，研发人员的不懈努力使得系统功能更为完善。作为其重要组成部分，电子警察 在城市交通管理中扮演了重要角色。它能将目视解释变为机器解释，在海量交通视频 数据中获取有价值的信息，及时对异常情况自动预警，能实现跨区域调试数据而避免 重复建设，宽带网络的普及更为电子警察的应用提供了快速通道，迅速为城市交通保 驾护航。通过对各种交通违法行为的实时记录及非现场处罚，可有效地规范驾驶人员 的行为，抑制机动车违反规章，减少交通事故的发生，提高道路通行效率和安全性； 电子警察的应用可有效缓解同益繁忙的交通勤务管理与警力严重不足之问的矛盾，节 省人力物力；电子警察的应用也是交通管理信息化的重要组成部分，通过新技术的使 用，可有效提升交通民警的执法素质及信息化水平，全面提高管理工作效率；电子警 察的应用是交通管理中体现“科技强警”的一项重要举措，对改善城市交通状况，创 建良好的交通秩序具有非常重要的社会价值及现实意义，有利于城市健康地发展，受 到交通执法者及民众的青睐。 1 2 车辆检测技术研究现状 智能交通系统产业在国内的兴起使得其相关技术不断发展，但当前专注于该技术 研究的交通部门却很罕见。与国外专业水平相比，国内技术水平相对落后，专业性不 强、技术标准不一且创新力度不够。因此主管部门对该产业技术发展的关注度仍需要 进一步加强，但其未来的发展态势和市场行情是乐观的。 作为多学科理论融合的i t s 领域前沿探讨课题之一，卡口监测技术的研究得到r 益广泛的关注。实施检测的核心技术是基于视频材料进行的运动目标的准确检测和跟 踪，而这两项任务恰是基于图像序列的运动研究的重要基础和关键技术【。迄今，不 懈的研究工作对运动目标检测这一课题做出了诸多解决方案，其中最为传统的检测算 法当是基于背景差法、帧间差法、光流法和模板匹配方法实现的。但卡口场景下目标 检测的实时性要求对核心算法的复杂度和运算速度做出了限制，系统功能的实现应简 捷、高效。背景差法对光线变化、阴影干扰等十分敏感，这决定了基于该方法进行检 测的高算法复杂度。一方面，算法要求有理想的背景模型和自适应的前景二值化阈值 以及有效的阴影去除算法，但是背景获取本身就存在着把纹理相似的前景交叉区域提 取的缺陷【2 j 一旦受光线突变和阴影的干扰易发生误检；图像灰度化后，若目标的灰 度与卡口路面的灰度接近，如红色或黑色车辆，易发生目标漏检测。另一方面，背景 2 北京邮i 乜人学硕1 ：学位论文慕于特征榆测的车辆跟踪技术的研究 建模和更新都是复杂度高、耗时大的过程，例如采用基于统计概率建立的高斯分布模 型1 3 l 能解决多模态问题的混合高斯模型l 刖、隐马尔科夫模型【4 1 、内核密度估计方法1 4 1 、 本征方法【4 j 等。帧间差法的高效性和对光线渐变的鲁棒性适合简洁场景下的实时检 测，但是其对目标运动速度和摄像机采图频率的协调性要求很耐2 ，5 】：卡口过往车辆 的速度很快，若摄像机采图频率较低，则很可能降低抓拍正确率；若配置对高速运动 目标检测得当，则系统对车辆停滞等异常现象又丧失敏感性。帧问差法同样存在目标 与背景狄度对比度低而易发生漏检的现象，并且其前景区域不可避免存在的重叠和破 碎现象不利于对目标的准确定位和识别。而光流法1 6 l 需要对图像中的每一个像素的运 动模式进行分析，卡口特写图像数据量大，如此进行运动估计耗时严重：并且，光流 法的约束条件决定了在目标发生大尺度运动的卡口监测场景下，其应用要辅以其他方 法进行，如此计算量又会被提升。模版匹配1 5 】算法在搜索全局最优匹配的过程中，计 算量大、运算慢，不适合实时应用，并且想获得过往卡口的形形色色目标的模版是无 法做到的事情。而一些混合算法无疑提高了算法复杂度，如基于相邻帧信息和背景估 计信息相融合的背景重建算法【3 】等。有的研究者还采用了基于颜色信息、模型和样本， 1 7 1 的检测方法。 近年来，更多的研究着重于基于车辆本身所具备的一些显著的视觉特征来进行检 测。基于特征的检测，不但会有效压缩巨大的关键信息量，而且能获得比基于像素处 理更快的实现速度。有人采用车体边缘作为目标检测特征并分别结合局部熵和形体的 几何对称性获得车辆的候选区域；文献【8 】在分别检测图像横向、纵向边缘的基础上， 在给定方向上进行非最大抑制，然后利用连接组件分析获得可以对目标进行3 d 建模 的线特征组。而文献【9 】、文献【1 0 】认为在实际的交通视频图像中，每个车辆的底部都 存在的强烈阴影可以作为目标存在的兴趣区域的标志。文献 1 1 1 将车灯作为夜间的唯 一可靠特征，通过提取车头灯或尾灯、借助几何规则进行车灯识别来实现车辆的检测。 将多种特征结合并借助机器学习算法进行自主表征学习，可实现比较理想的车辆检测 和分类，纵使该方法实施起来比较复杂。例如将某兴趣区域的边缘信息( 如边缘的方 向直方图) 、纹理信息、梯度向量或轮廓信息等作为h a a r 1 i k e 12 ，1 3 l 特征的组成因素， 用a d a b o o s t 、s v m 或神经网络进行训练和目标分类。p c a 1 4 l 首先在本征空间内将图 像进行线性映射变换，用得到的含映射系数的特征向量来很好地描绘整幅图像。上述 基于整体特征的方法对环境的依赖性很大，易受光线变化、设置改变的影响。 在实际应用中，局部特征在车辆检测中的优越性日益凸显，因其使得更为详实地 描述目标的信息成为可能。文献 1 5 1 、文献 1 6 1 推荐使用角点这一关键局部特征提取 目标的重要形状信息，文献 1 7 1 q j 进一步假设这些角点是共面的，并可以为车辆头部 3 ! ! 皇业! 些叁兰竺：! ：兰垡笙塞 苎鲨堡堡型堕! 塑坚堕塾查塑堕塑 建模。和文献 1 8 1 的集群思想类似，文献【1 9 1 认为同一目标的特征点应具有关联行为， 如运动方向一致性和共现性，故其使用h a r r i s 角点及其周围的一系y t j , j , 特征块作为对 目标的描述。而文献1 2 0 将k l t 角点结合运动参数进行集群，以达到目标分割的目的。 文献【2 l 】采用s i f t 算法在尺度空间鉴别稳定的关键点位置信息，这些特征点在检测、 跟踪过程中对图像的旋转、尺度变化、视角变化及光线变化都具有不变性。但角点检 测易受光照条件变化、噪声和局部光线骤变的干扰，故昼、夜检测算法不能统一。而 s i f t 方法计算复杂度过高，无法满足实时检测要求，且特征点的匹配效果并不是很 理想。g a b o r l l 4 j 滤波可获得方向和尺度均可调的边缘和线条信息作为强有效的特征来 标识目标，因为车辆在不同方向和尺度上都含有强烈的边缘和线条。另一方面，局部 纹理1 2 2 j 信息则能很好地描述区域中心点与其邻域像素点的灰度级对应关系以提供丰 富的局部特性。小波1 2 3 l 特征基于符号系数来表征不同方位的局部区域问的平均亮度差 异和梯度方向差异，并且在时域和空域都具有较好的局域性，故是有效的纹理信息提 取工具，尽管具有较高的类内可变性和分类复杂度。文献1 2 4 、文献 2 5 】采用的h o g 特征是另一种保障性很高的纹理描述器，它将图像划分为若干单元并计算每一个单元 的梯度方向直方图，用这些直方图生成携带空间信息的特征向量来区分目标。但是， 目前用于车辆检测的纹理描述方法的研究工作并不是很多。 1 3 文章主要研究内容及安排 鉴于电子警察在社会生活中起到的重要作用和所具有的广阔的市场前景，选题以 其核心技术作为考察对象，以设计和实现一个基于特征提取的对过往车辆目标能进行 迅速、精确的检测和运动估计，并对光线变化自适应的跟踪方法为目标。期望探索到 检测性能更为优越的特征提取方法，并在当前检测难题夜问有效检测问题上有所 突破，能给出去除夜间检测时的最大干扰地面上车灯投射光的有效方法，且将昼、 夜检测算法统一，打造一个功能强大的电子警察。 文章总计划分为四章，结构安排如下： 第一章为绪论部分。结合智能交通系统技术和市场的现状及前景，简要阐述了本 文研究的目的及意义。重点总结了当前基于特征提取的运动目标检测技术的国、内外 发展情形，引出选题的必要性和可行性。 第二章是特征检测算法概述部分。文字围绕本文设计方案 方法展开，介绍了相关的典型方法的原理及实现，包括s i f t 、 特征，为本文检测方法的实现做铺垫。 第三章是本文方法的设计和实现部分。重点分析了跟踪方 4 北尿邮l u 人学坝l 学位论文 基十特征检测的车辆跟踪技术的研究 的工作原理和实现过程。在基于角点检测的图像金字塔光流跟踪法中，以角点这一重 要局部算子作为提取特征。为改进检测性能，傍晚检测基于边缘进行，而夜间检测主 要以车灯的检测、识别为准。在基于n l b p 的车辆跟踪算法一节，选用能够更为详 尽地描述图像局部信息的n l b p 纹理描述算子作为检测特征。 第四章是实验结果及分析部分。给出本文方法的程序结果，并从特征点的检测、 跟踪效果、系统主要性能指标正确率和虚警率，以及昼、夜检测算法的统一性等 方面进行对比剖析。 第五章是总结和展望部分。对本文的研究工作进行了详细、客观的总结，并对未 来的工作做出合理的规划。 5 北京邮i 【1 人学顾 ：学位论文耩十特征榆测的车辆跟踪技术的彤f 究 第二章特征检测 车辆的准确检测是智能交通系统要解决的首要问题，因为利用图像序列对车辆进 行运动研究、行为判断等后续处理都是基于检测进行的。但在实际应用环境下，诸多 干扰因素会作用于检测效果。摄像机机位的变化可能会导致图像的旋转、扭曲，不利 于目标的准确定位；光线的变化，包括引发昼、夜检测算法切换的整体光线的渐变和 滋长虚警率的局部光线的骤变，以及与其密切相关的天气变化、阴影干扰，都考验着 检测系统的自适应性和抗干扰性。基于1 2 节的分析，传统方法都各自存在缺陷，而 基于特征的检测技术却能最大程度地保持图像信息，且能得到更为高效、精确的处理 结果。所以，其研究和发展备受瞩目。故解决上述问题的最根本手段是选取怎样的特 征去有效地描述车辆目标上具有丰富结构信息的关键位置。这里的“有效描述”是指 特征算子对光线变化具有自适应性，对阴影、噪声等干扰有强的鲁棒性，从而能使得 特征点的定位更具代表性，跟踪结果更为精确。本章选取3 个典型的特征检测算法， 重点介绍其特征描述方式及性能特点。 2 1s i f t s i f t 2 6 】在尺度空间【2 7 】中用特征向量描述稳定的富含信息的关键点位置，对图像 的尺度变化、旋转及光线变化具有不变性。由于是局部特征，它在一定程度上对视角 变化、仿射变换和噪声也具有鲁棒性。其特征向量的生成一般遵循以下4 个步骤： ( 1 ) 极值检测确定图像尺度空间中的候选特征点 极值检测的载体是由图像尺度空间中的高斯金字塔计算得到的d o g ( d i f f e r e n c e o fg a u s s i a n ) 金字塔【2 7 1 ，因此建立d o g 成为本步骤中的主要任务。图像的多尺度空间 表示是由不同尺度的线性高斯核函数与原图像卷积获得的，即： l ( x ，y ，e l f ) = g ( x ，y ，仃) 木，o ，y ) ( 2 1 ) 其中线性高斯核表达为： 一f j ：y2 1 g ( 工朋口) - _ c 么a 2 ( 2 2 ) 厶? u 尺度因子o r 的不同取值对应着图像不同尺寸的平滑结果，故其合理取值对后续特征点 的选取具有关键作用。x ( x ，y ) 为原图像表示，( 石，y ，c r ) 为图像的尺度空间表示。高 6 北京邮i u 入学坝i ：学位论义 基于特征检测的下辆跟踪技术的研究 斯金字塔的组成分为若干阶，每阶一般为奇数层，同一阶的相邻层之间的尺度因子比 例为一定值k 。n + 1 ( 0 ) 阶高斯金字塔的第一层是n 阶金字塔中问层图像的下采 样结果，各个层的尺度因子为阶金字塔中相同层次的尺度因子的k 2 倍。如此，直 至某阶、某层中的图像尺寸缩减到一定要求时完成会字塔的建立，示意图如下。 矿r r 第 詹：盯 2矿矿 阶 矿盯 p i ， 矿仃 第矿1 7 蠢驴盯 缸r 矿盯 h 4 矿 p 口 驴仃 矿疗 蠡2 盯 切 口 高斯金字塔d o g 金字塔 图2 1高斯金字塔及d o g 金字塔的生成过程示意图【2 7 】 将同阶高斯金字塔中的相邻层的尺度函数相减，便可得到由函数d ( x ，y ，仃) 表示 的具有相同阶数、每阶层数减1 的d o g 图像会字塔，即： d ( x ，y ，仃) = 三( x ，y ，尼口) 一l ( x ，y ，仃) ( 2 3 ) d o g 图像金字塔中的每一阶的第一层的尺度因子与对应阶高斯金字塔的第一层的尺 度因子一致。d o g 空间的局部极值检测是通过将目标像素点与同层及邻层邻域点的 比较实现的。同一阶内，除最高、最底层，中间层中的每一个像素点都要与其同层的 8 邻域和邻层的9 邻域内的像素点进行逐- - l l 较，如果该点是极大或极小值，那其位 置将被作为对应尺度下的候选特征点位置保存。以d o g 金字塔第一阶为例，说明比 对区域选取方法，如图2 2 示。 蒡3 罂 图2 2d o g 空间特征点极值检测示意图 7 圣 j ! 窒坐! 塾叁兰竺：! ：兰垡笙苎苎：堑堑丝型塑! 塑堡堕丝查塑堕塑 尺度因子为k 2 1 7 的第3 层中，黑色标记的像素点为任意一考察点，其周围的标 记区域为本层8 邻域，而k 3 1 7 及k o 层的标记区域为考察像素点的邻层9 邻域。如此 比对将合理地利用空间信息，使得特征点的定位更加准确。 ( 2 ) 稳健特征点位置的精确确定 为降低干扰因素影响，d ( x ，) ，口1 的泰勒二次展丌式被用于进行最小二乘拟合1 2 8 】， 通过极值计算可得到特征点的精确位置和尺度。在此过程中，对比度低的以及不稳定 的边缘响应点也可以被剔除，以保证特征点的健壮性。 ( 3 ) 特征点的方向确定 ( x ，y ) 处像素点的梯度向量的模和角度计算如下： m ( x ，y ) = ( l ( x + 1 ，y ) 一l ( x - - 1 ，y ) ) 2 + ( 三( x ，y + 1 ) 一l ( x ，y 一1 ) ) 2 ，d 、 o ( x ，y ) - - t a n - 1 ( ( l ( z ，y + 1 ) 一l ( z ，y 一1 ) ) ( l ( 石+ 1 ，y ) 一l ( x 一1 ，y ) ) ) 在任一特征点( x ，y ) 周围选取一定大小的邻域，其梯度方向与其邻域像素梯度方向直 方图中最大值所对应的方向一致，即主方向。该方法充分利用了邻域梯度方向的分布 特性。为了保证后续匹配处理的效果，特征点可能具有辅方向。 ( 4 ) 特征向量生成 旋转特征点邻域的图像坐标轴，使之与特征点方向一致，以保证特征的旋转不变 性。之后，将以特征点为中心的4 n x 4 n 的邻域划分为n n 个4 x 4 的小块，在每一 小块内计算8 方向的梯度直方图。如此，便获得了n x n x 8 维的去除了尺度变化、旋 转等几何变形因素干扰的特征向量。特征向量长度的归一化更使其具备了抵制光照变 化影响的性能。如图示： 人。b y 7互 n 、 十 1 工 r 1 上7 图2 3 特征向量形态示意图 s i f t 特征向量的生成充分利用了邻域灰度信息及方向性信息，增强 适应性，同时有利于对存在定位误差的特征点进行纠错。但美中不足之处 复杂度过高。 8 ! ! 塞唑! 塾叁兰堡：! ：兰垡笙塞 苎堑堑堡型箜! 塑型堡丝查塑婴壅 2 2 h o g 特征 h o g 是基于梯度方向直方图的纹理信息描述算子。它将图像划分为若干矩形单 元，并计算每一个单元的梯度方向直方图，用这些直方图生成支持向量机( s v m ) 完成 目标区分任务所需的携带空间信息的特征向量。h o g 对局部纹理信息的描述过程如 下t ( 1 ) 稳定的特征点定位 与s i f t 特征向量生成的( 1 ) 、( 2 ) 操作相同，原始图像被转换为尺度空问的金字塔 表示，并通过极值检测来确定其中对仿射变换具有鲁棒性的稳定特征点的位置。 ( 2 ) 局域直方图计算 以每一稳定特征点为中心，取其n n 邻域，并将邻域划分为若干更小的矩形计 算元。计算每一微元的梯度方向，以箭头向量基元来表示。最后，统计获得该点邻域 的8 方向梯度向量直方图，各箭头的方向代表梯度方向，长度表征该方向梯度向量的 统计频率。计算结果与图2 - 3 中任一4 x4 小块的统计结果类似，只是小块的大小取值 不同。 。 ( 3 ) 特征向量的归一化处理 之后，线性s v m 被用以实现特征向量的分类。 2 3h a a r l l k e 特征 h a a r 1 i k e 特征是基于局部矩形区域的图像对比度生成的，仅使用单幅积分图 像便可以来评估其描述图像亮度的能力。文献 1 3 1 一p 提出了4 种在扫描窗口中常见的 矩形特征形态，如下图各扫描窗中所示： n 口。啬 ( 3 )0 ) 叩踊 图2 4 相对于检测窗的4 种矩形特征形态 ( 1 ) 双矩形特征之一；( 2 ) 双矩形特征之一之二；0 ) - - 矩形特征；( 4 ) 四矩形特征。 所有特征中具有相同尺寸和形态的矩形元素只能水平或垂直邻接。双矩形特征值为两 矩形内像素值之和的差值，三矩形特征值为外侧两矩形内像素值之和与中央矩形内像 9 北京i f f | f il 1 人学坝i ：学位论文弗于特征榆测的下辆跟踪技术的硼f 究 素值之和的差值，四矩形特征值为两白色对角矩形的像素值总和与两黑色对角矩形的 像素值之和的差值。为避免当扫描窗较大或扫描尺度多变时、矩形特征数目过大而导 致的巨大计算量，基于积分图像的快速矩形特征计算得到采用。 积分图像是原始图像的一种中介表示，定义为： i i ( x ，y ) ；罗f ( x ，y ) ( 2 5 ) 始笱 其中i ( z ，y ) 为原始图像中( x t , y ) 点像素的狄度值，( x ，y ) 位置的积分值彪( z ，y ) 则为 该点左上方矩形区域内的像素灰度值的加和。正如下图示： ，( ，) 图2 5 积分图像中矩形特征值计算示意图 1 位置的积分值为a 矩形内像素值之和v l ，2 位置的积分值为a 、b 两矩形内像素 值之和圪，以此类推。因此，积分图像内每个矩形区域内的像素值累加和都可以通过 四个参考点的积分值来计算，如图2 5 中的d 区域，其像素值之和可表示为 圪一( k + k ) + k 。若计算图2 4 中这样相邻接的矩形特征的值，则双矩形特征所需的 参考点能从8 个降至6 个，而三矩形特征只需8 个参考点，以此类推。图像的整个积 分操作可以通过o p e n c v 的库函数c v i n t e g r a l ( ) 来实现。 为增强算子的鲁棒性，h a a r 1 i k e 特征已经扩展到其他多种特征的利用，如梯度、 梯度方向、轮廓信息、纹理信息及边缘方向直方图等。但附带的问题是，待评估的特 征越复杂，所需积分图像的数量就越大。 1 0 北京邮i 乜人学硕+