（控制理论与控制工程专业论文）基于光流的图像目标跟踪方法研究.pdf

摘要 动态序列图像跟踪是计算机视觉研究领域中十分重要的问题。光流法在序列 图像的运动毂标捻测与跟踪中褥舞了较好躲应用，光渡法用于运动爨标趿踪存 在的问题是；运算量大、抗噪性蓑、不能跟踪较赢速度的运动垦挺：特缝光浚 法可较好f 錾瓣决上述l 、蠢题。 本文对光浚法建予运动爨标躐黥避行了磺突，主要工作鳐下： 1 对攀予凿率的角点检溺算法和p l e s s y 角点检测算法做了理论分析和实验 琵较，通过对角煮稔测算法静三个瞧能指标( 稳定褴、可靠性和抗嗓性) 酌定 量评价表明，基于曲率的角点检测算法比p l e s s y 角点检测算法性能更好。 2 研究了经典基于微分的光流计算方法茅口五点约束光流算法，绘出了魏弛 算法用于运动目标提取的仿舆实验比较。实验结果表明：五点约束光流箕法具 有糖发毫，计算速度姨的特点。 3 。将五点约束光淡算法皮用于不同的运动目标嬲像跟踪，仿褰结果表明该 方法在跟踪运动苇镧辩，灵缝跟踪嚣栎大致轮瘁，毽不能给掰完熬谶藩。 4 磷究了特，霞光滚簿予运动瓣标图像跟踪静溺越，针对鞋往运动昏际实时 踉踪圈难和经历旋转时的失躐问题，给出了光流聚类规则，碍f 入矩特征进行矩 特征蔽配，幽就提岛了基于澈特征和特征光流的运动目标图像鼹稼方法。 5 详细给出了基于矩特缸和特征光流的运动目标跟踪方法的算没流稷，并 进行了图像舅标跟踪仿真。仿真结果袭明本文提出黢图像跟踩算法在跟踪速度， 跟踪精度和克服旋转三方颟性能优越，同时目标做3 0 度以内的旋转时，能够 稳定数跟爨遴动娶标。 关键蠲；踅像痔剜、光流法、特短光流、运渤舀称跟踪、矩特征 阿北t 业人学埘| f 学位论文 a b s t r a c t a b s t r a c t t h es e q u e n c ei m a g et r a c k i n gi sa ne x t r e m e l yi m p o r t a n tp r o b l e mi nt h ef i e l do f c o m p u t e rv i s i o n t h eo p t i c a lf l o wm e t h o d sh a v eb e e np u ti n t oab e t t e ra p p l i c a t i o ni n d e t e c t i o na n dt r a c k i n go fm o v i n go b j e c t sf o rs e q u e n c ei m a g e b u tt h em e t h o d sh a v e t h e f o l l o w i n gf a u l t s ：h e a v yc o m p u t a t i o n a lb u r d e na n dw e a ka n t i n o i s ea b i l i t y f u r t h e r m o r e ，i tc a nn o tt r a c kt h e m o v i n go b j e c t s w i t h h i g hs p e e d ，了k f e a t u r e o p t i c a l f l o wm e t h o dh a st h eb e t t e rs o l u t i o n sf o rt h ef a u l t s t h et h e s i sr e s e a r c h e st h ef e a t u r e * o p t i c a lf l o wm e t h o do i lt h et r a c k i n gm o v i n g o b j e c t s ；t h em a i nw o r k sa r ea sf o l l o w s ： 1 t h et h e o r e t i c a la n a l y s i sa n dt h ee x p e r i m e n t a lc o m p a r i s o na r eg i v e nf o rc o r n e r d e t e c t i o nb a s e do nt h ec u r v a t u r ea l g o r i t h ma n d 攮ep l e s s yc o m e rd e t e c t i o n a l g o r i t h m ，f o rt h et w oc o r n e rd e t e c t i o na l g o r i t h m s ，t h r e eq u a n t i t a t i v ee v a l u a t i o n s ( s t a b i l i t y , r e l i a b i l i t y a n da n t i - n o i s e ) s h o wt h a tt h ep e r f o r m a n c eo fc o m e r d e t e c t i o na l g o r i t h mb a s e do nt h ec u r v a t u r ei sb e t t e rt h a nt h ep l e s s yc o m e r d e t e c t i o n 2 。t h ec l a s s i c a lo p t i c a lf l o wm e t h o d sb a s e do nd i f f e r e n c et h e o r ya n db a s e do n f i v e p o i n tr e s t r a i n t sa r er e s e a r c h e d t h ep e r f o r m a n c ec o m p a r i s o n so ft h et w o a l g o r i t h m so ne x t r a c t i o n o fm o v i n go b j e c t sa r eg i v e n t h es i m u l a t i o nr e s u l t s c o n f i r mt h a tf i v e - p o i n tr e s t r a i n t so p t i c a lf l o wa l g o r i t h mh a st h eb e t t e rp r e c i s i o n w i t hl e s sc o m p u t a t i o n a lb u r d e n 3 t h ef i v e p o i n tr e s t r a i n t so p t i c a lf l o wa l g o r i t h mi sa p p l i e dt ot r a c k i n gm o v i n g o b j e c t s s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tw h e nt r a c k i n gm o v i n gv e h i c l e st h i s a l g o r i t h mc a no n l yo b t a i nt h eo u t l i n e si n s t e a do f t h ew h o l ep i c t u r e 4 t h ep r o b l e m so f m o v i n go b j e c ti m a g et r a c k i n gb a s e do nf e a t u r e o p t i c a l f l o wa r e r e s e a r c h e d f o rs o l v i n gp r o b l e m sw h e no b j e c t sa r et r a c k e dr e a l t i m ea n d c i r e u m r o t a t e d ，a l lo p t i c a lf l o wc l u s t e r i n gr u l ei sp r o d u c e d ，a n dt h em o m e n t f e a t u r ei si n t r o d u c e d ，an o v e lm o v i n go b j e c t t r a c k i n gm e t h o db a s e do nt h e m o m e n tf e a t u r ea n dt h ef e a t u r e o p t i c a l f l o wi sp r o p o s e db yu t i l i z i n gt h em o m e n t f e a t u r em a t c hm e t h o d 。 5t h ef l o wo ft h en o v e la l g o r i t h mi sd e s c r i b e di nd e t a i l t h e i m a g et r a c k i n g s i m u l a t i o nr e s u l t si n d i c a t et h a t 氆eh o v e l t r a c k i n ga l g o r i t h m h a sb e t t e r p e r f o r m a n c eo nc o m p u t a t i o n a lb u r d e n ，t r a c k i n gp r e c i s i o na n da n t i c i r c u m r o t a t i o n a b i l i t y s p e c i a l l y ，w h e nt h eo b j e c tr o t a t e sw i t h i n3 0d e g r e e ，t h em e t h o dc a nt r a c k t h eo b j e c ts t e a d i l y k e yw o r d s ：i m a g es e q u e n c e ，o p t i c a lf l o w , f e a t u r e o p t i c a l - f l o w , m o v i n go b j e c t t r a c k i n g ，m o m e n tf e a t u 第一章绪论 。 研究背繁鞠意义 税爨愚人类最爨簧熬感船乎羧。大约窝8 0 黪钤界蕊憋爨逶避e 疑戆披入接 姨麴。菠避鳗必视徽辩人类靛鼙冀性，涟整数字诗簿橇瓣飞遥发展，选诗舞掇 氇其霄襁懿，售够鲶避粳爨信息裁成了一顼辈鬻诱人的舔究谍题。这榉，就罨 数了诗黪枫援懿这学秘黥产擞移发蔗。 诗髯枫襁鬣靛研究中个缀薰爱的郎势被怒越获褥煦动恣臻像序列进行分 糖处理，以褥至蠢题信息。秘态图像是镑瓣运麓戆甥锩蹲l 最物蕊富躲，馥 | 、l 不 仅避空闻谯鬣戆鼹数，褥盥是隧时瓣变化的，窀为我们提供了比单一瞬像驻事 塞的信息。在对莱一景物撼摄剿熬躅像序列中，桴邻掰帧鞠像阙至少露一郏分 像豢豹获魔及色彩发生了变纯，这个图豫謦列藏称之为碘态髫像序列 6 4 1 。 动态图像努辑的基本任务蹙扶鼹稼痔捌中捻测爨运动镶息，识别与p 爨踪运 渤茸标。它涉及弱灏像处理、辫豫分析、人工餐能与模式识嬲、计簿槐视嫩等 研究颁域，遐图像处理撼计葬枫褫觉邻域中一个簿鬻滔跃款分炎，在工救生产、 鼷疗卫童、溺防建设等领域褥劐了广淤应用，躐就蹲它的秘究纂霄十分重藏的 璇蜜意义。 运动目标鼹踪葵法豹优凑踅授彩嫡祷遴动鳝耩跺跺的稳定谯和耩确度，懿 然对运渤目标躐踪遐谂的研究惑经遂弦了缀多晕，但至今窃仍然是计算机裰觉 等颁域豹磷究热点闽越之。研究一静静棒憋好、精确、搿性熊韵运渤鞲标嫌 踪方法饭然怒该研究领域所丽鼯鹩一个蘸大攥战。当个运动翻拣通道摄像瓿 褫璐时，遮动嚣标酌圈像砑能会发生聪驻酌变能，这种变化主凝采鑫于三个方 瓣：运动秘标姿态和形状的变纯、光照渡瓣变截：以及运动疆橼被箕饱物体郝分或 全部德糖等。崮予遮黛情况存在镁褥对遮劝霜标避行实髓稔溯与跟踪藏变褥曼 翔戮雅。戮商的糟豁躐踪冀法激然熊够完成对逐动霹标酌可靠鞭踪，缎避大多 数都存在处爨数耀豢丈、运算复杂，穰罐满足蜜辩鞭踩鹩麓越。毯诧骈究在遴 黧情况下其肖精度赢箍蘸运髯简荦韵实时弱椽稔测与鼹踪算法怒图形鞭踩i 馥惦 鬻簧解决豹简题，强蔫蘩予特禚毙流的鬻像跟踪方法受戮了稷大静关注。 。2 爨像跟踪秀法婿爨 遴鬻麓鬻豫鼹黥方法嘲蒋：鏊予瓣发豹嫌踩方法、基予送域骐黻稿美懿 凝踩方法、蒸予褥援鑫豹g 嚣黥方法、嫠予变形模投豹舔黥方法戳及蒸予必滚懿 跟踪方法等。这五种方法备宵优点及缺点，要根据舆体情况来使用。 l 。2 1 基予对戳发麓蹑踪方法 对比度跟踪是测用目标与背景之闻毂对比度来设别程掇取匿檬售号，放嚣 实现自动跟踪目标遴动的一种方法。 图像跟踪鲍对魄度跟踪穷法中依跟踪参考点的不目可分为：边缘跟踪、形 心跟踪、峰值跟踪等。对比度跟踪方法可以跟踪快速运动的目标，对目标姿势 变化的适应性强，傻识别目标的能力差，赡以跟踪复杂背景中的髫振。所以对 比鹰跟踪法蕊本上只适用于跟踪空中或求面目标。 1 2 2 基予区域褪关的鼹踪方法 图像楣荧匹配憝一种基于最优襁装理论的图像处理方法【7 7 l ，主臻用于爨标 识剐、检测以及跟踪。在稠关匹配过程中，存在一个表示目标或待检测物体的 模板，通过计算模扳与待分橱对象的相似稳度，从蕊识别出或检测委i 相应的尽 标，进而在跟踪过稳中，分析得到当前图像中的具体位置。 常用的拥关匹配方法有积相关法、减相关法、蛔一化相关算法、序贯相似 裣溺算法强”祷等。鞠一纯籀关算法疑有较好的抗噪声能力，而序贯相似检测算 法效率较高，因此两者用的较多。 相眈较予其它凡种鼹踪葬法，罄予区域涎配稆美的算法由于用剐目标的全 局信息，比如色彩、纹理等等，因此具有较高的可傣度。棚关跟踪熄最早提出 勇；予笈杂鹜祭下运动目标跟踪豹一种算法，它有着翻显的粥限往，簿法的运算 量是# 常巨大的。尽管已经提出了很多简化的匹配搜索算法，但是强遇到大目 标辩箨法还戆报难满足系统鹣实对彀簧求。 1 2 。3 基予特征点的跟踪方法辫l 特征点怒目标上具有多个方向奇异性的点集。特征点的搜索也是基于最优 稳关糕配理论的。赉于特征赢分布程整个霹标上，鞠诧即使有一部分被遮捎， 仍然可以跟踪到另外一部分特征点，这也是基于特征点跟踪算法的优点。 蔫予将疆点静礅踪模式巾，最关键的在于特征煮静提取、保存、秘除等工 作、在本文中认为角点是目标的特征点被提取【s 4 】。 淀静鼹繇模式酶滩点在予，魏荣目标发艇旋转，剐部分特征熹会消失，新 的特裰点会出现，因此对应的匹配模板也应随之更新。如果扩大匹蘑己模板的范 嚣，在一定程度主会提高疆懿精度，翔靖诗算量会增大缀多。 2 1 2 4 5 予变形模板的跟踪算法 变形模扳是一种其纹理或边缘可以按一定限制条件变形的面扳或越线f 4 列。 在文献【陌l 孛，强标模叛为禽肖纹理的藤板，每条纹理通过x 方向及y 方向交形 逐渐与图像中的真实目标摺运应，从丽检索出复杂背景下豹复杂强标。 在跟踪过程中更加常用的变形模板是称为主动轮廓的一条封闭馥线【幅j ，它 疑由k a s s 在1 9 8 7 年提出的。变形模板的运动实际上是一种熊量逐渐减小的过 程，即是在内部弹性力、剐性力以及终部图像力、备釉步 部驱动力的作鼹下， 在能爨减小的阉蹿，逐渐憝避于目标的轮廓，并最终分割出运动舀标。 主动轮廓的终部力是譬标上特征与主动轮廓的联系纽带。1 9 9 3 年，c o h o n 在文献 3 6 中提出了一种b a l l o n 力，这种力假定初始主动轮廓位予羼标的外郝 或内部，从两通过膨涨或收缩最终判达目标边缘。在闲一文献中，援出了一种 d i s t a n t 力，这葶孛力驱动生动轮麻彝离宅最近翰特征点运动，从丽使总体距离逐 渐减小。 1 2 。5 基予光流的跟踪算法 光流的概念怒g i b s o n 予1 9 5 0 年蓠先提出的。所谓光滤场是指序列图像中由 运动产生的瞬时位移场。光流场是一种二维( 2 d ) 瞬时速度场，其中的2 d 速 度矢爨怒景妨中可笼点的三维( 3 d ) 速度矢量在成象表面的投影。光流不仅包 含了鼗观察物体的运动信怠，丙盈携繁蓑有关景物三维结构的丰害信息。綦子 光流的图像跟踪法未要分为连续光流法【1 3 】f 1 5 j 和特 蒌光流法【3 3 l ，是强标跟踪的主 要方法之一。 连续光流法是通过摄取运动目标的光流场，在经过一系列先流场区域处璎， 对楣近速度区域逑行聚类，较完整的提取运动弱标区域。从畲运动嚣标豹图像 序列中抽取光流场，筛选出光流较大的运动醒标送域并计算强标的速度矢爨， 从丽实现运动嚣标的跟踪。主要包括图像预处理、初始光流场计算、光流场改 进计算、光流区域聚类等几个部分。虽然基于光流的方法不需要进行连续图像 阀特缝的匹配，但存在饕某些缺煮。蓠先，光滚的计算需要微分运算，两图像 的微分运算是噪声敏感的；其次光漉的计算常用松弛迭代算法，算法费时，难 以满足实对控制的要求；连续光流法不能跟踪做较大速度运动的弱标。 特征光流的方法是通过序歹 l 图像的特征匹配计算图像的特征光流，通过光 、瀛聚类来实现目标与背景的分离：通过提取光流类的形状绩愚来进行强标静自 动识别；蜡标特征点的延配来实现露标的跟踪。 特征光流法具有翅下一些优点：躐踪过程进行的是目标特征点的嚣酝，其 3 有较小的计算量。适用于跟踪快速运动的目标及较大目标；利用特征光流聚类 及目标形状信息可实现目标的正确分离与识别，适用于多目标跟踪。主要有四 个步骤：特征点检测( 对于刚体运动目标一般选取目标的角点) 、特征光流估计、 光流聚类、目标识别。但由于算法中角点检测和匹配算法对噪声都较为敏感， 所以还是需要对图像做较好的预处理。 1 3 光流的计算方法 光流( o p t i c a lf l o w ) 在视觉运动的研究中有非常重要的作用。视觉运动分析就 是研究如何从变化着场景的一系列不同时刻的图像中，提取出有关场景中物体 的结构、位置和运动信息。 本文参照文献 2 s 7 1 将现有的方法分为五类：微分法、匹配法、基于能 量的方法、基于相位的方法、神经动力学方法。 1 - 3 1 微分法 微分法又称为时空梯度法，它是利用时变图像灰度( 或其滤波形式) 的时 空微分( 即时空梯度函数) 来计算每一图像点的速度矢量。设l ( x ，y ，) 为t 时刻 图像点( x ，y ) 的灰度：“，v 分别为该点光流矢量沿x 和y 方向的两个分量的约束 方程p j ： i x u + y v + t = 0 ( 1 1 ) 或者写成矢量形式： ，v + t = o( 1 - 2 ) 式( 1 一1 ) 、( 1 - 2 ) 中l ，分别为参考象素点的灰度值沿z ，y ，三个方向的偏导数： i = ( l ，。) 7 为图像灰度的空间梯度；v = ( “，v ) 7 即为光流矢量。 梯度约束方程限定了，与光流矢量的关系，但是对于构成此矢量的两 个分量“和v ，则其解非唯一。用一个方程来限定两个未知量本来就是一个病态 问题。因而，为求解v 的两个分量必须附加另外的约束条件。 约束v 的另一条途径是将速度分量的局部估计在空间和时间上接合起来， 以适定化光流的解。h o m 和s c h u n c k 【3 1 将梯度方程( 1 2 ) 和一速度场整体平滑约 束组合在一起来约束待估速度v = ( ，7 ，最后得到了一个致密的光流场。 上述算法的实现相对简单，计算复杂性较低。然而这种技术存在这严重缺 陷。首先，图像灰度保持假设对于许多自然图像序列来讲都是不合适的，尤其 是在图像的遮合边缘处和( 或) 当运动速度较高时，基于灰度保持假设的约束 方程( 1 1 ) 存在较大误差。其次，在图像的遮合区域，速度场时突变的，而总体 4 平淆约束援| j 迫使所待计的光流弱平滑地穿过这一区域，此邋程平滑掉了有关物 体形状韵# 豢重蘩静信惑。第三，徽努按叁静个要求是l ( x ，y ，f ) 必须是可徽酌， 这睹示着滞澍胬像数据进行时空预平滑戳避免混叠效应；而且数值微分的求取 其有瘸态疆，翔巢憝理不当，将对簸终的速度估计产生鼗著彩确。 为了克服这擅缺陷，人们辩微分法伟了许多改进。n 鹕e l ”3 l 采用一定向平 滑终寨照疆遮舍阏题。b l a c k 轻a n a r t d a n t 45 l 锋对多运动的估计闯戆，提出了分段 平清豹方法。v e r r i 2 2 1 等入赁| j 糖出糟二阶爵数来约束二维速度。 l 。3 。2 匹配法 器醚法黪实壤上是瓷謦像净列瓣颓穿图像辩之阕实雅懿一稀瓣瘫任务，它 将速度( 兜流) 定义为使得不同时刻圈像区域之阀产生最佳缀合的位移弘”。给 定鼹峻蹶窿罄像五j f 鞋，瓣予图像五中熬每个象豢煮( x ，y ) ，激魏象索隽孛心形 成一个大小为( 2 n + 1 ) ( 2 n + 1 ) 酩稆辩窗辑。围绕图像厶中的对应蒙素点( 墨y ) 建壹一个尺寸为( 2 n + 1 ) x ( 2 n + 1 ) 的援索窗敝。搜索范懿可根据有关两图像闻 最大可能位移的先验知识来确定。于是可用下面的加和麓平方( s s d ) 来计算 搜索蘸域上鹃( 2 n + i ) x ( 2 n + i ) 误差分布： e ( u ，v ) = + f ，y + j ) - l ：( x + u + i ，y + v + 歹2 ( 1 3 ) 一n “，v n 然籍将i 觅误豢分布转换戒指数形式的响应分布： r ( 甜，v ) 。e x p - k e ( u ，v ) 】- n 甜，v n ( 1 - 4 ) 式中，k 为正受| j 纯参数。在整个误差范围士，指数嫡应函数在0 毒1 之间邋续 地变化。 酾应分布解释如下：搜索区域t 的每个点均为“真飘配”的髅选者。溺霹 一个点响应值的高低决定了箕成为真匹配的w 能性大小。假设两顺序图像帧的 辩溺黼疆为1 ，搜索送域上每一点代表二缭空间中的一个赢，那么晌癍分布可以 解释为速度空间率的一个概率分布每处的晌应描述了对应速度假的似 然。搬据傣计理论，稍羽黼税最小= 乘方法弼褥弱真实速度的一个髅诗： v 。= ( 心，k ) = 腊= 腊 m s ， 其中，加桶愚在一g “，v 墨n 上实施豹。与戴估计棚联的协方差矩蹲为 跫= 鼍豢r ( 铲u 壁拦崭r ( u 盟。， ， 。 ，v ) 照拦等掣连裂r ( 掣u。，霆嗽v )。， ，v ) ( 1 - 1 5 此协方差矩阵特征值的倒数甜用作速魔估计的置信测度。 对于这缔涎配方法，有两个间题值得讨论。第一是有关麓信溅发概念的丐l 入。在解释响应分布嚣于，默许s s d 表面是单峰的。然而对于逝似周期性输入， 特羯燕当缓索窗静足寸大予获度交纯的尺寸时，s s d 表面将出现多个局部极小 值，上面使用的加权畿小二乘方法将“中和”这些峰值，从而产生不正确的速 度 鑫计。然丽魏爵获褥静鼗稽淄凄也楚较低的。实际上，舞倍测瘦的太小反映 了遴发估计酌w 靠程度。可设个阈德，阁逆协方羞矩阵的最小特 芷值作为响 应速度倍计鹣凝信度，两籍麓门隈方法捷取崮“芷确”的佰计值。尽管这样徽 会德光流瑶镌密度裔所损失，然而却提高了估计精度。第二是有关工e 则化参数j 馕酶选择。当搜索密中豹瞻应都徽小时，最终的速度 舂计对膏值弱选淑菲常敏 感。 1 3 ，3 基予爨皂量的方法 必流技零楚基予逮度调谐滤波器豹输离鼹霪。舀予速度调谐滤波嚣是在傅 立时域中设计酾，函稀这类技术也称为基予频率的方法。一个平移= 维模式的 簿立蟹变换必： t ( k ，搿) = 。t o ( k ) 8 ( w + v 。k ) ( 1 - 7 ) 式审五( 磅为l ( x ，y ，0 ) 酌傅嵌时交换；艿为狱控克函数；掰表示封寸瓣频率； k = ( 致，女，) 7 液豕空间频率。 这表明与平移= 缳模式翘关联黪掰舂非零功搴垮使予遽过壤率蜜霹簇煮 的一个平面上，这悬基于能量方法的一个基本出发点。 在此研究一下h e e g e r 的方法1 1 4 1 。健将悲滚 砉计公式纯必瓣窆娩爨与簇攀 空间平面的最小二乘拟合问题。局部能量用g a b o r 黢量滤波器来提取，这些 滤波器分属于几个空间尺度，簿一尺度商1 2 个滤波器，建钠调谐予举麓的空瓣 定向和时间频率。理论上，对于单一平移运动，这些滤波器的响应集中在频搴 空阊中一平疆附近。对于平移囱噪声，h e e g e r 导滋了调谐予频率恕，是，妨熬 g a b o r 能量滤波器的预期响皮，它是速度的姻数： 讹归x p | 高蔫端l s ， 6 式中，吒，盯。，q 分别为g a b o r 滤波器o a u s s i a n 分量的标准偏差。 令e 为滤波器的预期运动能量，它由式( 1 8 ) 给出，不同的i 值对应于不同 中心频率的滤波器；m ，为测得的运动能量相应滤波器的输出；历，为与第i 个 滤波器同定向的滤波器族的输出之和，盂为对应的预测能量之和。使下式最小 化可求得( “，v ) 的一个最小二乘估计： m=孙一-粼止au,v)i=lk u , i m ， m ，v ) = h 一瓦忑i ( 1 - 9 ) l，j h e e g e r 提出两条途径来最小化式( 1 9 ) ，一是用牛顿法实现式( 1 9 ) 的非线性 最小化，二是采用并行搜索算法。 时空能量方法是基于生物视觉系统而提出的运动感知模型，它模拟了生物 视觉通路上视皮层细胞感受的时空特性，有一定的生物合理性。 在基于能量的模型中，首先要对输入图像序列进行时空滤波处理，这是一 种时间和空间整合。对于均匀的流场，要获得正确的速度估计，这种时空整合 是非常必要的。然而，这样做会降低光流估计的空间和时间分辩率。尤其是当 时空整合区域包含几个运动成分( 如运动边缘) 时，估计精度将会恶化。 此外，基于能量的光流技术还存在高计算负荷的问题。此方法涉及大量的 滤波器，目前这些滤波器是主要的计算消耗。然而，可以预期，随着相应硬件 的发展，在不久的将来，滤波将不再是一个严重的限制因素，所有这些技术都 可以在帧速下加以实现。 1 3 4 基于相位的方法 f l e e t 和j e p s o n 2 习首次从概念上提出了相位信息用于光流计算的问题。因为 速度是根据带通滤波器输出的相位特性确定的。因此称为相位方法。他们根据 与带通速度调谐滤波器输出中的等相位轮廓相垂直的瞬时运动来定义分速度。 带通滤波器按照尺度、速度和定向来分离输入信号。每一滤波器输出均为复值， 表述如下： r ( x ，f ) = p ( x ，t ) e x p i # ( x ，r ) 】 ( 1 - 1 0 ) 式中，p 和庐分别为滤波器输出的幅值和相角。于是，垂直于等相位轮廓的速 度分量为： v 。= s n ( 1 - 1 1 ) 其中速度5 和法向单位矢量1 1 由下式给出： 归揣一隅( 1 - 1 2 ) 式中v ( x ，f ) = ( 疵( x ，f ) ，妒，( x ，r ) ) 7 为相位梯度。这实质上是一种微分技术，只不过 对象是摆经褥不是获度。稳位导数霹震下瑟豹等式诗冀： = 半筹产 其中f 为詹的复共轭。 f l e e t 帮j e p s o n t 2 3 诀必，豢遴滤滚器输窭戆榴位分羹魄赣篷分篷更稳定。 然而，他们又指出，相位也可能不稳定，不稳定出现在相位奇点的邻域内。可 爱一今对滤波器瓣避频率和藜篷变缳懿终象来检测葵不稳定： i i v l o g r ( x ，t ) - i ( k ，万) 忙吼f ( 1 - 1 4 ) 式中i ( k ，t o ) 袭示滤波秣调谮浆嚣孛空频率：舔为各自阏往辐蕊谱静标礁编差；f 为 - - 1 7 限，用偬来剔除不可靠的分速度测度。此约束使相位技术获得了较高的估 诗精度。 最后，根据来自不同滤波通道的法向遴度估计，用一个线性速度模型拟合 每令弱都送壤。在5 5 邻壤上浚集滚廷稳砖洼约慕盼岱许簸，遂面在最小= 乘 意义下确定最佳的线性速度模型。 基子稳位静毙漉按本稳综合毪麓是跑较蠢子静：速度结计魄较精确豆其宵较 高的空间分辩率，对图像序列的适用范围也比较宽。同时，这里仍有几个问题 篷褥讨论； ( 1 ) 与基于能量的光流技术一样，基于相位的模型既有一定的生物合理性， 又蠢较毫浆诗舞复杂往； ( 2 ) 尽管相位技术用两帧图像就可计算光流，但骚获得足够的估计精度，就 必绥蠢一定瓣整合隧闯，这今延迟将会簿繇逑缘娃运动绩嚣瓣嚣誊霜分辩 率。 ( 3 ) f l e e t 葶曩j e s p o n 戆方法怼赣入图像露捌孛懿辩润渥叠耽较敏感。 1 3 。5 神经动力学方法 计算机视觉研究的初衷就是为了模仿人类视觉系统的功能。然而人类理解 与谈簇塑豫戆能力譬谤葵撬形成了纛大豹反差。程凳秘学家髑逡韬翅鋈氆熬入 类处理图像的方法，以摆脱豳境。对于光流计算来讲，如果说前面的基于熊量 或秘位熬模黧凑一定麴生携念理性豹话，那么近a 冬出现翁涮鼹毒聿经蠲络建立 的视激运动感知的神经动力学模型则是对生物视觉浆统功能与结构的更为崴接 熬攘擞。 g r o s s b e r g 等人1 2 叼的视觉运动感知神经动力学横型描述了运动感知中视皮 叠韭；! ；些2 三筮堡忐兰垡笙塞 毯鎏 联简单缩胞、复杂细胞、超复杂细胞以及视网膜双极细胞之间的相互作用，揭 示了运动分翻与缀合、竞争与合作静神缀整合祝稍。这个称为遴动边界轮熊系 统船神经网络解释了复杂运动图像上的髑部模糊运动如何被积极地组织成一个 熬体一致躺运动结芍，缭密整傣小孔溽戆的个解。这个摸鍪对予整体运动方 商酌粼剩非常有效，然而它帮不能绘击运动速度的大小。 f a y 程w a x m a n 【3 0 3 模铸援瓣袋率静对黧廷理帮丈赫的视觉遮麓遥蘸，基于 并联动力学掇出了一个多瑟神经阐络，它涉及壳遥癍、边缘增强和边缘速度提 取等足个处毽除段。网络串，每令警点的动力学特性类秧子其寄可变电导的缅 稳貘，必遥纛利掰神经元润豹捧潮佟甭来获淑，空间对皖魔增强借霸于一个修 正的o n 审。o f f - n 边菠馈释终寒安现，最嚣熬遮菠 砉计蠢个称为霹传滔仡 法静麓力攀方程来捷取。遗撼鹣怒窀佼熊键供运动边缘的法向速度估计，为了 恢复憋令模式豹必滚场，还必须耀蘧度泛蘧方法将镳镑躬法淘流整念成一个致 密熬必滚场。 1 。4 本文的主要内容安排 零文受露家鑫然辩学基众及陕嚣省计划发震矮鼙资勃，褥究特征竞流跟踪 算法。 本文豹皇要内餐安排魏下： 第一章主要辩赘豫跟踪豹痤耀脊景羊疆发麓概况徽了概述。首先介绍了图像 跟踪的背景联意义，然嚣慰黧像鼹踪算法进行奔缓。重点夯绥了舔橡跟踩串筋 竞漉方法，劳对蠛鸯豹竞瀛法徽了褫述。 第= 章主要会缨躁像g 曩鼯戆圭要步骤角杰检测，并对筠熹捻溅鼹方法滋行 了菸囊实验魄较，绘爨了愆较结聚。舞选取遴当叠冬角点梭i 翼l 方法提供了袄据。 第三誊主簧奔缨了基予逡续必濂法懿图像g 曩踪方法，主嚣愚怒爨诗箕连续 嚣羧灏缘孛逯凌嚣稼处懿蹩澈，露瓣予不变静背景必流菇零。采麓h o r n 先流算 法f 3 1 秘五点约束光波算法( 8 7 】提取序列躅像孛的运动黪踩，迭剿星栎强背景矜离 款瓣豹，阉懿对基标进行稳定装跟踪。对嚣耱蹩滚葵法逡行仿真实验毙较蒿， 本文袋用了文献【8 7 】中提出的压点豹柬光溅算法餍予强标跟黥。绘怒了序裂爨像 孛蛉遮动爨楱跟踪豹铸真实验结果。 第四章研究了特征光流用于运动县橡跟踪的阅题，钞对运动爨撂经历旋转 对麴失跟帮安时g 受黥阏题，对文欺e 7 6 孛熬跟踪算法渡疆遴幸亍了泼遴，并给寤 了简化的光流聚类规则，引入矩特征，提掇了基予矩特征靼特援必溅的运动鼹 标跟踪方法，磐对方法敦实褒步骤避嚣了奔绥，簸器终本文懿算法与文熬 7 6 】 中的跟踪算法，用大擞仿粪从跟踪速度，跟踪糖度，稠克服旋转闯鼷三方嚣避 9 行了比较，给出了仿真分析结果。 第五章对本文工作进行了总结，指出进一步研究的方向。 1 0 2 1引言 第二章角点检测 在连续的序列图像中，由于目标在各帧图像中是变化的，因此寻找能反映 上述交纯瓣基撅不变特 差藏显褥麓秀重要。逶掌焦焘售惠是对翼标特 蒌静一耱 不变性描述，可用角点对豳标进行跟踪。 关于竞点基蘸蠢多秘数学撬述方法及鞠痤魏捡测葵法。角点遥豢被毽释受 图像中物体边缘上曲率较大的点，从中我们可以发现角点的两个熬键特征：1 、 受点位子辫缘中物体数边缘上：2 、角点是边缘上蘸搴较大豹熹。 角点怒描述物体基本彤状的特征，它们仅用少量数据便可提供有关物体形 状的重要镶怠，入织零g 月这些反映物体形状主要黪捱夔售悫便可避一步努辑蚕 像，从而使图像分析得到了简化。在平面形状分析中，形状轮廓上的角点是形 状给辑常殿的特，锺。如果将形心裂攘邻瑟燕点的鬟线疑残豹夹角佟蕊识尉戆特 征，则这组特征对于比例、平移和旋转都鼹不变的。角点检测在图像匹配和形 状分柝中占据重要地位，搽索焦点捡测躲方法也戚灸人爨感兴趣熬领域之一。 然而，角点检测并不是一项简单的任务，翻为人们必须在检测出入能辨别的角 点的同时排除所蠢熟伪焦虑。 目前使用较成熟的角点检测方法【9 0 】有：赢接依据灰度缴图像数据的检测法、 报搌物体边缘信息的检测法、基予自量的捡测法等 3 1 1 1 3 2 t 3 3 1 。 在特徽光流跟踪中，角点检测是非常爨要的一步，检测到的角点的质詹将 直接影响髫标跟踪的精度。在本文中，我l f l 采取懿角点捡测算法属于在啦窆域 内的直接基于原始灰度图像的角点检测。本章将详细介绍本文采用的基于曲率 的熊点检测算法和p l e s s y 角点检测算法以及角点捡测算法靛译价方法，并滋行 日标角点检测的仿舆计算和性能比较。 2 。2 蒸于曲率豹角点检测算法l 蚓 基于曲率的角点检测算法定义角点为豳像中物体边缘土鳆率较大的点。那 么，角点两大关键特征：一、角点位于图像中物体的边缘上；二、角点是边缘 上黯率较大的点。 在边缘处，边缘点的方向导数厢的值较大，其中岛、岛分别为图像 i 、歹方彝懿导数。迭缘熹楚蠡冬莛率诗冀公炎为： 西北工业大学硕士学位论文 第二章角点检测 k = ( 2 1 ) 其中，、g 。、蜀分别为边缘点处的二阶导数。 由此，我们可以得到角点检测的一般步骤：一、以象素点的方向导数作为 阈值，检测边缘：二、以边缘点处的曲率为阈值，检测角点。这就是基于曲率 的角点检测算法。由于这种角点检测算法是分为两步进行的，所以算法的运算 量较大，不利于满足系统实时性的要求。因此，文献【7 6 】对上述角点检测算法进 行了改进，将两步合并为一步，采用角点测度m 直接对灰度图像进行操作，检 测角点。 ：墨煎2型华2二鳖(2-2)m= o 专_ 一 g ：+ g j 这里岛、g ，、g i ，、岛、g 口的定义同上。不难看出我们所采用的角点测度 是由象素点处方向导数和i 埯率相乘而得到的，即： 卅= 垃铲= 厢等铲 协， 在这个测度中，综合考虑了边缘与曲率两个因素，虽然检测到的角点质量 略有下降，但大大减少了运算时间，实践证明对于图像跟踪这样一种特殊的应 用，用这种角点检测算法是非常实用的。 对于上述测度公式中的导数估算有两种方法： 一、离散正交多项式曲面最佳拟合方法。即，在点( f ，) 的r + r 邻域内，取 ( r ，c ) 一l ，0 ，1 ) + - 1 ，0 ，1 ) ，得到 f ( i + ，+ c ) ) 的最佳拟合曲面 g ( + 吖+ c ) = 与+ 毋+ 肇耐“妒+ 妒+ 矿+ 岛而+ 岛启+ 置， ( 2 4 ) 则g ( i ，j ) 的导数为： 岛2 k 2 ，g i ，= 2 毛，毋2 如，g j2 屯，g 3 2 k( 2 5 ) 二、有限差分法。这里给出具体的估算公式： g i = ，( f l ，) 一1 ( i + 1 ，) 】4 + ，( f l ，- ，一1 ) 一1 ( j + 1 ，_ ，一1 ) 8 + i ( i - i ，+ 1 ) 一，( f + 1 ，+ 1 ) 】8 g j = 【i ( i ，一1 ) - l ( i ，+ 1 ) 】4 + 【，( f l ，一1 ) 一1 ( i 一1 ，- ，+ 1 ) 8 + 【，( f + 1 ，j 一1 ) - i ( i + 1 ，+ 1 ) 8 。= 1 ( i l ，- ，) + ，o + l ，j ) 一2 1 ( i ，_ ，) 】2 + 【，( f 一1 ，j 一1 ) + ( f + l ，j - 1 ) - 2 1 ( i ，_ ，一1 ) 4 + 【( f - 1 ，j + 1 ) + i ( i + 1 ，+ 1 ) 一2 1 ( i ，y + 1 ) 4 g 。= ，( f 一1 ，j 一1 ) + 1 ( i + l ，j + 1 ) 卜 i ( i - 1 ，+ 1 ) + j ( f + 1 ，一1 ) 】 4 搿 g “= 【，( f ，j 1 ) + t ( i ，j + o 一2 1 ( i ，j ) 2 + 【，( f l ，一1 ) + f ( i l ，+ 1 ) 一2 i ( i 一1 ，j ) 4 + 【，8 + l ，歹一1 ) + ( i + l ，k + 0 - 2 1 ( i + l ，歹) 】，4 其中，表示像索点的灰度。在上述公式中我们对导数的有限麓分估计值在 象索点的8 邻域内进行了加权处理，以克鞭图像暌声对结聚的影响。 离散磁交多项式曲面最佳拟含方法可以得到较精确的估计值，但需要求解 意维方程缀；有限差分法照然在精确度上不如离教正交多项式曲灏最佳拟合方 法，但计算简单，易于实现。出予算法实用性上的考虑，在估算哿数时我们采 用了有限惹分法。 具体的角点梭测方法怒：首先设定闰菹t h k ，然后计算图像中每点的脚值， 对予m t h k 的象索点判定为角点。流稷如图2 - 1 所示； 西 图2 - i 角点检测流程图 型坚鉴鐾鎏鐾鎏黧警。烹，。烹。盘，兰。，。型，澄当鳖鎏鸯娑 2 3p l e s s y 角点检测算法 是焱舅子、s u s a n 麓点提取冀予亵m i c 角东髯子等。这墨采雳豹是p l e s s y 角点 岛= 暖1 破+ 鸠+ o ( x 2 + y 2 ) 】2 = ( 墨y ) m ( x ，y ) 7 ( 2 - 6 ) 掰= 巨雾 i ( x ，办袭示点( x ，y ) 处鲍灰发黛。 p 。o ，零= 霉圆形，弓= u y 固w ，= l 岱d x ，= 1 0 d y ， 威= 仨i i0 i砂= | 立三三l威2 | _ ：。：砂2 | 二三三l 。触：篡- - 2 缫2 - - 2 ( 2 - 7 ) e 黼= = = f 一 心：七1 0 2 4 角点检测算法的评价方法 燕点检测楚特糍党滚躁踩法戆罄秣，捡溅瓣懿角赢靛凝量跨整个箨法彩桶 根大。不同的熊点检测方法对予“针么是角点”鸯爨愁救定义。文献 7 4 】中撵趣 焦点捡测浮徐潦到寒对燕点捡溅算法遴行弹徐。 不论哪种梭测方法，在确定焦点黠，至少提在一个可变的阙毽参数，该参 数的变化对算漩豹影确是餐鐾算法优劣弱一个袄据，稼戈露靠往准嚣萼。另箨， 角点在用于检测运动视茇时，鞭求序列图像中阁一角点可被稳定鲍定位，嬲各 霉孛算法梭测到数是点骢稳定毪懿鹰怒饕霪箕法谯劣缝一令缀海霪要豹依据，稼 其为算法稳定憾准则。第三，算法的抗噪声性跳也应该是德量算法优劣的一个 准则。下西努别定蛙、定量地皴述寰懿； 稳感性准则：假设程摄像极不动的前提下，任意慕集鼹帧序歹! j 黧像，熙给 两北：t = 业大学坝：l 学位论义 第二章船点榆测 定艨法检测这两帧图像中的角点，如果检测到的角点位置都不变，称算法是“绝 对”稳定的。 由于影响成敷的因素很多，即使是序列图像，每个象素的灰度也会发生变 化，因此阗一算法应用到薅峻图像上，不能保证检测到懿热点的数强、位嚣完 全一致，所以绝对稳定的解法几乎是不存在的，引入稳定系数卵来衡量算法的 稳定程度： 叩= 忑i c 砑, ic 莉2 1 l 。 ( 2 ，8 ) 其中。g ，g 分别表示算法在序列图像的第一帧和第二帧中检测到的角点 毂集合，l | 表示嶷合( 江l ，2 ) 孛元素麴数毯，r a i n 袭示取嚣令数中戆较毒 者，分子的含义是计算两帧中检测到的完全相同的角点( 即横、纵坐标都相同) 夔数妥。灏式( 2 。8 ) 可褥，野越大，算法戆稳定瞧越大。 可靠性准则：改变算法中用到的所有可变的参数，如果不影响生成的角点 戆矮量，只影翡生戏是熹懿鼗曩，称算法楚“缝怼”可靠瓣。 角点的质量不能被影响意味糟：当调整每个可变参数使角点数目增多时， 毅瓣角点集会中宠全包含琢寒约惫点集合中豹点。帮如鬃簸设参数r 是舞法静 一个可变参数，对于任意给定的t 正，当t = 五时，检测到的角点集合为c l ， 当t = 夏辩，捡溅到更多戆建点，这薅毂热点集合湾e ：；臻暴乞i g ，翔豫算 法是绝对可靠的。用可靠性系数y 来衡量算法的可靠性： y = 尚搞川慨 沼 其中，g ，g 分澍表示当菜个可交参数取两个不弱簸时，算法在弱一稹图 像中检测到的角点的集合。 撬臻瞧准列：丽抗噪声系数p 来衡羹； 矿。蛊拣m 溉 沼 其中，c i 表示角点检测算法在某一幅图像中检测到的角点集合，g 袭示该 算法在该瞩图像中添加嗓声之看裣溯蜀的角点集合。测试相同的瀚像，p 越大， 代寝算法的抗噪能力越强。 以上三个准疆 j 为衡量般角点检凋算法“效祭”的优劣提供了很好的理论 依据，不过在某些具体应闱中，可能对算法的另外一些指标如算法的时间需求、 空闯需求等要求熨高，那么就应该把这些闲素一并考虑，折中选铎。 些鳖逃垡墼篡丝垫。拳，：，。：。：。：。：窖氢姜墼鍪鲨 2 5 角点检测算法的实验分析 下瑟分别给崮鏊予蘧率豹角点检测算法秘p l e s s y 角煮梭澜算法在不