（电路与系统专业论文）图像的运动分析与估计算法及体系结构研究.pdf

摘要 摘要 本论文介绍了作者对图像运动估计与分析的算法与体系结构的研究，重点研究 了用于视频压缩的块匹配运动估计方法和用于运动视觉的运动参数估计方法及算 法的体系结构设计。本文的目的是研究如何寻找简便高效的算法和设计适用的体 系结构，从而将计算理论、算法、体系结构三者结合起来，使理论成果真正走向 实用。 作者的主要研究成果包括：在研究以往的基于块的运动估计算法的基础上，提 出了一种对于不同类型的块采用不同的搜索范围和搜索步骤的分类快速搜索 ( c f s ) 运动估计新算法。该算法的提出明显降低了视频压缩中运动估计的计算量。 其次，作者在分析刚体平面运动前后对应直线参数关系的基础上，提出了用直 线对应原理估计物体运动参数的算法，并进一步推导出对运动物体自动跟踪的迭 代公式。该算法简单，易实现。实验证明在大噪声环境下，这一算法仍然可以获 得相当精确的运动参数。 利用特征直线的对应，本文对传统的摄像机标定算法进行了改进，提出了利用 空间直线对应进行摄像机标定的算法，取得了较好的效果。 除了算法上的研究之外，本文针对视频压缩中的三步搜索运动估计方法提出了 一种高效的并行处理结构。此外，本文在对已有的光流算法进行综合分析的基础 上，考虑到硬件实现的实时性，对基于相关匹配的光流算法进行了改进并且对 改进算法的体系结构进行了研究及设计实现。 为了验证本文提出和改进的有关算法，作者设计了基于微机p c i 总线的实时图 像处理机和基于u s b 总线的动态图像采集处理平台，通过在该平台上进行的算法 与体系结构的验证表明，本文所提出的算法和体系结构是可行的。 最后，通过大量的计算机模拟，以及同以往的一些传统经典方法和相关领域里 先进方法的比较，说明了本文提出的若干方法取得了良好的效果。实际的验证也 表明，本文设计的体系结构是有应用前景的。 关键词：计算机视觉，运动估计，块匹配，运动分析，相机标定，体系结构 a b s t r a c t a b s t r a c t t h i sd i s s e r t a t i o nd e s c r i b e so u ri n v e s t i g a t i o no nt h ea l g o r i t h n aa n da r c h i t e c t u r eo f m o t i o ne s t i m a t i o na n d a n a l y s i si ni m a g e w ep u t t h ee m p h a s i so nt h em o t i o ne s t i m a t i o n o fb l o c km a t c h i n gi nv i d e oc o m p r e s s ，m o t i o np a r a m e t e ra n a l y s i si nm o t i o nv i s i o na n d a r c h i t e c t u r ed e s i g nf o rt h e s ea l g o r i t h m s t h em o t i v a t i o no ft h i sd i s s e r t a t i o ni sh o wt o f i n ds i m p l ea n de f f e c t i v ea l g o r i t h m sa n ds u i t a b l er e l a t e da r c h i t e c t u r e s ，s oa st oc o m b i n e t h et h e o r y , a l g o r i t h ma n da r c h i t e c t u r ei n t oa p p l i c a t i o n o n ec o n t r i b u t i o no ft h i sd i s s e r t a t i o ni st h a to nt h eb a s i so ft h ep r e v i o u sm o t i o n e s t i m a t i o na l g o r i t h m sb a s e do nb l o c km a t c h i n g ，w ep r e s e n tan e wm o t i o ne s t i m a t i o n a l g o r i t h mw h i c ha p p l i e sd i f f e r e n ts e a r c hr a n g ea n dd i f f e r e n ts e a r c hs t e p sf o rd i f f e r e n t b l o c k s t h er e s u l t ss h o wt h a tt h i sm e t h o dc a nr e d u c es e a r c hs t e p si nv i d e oc o m p r e s s o b v i o u s l y n e x t ，t h er e l a t i o n s h i p so f l i n ep a r a m e t e r sb e t w e e nt h es t a t e sb e f o r ea n da f t e rp l a n a r m o t i o n o far i g i d b o d yw e r e f i r s td e d u c e d an e wa l g o r i t h mb a s e do nt h el i n e c o r r e s p o n d e n c e f o r e s t i m a t i n g m o t i o n p a r a m e t e r w a s p r o p o s e d f u r t h e r m o r e t h e i t e r a t i v ef o r m u l af o ra u t o m a t i cm o v i n go b j e c tt r a c k i n gw a sp r e s e n t e da sw e l l t h e s i m u l a t i n ge x p e r i m e n t s s h o wt h a tt h e q u i t e a c c u r a t er e s u l t su n d e r h i g hn o i s y e n v i r o n m e n tc o u l db ea c q u i r e db yt h i sa l g o r i t h m i nt h i sd i s s e r t a t i o n ，c l a s s i cc a m e r ac a l i b r a t i o na l g o r i t h mi sm o d i f i e da n dan e w l i n e _ b a s e d c a n l e r ac a l i b r a t i o n t e c h n i q u e i s p r e s e n t e d t h i s m e t h o di s s i m p l e e x p e r i m e n tr e s u l t ss h o wi nt h es a m en o i s el e v e l ，t h em e a na t t a i n e db yt h i sm e t h o di s m o r ec l o s e rt ot r a d i t i o n a lm e t h o d e x c e p t f o r s t u d y i n go na l g o r i t h m ，ap a r a l l e l a r c h i t e c t u r ef o rt h r e e s t e p s e a r c h b l o c k - m a t c h i n gm o t i o ne s t i m a t i o n i s p r e s e n t e d a f t e rc o m p a r i n ga n da n a l y z i n g o f e x i s t i n ga l g o r i t h m s ，r e g i o n c o r r e l a t i o n b a s e d o p t i c a l f l o we s t i m a t i o n a l g o r i t h m i s i m p r o v e dg r e a t l yi no p e r a t i o n a n dt h ea r c h i t e c t u r eo f t h ei m p r o v e da l g o r i t h m i ss t u d i e d a n dd e s i g n e d i no r d e rt ot e s tt h ei m p r o v e da l g o r i t h m ，ar e a l t i m ei m a g e p r o c e s s i n gs y s t e mb a s e d o np c ib u sa n da d y n a m i ci m a g ec o l l e c t i n ga n dp r o c e s s i n gs y s t e mb a s e do nu s b b u si s d e s i g n e d r e s u l t ss h o wa l g o r i t h m sa n da r c h i t e c t u r e sp r e s e n t e di nt h i sd i s s e r t a t i o n a r e f e a s i b l ei np r a c t i c e f i n a l l y , f r o mm a n ys i m u l a t i o n sa n dc o m p a r i s o nw i t hs o m ec l a s s i c a la n da d v a n c e d m e t h o d si nt h er e l a t i v ef i e l d s ，i ti sp r o v e dt h a tm e t h o d si nt h i sd i s s e r t a t i o na c h i e v eg o o d 图像的运动分析与估计算法及体系结构研究 r e s u l t s e x p e r i m e n t ss h o w a r c h i t e c t u r e sd e s i g n e di nt h i sd i s s e r t a t i o na r ev e r yv a l u a b l e k e y w o r d s ：c o m p u t e rv i s i o n ，m o t i o ne s t i m a t i o n ，b l o c km a t c h ，m o t i o na n a l y s i s ， c a m e r ac a l i b r a t i o n ，a r c h i t e c t u r e 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了本文中特别加以标注和致谢中所罗列的内容外，论丈中 不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 本人签名多? 考签日期 厶产lm 2 - 2 0 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容；可以允许采用影印、缩印或其它复制手段保存论丈。( 保密的论丈在 解密后遵守此规定) 本人签名 导师签名 歪望查叁 扭 日期：乡竺f ，；! e l 期：色翌兰：! 兰：主! 第一章绪论 第一章绪论 1 1 研究背景 从1 9 6 4 年罗申菲尔德( r o s e n f l d ) 教授创建马里兰大学计算机视觉实验室算起， 关于人类视觉问题的定量研究将近四十年。但是，直到1 9 8 2 年麻省理工学院的马 尔( d m a r r ) 教授提出的视觉计算理论被人们广泛接受以后，视觉计算才成为独 立的理论。正是在马尔视觉计算理论的指导下，计算机视觉技术在各个方面都取 得了很大的进展。 马尔视觉计算理论的重点是认为视觉是一种复杂的信息处理任务，其目的是要 把握对人们有用的外部世界的各种情况，并把它们表达出来。这种任务的特点是 视觉信息处理必须在若干不同的层次上来加以理解，各个层次基本上是独立的。 视觉信息处理可划分成三个不同的层次来描述，它们是：( 1 ) 计算理论：( 2 ) 算 法：( 3 ) 硬件实现。 按照马尔的理论，这三个不同层次的具体研究问题分别是：( 1 ) 计算理论主要 研究计算的目的是什么? 为什么用这种计算? 执行这一计算的策略逻辑是什么? ( 2 ) 算法层主要研究如何实现上面的计算理论? 上面的计算理论其输入输出表象 是什么? 为了实现表象之间的变换应采用什么算法? ( 3 ) 实现机制主要研究在物 理上如何实现这种表象和算法? 马尔理论是计算机视觉研究领域的划时代成就， 但是该理论不是十分完善，许多方面还有争议。尽管如此，马尔理论给了我们研 究计算机视觉许多宝贵的研究方法，同时也给计算机视觉研究领域创造了许多研 究起点。 1 2 研究内容及国内外发展现状 1 运动分析 世界是运动着的世界，在视觉世界中运动无处不有。人眼视觉系统经过长期的 自然进化，其运动观察能力和从运动中恢复结构的能力很强。一个计算机视觉系 统，如果不具备处理运动信息的能力，该视觉系统的应用范围将非常有限，或者 说这样的系统算不上一个真正的视觉系统。运动分析可应用于机器人导航、景物 分割、外界重建以及道路跟踪等领域，此外还可用于视频图像压缩、目标跟踪等。 视觉运动的研究，就是要探讨如何利用图像中与运动有关的信息，来推知外部 世界的结构和运动。视觉运动的研究，是计算机视觉研究中最基本的问题之一。 嚣像豹运动分辑与 砉诗募法及体系缝鞫毳蓐炎 有关运动的疆究，二+ 世纪三十零代就开始了，早期的研究主要集中在心理物理 学方面。五六十年代的研究着重予在图像背祭中分离运动| 三l 及运动辩眼动的作用。 到了八十年代，关予运动光流的研究逐灏受到视觉磷究者的重视。 在税觉运动分析中，篡骈究舀的不仅要发现盘运动；| 怒的交纯，褥叠还簧测量 这贱变化，并剩用这些变化来恢复运动饕的三维结构。概掇起来，可分为两个任 务，一个憝发瑰运动嚣标农不同辩粼的毽鬻，帮我密这垫嚣标在不同窝像上豹对 应关系：另一个任务是根据这些对应关系计算出运动目标的运动参数，并由此恢 复络梅。溜结莛素，运动黼像处瑾帮分掇豹主要内容有运动蚕豫豹分割、增强弱 滤波；运动物体三维结构的分析以及运动参数的估计；图像序列的编码和服缩等。 近年来人稻采蹋各耱不闰懿块( 线焖栩关快速嚣聚算法进行运动检测，镯懿希 尔伯特( h i l b e r t ) 扫撼搜索法、四叉树法、灰腹预测搜索法等。我们关注它们在硬件 实蠛方瑟麓蘸最势藏已经麓手对馥舜疑罨弄究。鞠荧涎配静基本露憋是利蠲块f 线) 对应算法，搜索两帧中最匹配的块( 线) ，进而计算求出物体戚闺像的逡动矢鬣。全搜 索法懿嫒 每实襞霹 詈整不馥，为了减少援索量，久稻提密了妖速援索方法，翔三多 搜索法( 3 s s ) 、交叉搜索法( c s ) 、并行层次化搜索法( p h o d s ) 、基于块的梯度下降 羧索法b 转g d s ) 等多耱方察雕1 l l 【1 2 1 。一秘魄较奏簸戆途径燕分步洚低图像分辨搴。 此外，由于问一帧图像中相邻块间有很大的结构相关性，在利用块( 线) 对应算法进 行褥，压埝溅莲醚瓣，要尽爨设法剩蠲这耱稳关装。 运动分析的方法概括起来有两种，一种是从时间上相邻的两帧图像来求解物体 运动参数及其三绦德怠，纛稼兔蒺予德 蒌豹方法：舅一耪蹩塑像澎刭夔焘漉分援 法。其中光流分析又分为谶续光流法和特征光流法。特征光流法怒通过特征匹配 袋褥褥援点处戆光漉。w e n g 等采瘸蚕豫逡缘帮热熹终鸯譬毒铥轰【3 l ，c u m a n i 等在 每个边缘点处提取三种属性用于解决特征匹配问豚。特征光流法的主要优点有以 下死点；( 1 ) 露嚣标在牵蠹阉运动瓣疆涮较小，露戮处理大黥梭阉穰移：( 2 ) 对噪 声的敏感性降低；( 3 ) 只处理图像中很少的特征点，计算蹙较小。其主要缺点有： ( 1 ) 褥鬟豹是稳流豹党滚缓，导致难甄提取运动嚣据静糖疆形坟：( 2 ) 憋援匿酝 问题尚未得到较好的解决。s m i t h 簿利用光流进行遴动目标的分割与跟踪【1 2 l 】，假 葵方法存京羞诗髯窭熬必浚穰确浚不够赢静致鞭踩不稳定，嚣曼簿法对磺 孛系绞 有较高的依赖性等缺点。 以嚣攥瓣阕上鞠邻熬嚣像舞磷筑对象，扶壤镶瓣点黠震问题入警，求瓣运动参 数是运动分析的一个重要谂径。蓿名的代袭人物怒t s h u a n g 与j k a g g a r w a l 。伊 裂港大学豹t s 。h u a n g 教授是最零璐究运动麓学饕，早在1 9 8 1 年裁对三缀剐抟运 动参数的测量算法及解的礁一健谶行了深入的研究。在t s h u a n g 的算法中采用了 姆缝点鼹鹰熬方法浓瓣遐璐参数，因此涉及到特缎点弱捻测和嚣粼，这怒一个辣 手的问题【4 8 】。z h e n g y o uz h a n g 掇出了利用前后两帧图像审特征绒敬对应酶方法依 第一章绫论 计物体豹运动【3 翻。在该方法中，必嚣载兹提是蘸条特短线段必须鸯重舍的部分。 y u n c a il i u 镣在点对应的基础上进一步提出了特征齑线对应的运动估计方法【4 1 ，但 是该方法中的特征煮线是在特征点的基础上提取出来豹，这榉不可避免涉及到特 征点的检测。在本文中，作者研究的特征奁线对应法回避了特征点的检测和匹配， 特缓直线的提取采用h o u g h 变换的方法完成。此外，为了籁化，逐考虑了用单相 机来实现，并且采用线性回归的方法使得赢线方程的参数测量达到予象素精度。 在物体坐标系与相机坐标系的转换、多次运动的合成中采用了齐次嫩标系表示。 2 成像系统的标定 在计算梳褫觉中，往德鬻要对聚物逶行定量分耩或霹物俸完成精确定袋鲍处 理。这些内容都涉及到一个基本问题，即景物如何彤成到图像的像素点。理解这 一阏蘧不仅簧了解戏像静模壅，焉纛还需要翔道接凝中各萃孛参数的精确萑，确定 这贱参数值的过程即摄像机标定。摄像机标定在以下应用巾起着熏要作用：( 1 ) 飙诗算棍图像坐标审导塞三维穰惑。自摄像撬标定耩确定鹣摄像橇穰壅鞠参数戆 够提供一种给定目标点的图像坐标，并能确定一条含有实际目标点的空间赢线。 裂曩l 嚣疆这样静图像裁虿鑫嚣条壹线豹交基确定嚣椽静空瀚蹙重。该僖惠霹应弼 于工业的自幼装配、机器人标定或轨迹分析等领域中。( 2 ) 利用摄像机标定来确 定个移动摄豫辊豹空阕霞震。在该类痤瑟孛，磊知嚣标杰静图攘黛椽移交闯坐 标，利用摄像机外部参数标定技术即可解出摄像机的空间盎l 皇标和方位信息。( 3 ) 壹瑟期豹携体三维壤惠导出二维诗算援图像攫舞。 由于摄像机标寇在计算机视觉中的特殊地位，使得该课题一直被研究得较多。 传绕熬摄像掘器定方法主要分秀嚣类；一类是分别拣定援燮系统豹内羚方缎元素 【9 1 1 1 ；另一类是把内外方俄元素统一处理在一个齐次线性变换式中【1 4 6 。在标定 步骤上，抟绕豹掭定方法黄先确定内方整元素郅痰参数，然震采髑一令已知特征 三维坐标的定标装鬣，通过图像特征位置来计算摄像机与定标位置的相对姿态。 摄像枧标定近年来鹣一个耋要发震楚妻标定理论。与黄统豹据定方法不同，叁标 定方法不要求知道三维控制点的坐标位置。可以在摄像机完成视觉任务的过程中 在线遗进野。嚣翦囊定标方法在实髑上还秽在若一定的困雅，主要是精度不够高 和方法的病态性质。m a y b a n k 和f a u g e r a s 首先提出了自标定方法。他们运厢代数 几倪和射影几何的成果，磺究了跟踪7 个刚性特征点、终4 次双察来求褥结构【1 2 】。 他们采用s t r u m 方法的一种特殊形式( 即两摄像机参数相同) ，通过射影空间中虚 圜像豹不变性确定摄像枧终方位元素和剐性特征点的位置。由于体视系统比单目 摄像机容易建立对极约束，张正友发展了体祝系统的自定标方法 6 2 】。张仲飞利用 4 缀共嚣点实现了体视系统歇式意义下的结构参数惦计 3 9 】。本文中，作者在推导 了桥定块t 的直线和直线在图像中的投影关系的基础上，利用直线的对应，通过 i 一謦毽筮壅叠筮錾薹鳘熊蒸鎏銎签垂璧塑爨塞 解线性方程来计冀摄像机参数。 3 体系结构 享凳觉信患处壤研究豹袋高屡次是硬件实现，不少有效豹运动分析算法在硬 孛实 现上存在着致命缺陷，即数据量和运算爨非常大：再加上摄像机系统校正和坐标 变换又占用褶当大的计篱董，鞋数予采稽逶用簸毽器或软俘签褒常常使遁动图豫 的检测与跟踪只能变成为事后行为，从而应用范围严重疑限。视觉数字图像处理 ( d i p , d i g i t a li m a g ep r o c e s s i n g ) 专溺集成奄结酶设计对武将有所俸为，其鼹著往势怒 最新能用于设计的上百万门特大规模( u l s i ) 数字单片集成已经w 以容纳许多复杂 算法对磺 季的苛麴需求。毽建设诗酶芯片越复杂，骚究系统帮奄路弱体系结擒就 愈加重要。已知效果较好的d i p 结构有：流水线( p i p e l i n e ) 、单指令多数据( s i m d ) 、 心搏薄( s y s t o l i c ) 、渡蔻酶( w a v e f r o n t ) 、蠡辩彦( s e l f - t i m e d ) 、莠嚣分毒楚遴f p d p ) 薅 【4 】【1 1 1 。 校摄鬣内乡 逐年来器耪霾像分椽d i p 芯冀豹骞关掇菇，我翻发褒数缝莲豫嬷 理低级视觉功能芯片偏多；而今通用视觉芯片融经在美国、日本等国问世。美围 n s f 避步资韵g m 、b e l l 、s i m e n s 公镧与酝i t 、s t a n f o r d 、c a r n e g i e 。m e l l o n 台嚣 研究通用视觉系统。新视觉芯片的特点是成像与处理部分结构与电路融合低级 褪嚣楚理电路在维擒设计上尽爨接近光电残像象素单元 1 4 5 ，1 4 6 ，1 4 7 ；强蓑嚣辨 比较代寝性的结构是正研制的图像并行流水线元胞式阵列处理，其单片规模高选 1 6 亿个元 孛，它霹鞋矮予应矮滋援觉懿分拆帮处理。 美国牛津计算机公司在1 9 9 7 年研制出通用的并行视频数字信号处璁器a 2 3 6 ， 该处理嚣除了其餐一般处理器具寿豹算术运算、逻辑运簿功能外，还袋残了视频 处理中常用的运动估计模块。上述芯片缀然面向视频处理，但烧作为种较通用 戆视频d s p ，羁麓还只缝进行一些图像的二值化、s o b e l 算子、懑方图统计和块匹 配等算法较固定的中低朦处理，且在运行图像处理算法时不能究全利阁系统提供 浆瓷源，造残了资源浪费。浙i ! 大学信息与逶傣工程研究所设计的b a p l 2 8 芯片径 7 0 r a m 2 的硅片上集成了1 2 8 个p e 单元，每个p e 单元为一个位串行处理器，内部脊 个一位a l u ，强个位鸯 莩嚣，一个可变长度移位寄存爨，一个激活控囊8 标制寄存 器和2 5 6 位静态r a m 。程该芯片上可以进行图像处理的中低层处理算法的研究。 l k i t c h e n ，t k c h e n g z 。q l i u 提到过这榉的观点：实时视爨系统并非就是传 统视觉方法的简单快速实现，而是需要视觉系统与环辘之间的复杂而深刻的交置 作用。大部分传统的视觉系统体系结构并不适合于实时视觉应用，主动视觉和主 动感知才是通徒解决的途径 1 3 1 。这样的结论大大加强了人们研究专用视觉系统的 兴趣和信心，并且推动了大批专用视觉系统的实用化。 目前对于运动d i p 硬件缩构和芯片设计方面一煮肖人研究，铡如图像搜索 第一章绪论 v l s i 结构，实时光流运动估计芯片设计等。国外正在将运动视觉芯片用于行车 时的道路分析与避障，该芯片组成的系统使车辆在复杂环境中自主或辅助安全驾 驶。不过，这时对运动的估计主要局限于刚体平面运动的一阶量分析。过去，运 动分析芯片和系统由于受硬件技术条件所限，只能选用简单的相关器电路当 物体发生了右移，则右移方向的相关器会出现峰值；当物体发生了左移，则左移 方向的相关器会出现峰值，这一算法成功地检测出物体的一维运动。而现在，v l s i 技术允许将光流法与或点对应法加以实现。这样，就不仅可检测出物体的一维运 动，而且能分析物体的二维运动。 p a l o ln e s i ，f a b r i z i oi n n o c e n t i 和p a o l op e z z a t i 等人还设计了实时光流法进行运 动分析的芯片r e t i m a c ，并利用该芯片构建了较实用的视觉系统 2 。但是系统中 r e t i m a c 芯片只是完成光流处理中一些基本的运算，运算的结果送给d s p 处理 器，由d s p 处理器完成光流值的运算。因此r e t i m a c 芯片并不能算是完整的视 频视觉处理芯片。 在运动图像分析研究领域有不少是中国学者首创的理论成果。认真研究了国内 外的相关结果，作者认为要使图像分析d i p 真正走向实用，必须：寻找简便高 效的估计算法；研究适用的体系结构和硬件电路设计。在这一研究思路上国外 已经不乏有人投入，相比之下国内更多的还是聚焦在算法改进与创新上，而将计算 理论、算法结构与硬件实现三者结合起来研究者不多。 本文对图像处理体系结构的研究主要面向专用视觉系统，试图探索一条在图像 视觉视频处理方面进行成像接口后尽早进行图像运动分析估计的d i p 单片式 c m o s 系统集成之路，文中讨论了视频视觉处理中常用的并行结构，并针对具体 算法进行了体系结构的设计与验证，为进一步设计专用视频视觉处理芯片打下基 础。 1 3 本论文完成的工作 本论文的研究得到了国家自然科学基金和国家博士点基金的资助。论文的研究 内容以运动估计为核心，包括计算机视觉中有关运动估计的基础理论到工程实践 的若干分支，如用于视频图像压缩的运动估计算法研究，用于机器视觉的刚体运 动参数提取，摄像机标定以及视频视觉图像处理的体系结构等。以运动估计为线 索，本文主要作了以下的工作： 1 算法方面： ( 1 ) 用于视频压缩的分类快速运动矢量估计 在视频编码中，基于块的运动估计算法被广泛应用。在保证估计质量的前提 第一章绪论 v l s i 结构，实时光流运动估计芯片设计等。国外正在将运动视觉芯片用于行车 时的道路分析与避障，该芯片组成的系统使车辆在复杂环境中自主或辅助安全驾 驶。不过，这时对运动的估计主要局限于刚体平面运动的一阶量分析。过去，运 动分析芯片和系统由于受硬件技术条件所限，只能选用简单的相关器电路当 物体发生了右移，则右移方向的相关器会出现峰值；当物体发生了左移，则左移 方向的相关器会出现峰值，这一算法成功地检测出物体的一维运动。而现在，v l s i 技术允许将光流法与或点对应法加以实现。这样，就不仅可检测出物体的一维运 动，而且能分析物体的二维运动。 p a l o ln e s i ，f a b r i z i oi n n o c e n t i 和p a o l op e z z a t i 等人还设计了实时光流法进行运 动分析的芯片r e t i m a c ，并利用该芯片构建了较实用的视觉系统【2 。但是系统中 r e t i m a c 芯片只是完成光流处理中一些基本的运算，运算的结果送给d s p 处理 器，由d s p 处理器完成光流值的运算。因此r e t i m a c 芯片并不能算是完整的视 频视觉处理芯片。 在运动图像分析研究领域有不少是中国学者首创的理论成果。认真研究了国内 外的相关结果，作者认为要使图像分析d i p 真正走向实用，必须：寻找简便高 效的估计算法；研究适用的体系结构和硬件电路设计。在这一研究思路上国外 已经不乏有人投入，相比之下国内更多的还是聚焦在算法改进与创新上，而将计算 理论、算法结构与硬件实现三者结合起来研究者不多。 本文对图像处理体系结构的研究主要面向专用视觉系统，试图探索一条在图像 视觉视频处理方面进行成像接1 ：3 后尽早进行图像运动分析估计的d i p 单片式 c m o s 系统集成之路，文中讨论了视频视觉处理中常用的并行结构，并针对具体 算法进行了体系结构的设计与验证，为进一步设计专用视频视觉处理芯片打下基 础。 1 3 本论文完成的工作 本论文的研究得到了国家自然科学基金和国家博士点基金的资助。论文的研究 内容以运动估计为核心，包括计算机视觉中有关运动估计的基础理论到工程实践 的若干分支，如用于视频图像压缩的运动估计算法研究，用于机器视觉的刚体运 动参数提取，摄像机标定以及视频视觉图像处理的体系结构等。以运动估计为线 索，本文主要作了以下的工作： 1 算法方面： ( 1 ) 用于视频压缩的分类快速运动矢量估计 在视频编码中，基于块的运动估计算法被广泛应用。在保证估计质量的前提 第一章绪论 据读取速度制约，大大提高了系统的处理速度。实验结果表明，该设计完全 可以实现实时处理。 3 硬件实现 为了验证本文提出和改进的图像处理算法，我们设计了基于微机p c i 总线的 实时图像处理机和基于u s b 总线的动态图像采集处理平台，通过在该平台上进行 的算法与体系结构的验证表明，本文所提出的算法和体系结构是可行的。 设计中采用了大规模可编程器件实现处理算法；在结构设计上充分利用f p g a 内部r a m 资源，集内部缓存结构与处理结构于一体，有效解决了图像处理系统中 处理器工作速度与存储器的存取速度的瓶颈问题。该系统具有很大的灵活性和通 用性，且成本较低。 本论文内容的结构安排如下： 第一章绪论 第二章介绍了用于视频压缩的运动估计算法，给出了分类快速搜索法的步骤，同 时给出了该算法与其他典型算法的实验结果和比较。 第三章介绍了物体成像几何模型以及齐次坐标变换，给出了直线对应法刚体运动 参数估计的详细计算步骤，在此基础上推导了运动目标跟踪的跌代算法。 第四章介绍了如何利用直线对应进行摄像机参数的标定，给出了算法的具体步骤， 并进行了仿真实验。 第五章介绍了视频视觉处理器中常用的并行结构。并对快速区域匹配光流算法体 系结构和用于视频压缩的三步法并行结构进行了研究与设计。 第六章介绍了基于微机p c i 总线的实时图像处理机的设计和基于u s b 总线的动态 图像采集处理平台设计。 同时，相应的实验数据和图表也在相关章节给出。最后，作为本文的结束语， 对全文的工作进行了总结，概括了其主要意义，并提出了今后的研究和发展方向。 图像的运动分析与估计算法及体系结构研究 第二章用于视频压缩的运动估计方法研究 在视频编码中，基于块的运动估计算法被广泛应用。在保证估计质量的前提 下，为了降低运动估计算法的搜索次数，本章提出了种对于不同类型的块采用 不同的搜索范围和搜索步骤的分类快速搜索( c f s ) 运动估计新算法。该算法首先 对块进行分类，然后确定其搜索范围和搜索步骤，在应用分类搜索法时，根据运 动矢量的中心偏置特性，将第一步和第二步的搜索窗采用相同的5 5 的窗口，第 三步采用了3 3 的窗口。结果表明该分类快速搜索新算法在运动矢量的估计质量 上明显优于传统三步搜索法，且搜索次数与传统三步搜索法相比降低了2 3 ，与全 搜索法相比降低了9 1 。实验证明，该算法尤其适用于快速运动、复杂运动序列的 运动估汁。与传统的全搜索法和三步搜索法相比，该算法更适合于用硬件实现。 2 1 引言 视频编码技术在数字电视，高清晰度电视，可视电话，会议电视和多媒体等视 频通信服务中起着至关重要的作用。运动估计是视频压缩编码中的关键技术，通 常在一个压缩编码方案中运动估计占总计算量的6 0 8 0 。因此寻找一种简便、 快速、高效的运动估计算法成为视频编码领域的一个研究热点。目前已出现了很 多类运动估计算法，如块匹配法、子波变换法、神经网络法、基于模型的运动估 计法、像素匹配法等等，其中块匹配法 1 4 - 2 3 】由于具有简单、实用的特点而得到 广泛应用，并且被大多数视频编码标准( 如m p e g ，h 2 6 1 ，h 2 6 3 ) 所采用。 帧问运动可以近似为本帧( 第k 帧) 内的一个区域或多个区域相对于参考帧 ( 第k 1 帧) 的逐段平移。块匹配算法是一种基于模式匹配的位移估计法。其基 本思想如下： 首先，当前帧图像被均匀地划分成m n 像素的矩形块( 称为子块) ，并假定 位于同一子块内的所有像素具有同样的位移，则对每一子块只需要计算一个位移 矢量。每一子块在参考帧( 第k 一1 帧) 内预先确定的一个搜索窗内的所有位置上 进行位移匹配，如图2 1 所示。搜索窗的大小为( m + 2 h ) ( n + 2 v ) ，其中h 和v 分别为水平和垂直方向上的最大位移( 整像素数) 。对每一位移( ( i , j ) ： h i h ，v 4 时，需要求最小二乘解。在求得旋转矩阵 r = 【r l ，2 】的前两列，l = h 。r 2 。r 3z r 和= 【，l ：r 2 。r 3 2 r 之后，第三列由 = r 2 得到。 3 5 33 d - 3 d 运动估计 在该情况下，三维刚体的n 个特征点在空间的三维坐标已知，且其n 个特征 点在不同时刻的对应关系已知，根据这些已知三维坐标的对应特征点确定刚体的 运动参数。 己知运动前后的对应点集尸= 协) 和口= h ) ，f - 1 2 ，n ，要求运动参数r 和t 使得： c i = 助。+ t ( 3 3 3 ) 即求下面的极值：慨一( 励，+ t ) 旷一r a i n ( 3 3 4 ) 根据文献【6 】，令两个点集的质心分别为： 1n 1 n 芦。专善p - ，虿2 亩善q ，( 3 - 3 5 ) 则 国，一虿) = r ( p ，一刃 n 上式与位移无关。令：h = ( p 一刃( g j 一劲7 ，# l 旋转矩阵可直接由矩阵h 的奇异值分解h = u a v 7 得到：r = v u 7 ( 3 - 3 6 ) ( 3 - 3 7 ) 位移向量：t = 虿一万 求解3 d 一3 d 运动估计问题的点集数至少为3 。 如果对每个对应特征点的定位误差具有某种先验知识，即每对特征点对( 3 3 4 ) 亿；惋屯 ，。l 们ilj l o ；0 墨e 砷孔；h 一 一 一 第三章用于运动视觉的运动参数的估计与跟踪 3 1 式的估计具有一个加权因子，则： 兰q i i 吼一( e p ，+ w 寸m i n ( 3 - 3 8 ) 令： f = 上2 0 ) i 兰i = l 邺，虿2 荔1 酗a 日= ，( b 一刃( 口一彳) 7 也可以得到运动参数。 3 6 利用直线对应估计物体运动参数的新算法 ( 3 - 3 9 ) ( 3 - 4 0 ) 上一节回顾了2 d 2 d ，3 d 2 d ，3 d 3 d 特征点对应形式下的运动估计算法。目 前，对物体运动参数进行估计的方法可以归纳为两类：一类是从时间上相邻的两 幅或多幅图求解物体运动参数、物体的三维结构信息，也称为基于特征的运动估 计3 8 4 2 ；第二类方法是图像序列的光流场分析法 1 0 0 1 0 5 。基于光流场的方法 运算量很大，而且对噪声敏感。在基于特征的方法中，u l l m a n 3 8 假设所观测的物 体远离成像设备，这样采用正交投影代替透视投影，并利用特征点对应的方法确 定刚体的运动参数；z h e n g y o uz h a n g 3 6 1 提出了利用特征线段对应的方法确定刚体 的运动参数及结构：y u n c a il i u 和t h o m a s 4 0 提出了利用特征直线对应的方法进 行运动参数的估计。文献 3 的算法是基于帧间点对应而进行的，而在图像特征提 取工作中，精确地确定特征点的位置是一项非常困难的工作。由于图像灰度受到 各种因素的影响，如：光照的均匀程度，阴影的影响等，有时会使特征提取产生 较大的误差。文献【4 】提出的算法中，要求两条匹配的特征线段在投影上有重叠的 部分；文献 5 】中尽管利用特征直线对应的方法进行估计，但是其中的特征直线是 由特征点得到的，这样特征点的提取仍然是不可避免。 针对这一现状，本章研究了一种新的特征直线对应法用于估计刚体的平面运动 参数，下面几节将给出这一算法的主要推导过程。在这一方法中，只需要确定刚 体上两对直线的对应关系，就可求解出刚体的运动参数。显然，确定直线的对应 关系要比确定点的对应关系容易很多。其中直线的参数由h o u g h 变换得到，而不 是由特征点得到，这样图像中的噪声或干扰都不至于对直线参数造成严重的损坏。 因此，这一算法对噪声或干扰是比较鲁棒的，或者说对各种噪声都是不太敏感的。 在此基础上，又推导出利用特征直线对应关系进行运动物体跟踪的迭代算法。这 里，采用了齐次坐标系使得物体中心、相机中心坐标系的转换，多次运动的合成， 包括坐标系转换和运动合成同时进行都得以简化；跟踪起来清晰便捷。 图像的运动分析与估计算法及体系结构研究 k 。a ：c 。， i = = 。，【口。a 。c 。一 军 = = 。 c s 4 s ， 刚体，则对于物体上任意一个给定的运动点( x 。，y e ) ，其运动前后的坐标关系为： 融圈 b 。， 其中 = 降， 晗 篓：期 p 4 s ， k 。c ；， i = = k 。a 。c 。， 军 = = k 。a 。c 。，。 ； = = 。 c ，- 。s ， k l k 。屯o 】= 【口。b ，e ii n , ( 3 - 4 7 ) 第三章用于运动视觉的运动参数的估计与跟踪 3 3 a s x + 6 。y + c 。= 0 ( 3 - 4 8 ) 相应地，在成像平面上也存在一条直线，其方程为： 吩x + y + c = 0 ( 3 - 4 9 ) 物平面上直线的任意点x 。，y 。，1 ) 对应着像平面上直线的某一确定的点 k ，y f ，k ) 。而且： k 。b ；巳1阱 ，卜 ”时。 。巧 k ；a ；c 。，f 蒌l = k ；c ；k ； = 。 c s - s ， 从向， k 6 fc # 忆= k o a ，6 ；c ，】( 3 - 5 2 ) 其中k 0 是一个比例因子，对以下讨论没有影响，令k 0 = 1 。 这样就得到了物体平面上直线的参数与像平面上对应的线参数之问的关系。 在实际的运动图象处理中，可以得到的是像平面上直线的参数，而实际关心的是 物平面上物体的实际运动量，式( 3 5 2 ) 就在两者之间建立了重要的联系。 图4 3 成像面一地面c 假设在像平面上运动前有两条直线u 和v ，其截距式的线参数分别为( 吣l ，一1 ， 。 1 ) 和( 豫，一1 ，啦) ，运动后变成了u 和v ，其截距式的线参数分别为( 叼， 一i ，。e l ) 和( 蛳，i ，呻) ，根