(信息与通信工程专业论文)全局运动估计及摄像机校准算法研究.pdf_第1页
(信息与通信工程专业论文)全局运动估计及摄像机校准算法研究.pdf_第2页
(信息与通信工程专业论文)全局运动估计及摄像机校准算法研究.pdf_第3页
(信息与通信工程专业论文)全局运动估计及摄像机校准算法研究.pdf_第4页
(信息与通信工程专业论文)全局运动估计及摄像机校准算法研究.pdf_第5页
已阅读5页,还剩74页未读, 继续免费阅读

(信息与通信工程专业论文)全局运动估计及摄像机校准算法研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

浙江大学硕士学位论文 摘要 随着近年来多媒体技术的不断发展, 动估计作为视频压缩框架中的关键技术, 足轻重的影响。 视频压缩技术成为了研究的热点。运 对视频压缩编码的质量和速度有着举 计算机视觉作为新兴学科正在快速发展。立体视觉是计算机视觉的一个重 要分支。要想准确地恢复物体的三维坐标信息,必须要提高摄像机标定的精度。 因此,研究摄像机标定及其在三维信息提取中的应用具有重要的理论和应用价 值。 本文的内容主要分成两部分:全局运动估计和摄像机标定。 本文详细介绍了运动矢量场的参数模型。分析了当前全局运动估计的间接 方法和直接方法。指出全局运动估计的算法面临着什算精度和运算复杂度的矛 盾。 针对全局运动估计的问题,提出了一种预处理和后处理相结合的全局运动 估计算法。基于“运动矢量残差最小化”准则,综合块匹配结果正确性与运算 复杂度等因素,提出了特征点选择的原则和方法,并以种子扩散的形式排除外 点,快速得到比较准确的“内点”集合。然后基于“最小亮度残差”准则,使 用低至2 的图像的像素点集对得到的参数进行快速优化。实验显示当图像存 在移动模糊,快速运动,散焦模糊等多种原因而使得运动矢量存在较大的扰动 的时候,本文提出的算法依然能够修正错误的全局运动参数,获得比较好的补 偿效果。 在摄像机标定方面,本文介绍了摄像机的线性模型和非线性模型。介绍了 基于线性模型的直接线性变换( d l t ) 方法和基于两步法的z h a n g 的方法。本文 给出了一个对摄像机系统立体标定的方法。 关键词:m p e g - 4 ,视频压缩,全局运动估计,参数细化,参数编码,摄像机 标定,立体标定 浙江大学硕士学位论文 a b s t r a c t a st h ec o n t i n u o u sd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g yi nr e c e n ty e a r s , v i d e oc o m p r e s s i o nh a sb e c o m eah o t s p o ti nr e l e v a n tf i e l d s m o t i o n e s t i m a t i o n c o m p e n s a t i o nt e c h n i q u ei st h ek e yt e c h n o l o g yi nt h ef r a m e w o r ko fv i d e o c o m p r e s s i o n ,w h i c hh a st h eg r e a t e s tc o n t r i b u t i o nt ot h ec o m p r e s s i o nr a t i oa n d q u a l i t y s t e r e ov i s i o n ,w h i c hi sa ni m p o r t a n tb r a n c hi nt h ee m e r g i n gd i s c i p l i n e so f c o m p u t e r - v i s i o n ,i si nr a p i dd e v e l o p m e n t c a m e r ac a l i b r a t i o nw i t hh i g ha c c u r a c yi s t h ep r e m i s eo fr e l i a b l e3 di n f o r m a t i o nr e c o n s t r u c t i o na n dm o d e l i n g c o n s e q u e n t l y , r e s e a r c ho nc a m e r ac a l i b r a t i o na n di t sa p p l i c a t i o ni n3 di n f o r m a t i o ne x t r a c t i o ni so f t h e o r e t i c a la n dp r a c t i c a li m p o r t a n c e t h em a i nc o n t e n to ft h i sp a p e rc o n s i s t so ft w op a r t s :g l o b a lm o t i o ne s t i m a t i o n a n dc a m e r ac a l i b r a t i o n t h i sp a p e rd e t a i l st h ep a r a m e t r i cm o d e lo ft h em o t i o nv e c t o rf i e l da n da n a l y z e s t h ed i r e c t i n d i r e c tm e t h o df o rg l o b a lm o t i o ne s t i m a t i o n t h i sp a p e ra l s op o i n t so u t t h ec o n t r a d i c t i o nb e t w e e ne s t i m a t i o np r e c i s i o na n dc o m p l e x i t yi nt h eg m e p r o b l e m a i m e da tt h ep r o b l e m si nt h eg m ep r o c e d u r e ,ap r e - p r o c e s s i n ga n dp o s t p r o c e s s i n ga p p r o a c hf o rf a s tg l o b a lm o t i o ne s t i m a t i o ni sp r o p o s e d s i x - p a r a m e t e r a f f i n em o t i o nm o d e lw i t hb o t h “m i n i m a lm o t i o nv e c t o rr e s i d u a l ”a n d “m i n i m a il u m a r e s i d u a l ”a so p t i m i z a t i o nc r i t e r i ai su s e d b a s e do nt h e m i n i m a lm vr e s i d u a l c r i t e r i a , p r i n c i p l ea n dm e t h o d o l o g yo ff e a t u r ep o i n ts e l e c t i o ni np r e p r o c e s s i n gi s p r o p o s e d ,w h i c hp l a y sa ni m p o r t a n tr o l ei ni m a g er e g i s t r a t i o n o u t l i e r sa r er e m o v e d e f f i c i e n t l yi nt h ef o r mo f s e e d p r o l i f e r a t i o n b a s e do nt h e m i n i m a ll u m ar e s i d u a l c r i t e r i a , af a s tp a r a m e t e rr e f i n e m e n tm e t h o di sp r o p o s e d ,i nw h i c ho n l yas m a l l s u b s e t ( d o w nt o2 ) o ft h eo r i g i n a li m a g ep i x e l si n v o l v ei np o s t p r o c e s s i n g p r o c e d u r e e x p e r i m e n t ss h o wt h a te v e ni nt h ec a s eo fi m a g e b l u ed u et od e f o c u s i n g o rf a s tm o t i o n ,t h ep r o p o s e dr e f i n e m e n tm e t h o dp e r f o r m sw e l lt o m o d i f yt h e p a r a m e t e r sw i t hb a di n i t i a lv a l u e s a sr e g a r d i n gt h ec a m e r ac a l i b r a t i o n ,t h el i n e a ra n dn o n l i n e a rc a m e r am o d e l s a r ed e s c r i b e di nd e t a i l s s e v e r a lc l a s s i cm e t h o d si sd e s c r i b e di n d e t a i l s ,e g t h e d i r e c tl i n e a rt r a n s f o n n ( d l t ) m e t h o db a s e do ni i n e a rc a m e r am o d e la n dt h ez h a n g z y sm e t h o db a s e do nt w o s t e pr o u t i n e s i nt h i sp a p e r am e t h o df o rs t e r e o c a l i b r a t i o ni sp r o p o s e d k e y w o r d s :m p e g - 4 ,v i d e oc o m p r e s s i o n ,g l o b a lm o t i o ne s t i m a t i o n ( g m e ) , p a r a m e t e rr e f i n e m e n t ,p a r a m e t r i cc o d i n g ,c a m e r ac a l i b r a t i o n ,s t e r e o c a l i b r a t i o n 一i l 浙江大学硕士学位论文 插图目录 图1 1b m a 搜索示意图2 图1 2i m a g ew a r p i n g 示意图3 图1 3 前景背景遵循不同的运动规律4 图2 1 光流的表现:( a ) 在时刻t 1 的圆( b ) 在时刻t 的圆( c ) 光流9 图2 2 孔径问题示例9 图2 3 由于频谱混叠而导致的一致性问题9 图2 4 光流与运动场的不一致( a ) 不为零的运动场产生了零光流;( b ) 零运 动场由于光照改变产生了不为零的光流l o 图2 5 三维到二维的透视投影示意图1 2 图2 - 6 三维到二维的正交投影示意图1 2 图2 7 四参数模型的旋转矩阵示意图14 图2 8 使用参数模型进行伞局运动估计的方案一1 6 图2 - 9 三步法的搜索步骤1 9 图2 一1 0 新三步法的搜索步骤2 0 图2 1 l 三层金字塔的多重网格技术示意图2 4 图2 1 2h e 的全局运动估计方法流程图2 5 图2 1 3 加权值w ,关于仃的图像,横坐标轴是,:的取值2 6 图3 1 本章提出的g m e 方法的流程图3 3 图3 2 图像仿射变换。3 7 图3 3 对于8 x 8 块,新的目标函数在一个特征块中选取的参与计算的点3 8 图3 - 4s t e f a n 第2 帧全局补偿残差分布图( 不考虑自由度之间的耦合) ,搜 索窗大小1 0 1 0 ,步长0 5 像素:( a ) 仅对a ( o ,0 ) 点的运动矢量进行搜索 ( b ) 仅对b ( w o ) 点的运动矢量进行搜索( c ) 仅对c ( o ,h ) 点的运动矢量进 行搜索3 8 图3 5 状态预测示例3 9 图3 - 6 搜索步数直方图:m o b i l e ,s t e f a n ,c o a s t g u a r d ,t e m p e t e 统计结果表明 9 5 以上帧搜索少于4 0 步。4 0 图3 7 不同比例与亮度的对应4 l 图3 8 运动矢量残差分布( a ) m o b i l e 第2 2 帧,( b ) n e w s 第2 2 帧4 1 图3 - 9 实验方法与h e ( 2 0 0 2 ) t 8 j 的方法全局补偿亮度残差对比( a ) s t e f a n ( b ) c o a s t g u a r d 4 2 图3 1 0s t e f a n 第4 帧运动补偿二值结果( 阈值3 0 ) :( a ) 没有运动补偿( b ) 没有参数细化的间接法全局运动补偿( c ) 本章方法的参数细化的全局 补偿( d ) x v i d 的参数细化全局补偿4 3 图3 1 1c o a s t g u a r d 第7 l 帧运动补偿二值结果( 阈值2 0 ) :( a ) 没有运动补偿( b ) 一v l 浙江大学硕士学位论文 没有参数细化的间接法全局运动补偿( c ) 本章方法的参数细化的全局 补偿( d ) x v i d 的参数细化全局补偿4 4 图3 1 2p u r e z o o m 第9 6 帧运动补偿二值结果( 阈值2 0 ) :( a ) 没有运动补偿 ( b ) 没有参数细化的间接法全局运动补偿( c ) 本章方法的参数细化的全 局补偿( d ) x v i d 的参数细化全局补偿4 5 图3 - 1 3 全局运动补偿m a dp e rp i x e l 比较( a ) s t e f a n ( b ) c o a s t g u a r d ( c ) p u r e z o o m 4 7 图3 1 4c o a s t g u a r d 第2 4 4 帧的运动补偿的二值结果( 阈值2 0 ) 4 8 图3 1 5f o r e m a n 第1 6 帧的运动补偿二值结果( 阈值2 5 ) 。4 8 图3 1 6s t e f a n 第2 0 帧的运动补偿二值结果( 阈值3 0 ) 4 8 图4 1 摄像机线性模型5 0 图4 2 成像平面坐标系与像素坐标系51 图4 3 世界坐标系与摄像机坐标系关系示意图。5 3 图4 4 世界坐标系与平面模板关系示意图5 6 图4 5c c d 摄像机与t o f 摄像机构成的系统5 9 图4 6 系统标定的实现流程6 0 图4 7 双摄像机立体标定流程图6 2 图4 8 高分辨率摄像机的捆扎优化6 5 图4 - 9 低分辨率摄像机的捆扎优化6 5 图4 1 0 用于标定的平面模板示例( 双摄像机) 6 6 一v l l 浙江大学硕士学位论文 表格目录 表3 1 测试序列实验结果比较4 5 表3 2 细化算法( s t e p7 ) 的时间比较4 5 表3 3 全局补偿亮度残差平均像素m a d 比较4 7 表3 _ 4 算法的归一化时问比较4 7 表4 1 单摄像机标定结果,采用z h a n g 的方法6 7 表4 2 双摄像机立体标定结果6 7 浙江大学硕上学位论文 第1 章绪论 1 1 研究背景 随着人们对多媒体需求的不断增长,媒体处理技术,特别是音视频压缩技 术成为了人们研究的热点。视频压缩的目标便是在一定的保真度下用尽可能少 的比特数来表达音视频信源的原始信息。数字视频技术的广泛应用,促使了许 多视频编码标准的产生,i t u t 制定的标准包括h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 , 主要应对实时视频通信领域,如视频会议:i s o h e c 制定的m p e g 系列标准, 包括m p e g 1 、m p e g 2 、m p e g - 4 ,主要应用于视频存储、广播电视、因特网 或者无线网上的流媒体等。 这些标准全部采用以二维平移运动块为模型的运动估计* 1 - 偿技术,可是基 于平移块的模型不能够对运动区域进行精确的描述,因为模型并不包含旋转和 缩放。在m p e g - 4a s p ( a d v a n c e ds i m p l ep r o f i l e ) 中包含了全局运动补偿( g l o b a l m o t i o nc o m p e n s a t i o n ,g m c ) s e 具,为运动估计模型增添了多种运动方式。 m p e g - 4 ( i s o d e c1 4 4 9 6 ) 于1 9 9 9 年推出,是一个适合多媒体应用的允许面向对 象应用的视频压缩编码标准。它是从框架的角度来定义标准,使得根据此标准 开发的视频产品具备更大的灵活性和可拓展性。m p e g 4 允许采用基于对象的 方式,通过对不同的视频对象进行独立编码,i 一时允许不同对象之间灵活分配 码率,从而实现较高的压缩效率和较好的用户体验。 1 2 运动估计技术的研究现状 贾云得1 4 根据摄像机和场景的关系将运动分析划分为四种模式:摄像机静 止一物体静止,摄像机静止一物体运动,摄像机运动一物体静止,摄像机运动 一物体运动。不同的模式需要不同的分析方法和算法。其中,摄像机静止一物 体运动模式主要用于监控、目标跟踪等场合。摄像机运动一物体静止主要是基 于运动的场景分析、理解等,主要用于移动机器人视觉导航、目标自动锁定与 识别等。摄像机运动一物体运动足最一般的情况,也是最难的情况。本论文关 于全局运动估计的部分,前景是具有摄像机运动一物体运动特性的,背景是具 有摄像机运动一物体静止特性的。 1 2 1 块匹配技术 j rj a i n 和a k j a i n 在1 9 8 1 年首次提出基于块的匹配算法( b l o c km a t c h i n g a l g o r i t h m i 】1 。b m a 使得运动估计技术在估计质量与复杂度之间找到一个良好 的平衡点基于块的运动矢量场大大减少了运动矢量的编码比特数哈理 浙江大学硕士学位论文 选择的自适应的块大小也在适应物体轮廓( 小块) 和运动估计鲁棒性( 大块) 之间 提供一个了平衡点。而且基于块的操作大大简化了硬件复杂度。以上种种特性, 使得大部分的视频标准( 如h 2 6 x ,m p e g 1 ,2 ,4 ) 中都包含了基于块的运动估计技 术。 基于一定的差错衡量准则( 例如:s a d ,m s e 等) ,通过运动搜索可以获得 最佳匹配块。搜索方法很多,f s ( f u l ls e a r c h ) 算法可以获得全局最优,可是运算 复杂度非常高,于是有很多获得次优d f d ( d i s p l a c ef r a m ed i f f e r e n c e ) 的快速算 法被提出【3 】,例如:t h r e e s t e ps e a r c h ,2 d - l o gs e a r c h ,d i a m o n ds e a r c h ,4 - s t e p s e a r c h ,2 s t e ps e a r c h ,c o n j u g a t ed i r e c t i o ns e a r c h 等等。 k + 2 u l + 2 1 2 2 图像变形技术 图1 1b l v l a 搜索示意图 s e a r c hw i n d o w i nt h ep r e v i o u sf l am e ( i ( ) ( l ) b l o c k i nt h ec u r r e n tf l a m e ( 融l ) b l o c ku n d e rs e a 陀h i nt h ep r e v i o u sf l a m e 由于块匹配技术中使用的是二维平移运动模型,为了更精确的描述平移运 动模型无法表达的运动,引进了图像变形技术。图像变形技术由3 步组成:1 ) 将 图像切割成网格( 固定的或者自适应变化的格予,且不一定是方块) ;2 ) 使网格 变形去进行前后帧的匹配;3 ) 运动补偿。 n a k a y a 和h a r a s h i m a s h i 提出的h e x a g o n a lm a t c h i n ga l g o r i t h m ( 玎a 例) 使用 三角形均匀网格,网格节点的初始位移由b m a 确定,然后使用迭代的方法进 行节点位置的调整,得到节点的最终位置。可是由于均匀网格完全没有考虑图 像内容,所以运动补偿的效果受到限制。 一2 一 浙江大学硕士学位论文 d u d o n 使用自适应于图像内容的活动网格来进行图像扭曲【5 1 ,, 就是a d a p t i v e h m a ( a h m a ) 算法。 p r e v i o u sf l a m e c u r e n tf r a m e 图1 - 2i m a g ew a r p i n g 示意图 1 2 3 块匹配技术与图像变形技术的比较 被多个视频标准采用的块匹配技术是一种速度很快的运动估计技术,但是 在低码率的时候却会产生明显的“块效应”,导致视觉感觉变差。而h m a 方法 的运算复杂度比b m a 高得多,运动信息更加复杂,视觉效果相对较好。可是 h m a 对运动场的编码密度却远远低于基于块的运动矢量的块匹配技术。随着 图像纹理越来越复杂,物体运动越来越复杂,基于网格的图像变形技术对运动 信息的表达密度不如基于块的运动矢量方法。 1 2 4 全局运动估计及其应用 全局运动估计是高密度运动场描述与图像变形技术的混合。全局运动估计 把拍摄的对象分成“独立于摄像机运动的对象”( 例如:行驶中的汽车等) 和“完 全跟随摄像机运动的对象”( 例如:山川树木等) 。自然背景对象是没有自身运 动的,由于摄像机的运动才造成了在图像序列中的背景发生变化,对这样的背 景进行运动分析就是全局运动估计。全局运动估计技术应用比较广泛,其中在 视频编码领域主要有s p r i t e 编码技术和全局运动补偿技术。 s p r i t e 编码是包含在m p e g - 4 中的新一代编码技术。它利用全局运动估计 生成视频段背景的s p r i t e 图像( 全景图) ,然后将这个s p r i t e 图像编码,以后各帧 的背景编码都只是对该帧相对于s p r i t e 图像的运动参数进行编码;解码时首先 解码得到s p r i t e 图像,然后解码以后每帧运动参数的码流,并根据解码得到的 一3 一 浙江大学硕士学位论文 运动参数从s p r i 2 图像中生成当前帧的背景。 全局运动补偿编码( g l o b a lm o t i o nc o m p e n s a t i o n 。g m c ) 首先利用全局运动 估计得到当前帧和前一帧之间的全局运动参数,然后运动补偿编码。在编码端, 1 ) 利用全局运动估计得到待编码帧和前一帧之间的全局运动参数;2 ) 根据全 局运动参数和前一帧已经编码的图像对当前待编码帧图像进行运动补偿;3 ) 对 补偿后的残差图像和模型参数进行编码。g m c 的核心技术就是全局运动估计 和预测,运动参数编码和预测误差的残差编码。全局运动参数编码对参考点的 运动矢量编码。六参数仿射模型仅使用3 个参考点即可,与以往每个宏块都进 行运动矢量编码相比,大大节省了运动矢量的编码位数,特别对于极低码率的 码流来说,运动矢量的编码比特数占到码流的比较大的比重,全局运动补偿技 术就更有现实意义。对于全局运动补偿编码中的前景物体的局部运动仍采用传 统的局部运动补偿编码。 1 2 5m p e g 4a s p 中的全局运动补偿技术 m p e g - 4a s p 中的g m c 对序列中的全局运动使用转移参数模型运动补偿, 对序列中的局部运动使用b m a 运动补偿。 m p e g - 4a s p 中的g m e g m c 技术是基于块的运动补偿与图像变形技术的 折中。把一帧的四个边缘角看作图像变形网格的全部4 个节点,对整帧图像进 行变形;同时也对视频序列进行b m a 操作。 c u r r e n tf r a m e 图1 - 3 前景背景遵循不同的运动规律 一4 一 浙江大学硕士学位论文 1 3 全局运动估计的研究现状 y e p i n g s u ( 2 0 0 5 ) t 6 1 把全局运动估计算法分成直接方法【7 】 【8 1 ,【1 2 1 和间接方法 【6 】,【9 】【1 0 】【1 1 1 。直接方法求解像素级别上的全局非线性最小二乘问题。间接方法通 过局部运动求解全局最小二乘问题,所以间接方法一般包含两步:局部运动的 获得和全局运动参数的估计。间接方法根据模型的不同需要求解线性最小二乘 问题【1o 】,【1 1 域者非线性最小二乘问剐6 】。其中文献对8 参数透视模型使用线性 最小二乘方法去近似非线性最小二乘解。 直接方法和间接方法的区别在于:直接方法的目标函数一般是“亮度残差” 最小化,而间接方法的目标函数一般是“运动矢量残差”最小化。当局部运动 的测量足够准确的时候,间接方法实际上便是直接方法很好的近似。目前常用 b m a 来测量局部运动。可是当图像因为快速运动,采样率不足,摄像机散焦 模糊等原凶造成块的运动矢量扰动很大的时候,问接方法的性能下降得很快。 直接方法由于需要求解非线性问题,所以一般使用迭代方法。当参与运算的像 素点比较多的时候,直接法的计算代价比间接法要高得多【6 】,难以满足实时应 用的需要。全局运动估计的算法面临运算代价和估计精度上的困难。 最小二乘问题对外点( o u t l i e r ) 是很敏感的,为了得到可靠的结果,应该使得 参与运算的外点越少越好并使用鲁棒的m - e s t i m a t o r s 等方法。假设已有一全局 运动参数初值,k o n r a d ( 2 0 0 0 ) 2 】设定固定的阈值t = 1 0 从亮度残差直方图中剔 除外点。可是一般来说一个场景中前景所占比例本在0 0 0 - 5 0 之间浮动( 背景占 据图像主体为前提) ,使用固定的阂值容易在迭代过程里面保留比较多的外点而 使得全局运动估计偏差比较大。陈韩锋【lo 】使用完整的全局运动区域来进行求 解,为了得到该区域而使用双迭代的方法,直到得到能量最小的运动矢量残差 图为止。双迭代方法相当于遍历各种阈值来获得相对较优的一个。可是这样每 尝试一个阈值便需要进行一次迭代,需要付出高昂的运算代价。y e p i n g s u ( 2 0 0 4 ) 】把图像的像素分成很多组,每一组4 个像素,计算出相应的全局运动 参数,利用直方图统计的方法得到出现概率最高的运动参数。可是实际上并非 所有属于背景的点都适合于计算全局运动参数,这种方法得到的全局运动参数 的误差方差比较大。q i w e i ( 1 9 9 9 ) 1 4 j 等使用s t g s 图像分析法对图像进行预处 理来实现迭代前的前景背景分离。在没有更多的前景的先验知识前,希望在预 处理中实现前景和背景的分离是很有挑战性的。s t g s 分析法在沿坐标轴平移 运动主导的序列中可以得到比较好的结果,可是在旋转缩放斜线平移等情况下 遇到困难。 对于间接方法来说,局部运动的获得存在随机匹配误差和图像原因( 图像模 糊、运动太过剧烈等等) 造成的匹配错误,x v i d 2 7 】首先采用参数后处理过程减少 局部运动估计的扰动对最终参数的影响。 一s 一 浙江大学硕士学位论文 1 4 摄像机标定的研究现状 计算机视觉的基本任务之一就是从摄像机捕获的二维图像信息出发来计算 三维空间中物体的几何信息,并由此重建和识别物体。空间物体表面某点的三 维几何位置与其在图像中的对应点之间的相互关系是由摄像机成像的几何模型 决定的,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通 过实验与计算才能得到,这个过程被称为是摄像机标定。 学术界对摄像机标定进行了广泛的研究,基于不同的出发点和思路取得了 丰富的成果。通过数学处理手段,摄像机标定提供了专业测量摄像机与非测量 摄像机的联系。而所谓的非测量摄像机是指这样一类摄像机,其内部参数完全 未知、部分未知或者原则上不稳定。摄像机的内部参数指的是摄像机成像的基 本参数如图像中心、焦距、径向镜头畸变、偏轴镜头畸变以及其他系统误差参 数。 直接线性变换方法( d l ,t d i r e c tl i n e a rt r a n s f o r m ) 是k a r a r a 和a b d e l a z i z 首 先于1 9 7 1 t 4 5 】年提出的。通过求解线性方程的手段就可以求得摄像机模型的参 数。然而这种方法完全没有考虑摄像机的非线性畸变问题。d l t 方法运算速度 很快,能够实现摄像机参数的实时计算。 如果先用d l t 方法( 或者透视变换矩阵方法) 求解摄像机参数,再以求得的 参数为初值,考虑畸变因素,并利用最优化算法进一步提高标定的精度,这就 是两步法。t s a i 两步法考虑径向畸变。 张正友提出了利用平面模板的标定方法,这种方法只需要从不同角度对模 板拍摄多张图像便可以计算得到摄像机内参数,并可以利用反投影法优化。 无需标定物,基于图像序列的自标定方法成为了标定研究的一个重要方向。 在对外参数一无所知的条件下,即对空间结构不作任何假设,摄像机的运动也 不能量化描述,这时的标定只能给出投影矩阵,而不能从中分解出摄像机内外 参数,这是投影意义下的标定。如果能够精确得到摄像机运动的外参数,这时 可以得到摄像机的内参数,这是最理想的自标定。利用本质矩阵和基础矩阵的 摄像机标定方法,利用对应点的关系,首先求解本质矩阵或者基础矩阵,然后 得到摄像机的内参数。 1 5 本文研究的主要创新点 1 ) 基于“运动矢量残差最小化”准则,综合块匹配结果正确性与运算复 杂度等因素,提出了特征点的选取原则和方法,提出了以种子扩散的 形式排除外点。实验证明,以种子扩散形式的排除外点方法能有效剔 除外点,快速得到比较准确的内点集合。经过测试的几个序列均表明, 相对于经典的h e 8 】【1 6 1 的算法,本文的方法能更加有效的去除外点。 一6 一 浙江大学硕士学位论文 2 ) 在全局运动估计的后处理中使用了新的目标函数。实验证明采用新的 目标函数与使用传统的目标函数( x v i d 采用的目标函数,并与x v i d 类 似的采用一阶收敛的搜索方法) 的全局补偿结果几乎一致,消耗在目标 函数的计算上的理论单次运算量减少为原来的2 5 ,c p u 时间大概减 少为原来的3 0 。 1 6 本文的内容组织 全文共分为5 章,本章为绪论,其他各章内容安排如下: 第二章从理论上分析了全局运动估计的模型、原理、部分经典算法或者后 续进行实验对比的算法,以及当前的全局运动估计存在的问题。 第三章针对全局运动估计的估计精度与运算复杂度的矛盾,提出了一种快 速鲁棒的全局运动估计间接方法。这是一种预处理和后处理相结合的方法,实 验证明,该算法相对于已有的间接方法和直接方法能鲁棒快速的估算出全局运 动模型的参数。 第四章描述了摄像机的线性和非线性模型。对单摄像机标定和摄像机立体 标定进行了论述。 第五章总结与展望。 一7 一 浙江大学硕士学位论文 第2 章全局运动估计 从随着时间而变化的序列中提取运动信息在很多领域都有着重要应用,例 如:医学图像分析,机器人视觉导航,移动目标跟踪,遥感,图像理解,数字 视频压缩等等。在极低码率( v e r yl o wb i tr a t e ,v l b r ) 视频编码的框架下,运动 估计* l - 偿占有重要作用,而且是对压缩率贡献最大的环节。 本章第一节先指出缺乏运动限制的二维运动估计本身就是一个病态的问 题,这为后续的第3 章的特征点的选取原则提供了理论前提。本章第二节论述 基于参数模型的运动估计。主要描述了多种常用的参数化描述运动矢量场 ( m o t i o nf i e l d ) 的模型。全局运动估计就是选择一种参数模型,并通过鲁棒的参 数估计方法( 例如:m - e s t i m a t o r s 方法,l e v e n b e r g m a r q u a r d t 迭代,r a n s a c 方 法等等) 估计模型的参数。本章第三节描述了非参数化描述的运动矢量场的常用 算法。第三节本身不是属于全局运动估计的内容,可是有些全局运动估计的方 法是基于局部运动矢量场的,也就是说是基于第三节所描述的方案的。本章第 四、五节论述了目前流行的两种全局运动估计的研究方向直接方法和间接 方法。第六节分别指出目前的直接方法和间接方法所面临的困难。 2 1 运动估计的问题 图像是三维场景在二维平面上面的投影而产生的。这样的投影是三维运动 在图像平面上面的透视投影或者正交投影。观察一个视频序列,每一个像素都 会随着时间而发生变化,引起这种变化的原因有三种情况:全局运动,局部运 动,光照变化。 全局运动由摄像机运动引起,摄像机的运动导致采集的图像产生全局的位 移。局部运动就是场景内物体本身的运动。光照的变化也会引起图像平面上像 素值的变化,即使摄像机和场景内物体均无任何相对运动。 2 1 1 视在运动与真实运动 由于三维场景通过摄像机投影到二维图像平面上,所以三维的运动信息也 一并投影在平面上。而运动信息投影的表现形式就是图像的像素亮度沿着时间 轴发生改变。我们就是通过检测量度这样的亮度变化来恢复物体的运动的。 物体的三维运动称为真实运动( r e a lm o t i o n ) ,而二维平面上的速度场则被 称为视在运动( a p p a r e n tm o t i o n ) ,或者被称为光流( o p t i c a lf l o w ) 。当物体运动时, 图像上对应投影的亮度也在发生改变,这就产生了光流。二维运动估计的目的 就是估计光流而推出物体投影的运动信息。可是,视在运动本身无法惟一确定 空间物体的三维运动。 一8 一 浙江大学硕士学位论文 毋专 短 髟 ( c ) 图2 - 1 光流的表现:( a ) 在时刻t - 1 的圆( b ) 在时刻t 的圆( c ) 光流 基于运动估计辟 、偿框架的m p e g - 4 标准使用基于对象的编码的日标之一, 就是建立场景的三维模型,从而消除二维图像上光流的不确定性。 2 1 2 运动估计中无法解决的问题 从图像序列计算二维和三维运动的算法,人们已经进行了大量的研究。可 是由于边界效应( b o u n d a r ye f f e c t s ) 的存在,二维的运动估计依然存在不少困难。 图2 - 2 孔径问题示例 a p p a r e n tm o t i o nv e c t o r 、t r u e m o t i 。n 、,e c 嘧 缀蓊 黝 图2 3 由于频谱混叠而导致的一致性问题 一9 一 浙江大学硕士学位论文 v+ l 二翌l 汹 图2 - 4 光流与运动场的不一致( a ) 不为零的运动场产生了零光流;( b ) 零运动场由于光照改 变产生了不为零的光流 孔径问题。理论上分析,我们仅能沿着梯度方向确定图像点的运动 4 】。 如果基于一个局部窗口来估计运动,则无法确定图像是沿着边缘方向 还是垂直边缘方向运动。图2 2 中可以看出,矢量p ,厂和g 都可以 用于描述运动。所以,在没有足够限制的条件下,图像的局部信息不 能完全确定光流。这是一个病态问题。 一致性问题。在空间上含有很多高频分量的物体经历快速运动的时候, 就会出现连续性问题。本质上这是采样率不足导致频谱发生混叠的问 题。如图2 3 所示。当含有1 1 根钢丝的轮子的角速度大于 仞n x f r a m e r a t e ) 的时候,便产生了时间域上的频谱混叠。这时,轮子 的视在运动变变成了实际运动的反方向。 噪声。由于二维运动的测量是基于亮度的改变而进行的,所以当图像 存在严重的噪声的时候,便会给运动估计带来很大的困难。当光照发 生变化的时候,光流的变化与实际运动也会产生比较大的偏差,导致 运动估计难以得到正确的结果。 遮断问题。运动物体之间会产生“冒出”和“遮盖 的区域,导致在 时刻t 的观察无法在时刻t - l 的帧找到任何匹配的物体,导致运动估计 失败。这是由于二维的运动估计丢失了物体的深度信息,导致缺乏必 要的信息解决遮盖问题。 2 2 基于参数模型的运动估计 参数模型旨在描述三维运动在图像平面的正交或者透视投影。参数模型使 用少量的参数描述该模型中每一个像素点的运动,与非参数模型的密度场描述 一l o 浙江大学硕士学位论文 假设在时刻成像刚体的某一点在摄像机坐标系下的坐标为【x 】,z 】2 , 在时刻+ 。摄像机发生运动,而该物体的坐标变成 x l r z 7 。这一运动可 妻 = 尺 茎 + r = 耋芝r 1 2 囊 茎 + 兰 c 2 - , 而在成像平面上,相应的点从时刻的坐标卜j ,】7 变化为时刻+ 的坐标 py 7 。 2 2 1 透视模型 尸= 【x 】rz 】r 表示空间点的坐标矢量,= 卜y r 表示p 在图像平面上的投 一x ,y = 孙y 2 , x 。、。 ,料稍仁3 , 2 2 2 正交模型 当摄像机的焦距远厂远大于z 的时候,透视投影模型就退化为正交投影模 型。正交投影在计算上效率较高。如图2 - 6 所示。 在正交投影模型中,光束从p 点出发,但是平行于主光轴投影到图像平面 上。正交投影的公式为: 一l l 浙江大学硕士学位论文 ,册圈 ( 2 川 f 辱一一一一一一一一一一一一一: 图2 5 三维到_ 维的透视投影示意图 辱一一一一一一f _ 一一一一一一 图2 - 6 三维到二维的正交投影示意图 2 2 3 基于正交投影的六参数模型 结合前面的关于正交投影的结论,成像平面中目标点坐标与三维坐标关系 可以表达为: 谢习习 结合公式( 2 一1 ) ,可以得到: 一1 2 一 浙江大学硕士学位论文 进一步可以表示为: 其中: 侈 = r n x + r 1 2 y + ( r 1 3 z + f i ) = r e l x + r 2 2 y + ( r 2 3 z + ,2 ) ( 2 - 5 ) 口= r n , b = r 1 2 , c = ( r z + t o ,d = r e i ,e = r 2 2 ,= ( r 2 3 z + f 2 ) 2 2 4 基于透视投影的八参数模型 结合前面的关于透视投影的论述,成像平面中目标点坐标与三维坐标关系 可以表达为: 辩阴讣期 e ,i l x + 2 y + r 1 3 z 十f l 巧i x + 石2 】,+ r 3 3 z + f 3 吃l x + 吃2 】,+ r 2 3 z + t 2 r 3 l x + r 3 2 y + r 3 3 z + t 3 用z 去除分子、分母,再全部除以( 弓,+ t 3 z ) 得到 写成简洁形式: x5 y2 ( 弓3 + t 3 z )量! j c + 堡2 v + 1 ( r 3 3 + t 3 z )( r 3 3 + f 3 z ) 7 吃i 石+ 饧y + 吃3 + f 2 z ( 弓3 + f 3 z )垒1 石+ 一一生一一,+ 1 ( r 3 3 + t 3 z ) ( r 3 3 + t 3 z ) 。 舯q 2 勘 q x + a 2 y + q o v x + j ,+ l ( 2 6 ) a 4 x + a s y + a e 口7 z + q y + l ,呸= 渤, 一1 3 一 吗2 ,( 1 3 + f lz ) ( 巧3 + ,3 z ) e , + + 砂秒 + +甜出 = = ,j,【 x y ,l 浙江大学硕j 学

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论