（信号与信息处理专业论文）基于视点预测的多视点视频编码技术.pdf

上海大学硕士学位论文 摘要 随着计算机通信和显示技术的不断发展，视频信号处理技术也随之迅猛发 展，其中的二维( 2 d ) 视频压缩传输技术几近成熟，并逐渐被应用在各个领域。 下一代视频技术将是与人的双眼三维( 3 d ) 视觉更匹配的3 d 立体视频技术， 以自由视点视频为代表的3 d t v 视频技术在本世纪初迅速发展起来，其特点是 立体感和交互性。自由视点视频给传统的视频处理技术带来新的挑战，包括多 视点视频数据的采集、编码压缩、传输、接收端绘制重现等，而多视点视频编 码压缩是其中最为关键的瓶颈技术。 与单视点和双目立体视频序列相比，多视点视频序列是由摄像机阵列对同 一场景的不同角度拍摄得到，其视频流路数更多，数据量成倍增加，各个视点 视频图像问也增加了大量的冗余度。多视点视频编码应根据多视点视频的这些 特点，充分利用多个视频图像之间的多重冗余信息，更有效地编码压缩和传输 多视点视频数据。 本文对多视点视频源端采集的摄像机成像过程进行了研究分析，提出一种 基于遗传算法的摄像机自标定方法。本文利用遗传算法实现h a r t l e y 的基于新 k r u p p a 方程的摄像机自标定过程，消除了极点的影响，将这个过程完全转化为 通过代价函数的最小化来求得摄像机的内参数，排除了极点的不稳定因素，这 样可得到较精确的标定结果。由于其标定过程简单易行，该方法适用性强。 在摄像机内外参数标定的基础上，本文研究了基于标定参数的视点预测方 法。在完成摄像系统的标定工作后，根据其内外参数来预测多个视点的图像， 减少了视差搜索的时间，提高效率。本文对多视点视频序列的实验得到了较好 的预测效果，表明基于摄像机标定参数的多视点视频图像预测是一种简便易行、 有效的多视点预测方法。 针对主流的g o g o p ( g r o u po f g o p ) 预测结构的帧内编码帧较多从而影响 编码效率的问题，本文提出一种基于多参考帧视差预测的编码预测结构。该结 构充分利用多视点间和帧间的冗余相关性，：减少帧内编码帧的个数，扩展视点 v 上海大学硕士学位论文 的预测范围，采用基于可变块匹配算法的多参考帧视差预测方式；某些b 帧在 编码端不传送，而在解码端通过帧估计技术补偿重建，以此来提高预n e l , 偿编 码效率。多参考帧的视差预测效果良好，实验结果显示预测图像的峰值信噪比 ( p s n r ) 平均提高了2 d b 左右，提出的预测结构明显降低了码率，不同的测 试序列在相同码率下的平均p s n r 提高1 1 1 6 d b 。 对上述预测结构中编码端丢弃的b 帧，本文采用基于多参考帧的帧估计补 偿方法在解码端进行重建，选取了具有因果关系的多个参考帧，自适应选择最 佳匹配块来补偿当前帧的当前块。实验表明，基于多参考帧的补偿效果远比基 于单参考帧的重建效果要好，图像质量更加清晰，p s n r 提高了2 5 d b 。而基于 多参考帧的补偿效果一定程度上依赖于视差估计算法以及运动估计算法的精确 度，若提高视差和运动估计的精度，基于多参考帧的帧重建效果还可进一步得 到改善。 关键词：多视点视频编码，摄像机标定，预测结构，帧补偿重建 v i 上海大学硕士学位论文 a b s t r a c t w i md e v e l o p m e n t so fm o d e r n c o m p u t e r c o m m u n i c a t i o na n dd i s p l a y t e c h n o l o g i e st o d a y , v i d e os i g n a lp r o c e s s i n gt e c h n o l o g yt a k e st h ew o r l d s h a k e c h a n g e s 2 dv i d e oc o m p r e s s i o na n dt r a n s m i s s i o nt e c h n o l o g i e sd e v e l o pa l m o s t m a t u r a t e ，a n dt h e ya l eg r a d u a l l ya p p l i e di nm o r ea n dm o r ef i e l d s 3 dv i d e o p r o c e s s i n ga st h en e x tg e n e r a t i o nv i d e ot e c h n o l o g yi sb e t t e rf i ti nw i t hh u m a ne y e s t h r e ed i m e n s i o n a lv i s i o n 3 d t vv i d e ot e c h n o l o g yw h o s er e p r e s e n t a t i o ni sf r e ev i e w v i d e oh a sd e v e l o p e da tt h eb e g i n n i n go f21 吼c e n t u r y ,a n di t sf e a t u r e sa r e s t e r e o s c o p i ca n di n t e r a c t i v i t y f r e ev i e wv i d e ob r i n g sn e wc h a l l e n g e st ot r a d i t i o n a l v i d e op r o c e s s i n gt e c h n o l o g yi n c l u d i n gm u l t i - v i e wv i d e oc a p t u r i n g , c o d i n ga n d c o m p r e s s i o n , t r a n s m i s s i o n , i m a g er e n d e r i n gi nt h er e c e i v e ra n d8 0o n , o f w h i c h m u l t i - v i e wv i d e oc o d i n gt e c h n o l o g yi st h em o s tp i v o t a lb o t t l e n e c k c o m p a r e dw i t hs i n g i ev i e wa n ds t e r e ov i d e os e q u e n c e s ，m u l t i - v i e wv i d e oi s c a p t u r e db yc a m e r a sa r r a yf r o md i f f e r e n ta n g l e so ft h es a m es c e n e ，t h en u m b e ro f v i e w sa n dd a t ao fw h i c hi n e r e a s eb yt i m e s i ta l s oc o n s i s t so fm u c hm o r e r e d u n d a n c i e sb e t w e e nv i e w s ，t h e nm u l t i - v i e wv i d e od a t ac a l lb ec o m p r e s s e da n ds e n t e f f e c t i v e l yb ym a k i n gf u l lu s eo ft h er e d u n d a n c i e sa m o n g v i d e of r a m e sa c c o r d i n gt o t h ef e a t u r e so fm u l t i v i e wv i d e o a f t e ra n a l y s i n gc a m e r ac a p t u r i n ga n di m a g i n gp r o c e s s ，am e t h o do fc a m e r a s e l f - c a l i b r a t i o nb a s e do ng e n e t i ca l g o r i t h mi sp r o p o s e di nt h i sd i s s e r t a t i o n i th a s r e a l i z e dc a m e r as e l f - c a l i b r a t i o np r o c e s so fh a r t l e y sn e wk r u p p a se q u a t i o n sb a s e d o n g e n e t i ca l g o r i t h m i tp r e d i g e s t s o f ft h ee p i p o l e s ，t r a n s f o r m sc a m e r a s e l f - c a l i b r a t i o np r o c e s st ot h em i n i m i z i n go fac o s tf u n c t i o ni no r d e rt og e tc a m e r a s i n t r i n s i cp a r a m e t e r s i th a se s t i m a t e dm o r ee x a c tr e s u l t sb ya v o i d i n gt h ee f f e c to f u n s t a b l ee p i p o l e s ，h a sg o tg o o d a p p l i c a b i l i t yb e c a u s eo fi t ss i m p l ea n de a s y t h i sd i s s e r t a t i o nr e a l i z e sv i e w sp r e d i c t i o nb a s e do nc a m e r a sp a r a m e t e r s 上海大学硕士学位论文 a c c o r d i n gt ot h er e l a t i o n sb e t w e e n v i e w sr e d u n d a n c i e sa n dc a m e r ap a r a m e t e r s a t t e r c a l i b r a t i o no fc a m e r a s ，m o r ev i e w sc a l lb ep r e d i c t e db yt h ec a l i b r a t e dp a r a m e t e r sa n d e s t i m a t e dd i s p a r i t yv e c t o ro ft h es e c o n dv i e ww h i c hr e f e r e n c e dt h ef i r s to n e o t h e r d i s p a r i t yv e c t o r s c a l lb ec o m p u t e db yc a m e r ap a r a m e t e r sa n dt h ef i r s td i s p a r i t y v e c t o l ，a n dt h e ya r en o tt r a n s m i t t e dt ot h ed e c o d e r t h i sm e t h o dd e c r e a s e sd i s p a r i t y s e a r c h i n gt i m ea n dr e d u c e sc o d i n gb i t s t h ee x p e r i m e n t s r e s u l t s t e s t i n g t o m u l t i - v i e wv i d e os e q u e n c e ss h o wt h a tt h ep r e d i c t i o nq u a l i t yi sw e l la n dm u l t i v i e w i m a g ep r e d i c t i o nb a s e do nc a l t l e r ap a r a m e t e r si se a s ya n de f f e c t i v e t h e r ea l eaf e wm a n yi n t r af r a m e si ng o g o p p r e d i c t i o ns t r u c t u r e ，w h i c hh a s e f f e c to nt h ee f f i e i e n e yo fm u l t i - v i e wv i d e oc o d i n g c o n s i d e r i n gu p o ns h o r t c o m i n g o fg o g o ps t r u c t u r e ，t h i sd i s s e r t a t i o n b r i n g s f o r w a r dam u l t i - v i e wp r e d i c t i o n s t r u c t u r eb a s e do nd i s p a r i t yp r e d i c t i o nr e f e r e n c i n gm u l t i p l ef r a m e s t h ep r o p o s e d s t r u c t u r em a k e sf u l lu s eo fs p a t i a lr e d u n d a n c i e sb e t w e e nv i e w sa n dt h o s eo ft e m p o r a l f r a m e st od oc o h e r e n tp r e d i c t i o n ，i te x t e n d sv i e w ss c o p ea n de n c o d sl e s si n t r af r a m e s m u l t i - r e f e r e n c e sd i s p a r i t yp r e d i c t i o nh a sb e e na p p l i e di nt h ep r e d i c t i o ns t r u c t u r el i k e b i d i r e c t i o nm o t i o np r e d i c t i o na n dc o m p e n s a t i o n ；$ o r l l ebf r a m e sc a l ln o tb ee n c o d e d i ne n c o d e rb u tr e c o n s t r u c t e db yt h ed e c o d e di m a g e st oi m p r o v ec o d i n ge f f i c i e n c y t h ea v e r a g ep s n ro ft h ep r e d i c t e di m a g e si n c r e a s e s2 d bc o m p a r e dw i t ht h e p r e d i c t i o nb a s e do no n er e f e r e n c e t h ee x p e r i m e n ts h o w st h a tt h i ss t r u c t u r eh a s r e d u c e dc o d i n gb i t sa n di n c r e a s e dp s n rb y1 1d b 1 6 d ba tt h es a m eb i tr a t ef o r t h e d i f f e r e n ts e q u e n c e sc o m p a r e dw i t l lt h a to ft h er e f e r e n c e ds t r u c t u r e ，i ts h o w st h a tt h e p r o p o s e dp r e d i c t i o ns t r u c t u r eb a s e d0 1 1m u l t i - r e f e r e n c e sd i s p a r i t yp r e d i c t i o ni sw e l l v a l i d t h er e c o n s t r u c t i o n so ft h ebf r a m e sd i s c a r d e da te n c o d e ra l ec o m p l e t e da t d e c o d e rb a s e d0 1 3m u l t i p l er e f e r e n c e si nt h i sd i s s e r t a t i o n m u l t i p l ef r a m e sw i t h c a u s a l i t y 羽er e f e r e n c e dt or e c o n s t r u c tt h o s ebf r a m e s ，t h eb e s tm a t c h i n gb l o c kc 趾 b ec h o s e n 勰t h ec o m p e n s a t e do n ea u t oa d a p t i v ef r o mw h i c h t h ee x p e r i m e n t ss h o w t h a tt h ec o m p e n s a t i o nr e s u l t sb a s e do i lm u l t i p l er e f e r e n c e st i t leb e t t e rt h a nt h o s e v 上海大学硕士学位论文 b a s e do no n e t h eq u a l i t yo fi m a g ec o m p e n s a t e di sm u c hd e a r e ra n di t sp s n r i n c r e a s e sb y2 5 d b c o m p a r e dw i t h t h a t r e f e r e n c i n g o n ef la m e w h i l et h e c o m p e n s a t i o nr e s u l td e p e n d so na c c u r a c i e so fd i s p a r i t ya n dm o t i o ns e a r c h i n g a l g o r i t h m s ，i tc a r lb ei m p r o v e db yw e l lc h o o s i n gc o r r e s p o n d i n ga l g o r i t h m s k e y w o r d s ：m u l t i - v i e wv i d e oc o d i n g , c a m e r ac a l i b r a t i o n ，p r e d i c t i o ns 仃u c t u r e ， f r a m ec o m p e n s a t i o na n dr e c o n s t r u c t i o n i x 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：盘兰查竺日期：竺兰：三、矿 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 日期：笙! 量! 兰! ? 上海大学硕士学位论文 1 1 课题来源 第一章绪论 本课题来源于国家自然科学基金项目“3 d a v 中的多视点视频编码及解码 端的视点绘制研究 ，项目编号：6 0 6 7 2 0 5 2 。 1 2 课题研究的目的和意义 随着2 d 音视频技术的成熟发展，数字电视已成功走进千家万户，而3 d a v ( 3d i m e n s i o n a la u d i oa n dv i s u a l ，三维音视频) 将是下一代音视频技术的发展 方向。 3 d a v 的特点主要有两个：交互性和立体感。交互性能够实现用户和节目 内容之间的交互，用户可以根据爱好选择自己喜欢的角度去欣赏节目内容，而 不仅仅是被动地接受电视台播放的电视节目。立体感使用户通过立体显示器可 以欣赏和真实世界一样具有立体效果的电视节目，带给用户一种身在现场的沉 浸感，改变了传统平面电视的观看方式。 3 d a v 的应用场景主要有三种：全方位视频、交互式立体视频、以及交互 式多视点视频一自由视点视频。其中自由视点视频的应用场景是3 d a v 中最难 攻克的课题，也具有更广泛的应用领域【1 捌。 3 d a v 系统结构可分为多路视频信号的获取、数据编码压缩及传输、接收 三大部分。其中，多视点视频编码( m u l t i v i e wv i d e oc o d i n g ，m v c ) 和自由视 点视频生成是实现3 d a v 范畴内诸如f w ( 自由视点视频) 、f t v ( 自由视点 电视) 、3 d t v ( 立体电视) 等各种应用最为关键的技术。这些视频源端的多路 视频信号是由摄像机阵列从场景的不同角度拍摄得到，由于单个摄像机捕获的 视频序列即一路视频流的数据量已经非常庞大，多个摄像机视频流的数据量则 是成倍地增加。因此，多视点视频系统源端的数据量非常巨大，多视点视频的 数据压缩成为3 d a v 应用中一项至关紧要的任务【1 捌。 ： 虽然现有的m p e g 2 的多视点档次可以传输两路视频信号，用时间可分级 上海大学硕士学位论文 ( t s ) 模式定义了视差补偿预测，以去除两个摄像机序列间的信息冗余度，但 m p e g 2 并不支持交互性，而且m p e g 2 压缩技术的压缩效率不高，对于多路 视频数据压缩来说已经过时。m p e g _ 4 的动画框架扩展( a f x ) 定义了深度图 像表示方法，m p e g 4 的多辅助部件( m a c ) 可以传输深度或视差数据，但这 些工具当初并非针对3 d a v 来制定的，对于编码多视点视频序列不太适合，而 且复杂度太高。对多视点视频信号的压缩最为直接的方式是应用现行的编码压 缩标准h 2 6 4 a v c 将每路视频信号分别单独编码，但其压缩效率却很低。单独 编码只考虑了同一个视点时间方向上帧间的冗余信息和帧内的空间冗余，而没 有利用相邻视点图像间的信息冗余性，导致资源的浪费。为了获得适合于多视 点视频编码的方法，并制定相应的标准，m p e g 专家组于2 0 0 1 年1 2 月成立了 3 d a v 工作小组，对多视点视频编码及其相关技术进行调研工作，m p e g 文档 n 5 8 7 7 和n 6 8 3 4 详细说明了3 d a v 应用对多视点视频编码的需求1 1 , 3 】。主要的要 求为： 具有更高的压缩效率： 支持更多的可分级性，包括信噪比( s n r ) 可分级、空间可分级、时间 可分级、复杂度可分级以及视点可分级； 在计算复杂度和资源消耗上具有高性价比； 支持多种类型的低延迟，包括低的多视点视频编码和解码延迟、视点变 换延迟以及端到端的延迟； 鲁棒性好，支持对差错的鲁棒性，便于在无线网络或其它易发生差错的 网络上传送3 d 视频内容； 在分辨率、颜色空间以及深度上要求支持各种分辨率( q c 珉c i f ，s d 或 h d ) 、颜色空间( y c r c b4 ：4 ：4 。4 ：2 ：2 及4 ：2 ：0 采样或r g b ) ，每个像素的颜色分 量的分辨率最高1 6 比特。 视点图像质量一致性，在相同的时间，不同视点的图像应具有相当的视 觉质量： 支持视点随机访问( 即视点切换) 、部分解码和绘制的功能； 支持时间上的随机访问； 2 上海大学硕士学位论文 其它一些要求，如支持摄像机有相对运动的多视点视频序列的编码，便 于解码器资源的有效管理，比如在解码端的视点插值【4 5 1 。 总之，多视点视频包含同一场景内多个角度的图像序列，各视点图像序列 之间有着高度的相关性。因此，除了像通常在2 d 视频中那样利用时空冗余达 到高效的编码目的外，更重要的还应充分利用不同视点间的空间冗余，提高编 码效率。本论文旨在探索多视点视频编码的预测结构，充分利用视频图像的时 间空间和多视点间冗余性，将两者有机结合，有效地提高多视点视频编码效率， 预期研究成果可以应用在多视点视频的一些相关领域。 1 3 国内外研究概况 1 3 1 基本情况 多视点视频编码技术的早期研究成果大多数是关于立体视频编码的。由于 立体视频编码仅仅局限于两路视频，因此不能提供给用户多角度的欣赏效果， 也不能够实现交互性。多视点视频编码技术是建立在两路视频编码技术基础上 的扩展，后者的一些研究成果可以应用到其中。多视点视频编码是当前的研究 热点，目前国外有很多研究组织从事3 d a v 的相关研究： 1 ) 剑桥大学m e r l 实验室 2 ) 日本名古屋大学f u j i i 研究组 3 ) 德国的h h i 研究所 4 ) 美国的斯坦福大学 5 ) 波兰的i m c 以及j e n s r a i n e ro h m ，a l j o s c h as m o l i c ，m a l a s i o t i s ，s t r i n t z i s ， j e n s r a i n e ro h m ，l m c m i l l a n 等 国内的研究起步相对较晚，近些年来一些科研团队也开始进入到相关领域 的研究，主要有：清华大学，上海大学，宁波大学，西安电子科技大学以及微 软亚洲研究院等等。 3 上海大学硕士学位论文 1 3 2 研究方法分类 3 d a v 工作组从2 0 0 1 年1 2 月开始对多视点视频编码进行调研，各研究组 织提交的研究算法以及预测结构各有己见，并且都证明了多视点视频压缩效率 远远高于对各路视频分别单独编码的效率，概述如下。 多数多视点视频系统是离线压缩的，集中于提供交互的解码和播放。此外， 多视点视频压缩的研究大多集中于静止的光场，研究如何实时压缩和传输动态 场景的相对较少【6 】。主要的编码方法可分为以下几类： 第一类是时空编码技术相结合的多视点视频编码方法。时域的运动补偿预 测称为时间编码，而视点间的视差预测称为空间编码。z i t l l i c k 等证明了时空编 码相结合可得到较好的编码效果 7 1 ，“b l u e c ”系统将多视点视频转化为3 d “视 频碎片 来编码和传送【引。m p e g 的3 d a v 工作组也在考察基于时空结合的压 缩方法的前景，这些多视点视频编码系统均采用集中式处理器压缩，限制了可 压缩视点在数量上的可分级性。 第二类是将视频数据减少到一个视点加上该视点的深度信息的多视点视频 编码方法。这种数据可以作为m p e g - 2 增强层被实时压缩及播放。在接收端， 用基于图像的绘制( i m a g e b a s e dr e n d e r i n g ，i b r ) 技术生成立体或多视点视频 图像【9 】。然而，由于遮挡或场景中存在大视差，生成高质量的输出往往比较困 难，精确的深度信息获取也是非常困难的。 第三类是基于光线空间的多视点视频编码方法。光线空间的表示首先由日 本名古屋大学f u j i i 等提出【i o 】，用于f 1 v 系统。和图像域表示不同，光线空间 表示可生成自由视点图像，而不需要复杂的分析和绘制过程。f u j i i 等提出了多 视点分布式信源编码方案，支持视点的独立编码及联合编码，在解码端联合解 码可恢复编码时丢失的视点【l l 】。目前国内宁波大学的研究组也在进行基于光线 空间的数据压缩和视点插值的理论研究，并取得了一些成果【1 2 】。 另外，实时动态编码有利于系统的仿真。三菱电机美国研究院( m e l u ) 实现了一种3 d t v 的仿真系统【”】，该系统采用分布式的多视点视频压缩技术， 并且在动态场景的获取、传输以及自由立体显示上实现了可分级性。但该系统 注重于实现3 d t v 系统，多视点视频压缩的效率还不够高。m e r l 正计划研究 4 上海人学硕士学位论文 新的算法。此外，y a n g 等也进行了实时压缩的研列1 4 】，获得了从8 x 8 的光场 摄像机阵列中只编码传送视点插值需要的光线，但这限制了接收端的使用，如 不支持预览功能，无法实现多用户显示等。 日本n r r 计算空间实验室提出了g o p 组( g o g o p g r o u po f g o p ) 预测结 构的多视点视频编码方案及基于光线空间的视点插值方法【l5 1 。该方案将2 d 视 频编码中的g o p 概念扩展为多视点视频编码预测结构，提供了观察位置以及时 间的低延迟随机访问。为解码g o g o p 比特流，他们扩展了m p e g - 4a v c ，采 用分层参考图像选择【l6 1 ，其缺点是编码效率相对较低。 亚洲微软研究院参与的工作主要是基于h 2 6 4 平台支持多视点视频流切换 的编码方案，以及与y a n g 的部分合作工作。清华大学对基于h 2 6 4 的多视点视 频编码也有所涉及【1 他0 1 。 1 4 论文的研究内容及结构 本文围绕国家自然科学基金项目“3 d a v 中的多视点视频编码及解码端的 视点绘制研究 的研究内容，在分析多视点视频编码的研究意义、发展和研究 现状的基础上，探索多视点视频编码的预测结构以及相应的算法设计与实现。 主要的工作成绩如下t 一、对单视点视频源端的摄像机采集系统进行研究，主要实现了传统的摄 像机标定方法，并提出一种基于遗传算法的摄像机自标定方法。摄像机标定的 参数是多视点视频编码系统传输时必不可少的部分，单个摄像机标定工作为多 视点视频采集系统中摄像机阵列的标定奠定基础。 二、实现基于摄像机标定参数的多视点图像预测方法。本文从摄像机标定 参数的角度考虑视频图像的预测，将系统标定好的参数用于多视点视频图像预 测，由于减少了视差匹配搜索的工作，因而省时省力。从实验结果看到，在节 省视差搜索时间基础上预测的图像质量良好，表明基于摄像机参数的多视点视 频预测是一种简便易行的预测方法，在传送摄像机参数的多视点编码方案中可 考虑采用。 三、针对g o g o p 预测结构的帧内编码帧较多从而影响编码效率的问题， 5 上海火学硕士学位论文 提出一种改进的基于多参考帧视差预测的预测结构。扩展预测结构的视点范围， 采用多参考帧的视差预测算法，提高了视点预测精度；此外，还对视点中的某 些b 帧不进行编码传送，在解码端通过补偿重建得到，进一步提高了编码效率。 与g o g o p 预测结构相比，改进方法的预测图像质量平均提高了2 d b 左右，编 码效率提高了1 1 - - 1 6 d b 。 四、对预测结构中编码端丢弃的b 帧提出在解码端补偿重建的方法。选择 具有因果关系的多个参考帧，自适应选取最佳匹配块来补偿当前块。实验表明， 多参考帧补偿的图像更加清晰，图像质量优于单参考帧重建图像的效果。 如上所述，本文的主体内容包括多视点视频编码采集系统中摄像机标定以 及预测结构的设计与实现，全文共分为六章，具体章节内容安排如下。 第一章介绍课题的来源、目的、意义、国内外研究现状以及所取得的工作 成绩。 第二章阐述多视点视频采集系统的摄像机标定工作，并提出一种简单易行 的摄像机自标定算法。 第三章讨论基于摄像机参数的多视点图像预测问题，给出了预测方法和实 验结果。 第四章提出一种改进的基于多参考帧的视差预测的多视点视频编码预测结 构，着重讨论m p e g 组已验证的多视点视频编码预测结构以及本文提出的多视 点预测结构，并通过实验验证了所提出方法的可行性与有效性。 第五章对编码端丢弃的b 帧在解码端的基于多参考帧的帧补偿重建进行研 究。主要分析了多参考帧的选取方式以及多参考帧补偿重建的方法。 第六章为全文的总结以及对未来工作的建议和展望。 6 上海大学硕士学位论文 第二章多视点视频摄像系统与摄像机标定 多视点视频摄像系统由摄像机阵列组成。摄像机阵列的标定参数是多视点 视频编码需要传输的参数，应用于解码端的图像绘制与渲染，因此计算机视觉 领域的摄像机标定是多视点视频系统必不可少的工作。多视点视频系统是立体 视频视点范围的扩展，因此立体视频的原理和一些研究成果可以应用到多视点 视频编码压缩的研究中。 2 1 多视点视频摄像系统 多视点视频摄像系统与立体摄像系统相比较，摄像机个数增加，视点范围 扩展了。立体摄像系统涉及到摄像机拍摄的几何模型，摄像机标定技术以及立 体几何模型，这些都和计算机视觉领域的几何视觉有密不可分的联系。关于几 何视觉的研究比较成熟，并且在图像域的3 d 通信中扮演着必不可少的角色。 这里先对摄像机的几何模型以及立体摄像系统作简要描述。 2 1 1 立体视频摄像系统原理 ( 一) 摄像机的几何模型 几何视觉中的针孔摄像机模型是研究摄像系统常用模型【2 1 】，如图2 1 所示。 m p r i n d p i ip l a n e z c y m 一 卜 z 图2 1 针孔摄像机成像几何模型 7 z 上海大学硕士学位论文 映射到像平面上的点i l l 蛳汔，f y z ，t o 如果世界坐标和图像坐标均以齐次矢 引| | 亿， 其中，m = ( z ，y ，z ，1 ) t 是3 d 立体点的齐次坐标；m 寻( f x z ，f y z ，p t p = k ri - r t 】( 2 3 ) 既，p y ，以及摄像机光传感器的x ，y 方向以研m 表示的像素大小最，s y 。 | _ f s 。0p x l k = 1 0 f s yp yl ( 2 4 ) i 0 01 j 8 上海大学硕上学位论文 阵r 和平移矢量t 表示。 ( 二) 立体几何 立体几何( 双视点几何) 是两个摄像机对同一场景拍摄的透视几何投影之 间的几何关系，通常与极线几何有关【2 l 】。如图2 2 所示的立体几何示意图。 图2 2 同一场景的立体透视投影不恿图 立体透视几何视图可以通过立体图像采集设备同时获取，或移动的摄像机 连续采集得到。大部分的3 d 场景点必须在两个视点上同时显示，这是没有遮 挡( 只在一个摄像机图像上看到某一场景点为遮挡) 的情况。任意的非遮挡场 景点m - - ( x ，j ，z ，1 ) t 分别投影到左视图m 尸( “i ，v l ，1 ) t 和右视图m ，文蜥，坼， 1 ) t ，m t 和m r 为同一物点投影到两个摄像机像平面上的对应点。则由上述的( 2 2 ) 式可以得到左、右视的投影： 磊m ，= p , m ( 2 5 ) 鼻m ，= p ，m ( 2 6 ) 其中，p f 和p r 以及磊和导分别为左右视点的投影矩阵和深度系数。 同一场景的两个透视图之间的几何关系用极线几何来描述。研究发现：对 应的图像点一定位于特定的直线上，这条直线可以不经过标定而直接计算得到。 也就是说，给定一幅图像中的点，可以沿着这条直线在另一幅图像中搜索到对 应匹配点，而不需要在一个2 d 区域内搜索，大大降低了搜索复杂度【2 1 埘】。如 图2 3 所示的极线几何。 9 上海大学硕士学位论文 沁 e p i p o l a rp l a n e 澎 y ，j 夕 f b a s e l i n e 图2 3 极线几何和极线约束 任意立体点m 和左右两个摄像机的投影中心c ，和c ，确定的平面称为极平 面( e p i p o l a rp l a n e ) 。由于左右投影光线连接了对应摄像机的中心和立体点m ， 所以像点m l 和m ，亦位于极平面上。左右极线( e p i p o l a rl i n e ) i t ，l r 为极平面 和像平面的交线；连接摄像机中心( c ，c ，) 的直线称为基线( b a s el i n e ) ；基 线与像平面的交点为极点e ；左极点e ，是右摄像机中心c ，在左像平面上的成像 点，e ，为c ，在右成像平面的像点。因此，左图像的所有极线都通过极点e l ，右 图像的所有极线都通过极点e ，这就是立体图像对的极线约束。 在立体图像对中利用极线约束找对应点在很多应用中起到了至关重要的作 用，在多视点视频的研究中也不例外。立体对应点搜索的目的是在立体图像对 ( i i ，i r ) 中找到匹配点，该匹配点是同一物点m 在两摄像机上的投影点m l ， m r 。与匹配相关的视差矢量定义为匹配点位置的差值： d = m 厂i 1 1 ，= ( d 。d ，) ( 2 7 ) 立体图是双视点图对，因此遵循立体几何中的极线约束条件，提高视差搜 索的精度与速度。极线约束严格限制了为一幅图像中的点在另一幅图像中搜索 对应点的范围，将搜索区域由2 d 的窗口转化为极线上，降低了维数；视差匹 配搜索除了遵循基本的极线约束外还应遵守以下的条件【2 1 】： 唯一性约束：一幅图像上的点在另外一幅图像上至多有一个匹配点，唯一 性约束在检测轮廓和遮挡时非常有帮助； 1 0 r 雠大学顿十学位论女 连续性约束：连续性约束的基本思想是在物体表面的视差趋于平滑，这有 助于平滑物体，而在物体边界处受到限制。此约束条件有助于进一步限制搜索 范围。 212 多视点视频摄像系统 多视点视频是立体视频的扩展。从摄像系统角度来讲，是拍摄角度的扩充。 摄像机个数增多，导致视频数据量成倍增加，因而需要更充分地利用多个摄像 机拍摄的视频流之f u j 的相关性，最大限度地提高编码效率。在多视点视频摄像 系统中，摄像机阵列的典型结构包括平行摄像机阵列，扇形摄像机阵列等。如 图2 4 所示的摄像机阵列的实例图，24 ( a ) 是平行摄像机阵列的实例图，2 , 4 8 ) 个这样的 方程叠加起来得到线性方程组a f = 0 ，利用s v d ( s i n g u l a rv a l u ed e c o m p o s i t i o n ) 分解求出该方程组的最小二乘解。八点算法虽简单易行，但是当图像有噪声时， 不太容易得到精确解。 针对八点算法的缺点，本文应用r a n s a c ( r a n d o ms a m p l ec o n s e n s u s ) 算法 求解基础矩阵，从而使得到的值更加精确。该算法的步骤为：首先，输入用于 标定的左右两幅立体图像对，分别在两幅图像中检测角点；然后寻找特征点和 确定匹配点。虽然在求解基础矩阵的过程中需要迭代，但耗时并不长。 ( 三) 结合基础矩阵的k r u p p a 方程新形式 1 5 上海大学硕士学位论文 首先先简要定义绝对二次曲线。在欧氏空间，绝对二次曲线位于无穷远平 面上，有如下的方程： x 2 + y 2 + z 2 = 0(29x 0 ) + z = r1 则绝对二次曲线上的立体点满足m t m = 0 。摄像机的投影矩阵为 p = k r | _ r t 】 ( 2 1 0 ) 其中，r ，t 分别为世界坐标系到摄像机坐标系的旋转矩阵和平移向量，为摄像 机外参数。 由绝对二次曲线上的立体坐标点m 投影的2 d 成像点可以表示为 m = p ( m ) = k r m( 2 1 1 ) 其中，m = r t k m 。因为r 为正交矩阵，故由上式可以推导出 m t k 一1 r r t k 一1 m = m t k t k 一1 m = 0 ( 2 1 2 ) 这表明任意2 d 图像点m 均在绝对二次曲线的像上，并且绝对二次曲线的像w 可由矩阵k j k 。1 来表示。对w 取逆可得到k k t ，并记为c = k k t ，然后通过 c h o l e s k y 分解即可求出摄像机内参数矩阵k 【2 5 1 。 ( 四) 基础矩阵与k r u p p a 方程 k r u p p a 方程与基础矩阵有着密切的联系。由k r u p p a 方程的最初形式已经 看到，k r u p p a 方程的计算还需要计算不稳定的极点。h a r t l e y 提出一种新的 k r u p p a 方程形式f 2 6 2 7 1 ，不需要计算图像的极点，而是直接由基础矩阵推导，得 到k r u p p a 方程的简化形式： 雨v 2 t c v 2 r 2 = 杂s r u t c u = 杂u t c a ( 2 1 3 ) 一= l = 三l 2 13 、 u j c u l2 s 2 2 p 7 其中，f = u d v t ，s v d 分解可得出u ，d ，v 各矩阵；1 1 f 为u 的第f 列向量； 分别为v 的第f 列向量；，和s 为对角矩阵d 的两个特征值。因此只要找到 c = k k t 使得这三个式子的相等成立或近似相等，就能完成自标定工作。三个 等式分别标记为 1 6 上海人学硕士学位论文 如= 希伽：= 杂伽，= 杂 并通过将k r u p p a 方程转化成代价函数来完成自标定工作，这个代价函数可以用 s u m = ( f a c , 一f a c 2