（通信与信息系统专业论文）提高多视点视频编码效率的技术研究.pdf

摘要 摘要 多视点视频是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信号， 包含了丰富的3 d 场景信息，将广泛应用于任意视点视频任意视点电视、3 d 视频 3 d 电视等多种正在兴起的多媒体业务。然而多视点视频的数据量随着摄像机的 数目增加而线性增加，巨大的数据量已经成为制约其广泛应用的瓶颈。多视点视 频编码( c ) 技术主要致力于如何提高多视点视频的压缩编码效率，越来越受 到学术界和工业界的密切关注。目前，m v c 将作为h 2 6 4 a v c 的第四个增修案， 由运动图像专家组和视频编码专家组共同组成的联合视频小组正致力于m v c 的 标准化工作。 本论文主要研究提高m v c 编码效率的技术，主要研究内容及成果如下： 1 m v c 参考预测结构对每个视点在时间方向上采用分层b 帧预测结构。根 据不同时间层视点间预测对编码效率的贡献系数不同，提出了一种m v c 分级预 测结构。该结构对于时间相关性占主导的时间层的图像将不使用视点间预测。 2 在一个g o p 内，对于不同的时间层的图像进行编码时，视点间参考图像 对编码效率的贡献系数随着时间层的增加而减小。据此，提出了一种灵活m v c 预测结构。当前编码图像的视点间参考图像对编码效率的贡献系数可由已编码图 像预测得到。如果视点间参考图像对编码效率预测的贡献系数很小，当前编码图 像仅使用时间参考图像。 3 与单视点视频编码标准不同，m v c 在使用时间参考图像去除时间冗余的 基础上增加了使用视点间参考图像去除视点间冗余的可能。m v c 空间d i r e c t 模式照搬h 2 6 4 a v c 的参考图像选取方法，忽略了m v c 参考图像列表的多样性。 基于此，提出了一种改进的m v c 空间d i r e c t 模式参考图像选取方法。 4 多视点视频由一组摄像机同步拍摄得到。自动白平衡是摄像机内部完成颜 色补偿的主要模块，如果每个摄像机都能通过自身参数调节使得所拍摄的图像颜 色逼真，则整个m v c 系统所有视点的图像就达到了颜色的一致性。提出了一种 基于灰度颜色点提取的自动白平衡方法，具有良好的收敛性。 5 实际中，各视点之间往往存在颜色差异，降低了m v c 视点间预测的准确 性。提出了一种基于颜色空间转换矩阵的m v c 颜色补偿方法。该方法在r g b 颜 色空间上建立颜色补偿模型，并进一步将颜色补偿模型扩展到y c b c r 颜色空间以 适用现有视频编码标准。与原始视点间参考图像相比，经过补偿后的视点间参考 图像与当前编码图像更为相似，从而提高了m v c 的编码效率。此外，颜色补偿 模型参数可以分别从编码端和解码端推导得出，不需要将其写入码流。 提高多视点视频编码效率的技术研究 关键词：多视点视频编码时间相关性视点问相关性预测结构颜色补偿 a b s l r a c t a b s t r a c t m u l t i v i e wv i d e oc a p t u r e db ys y n c h r o n i z e dc a m e r a s ，f r o md i f f e r e n tv i e w p o i n t s ， c o m p r i s e sr i c h3 di n f o r m a t i o no fas c e n ea n di sw i d e l yu s e da sas i g n a lo fn e wt y p e s o fv i s u a lm e d i as u c ha sf r e ev i e w p o i n tv i d e o f r e ev i e w p o i n tt va n d3 d d e o 3 d - t v h o w e v e r , i tr e s u l t si nai r e m e n d o u sa m o u n to fd a t ad e p e n d i n go nt h en u m b e ro f c a m e r a s t h u s ，e f f i c i e n tc o m p r e s s i o no fm v vi sak e ye n a b l i n gf a c t o rf o ri t sw i d e l y a p p l i c a t i o n m u l t i v i e wv i d e oc o d i n g ( m v c ) h a sr e c e n t l yb e c o m ea na c t i v er e s e a r c h a r e a , f o c u s e do nc o m p r e s s i o nf o re f f i c i e n ts t o r a g ea n dt r a n s m i s s i o no fm u l t i v i e wv i d e o d a t a c u r r e n t l y , t h es t a n d a r d i z a t i o no fm v ci sb e i n gd e v e l o p e di nt h ej o i n tv i d e o t e a m ( j v a 3o fi s o i e c m p e ga n d1 1 7 u - t - v c e gw h i c hw i l lb ea l le x t e n s i o no f h 2 6 4 a v c ( a m e n d m e n t4 ) n l i sd i s s e r t a t i o nd e a l s 、i 也i m p r o v i n gt h ec o d i n ge f f i c i e n c yo fm v c ，a n dt h e m a i nr e s e a r c ha n dc o n t r i b u t i o n sa r el i s t e da sf o l l o w s 1 h i e r a r c h i c a lb p i c t u r e sa r eu s e da sb a s i cs t r u c t u r ef o rt e m p o r a lp r e d i c t i o ni nt h e r e f e r e n c ep r e d i c t i o ns t r u c t u r e b a s e d0 1 1t h ea n a l y s i so ft h ec o n t r i b u t i o no f i n t e r - v i e w 。， p r e d i c t i o nt ot h ec o d i n gg a i ni nd i f f e r e n tt e m p o r a ll a y e r , as i m p l i f i e dp r e d i c t i o n s t r u c t u r ei sp r o p o s e di nw h i c ht h ei n t e r - v i e wp r e d i c t i o nw o u l db ed i s a b l e di ft h e p i c t u r er e d u n d a n c yi sd o m i n a t e db yt e m p o r a ld e p e n d e n c y 2 n ec o n t r i b u t i o no fi n t e r - v i e wp r e d i c t i o nt ot h ec o d i n gg a i nd e c r e a s e s 、 r i t l lt h e i n c r e a s eo ft e m p o r a ll a y e ri ne a c hg o em o t i v a t e db yt h i s ，t h ec o n t r i b u t i o no f i n t e r - v i e wr e f e r e n c ep i c t u r eo fc u r r e n tc o d i n gp i c t u r et o t h ec o d i n gg a i nc a nb e p r e d i c t e db yc o d e dp i c t u r e s af l e x i b l ep r e d i c t i o ns t r u c t u r ei sp r o p o s e di nw h i c ho n l y t h et e m p o r a lr e f e r e n c ep i c t u r ei su s e di ft h ec o n t r i b u t i o nd e r i v e df r o mc o d e dp i c t u r e si s s m a l l 3 d i f f e r e n tf r o mt h em o n o s c o p i cv i d e oc o d i n gs t a n d a r d , b o t hi n t e r - v i e w r e f e r e n c ep i c t u r e sa n dt e m p o r a lr e f e r e n c ep i c t u r e sa r eu s e di nm v ct oe x p l o r et h e i n t e r v i e wc o r r e l a t i o na n dt h et e m p o r a lc o r r e l a t i o n n er e f e r e n c ep i c t u r es e l e c t i o n m e c h a n i s mo fh 2 6 4 a v cs p a t i a ld 己e c tm o d ei su s e df o rm v c t h es p a t i a l d i r e c tm o d ei nm v cc a nn o tw o r ke f f i c i e n t l yd u et ot h ev a r i e t yo ft h er e f e 。r e n c e p i c t u r el i s t am o d i f i e dr e f e r e n c ep i c t u r es e l e c t i o nm e c h a n i s mi sp r o p o s e di n t h e d i s s e r t a t i o n 4 m u l t i v i e wv i d e oi sc a p t u r e db ya na r r a yo fc a m e r a s a u t o m a t i cw h i t eb a l a n c ei s 4 提高多视点视频编码效率的技术研究 o n eo ft h em o s ti m p o r t a n tf u n c t i o n sf o re a c hc a m e r at op r o v i d eh i g hq u a l i t yi m a g e c o l o rc o n s i s t e n c ya m o n gt h em u l t i p l ev i e w sc a l lb ea c h i e v e di fe a c hc a m e r ai sw h i t e b a l a n c e d an e wa u t o m a t i cw h i t eb a l a n c em e t h o di sp r o p o s e du s i n ge x t r a c t i n gg r a y c o l o rp o i n t si ni m a g e s ，w h i c hh a st h ea d v a n t a g eo fr o b u s tc o n v e r g e n c e 5 t h ee x i s t e n c eo fc o l o rm i s m a t c hb e t w e e nv i e w si m p a i r st h ep e r f o r m a n c eo ft h e i n t e r - v i e wp r e d i c t i o ni nm v c an o v e lc o l o rc o m p e n s a t i o nm e t h o db a s e do nt h ec o l o r s p a c ec o n v e r s i o nm a t r i xi sp r o p o s e d ac o l o rc o m p e n s a t i o nm o d e li sd e v e l o p e di n r g bc h a n n e l sa n df u r t h e re x t e n d e dt oy c b c rc h a n n e l sw h i c hm a k et h ep r o p o s e d m e t h o dc o m p a t i b l et oc u r r e n tv i d e oc o d i n gs t a n d a r d s t h em o d i f i e di n t e r - v i e w r e f e r e n c ep i c t u r ei sm o r es i m i l a rt ot h ec o d i n gp i c t u r et h a nt h eo r i g i n a li n t e r - v i e w r e f e r e n c ep i c t u r e ，t h e r e f o r et h ec o d i n ge f f i c i e n c yf o rm v cc a nb ei m p r o v e d m o r e o v e r ， t h ec o l o rc o m p e n s a t i o nf a c t o r sc a nb ed e r i v e db o t hi ne n c o d e ra n dd e c o d e r , t h e r e f o r e n oa d d i t i o n a ld a t an e e dt ob et r a n s m i t t e dt ot h ed e c o d e r k e y w o r d s ：m u l t i v i e wv i d e oc o d i n gt e m p o r a lc o r r e l a t i o ni n t e r - v i e wc o r r e l a t i o n p r e d i c t i p ns t r u c t u r e c o l o rc o m p e n s a t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除文中特别加以标注和致谢中所罗列的内容以外，论文中不包 含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其 它教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意 本人签名：涵鳓 日期： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部 分内容；可以允许采用影印、缩印或其它复制手段保存论文( 保密的论文在解密 后遵守此规定) 本人签名：、毯彦 本人签名：型【饮，丝一 导师签名： 日期： 绺喊 巡j 6 7 第一章绪论 第一章绪论 1 1 引言 随着信息技术的发展和社会的进步，人们对信息的需求越来越丰富，希望可 以随时随地方便、快捷、灵活地通过语音、数据、图像与视频等多种方式进行通 信。视觉信息给人们直观、生动的形象，图像视频受到人们的广泛关注。超大规 模集成电路技术和宽带数字网技术的发展，使人们对数字视频业务，如可视电话、 视频会议、视频监控、高清晰度电视( h d m 、视频点播( v o d ) 、娱乐、远程教学 和远程视频商务等产生了越来越浓厚的兴趣【l 】【2 】。 图像压缩编码从1 9 4 8 年电视信号数字化提出以来，已有六十年的历史，不仅 在理论研究上取得了巨大进步，而且在实际中也获得了广泛应用。近十多年来， 视频编解码技术迅速发展，并且日臻成熟，其标志是多个国际视频编解码标准的 制定及其产业化应用【3 以3 1 。与视频编码相关的标准化组织有两个，一是运动图像 专家组( m o v i n gp i c t u r ee x p e r tg r o u p ，m p e g ) ，另一个是视频编码专家组( v i d e o c o d i n ge x p e r tg r o u p ，v c e g ) 。m p e g 隶属于国际标准化组织( i n t e r n a t i o n a l o r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ，i s o ) 和国际电工委员会( i m e m a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o n ，i e c ) ，其制定的视频编码标准主要有m p e g 1 、 m p e g 2 和m p e g 4 。v c e g 属于国际电信联盟( i t ut e l e c o m m u n i c a t i o n s t a n d a r d i z a t i o ns e c t o r ，i t u t ) ，其已有的视频编码标准为h 2 6 x 系列。这些标准 融合了各种性能优良的视频编码工具，代表了各个时期图像编解码的发展水平。 由m p e g 和v c e g 共同组成的联合视频小组( j o i n t v i d e ot e a m ，j v t ) 完成了新的视 频编码标准h 2 6 4 a v c 的制定。该标准结合了多种视频编码的先进技术【l o 】【l ，可 获得比以往各种编码标准更为优越的性能。表1 1 给出了现有的视频压缩编码标 准及其典型应用场合。 目前，视频编码的发展趋势大致分为三个发展方向：一是扩展现有的视频编 码标准的功能，使其具有更为广阔的应用前景，例如继h 2 6 4 a v c 之后，t 又 相继公布了h 2 6 4 a v c 的三个增修案( a m e n d m e n t ) ，分别为扩展高保真压缩【l 、 支持4 ：4 ：4 颜色格式档次【1 2 】和可分级视频编码【1 3 1 ：二是在原有的视频框架下继续 研究新的编码技术，例如v c e g 正在准备的h 2 6 5 的制订工作，主要是研究进一 步提高编码效率的新工具和新方法；三是在现有编码框架之外开拓新的编码方法， 例如基于三维小波的视频编码1 1 4 1 、分布式视频编码【l5 】等。 2 提高多视点视频编码效率的技术研究 表1 1现有视频编码标准 标准发布日期标题应用场合 田e g 11 9 9 2 1 l 面向数字存储的活动图像及其伴音的编码光盘存储、家用视 频、视频监控等 口e g 21 9 9 4 1 l 活动图像及其伴音的通用编码数字电视、d v d 、 高清晰度电视、卫 星电视等 m p e g 41 9 9 9 5 音频视频对象的通用编码i p 网、交互式视频、 ( 后来又移动通信、专业视 有补充) 频等 h 2 6 11 9 9 0 1 2 p x 6 4k b i t s s 的音视频业务的编解码 i s d n ( 综合业务数 字网) 等视频会议 h 2 6 31 9 9 6 3 低比特率的视频编码桌面可视电话、 h 2 6 3 +1 9 9 8 1 移动视频等 h 2 6 3 + +2 0 0 0 1 l h 2 6 4 a v c2 0 0 3 5 h 2 6 4 a v c 视频压缩编码标准高效压缩应用、网 络视频通信 h 2 6 4 a v c2 0 0 5 3 h 2 6 4 增修案i ：高保真压缩，高保真压缩应用 ( f i d e l i t yr a n g ee x t e n s i o n s ，f r e x t ) h 2 6 4 a v c2 0 0 7 4 h 2 6 4 增修案i i ：4 ：4 ：4 相关档次定义支持高色度精度 ( h i g h4 ：4 ：4p r o f i l e ) 应用 h 2 6 4 a v c2 0 0 7 8 h 2 6 4 增修案i i i ：可分级视频编码网络视频传输 ( s c a l a b l ev i d e oc o d i n g ，s v c ) h 2 6 4 a v c 制订中 h 2 6 4 增修案i v ：多视点视频编码 任意视点视频电 ( m u l t i v i e wv i d e oc o d i n g m v c l 视，3 d 视频电视 多视点视频【1 6 】1 1 7 】是由摄像机阵列从不同角度拍摄同一场景得到的一组视频 信号，将广泛应用于任意视点视频任意视点电视、3 d 视频3 d 电视、交融式会议 电视、3 d 远程通信、远程医学诊疗、虚拟现实以及视频监视系统等多种正在兴起 的多媒体业务。与单视点视频相比，多视点视频能够更加生动地再现现实场景， 给人以身临其境的感觉。同时，多视点视频的数据量随着摄像机的数目增加而线 性增加，巨大的数据量已经成为制约其广泛应用的瓶颈。因此，多视点视频编码 ( m u l t i v i e wv i d e oc o d i n g ，m v c ) 技术是未来视频通信领域中的一项关键技术， 主要致力于如何对多视点视频进行高效地压缩编码。目前，国际视频标准化组织 正致力于对m v c 的研究和标准化，其将作为h 2 6 4 a v c 的第四个增修案【l 引，如 表1 1 所示。本论文将重点介绍到目前为止国际上m v c 的研究进展及其主要研 究成果，并在此基础上提出几项旨在提高m v c 编码效率的方案。 t 每年定期召开四次国际会议，会议期间世界各地的视频编码专家聚集在 一起，对每次会议提交的技术提案进行分析、评价。基于h 2 6 4 a v c 的m v c 的 第一章绪论 标准化是目前t 会议的主要工作，会议中提出的各项技术提案主要侧重于提高 m v c 的编码效率。西安电子科技大学与华为技术有限公司成立的视频通信处理 联合实验室较早开展了m v c 的研究工作，并于2 0 0 6 年1 0 月开始参加t 会议， 提交技术提案。同时，由于m v c 的研究工作具有前沿性和创新性，本课题还受 到国家自然科学基金( 项目名称：提高多视点视频编码效率的技术研究，项目批 准号：6 0 7 7 2 1 3 4 ) 的资助。正是在此背景下，本论文以多视点视频编码技术的研究 为主要方向，提出了几项用于提高多视点视频编码效率的方案。 本章的内容安排为：1 2 节介绍多视点视频的定义及其典型应用；1 3 节介绍 多视点视频编码的研究现状和标准化进程：1 4 节概括本论文的组织结构和主要研 究成果。 1 2 1 多视点视频 1 2 多视点视频及其应用 近年来，宽带通信技术迅速发展，终端处理能力大幅度提高。同时，随着计 算机视觉、计算机图形学和传统视频编码技术的相互融合、相互渗透，现有的2 d 视频业务已经不能满足人们的需求，能够提供3 d 视觉感受的多视点视频越来越 受到学术界和工业界的重视【1 9 】，成为目前视频领域的研究热点之一【2 0 1 。 多视点视频是一种新型的具有立体感和交互功能的视频，其包含了丰富的3 d 场景信息。图1 1 给出一个多视点视频采集系统的示意图，该系统可广泛应用于 全景视频、交互式立体视频、交互式多视点视频等产业领域，涵盖通信、教育、 医疗、探险、观光、娱乐和监视等领域。例如，在娱乐行业，多视点视频可广泛 应用于剧院、体育、舞蹈、多用户游戏和电影等。 平行相机阵列i 一亩白白白白一 图1 1 多视点视频采集系统示意图 4 提高多视点视频编码效率的技术研究 1 2 2 多视点视频的应用 多视点视频以一种更自然的方式来描述场景，是针对新一代交互式多媒体应 用而提出的。本小节介绍多视点视频的两个重要应用【2 1 1 ，任意视点视频任意视点 电视( f r e ev i e w p o i n tv i d e o f r e ev i e w p o i n t f 、f t v ) 和3 d 视频3 d 电视( 3 d v i d e o 3 d 1 v3 d v 3 d t v ) 。f 、w f ，r v 的观看者不是被动地接收视频信息，而是 能够任意地选择角度来观看视频：而3 d v 3 d t v 则可以为观看者提供充足的深 度感、立体感，使得观看者可以深切体验3 d 视频的真实感。上述两种应用也可 以组合在一个系统中。 1 任意视点视频任意视点电视删胛 f 、f t v 的一个主要特性是可交互性，即用户可以任意选择从不同的视点观 看同一个场景。例如，在体育比赛中，有多个摄像机从不同角度对比赛场景进行 同步拍摄，使用计算机对采集到的多视点视频信号进行合成，可供用户在一定范 围内从任意一个角度观看比赛，并可以根据自己的喜好随时改变观看的视点。图 1 2 给出了f t v 的系统框图【2 1 1 。摄像机阵列采集到的多视点视频经过视频预处理 模块后送入m v c 编码器进行编码。解码器恢复出多视点视频信号，根据用户所 选择的视点进行视点合成，最后将合成的信号送到播放设备进行显示。视频预处 理和视点合成是该系统中的两个重要模块。视频预处理模块主要完成视点之间的 补偿处理。通过补偿处理不仅能够进一步提高视点间的相关性，提高m v c 的编 码效率，而且可以使视点合成模块中生成的虚拟视点更加接近自然场景。视点合 成模块是根据用户选择观看的位置，通过该位置附近的两个实际拍摄视点的视频 信号合成出用户观看的虚拟视点。如果用户选择观看的是实际摄像机拍摄的位置， 则不需要经过视点合成。 图1 2f v v 】盯v 系统框图 f 、f t v 的交互性可以分为三类【2 2 1 ，分别是编码端交互、获取全部数据的 解码端交互和获取部分数据的解码端交互。编码端交互指的是终端用户可以远程 控制编码端，通过预约协议将用户需求告知编码端，编码端根据用户需求对数据 进行编码、传输。这种交互方式需要提供反向信道来传输用户的需求信息。在实 时通信业务中，为了同时满足不同用户的需求，编码端需要配有多个编码器。而 对于非实时通信业务，编码端可以对不同的视点和不同的显示终端分别存储多组 压缩文件，根据用户需求发送相应的数据。获取全部数据的解码端交互指的是在 解码端已经获得全部媒体数据的前提下，支持用户任意选择观看的视点。这多用 于存储业务；而对于广播业务，由于多视点视频的巨大数据量，利用这种方法提 第一章绪论 5 供多视点视频的交互性是不切实际的。获取部分数据的解码端交互指的是通过交 互方式解码端仅接收部分视频、音频及其它附加数据。对于这种交互方式，编码 端需要对所有视点的音频和视频数据进行压缩，但仅将与用户需求的视点相关的 数据发送给解码端。因此，该交互方式也需要一个反向信道来传输用户的信息， 适用于流媒体业务，但不适用于广播业务。 2 3 d 视频3 d 电视( 3 d v 3 d 珊 3 d v 3 d t v 2 i 】的主要特性是具有强烈的视觉立体感，能够为观看者提供3 d 的场景体验和感受，使其仿佛置身于真实场景之中，具有逼真的效果。3 d t v 主 要是指提供具有强烈立体感和深度感的立体多视点视频业务，可以看作是立体电 影的扩展。在立体电影中，所有观众看到的是同样的立体画面。而对于3 d t v ，播 放时，不同位置的观众观看到的画面内容与其所处的位置有关。3 d t v 主要应用 于广播业务，这种应用环境一般不要求支持交互性。 图1 3 给出一个3 d t v 系统的示例。使用m v c 编码器对多视点视频信号进 行编码，将码流以广播方式发送。根据用户显示需求的不同，解码端可以选择解 码一个或多个视点送至显示终端。如图1 3 所示，解码端至少需要解码一个视点， 依据解码视点的数目，该系统可向下兼容，可同时支持多种显示终端。对于传统 的2 d 显示终端，接收到一个视点的视频数据后可以直接进行显示。而对于立体 视频终端，需要获得两个视点的视频数据用于立体显示。多视点视频终端则需要 获得多个视点的视频数据用于3 d 视频显示。 l 。，：。+ 。 i ，7 _ m 。1 q 卜 也到 嚣磊玎 阿司 多视点视频多视点视频 1 ： ，日，m “* 女i 。编码器 国 解码器 ； 斗 - r 一一l ( m v c( m v c i r 。 l 视点ni e n c o d e r )d e c o d e r ) 4 ：1 n 路视点视频 - 一 i 3 d t v - _ - 一一 图1 33 d t v 系统框图 1 3 多视点视频编码研究现状 1 3 1 多视点视频编码 由图1 2 和图1 3 可以看出，多视点视频的典型应用系统的核心模块是多视点 提高多视点视频编码效率的技术研究 视频的编码、传输存储和解码。图1 4 给出一个多视点视频编码系统的示意图】。 由摄像机阵列拍摄的n 个视点视频并行输入到m v c 编码器，经过编码后生成一 个码流进行传输或存储，解码端根据接收到的码流恢复出多视点视频，并且可以 根据用户的不同需求支持只恢复一个或几个视点的视频信号。 ； 回 n 路原始视点 多视点视频编码系统( 1 州c ) 多视点视频 编码器 ( m v c e n c o d e r ) 多视点视频 解码器 q c d e c o d e r ) ；l - - - - - - - - jl - - j ； ： ； ： ：l - - - - - - - - - - - - - - 二 图1 4 多视点视频编码框架 由以上介绍可以看出，多视点视频巨大的数据量是制约多视点视频获得广泛 应用的瓶颈。多视点视频编码技术主要致力于如何利用视点间相关性和视点内部 的相关性( 时间相关性和空间相关性) 提高多视点视频的压缩效率。国际视频标 准化组织将现阶段的m v c 定位于h 2 6 4 a v c 的重要补充和扩展，因此，本论文 的研究内容是基于h 2 6 4 a v c 的m v c 编码框架开展的。 1 3 2m v c 标准化进程 1 前期准备工作 m p e g 早在2 0 0 1 年就充分认识到3 d 音频和3 d 视频( 3 da u d i oa n d v i d e o ，3 d a v ) 的重要性及其广阔的应用前景，于2 0 0 1 年1 2 月第5 8 次m p e g 会 议上成立3 d a v 特别小组( 3 da u d i ov i s u a la dh o cg r o u p ) b 4 j 。早期3 d a v 特别小 组的主要工作是3 d a v 的需求分析，具体包括对3 d a v 典型应用场景的定义、可 供研究的标准化内容以及与现有m p e g 标准相重叠部分的研究。3 d a v 特别小组 定义了3 d a v 的典型应用场景，主要包括全景视频、交互式立体视频、任意视点 视频和3 d 音频。针对上述应用，3 d a v 特别小组定义了一个共同的3 d a v 系统 构架【2 5 】，调查每种应用的具体应用场景和现有产品。3 d a v 特别小组集中定义了 四个探索实验( e x p l o r a t i o ne x p e r i m e n t ，e e ) 2 6 1 ，对这些应用场景分别进行深入讨 论。这四个e e 分别为e e l ：全景视频，e e 2 ：任意视点视频，e e 3 ：立体视频编 码技术，e e 4 ：3 d t v 的深度视差编码和视图合成技术。关于这些e e s 的详细描 述见文献 2 6 】。 关于3 d a v 的研究持续了两年多时间，3 d a v 特别小组认为前期的准备工作 冒；黑 冒 第一章绪论 7 趋于成熟，于2 0 0 3 年7 月第6 5 次m p e g 会议上正式发布3 d a v 的征求意见稿( c a l l f o rc o m m e n to n3 d a v ，c f c ) 2 7 1 ，邀请其它感兴趣的组织针对3 d a v 做出回应和 评论。c f c 文档给出了3 d a v 的需求和应用前景的定义。该文挡的发布一方面希 望能引起工业界的关注，另一方面也为了获得外界对3 d a v 的评论，补充现有研 究工作中未考虑到的应用场景、需求或技术。在第6 5 次会议中，3 d a v 特别小组 发布了两个重要文档，关于3 d a v 的需求和应用场景说明圈和( 3 d a v 工作报 告【2 8 】。这两个文档对3 d a v 特别小组从5 8 次会议成立至6 5 次会议期间所做工 作进行了系统的总结。 在2 0 0 4 年3 月第6 8 次m p e g 会议上，3 d a v 特别小组分析了各个公司及团 体对c f c 的回应文档，发现任意视点视频受到大家的普遍关注。后经大会讨论达 成共识，集中力量对任意视点视频开展标准化工作，并确定首先对任意视点视频 的一个关键模块一多视点视频编码进行标准化研究。本次会议上3 d a v 特别小组 对多视点视频编码技术发布征求验证文档( c a l lf o re v i d e n c ef o rm u l t i p l ev i e w v i d e oc o d i n g ，c f e ) 【2 9 】。该文档的目的是验证m v c 的编码效率相对于基准编码方 案的提升空间。所谓基准编码方案( a n c h o rs c h e m e ) 指的是各个视点独立使用 h 2 6 4 a v c 进行编码。3 d a v 特别小组在c f e 文档的附录a 中详细定义了基准编 码方案编码的测试条件和编码参数。 关于c f e 的回应文档于2 0 0 5 年1 月在香港召开的第7 1 次m p e g 会议上进 行了评估。本次会议共收到七项对c f e 的回应技术提案，分别来自日本n 盯【3 0 j 、 日本k d d i 3 、日本富士通【3 2 1 、韩国世宗大掣3 3 1 、日本名古屋大学【3 4 1 、意法半导 体【3 1 1 和三菱实验室【3 1 1 。回应技术提案将各自提出的方法与c f e 中定义的基准编 码方案进行比较。m p e g 会议的输出文档w 6 9 0 9 t 3 5 】和w 6 9 9 9 t 3 6 】分别给出了各个 提案的客观比较结果和主观比较结果。比较结果表明m v c 的编码效率远好于基 准编码方案，进一步验证了m v c 标准化的必要性和可行性。其中文档w 6 9 0 9 将 各个回应文档中提出的方案进行了归类，分为预测结构( p r e d i c t i o ns t r u c t u r e s ) 、预 测工具( p r e d i c t i o nt o o l s ) 、预处理工具( p r e p r o c e s s i n gt o o l s ) 和摄像机参数( c a m e r a p a r a m e t e r s ) l 四大类。在充分肯定m v c 标准化工作的可行性后，3 d a v 特别小组决 定发布征求提案稿( d r a f tc a l lf o rp r o p o s a l so nm u l t i v i e wv i d e oc o d i n g ，c f p ) l 3 7 j ， 标志着m 、，c 标准化进程正式开始。 2 m v c 标准化进程 在2 0 0 5 年1 月第7 1 次m p e g 会议上，3 d a v 特别小组正式开始接收多视点 视频编码的相关提案，标志着m v c 标准化制订工作的正式开始。多视点视频编 码的标准化工作主要有两个方面，一是在h 2 6 4 a v c 的框架下定义一些扩展的语 法语义，用于多个视点的联合编码；二是研究一些新的技术，用来提高多视点视 频的编码效率。在之后的几次m p e g 会议上，3 d a v 特别小组对c f p 文档做了进 提高多视点视频编码效率的技术研究 一步完善 3 8 - 4 0 。为了衡量新技术的编码性能，在更新的c f p 文档中给出了m v c 的主观和客观测试条件以及基准编码方案的详细参数。 截止到第7 5 次m p e g 会议( 2 0 0 6 年1 月) 为止，国际上知名的i t 行业公司、 研究机构和大学，例如微软、摩托罗拉、t h o m s o n 、i - i h i 、n 兀 、k d d i 、三菱、 三星、l g 、s e j o n g 大学和清华大学等都参与到了m v c 的标准制订工作中，积极 提交技术提案。m p e g 会议文档m 1 2 9 6 9 f 4 1 】集中了第7 5 次m p e g 会议之前提交 的m v c 方面的技术提案。文档w 7 7 7 9 t 4 2 j 给出了七个技术提案( h h i ，k d d i ，n t t m e r l ，y o n s e iu n i v e r s i t y , b e r l i n , t h o m s o n , s e j o n gu n i v e r s i t y ) 的主观和客观比较结 果。客观比较结果表明，与基准编码方案相比，使用技术提案中所给出的多视点 视频编码技术能够显著提高多视点视频的编码效率，即对于给定的比特率，能够 得到较高的图像质量；在图像质量相同的前提下，能够以较低的码率对多视点视 频信号进行编码。为了进一步深入分析各种技术对编码效率的贡献，第7 5 次 m p e g 会议针对m v c 建立了五个核心实验( c o r ee x p e r i m e n t ，c e ) 1 4 3 】，分别为预测 结构( p r e d i c t i o ns t r u c t u r e s ) 、亮度补偿( i l l u m i n a t i o nc o m p e n s a t i o n ) 、视图合成预测 ( v i e wi n t e r p o l a t i o np r e d i c t i o n ) 、视差矢量估计( d i s p a r i t yv e c t o rp r e d i c t i o n ) 和非对称 宏块划分( a s y m m e t r i cm bp a r t i t i o n i n g ) 。建立c e 的主要目的是在相同的测试条件 下对类似的技术提案进行比较，并分析各技术的性能及其提高编码效率的技术点。 关于m v c 各个核心实验的内容，在c e 描述文档【4 3 r 畔】以及2 0 0 7 年1 1 月i e e e t r a n s o nc i r c u i t sa n ds y s t e m sf o rv i d e ot e c h n o l o g y 发布的关于m v c 的专刊【1 7 】中 都有详细叙述。考虑现有的m v c 是定位于h 2 6 4 a v c 的扩展，第7 5 次m p e g 会议还做出了一个重要决定，m v c 将作为h 2 6 4 a v c 的第四个增修案，其标准 化限制在h 2 6 4 a v c 的编码框架内。另外，由h h i 提出的基于分层b 帧的预测 结构的编码性能远好于基准编码方案，因此，m p e g 决定将其作为下一步评价 m v c 编码性能的参考预测结构。使用分层b 帧预测结构独立编码各个视点的方 案称为联播编码方案( s i m u l c a s ts c h e m e ) 。 由于h 2 6 4 a v c 的标准化工作一直由j 、，t 负责，因此，在2 0 0 6 年7 月的第 7 7 次m p e g 会议上，m v c 的标准化工作正式移交给t ，这标志着m v c 的标 准化工作进入实质性阶段。视频标准并不明确规定编码器如何实现，而是规定一 个已编码视频比特流的语法语义和该比特流的解码方法。因此，第7 7 次m p e g 会议上对先前的五个c e 进行了综合评价，最后确定只保留两个c e ( 亮度补偿和 视图合成预测) 。预测结构方面的工作可以看作是编码器的优化，不属于标准化的 范围，而其它两个c e 由于增益有限，不再作为专门的c e 进行研究。另外，第 7 7 次m p e g 会议上正式发布了m v c 的软件参考模型j m v m ( j o i n tm u l t i v i e w v i d e om o d e l ，j m v m ) 1 4 5 】，并将该模型作为后续技术提案的公共测试平台来衡量 各技术提案的编码增益。 第一章绪论 9 2 0 0 6 年1 0 月第7 8 次m p e g 会议在杭州举行，本次会议上t 向御e g 组 织提交了m v c 联合草案( m v cj o i n td r a f t ) 4 0 3