（信息与通信工程专业论文）视频编码中的插值技术研究.pdf

浙江大学硕士学位论文 摘要 h 2 6 4 a v c 是由i t u t 和m p e g 共同制定的视频编码标准。与现有其他标准 相比，h 2 6 4 获得了更高的压缩性能，同时具有更好的网络适应性。 随着对现实多媒体兴趣的增长，立体现实技术、全息图和多视点视频技术的 研究得到发展。多视点视频技术是一种在多个摄像头位置采集相同场景的技术， 它可以提供动态场景的任意视点，并让用户拥有更好的虚拟现实环境。它可以应 用在诸如自由视点视频、自由视点电视、监视系统和家庭娱乐上。 本文研究了插值技术在视频编解码中的应用，尤其是h 2 6 4 a v c 运动补偿模 块的插值部分和多视点视频中的视点插值部分。 首先，本论文提出了一种新的“串行输入并行输出”亮度插值实现方法。该 亮度插值方法采用串行输入的维纳滤波器来产生水平半像素点中间值，通过分析 1 4 像素插值的数据相关性来选取整像素点从而减少了寄存器阵列，采用垂直优 先插值顺序并且读取更小的插值窗口来减少存储器带宽。试验结果表明，与现有 其他设计相比，该结构节省水平方向的6 抽头f i r 滤波器，减少了寄存器阵列的 大小并且节省了数据读取带宽。该结构已经在h 2 6 4 编解码器上实现，其仿真和 综合后的结果表明，该结构与其他设计相比有更小的硬件复杂度。 其次，本论文提出了一种新的串行输入色度插值实现方法，并用改进b o o t h 算法和w a l l a c e 树对乘法器进行了优化，并对加法器进行了优化。 再次，本文总结了多视点视频视点插值技术的必要性和发展历程，总结归纳 并讨论了主流视点插值技术的分类并重点分析了视点插值的难点和解决方法。 最后，本文对所做的工作进行总结和归纳，指出设计中的不足和有待改进的 地方，提出下步研究工作的方向。 关键词：h 2 6 4 ，多视点视频，亮度插值，色度插值， 视点插值 浙江大学硕士学位论文 a b s t r a c t h 2 6 4 a v ci st h el a t e s tv i d e oc o d i n gs t a n d a r do fi t u ta n dm p e g , w h i c h a c h i e v e se n h a n c e dc o m p r e s s i o np e r f o r m a n c ea n dp r o v i d e sa 1 n e t w o r k s f r i e n d l y v i d e or e p r e s e n t a t i o n a st h ei n t e r e s to ft h er e a l i s t i cm u l t i m e d i ag r o w $ ，v a r i o u st y p e so ft e c h n o l o g i e s h a v eb e e nr e s e a r c h e ds u c ha ss t e r e o s c o p i cd i s p l a y , h o l o g r a p h y , a n dm u l t i - v i e wv i d e o c o d i n g ( m v c ) a m o n gt h e m ，t h em u l t i - v i e wv i d e oi sac o l l e c t i o no fm u l t i p l ev i d e o s o b t a i n e db yc a p t u r i n gt h es a n l es c e n ea td i f i e r e n tc a m e r al o c a t i o n s i tc a r lp r o v i d e a r b i t r a r yv i e w p o i n t so f d y n a m i cs c e n e sa n dt h u sa l l o w sm o r er e a l i s t i cv i d e o st ou s e r s t l l i sc a nb em e di nv a r i o u sa p p l i c a t i o n si n c l u d i n gf r e ev i e w p o i n tv i d e o ( f v v ) f r e e v i e w p o i n tt v ( f t v ) ，3 d t v ，s u r v e i l l a n c ea n dh o m ee n t e r t a i n m e n t t h i sp a p e rs t u d i e st h ei n t e r p o l a t i o nt e c h n o l o g yi nv i d e oc o d i n ga n dd e c o d i n g ， e s p e c i a l l yi n t e r p o l a t i o nu s e di n t h eh 2 6 4 a v cm o t i o nc o m p e n s a t i o na n dv i e w i n t e r p o l a t i o ni nt h em u l t i v i e wv i d e oc o d i n g f i r s t l y , n e w “s e r i a li n p u tp a r a l l e lo u t p u t i n t e r p o l a t i o na r c h i t e c t u r ew a sp r o p o s e d t h ei n t e r p o l a t i o na r c h i t e c t u r eu s e ss e r i a lw i e n e rf i l t e rf o rh a l fh o r i z o n t a li n t e r m e d i a t e s a m p l e s ，s e l e c t si n t e g e rs a m p l e sb ya n a l y z i n gd a t ac o r r e l a t i o n ，o p t i m i z e st h eq u a r t e r s a m p l ef i l t e r i n g a d o p t sv e r t i c a l ，f i r s ti n t e r p o l a t i o no r d e ra n dm i n i m i z e si n t e r p o l a t i o n w i n d o w t h es i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dd e s i g ns a v e sh o r i z o n t a l6 - t a p f i rf i l t e r s r e d u c e st h es i z eo fr e g i s t e ra r r a ya n ds a v e sm e m o r yb a n d w i d t h i ti s i m p l e m e n t e da n de m b e d d e di n t oah 2 6 4 儿w cc o d e c s i m u l a t i o na n ds y n t h e s i ss h o w t h a tc o m p a r e dw i t ho t h e rd e s i g n s n e wd e s i g nh a sl o w e rh a r d w a r ec o s t s e c o n d l y ，t h ep a p e rp r o p o s e sn e ws e r i a lc h r o m ai n t e r p o l a t i o nm e t h o d t h e m e t h o di so p t i m i z e db ym o d i f i e db o o t ha l g o r i t h ma n dw a l l a c et r e e ，t h ea d d e ri s c a r e f u l l ys e l e c t e da n ds t u d i e dt o o t h i r d l y , t h ep a p e rs u m m a r i z e st h en e c e s s i t ya n dt h eg r o w t ho fv i e wi n t e r p o l a t i o n t h ep a p e rc o n c e n t r a t e so nt h ed i f f e r e n tm e t h o d so fv i e wi n t e r p o l a t i o n ，m a i n d i 历c u l t i e sa n dt h e i rs o l u t i o n s f i n a l l y , t h ep a p e rs u m m a r i z e st h ew o r k p o i n t so u tt h ed e f i c i e n c i e st oi m p r o v e a n da d v a n c e st h en e wr e s e a r c hd i r e c t i o na n dc o n t e n t si nt h ef u t u r e k e y w o r d s ：h 2 6 , 1 ，m u l t i - v i e wv i d e o , l n m ai n t e r p o l a t i o n ，c h r o m ai n t e r p o l a t i o n ，v i e w i n t e r p o l a t i o n i i 浙江大学硕士学位论文 图目录 图卜1h 2 6 4 编码器3 图卜2h 2 6 4 解码器。 图卜3 帧间预测解码总流程 图卜4w a n g 的运动补偿模块一 图卜5 三维电视系统。 3 一5 图2 - 1h 2 6 4 亮度的分像素插值1 4 图2 21 6 x 1 6 宏块参考帧索引号和运动矢量分布1 5 图2 - 34 x 4 分割的参考帧索引号和运动矢量 图2 - 4c h e n 的亮度插值结构 图2 - 5c h e n 的6 抽头f i r 滤波器 图2 - 6w a n g 的亮度插值结构1 8 图2 7w a n g 的亮度插值结构1 9 图2 - 8 插值流水线2 0 图2 - 9s o n g 半像素点和1 4 像素点插值2 0 图2 1 0y a n g 结构所需部分像素点示意图( 红色矩形为整像素点、黄色圆为半像素点、 绿色菱形为1 4 像素点、蓝色圆为额外需要的半像素点值) 2 1 图2 1 1y a n g 结构插值区域的重叠 图2 1 26 抽头f i r 滤波器 图2 1 3 串行维纳滤波器 图2 1 4 取线性滤波器算法的数据相关性2 5 图2 - 1 5 寄存器阵列( a ) 当x f r a e t = o 或者1 ，( b ) 当x f r a c l l 2 或者3 2 5 图2 1 64 个4 x 4 块插值窗口的重叠( 灰色区域) 2 6 图2 1 71 6 x 1 6 宏块垂直优先插值顺序 图2 1 8 插值目标不同，选取数据不同2 7 图2 1 9 串行输入并行输出亮度插值单元结构图2 8 图2 2 0 双线性滤波器一2 9 图2 2 1 流水线控制时间表( 以x f r a c l = o 或者l 为例) 3 0 图3 1 色度分像素插值3 2 图3 2w a n g 的色度插值结构3 3 图3 3w a n g 的色度插值结构3 4 图3 - 4l i e 的色度插值结构3 4 图3 - 5 本文的串行输入色度插值结构图3 5 图3 6 乘法运算3 6 图3 7 以全加器构成的简单乘法器。3 6 图3 - 8b o o t h 乘法器的符号扩展处理3 9 图3 9 普通加法器和进位保留加法器结构4 0 图3 - 1 0c s a 机构和w a l l a c e 树结构4 0 图3 - 11b o o t h 乘法器计算过程 图3 1 2 进位跳跃加法器( c a r r ys k i pa d d e r ) 4 3 图3 - 1 3 产生的毛刺和传播的毛刺 图4 1 博物馆视点插值图像4 7 图4 - 2 摄像头排列示意图4 8 一v 浙江大学硕士学位论文 图4 - 3 视点插值位置图 图4 4 当视点向右移动时的源视点图像 图4 - 5 变换到中间画面后块图像间的关系5 2 图4 - 6 本影、半影和洞区域5 3 图4 7 加密采样对洞的减少5 3 图4 - 8 四叉树分块。 图4 - 9 线性光源阴影插值图5 s 图4 1 0 视点移动后的重叠5 5 一v i 浙江大学硕士学位论文 1 1 视频编码技术背景 第1 章绪论 视频信息具有确切性、直观性、高效性、广泛性等特剧”。其中的数字视频技术 正随着i n t e m e t 和移动通信的迅猛发展获得日益广泛的应用。与模拟视频相比，数字 视频具有失真小、质量高、噪声低、易处理、易校正、容量大、节目多等诸多优点。 另一方面，由于数字视频信息的信息量太大，这使得传输网络带宽要求高。所以 一般将数字视频信号在网络上进行传送前先进行压缩编码，以便节省传送的带宽和存 储空间。数字视频信号由分布在离散时间上的一幅一幅的图像组成。由于邻近的图像 之间很可能存在相关性，也就是说可能两幅图像像素的值很接近或后一幅图像某一块 区域就是前一幅某一块区域的移动、拉伸等变化。所以在视频的编码端，为了节省带 宽，没有必要对每幅图像都单独编码。编码端可以对前一幅图像编码，然后将它作 为参考图像，计算出后一幅图像相对于参考图像的位黄变化( 运动矢量) 和像素值的 差( 残差数据) ，然后只需要传送运动矢量和残差数据给解码端，来达到压缩编码的 效果。在视频的解码端，当解码出前一幅图像，就可以根据运动矢量和残差数据解码 得到后一幅图像。 视频压缩编码技术就是对数字视频信号进行压缩和解压缩的技术。衡量一个视频 压缩编码技术优劣的标志就是既要有较大的压缩比，又要保证一定的视频质量。 h 2 6 4 ，a 、，c 视频压缩标准就是这样一种高效、优异的视频压缩编码技术。尤其是将其 应用在高清晰度电视( h d t v ) 领域，可以使成本降低。 2 0 0 8 年北京奥运会的召开将使我国的h d t v 获得迅猛的发展，这也意味着视频 压缩编码标准将得到大力应用。 1 2 视频编码发展历程 1 9 8 4 年c c i t t 第1 5 研究组发布了数字基群电视会议编码标准h 1 2 0 建议。1 9 8 8 年c c i t t 通过了“p x 6 4 k b i t s ( p = 1 ，2 ，3 ，4 ，3 0 ) ”视频编码标准h 2 6 1 建议，被称为 视频压缩编码的一个里程碑，从此，l t u t 、i s o 等公布的基于波形的一系列视频编 码标准的编码方法都是基于h 2 6 1 中的混合编码方法【l 】。国际标准h 2 6 1 的问世，是 对图像编码近4 0 年研究成果的总结，解决了可视技术在通信中的应用这一长期困扰 人们的问题，覆盖了整个窄带1 s d n 上视听业务的图像编码，极大地推动了会议电视、 电视电话等图像通讯方式的国际化和产业化。随后，l t u 在h 2 6 1 建议的基础上着手 极低码率图像压缩的标准，制定了h 2 6 3 建议以及最新的h 2 6 4 a ，c 。 浙江大学硕士学位论文 1 9 8 8 年i s o f l e c 信息技术联合委员会成立了运动图像专家组( m p e g ，m o v i n g p i c t u r ee x p e r tg r o u p ) 。1 9 9 1 年公布了m p e g - l 视频编码标准，码率1 5 m b i f f s ，主要 用于家用v c d 的视频压缩；1 9 9 4 年1 1 月，公布了m p e g 2 标准，主要用于数字视 频广播( d 、m ) 、家用d v d 的视频压缩及高清晰度电视( h d t v ) 。码率从4 m b i f f s 、 1 5 m b i t ，s 直至1 0 0 m b i f f s 分别用于不同档次和不同级别的视频标准中。1 9 9 5 年， i t u t 推出了h 2 6 3 标准，用于低于6 4 k b i “s 的低码率视频传输，如p s t n 信道中的 可视会议、多媒体通信等。1 9 9 8 年和2 0 0 0 年又分别公布了 l 2 6 3 + 、h 2 6 3 + + 等标 准f 。 1 9 9 5 年制定h 2 6 3 标准后，i t u ，t 的视频编码专家组( v c e g ) 开始了两个方面的 研究：一个是短期研究计划，在h 2 6 3 基础上增加选项之后产生了h 2 6 3 + 与h 2 6 3 + + ； 另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产 生了h 2 6 l 标准草案，在压缩效率方面与先期的l t u - t 视频压缩标准相比，具有明显 的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后i s o 与l t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的联合视频组( j v t ) ，j v t 的主要 任务就是将h 2 6 l 草案发展为一个国际性标准。于是，在i s o 1 e c 中该标准命名为 a v c ( a d v a n c e dv i d e oc o d i n 曲，作为m p e g 4 标准的第1 0 个部分；在1 1 u - t 中正式 命名为h 2 6 4 标准。 1 3h 2 6 4 概述 h 2 6 4 a v c 视频压缩标准【2 惺由1 1 u tv c e g 和i s o i e cm p e g 的专家共同组成 的联合视频小组j v t ( j o i n t v i d e ot e a m ) 发展和制定的新一代视频编码国际标准。与 以往的视频编码标准相比，h 2 6 4 a v c 标准采用了很多新的特性【3 l ，比如可变块大小 的运动补偿、1 4 像素精度的运动补偿、多参考帧、环内去块滤波等等。这些新的特 性使h 2 6 4 a v c 提高了两倍的压缩效率，同时显著提高了计算的复杂度。 另外，h 2 6 4 最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下， h 2 6 4 的压缩比是m p e g 2 的2 倍以上，是m p e g - 4 的1 5 2 倍。举个例子，原始文 件的大小如果为8 8 g b ，采用m p e g 一2 压缩标准压缩后变成3 5 g b ，压缩比为2 5 ：1 ， 而采用h 2 6 4 压缩标准压缩后变为8 7 9 m b ，从8 8 g b 到8 7 9 m b ，h 2 6 4 的压缩比达到 惊人的1 0 2 ：l 。h 2 6 4 之所以有那么高的压缩比，低码率( l o wb i tr m e ) 起了重要 的作用，和m p e g 一2 和m p e g 4a s p 等压缩技术相比，h 2 6 4 压缩技术将大大节省用 户的下载时间和数据流量收费。尤其值得一提的是，h 2 6 4 在具有高压缩比的同时还 拥有高质量流畅的图像【4 】。 h 2 6 4 标准可分为三档： 1 基本档次( 其简单版本，应用面广) ； 一2 一 浙江大学硕士学位论文 2 主要档次( 采用了多项提高图像质量和增加压缩比的技术措施，可用于 s d t v 、h d t v 和d v d 等) ： 3 扩展档次( 可用于各种网络的视频流传输) 。 h 2 6 4 标准压缩系统由视频编码层( v c l ) 和网络提取层( n a l ) 两部分组成。 v c l 中包括v c l 编码器与v c l 解码器，主要功能是视频数据压缩编码和解码，它包 括运动补偿、变换编码、熵编码等压缩单元。n a l 则用于为v c l 提供一个与网络无 关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的 数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、 定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当 前数据不属于被参考的帧。类型标志用于指示图像数据的类型。v c l 可以传输按当前 的网络情况调整的编码参剡1 1 。 h 2 6 4 a v c 的编码器与解码器如图1 - 1 和图1 2 所剥”。 一 7 ，三竺广 兰兰r p 蕞盈岖亟卜。蚋 土! ：! r = ： r = 图卜1i t 2 6 4 编码器 1 4h 2 6 4 运动补偿 图卜2h 2 6 4 解码器 l 4 像素精度的运动估计运动补偿是h 2 6 4 标准提高编码效率的一种方法。每一 个帧间预测宏块的分割或者亚分割都是由参考图像中相同大小的一块区域来预测的。 帧间预测解码部分包括获取运动矢量和参考索引操作、帧间预测像素解码操作两部分， 其解码流程如图1 3 所示： 浙江大学硕士学位论文 m b m b p a r t l d x 。 获取运动矢量、 帧间预测像素p r e d l ，p r e d c p r e c k s u b m b p a r t l d x 参考帧索引号解码操作 图卜3 帧同预测解码总流程 第一个部分获取运动矢量及参考索引号操作的输入是m b p a r t l d x 、s u b m b p a r t l d x ， 输出为m v l o 、m v l l 、m v c l o 、m v c l l 、r e f l d x l o 、r e f l d x l l 、p r e d f l a g l o 、p r e d f l a g l l ； 第二个部分帧问预测像素解码处理的输入是m b p a r t l d x 、s u b m b p a r t l d x 、p a r t w i d t h 、 p a r t h e i g h t ，m v l o ，m v l i 、m v c l o ，m v c l l 、r e f l d x l o 、r e f l d x l l ，p r e d f l a g l o ，p r e d f l a g l l ， 输出为帧间预测像素，一个p a r t w i d t h x p a r t h e i g h t 的亮度点矩阵p r e d p a r t l 和两个 p a r t w i d t h 2 p a r t h e i g h t 2 色度点矩阵p r e d p a r t c r ，p r e d p a r t c b 。 预测宏块的形成就是将宏块分割或者亚分割预测像素放入宏块的正确位置【l 】。 h 2 6 4 的帧间预测解码中，宏块矩阵的形成如下： p r e d l 【艘+ 心+ 工，妒+ 芦+ 门= p r e d p a r t l x ，y 】 ( 1 - 1 ) x = 0 p a r t w i d t h - 1 y = 0 p a r t h e i g h t 一1 p r e d c x p 2 + x s 2 + x ，y p 2 + y s 2 + y 】_ p r e d p a r t c x , y 】 ( 1 - 2 ) x = o p a r t w i d t h 2 - 1 y = o p a r t h e i g h t 2 1 其中( x p ，y p ) 为宏块分割的左上像素相对宏块左上像素的位置。( x s ，y s ) 为宏块亚分 割的左上像素相对宏块分割的左上像素的位置。 h 2 6 4 a v c 与以往标准帧间预测的区别在于块尺寸范围更广( 从1 6 x 1 6 到4 x 4 ) 、 亚像素运动矢量的使用( 亮度采用1 4 像素精度运动矢量、色度运动矢量的精度为1 8 ) 及多参考帧的运用等等1 n 。 w a n g 在文献【9 】中提出了一种运动补偿结构，由运动矢量预测模块、插值模块和 重建部分来组成。先由运动矢量预测模块根据邻近分割的运动矢量预测出m v p ，插值 模块根据地址生成模块产生的运动矢量值从片外存储器中读取参考数据。经过熵解 码、重排序和反变换的残差数据加上插值和加权产生的预测数据，经过去块滤波模块 得到重建数据，如图1 4 所示。 浙江大学硕士学位论文 图卜4w a n g 的运动补偿模块 1 4 1获取运动矢量和参考帧索引号 这个步骤的输入为m b p a r t l d x 和s u b m b p a r t l d x ，得到m v l x 、m v c l x 、r e f l d x l x 和p r e d f l a g l x 。首先要得到m v p ，再通过m v l x = m v p l x + m v d 得到m v l x 。m v p 的 获取分为三种情况 2 1 ： 1 对于ps k i p ：由于s k i p 模式不传图像残差，不传运动矢量的残差m v d ，所以 预测矢量的m v p 即为运动矢量。 2 对于b、和 ：这种方法又分为空间直接模_ s k i p bd i r e c t1 6 x 1 6bd i r e c t8 x 8 式和时间直接模式：在空间直接模式中如果c o 1 0 c a t e d ( 1 i s t l 中的第一幅图) 宏块的运动矢量m v c o l 的运动很小( 在一1 2 1 2 之间) ，就将运动矢量m v l x 定为0 ，否则从邻近分割来求预测矢量；在时间直接模式中先找到c o l o c a t e d 的宏块参考的l i s t o 图像，找到它对应的运动矢量m v c o l ，按照参考帧距离当 前帧的p o c 距离来定义运动矢量的范围。 3 其余情况：先得到m v p 再加上残差m v d 即得运动矢量m v 。具体来说是： 幻得到邻近分割的运动数据( m o t i o nd a t a ) 。增加d 分割，对每一个分割求 出其邻近分割a b c d 的运动数据，当c 分割无效时用d 代替c ，然后 求出m v l x a m v l x b m v l x c 、r e f l d x l x a r e f l d x l x b r e f l d x l x c 。 b ) 如果以下情况满足，则马上可以求出m v p l x ： i 块大小为1 6 x 8 ，且m b p a r t l d x = 0 ，且r e f l d x l x b - - r e f l d x l x 。那么 m v p l x 2 m v l x b ； 一5 一 浙江大学硕士学位论文 i i 块大小为1 6 x 8 ，且m b p a r t l d x = 1 ，且r e f l d x l x a - - r e f l d x l x 。那么 m v p l x - - m v l x a ； i i i 块大小为8 x 1 6 ，且m b p a r t l d x = 0 ，且r e f l d x l x a - - r e f l d x l x 。那么 m v p l x - - m v l x a ； i v 块大小为8 x 1 6 ，且m b p a r t l d x = l ，且r e f l d x l x c - - r e f l d x l x 。那么 m v p l x = m v l x c 。 c ) 如果不满足上述情况，则根据下列条件判断： i 如果b 和c 块都无效，且a 块有效，b 块和c 块的运动数据都取a 块的。 i i 如果a b c 中只有一个分割的r e f l d x 等于当前分割的r e f l d x ，那么 m v p l x 就赋值为那个分割的m v 。 i i i 如果上面两个条件不满足，则m v p l x 取成m v l x a 、m v l x b 和m v l x c 的中间值。 1 4 2参考帧管理 参考帧管理分为初始化( i n i t i a l i s a t i o n ) 、重排序( r e o r d e r i n g ) 和标记( m a r k i n g ) 三步骤1 2 1 。 1 初始化：其输出为r e t p i c l i s t 0 和r e f p i c l i s t i 。又分四种情况讨论，帧中p 片 的初始化、场中p 片的初始化、帧中b 片的初始化和场中b 片的初始化。 a ) 在一个帧中解码p 片或者s p 片：输出为r e f p i c l i s t 0 ，短期帧( s h o r t 4 e r m ) 在前，并按照p i c n u m 的降序排列，p i c n u m 最大的排在最前面；长期帧 ( l o n g t e r m ) 在后1 6 j ，并以l o n g t e r m p i c n u m 的升序排列。长期帧和短 期帧一般是按照重要性来定义的，如果特别重要则赋值为长期帧。 b ) 在一个场中解码p 片或者s p 片：输出为r e f p i e l i s t 0 。第一步先排序生成 r e f f 姗e l i s t 0 s h o r t t c 丌i l 和r e f f r a m e l i s t 0 l o n g t e r m ，这其中的图像序列 r e f f r a m e l i s t 0 s h o r t t e r m 按照f r a m e n u m w r a p 的降序排列，而图像序列 r e f f r a m e l i s t 0 l o n g t e r m 按照l o n g t e r m f r a m e l d x 的升序排列。然后再做问 隔处理( f i e l da l t e m a t e ，即按照顶场和底场的奇偶性排列，先排当前帧性 质相同的，再交替排列顶底场) 后输出为r e f p i e l i s t 0 。 c ) 在帧中解码b 片：输出为r e f p i c l i s t 0 和r e f p i c l i s t l 。这时是按照播放顺 序( p o c ) 来排序的。r e t p i c l i s t 0 中短期帧，p o c 最近的过去图像开始 浙江大学硕士学位论文 排，按p o c 的降序排列所有的过去帧，再从p o c 最近的将来帧开始，升 序排列所有的将来帧：长期帧从l o n g t e r m p i c n u m 最低的开始升序排列。 r e t p i c l i s t l 中短期帧，p o c 最近的将来帧开始排，按p o c 的升序排列所 有的将来帧，再从p o c 最近的过去帧开始，降序排列所有的过去帧；长 期帧从l o n g t e r m p i e n u m 最低的开始升序排列。 d ) 在场中解码b 片：输出为r e t p i c l i s t 0 和r e f p i e l i s t l 。第一步先生成 r e f f r a m e l i s t 0 s h o r t t e r m 、r e f f r a m e l i s t l s h o r t t e r m 、r e t f r a m e l i s t l o n g t e r m ， 这其中的图像序列r e f f r a m e l i s t 0 s h o r t t e r m 按照先排p o c 最近的过去图 像，再按p o c 的降序排列所有的过去帧，再从p o c 最近的将来帧开始， 升序排列所有的将来帧；r e f f r a m e l i s t l s h o r t t e r r n 则按照p o c 最近的将来 帧开始排，按p o c 的升序排列所有的将来帧，再从p o c 最近的过去帧开 始，降序排列所有的过去帧；r e f f r a m e l i s t l o n g t e r m 从l o n g t e r m f r a m e l d x 最低的开始升序排列。在生成这三个序列后，再做如b ) 中的间隔处理。 2 重排序：为了在编码传输时能够将参考帧索引号的值变小，从而节省码率， 所以需要重排序过程。重排序过程将需要排序的某个p i c n u m 序号的参考帧 在序列中移动到目标位置。 3 标记：分为f i f o 滑窗标记过程和自适应内存控制标记过程两种。它是对参考 帧序列进行标号，可以把短期帧或者长期帧标为不作参考( 即踢出参考帧序 列) ，也可将短期帧指定为长期帧等等。 1 4 3分像素插值 为了提高预测的精度，h 2 6 4 a v c 采用1 4 像素精度的运动估计运动补偿，预测 数据由参考图像与残差数据相加得到。每一个帧问预测的宏块的分割或亚分割都是由 参考图像中相同大小的块区域来预测的，这种预测能够提供更为精确的预测图象， 减少残差图象的能量。分数象素精度的运动补偿能够提供比整数象素精度的运动补偿 更好的压缩性能，当然相应的计算复杂度也随之增加。实验表明，采用1 4 象素精 度的运动补偿能够比单纯用整数象素精度的运动补偿提高约2 0 的编码效率。 由于在参考图像中亮度和色度的分数像素点都不存在，所以必须用已经解码的整 像素点来插值得到。h 2 6 4 i a v c 的插值过程就是一个通过计算整像素点来得到分数像 素点的过程。分像素插值在整个运动补偿模块中是最耗费计算时间的模块 9 1 ，插值的 计算时间占整个h 2 6 4 a v c 编码器计算时间的8 0 7 9 1 7 1 。对插值的算法优化和硬件 实现国内外已有广泛的研究，如文献【8 】【9 】【1 0 】【1 l 】【】2 】【1 3 】【1 4 】。 h 2 6 4 a v c 中分像素插值部分的输入为： 浙江大学硕士学位论文 1 一个当前帧图像块，其分割序列号为m b p a r t l d x 和s u b m b p a r f l d x ，大小为 p a r t w i d t h x p a r t h e i g h t 。 2 两个用1 “精度表示的亮度运动矢量，即m v l 0 ( 前向) 和m v l l ( 后向) 。可 以统一表示为m v l x ，其中x 代表0 或者l 。其中每个m v l x 又分为m v l x 0 ， 指水平方向的运动矢量；m v l x 1 】，指垂直方向的运动矢量。m v l x o 和 m v l x 1 的最右边两位表示亮度分数像素偏移，分别为x f r a c l - - m v l x o & 3 ( 水 平方向的分数像素偏移) ，y v r a c l = m v l x 1 & 3 ( 垂直方向的分数像素偏移) 。 而m v l x o 矛nm v l x 1 】的除了最右边两位的其他位则表示整数像素偏移。 3 两个1 8 像素精度的色度运动矢量m v c l x 。 4 参考帧索引号r e f p i c l x l 、r e f p i c l x c b 和r e t p i c l x c , 所指向的参考帧。 h 2 6 4 a v c 中分像素插值部分的输出为： 1 与输入相同大小p a r t w i d t h x p a r t h e i g h t 的亮度预测图像块p r e d p a r t l x l 。 2 两个大小为p a r t w i d t h 2 x p a r t h e i g h t 2 的色度块p r e d p a r t l x c b 和p r e d p a r t l x c ，。 亮度和色度都包括前向预测图像块和后向预测图像块。 分像素插值得到的前向预测图像块和后向预测图像块输出给解码器的加权部分， 加权部分通过将前向和后向图像根据一定的权重计算得到预测图像块，再加上残差数 据就完成了运动补偿。 1 4 4加权预测 加权预测是一种用来修正p 或者b 片中运动补偿预测像素的方法。h 2 6 4 中有四 种加权预测类型： 1 p 片和b 片的默认加权预测( d e f a u l t w e i g h t e ds a m p l e p r e d i c t i o n ) ，就是对前向 后向预测像素求平均； 2 p 片宏块“e x p l i c i t ”加权预测； 3 b 片宏块“e x p l i c i t ”加权预测； 4 b 片宏块“i m p l i c i t ”加权预测。 e x p l i c i t 和i m p l i e i t 的加权预测是对每个预测像素p r e d 0 ( i , j ) 年1 p r e d l ( j j ) 在运动补偿 之前通过加权系数w 0 和w 1 来进行修正。在“e x p l i c i t ”类型中，加权系数由编码器 决定并在片头中传输。在“i m p l i c i t ”类型中，系数、o 和w l 由相应l i s t o 和l i s t l 参考 图像的时间推出。大的系数用于时问上接近当前图像的情况，小的则用于时间上远离 浙江大学硕士学位论文 当前图像的情况【1 1 。 1 5 多视点视频概述 多视点视频是一组用多个摄像机采集的相同场景的视频序列组合。相机阵列中相 机位置可以是平行、会聚或者其他任意的角度。多视点视频编码系鲥”】可以应用在包 括自由视点视频电视( f v v f t v ) 、三维电视( 3 d t v ，能够给观众显示深度的显示 技术) 等场合，应用场合还可以包括保留文化遗产和传统舞蹈的视频展现、自由视点 的电视、教育系统、面部鉴定识别、保安系统和娱乐系统等等【l 引。多视点视频技术的 提出体现了下一代多媒体应用网络化、交互性和真实感的发展方向。在工业领域，这 种技术已经日益得到重视1 1 7 1 。 多视点视频系统解码多个视频信号通过不同的显示方式可以获得多种观赏效果： 普通的平面视频，具有强烈立体感和深度感的立体视频，或者是具备高效交互能力的 多视点视频。但同时，多视点视频的数据量随着相机数目的增加而成倍地增加，要实 现大量数据的有效压缩，同时与用户保持实时的交互操作，这对多视点视频系统的数 据处理、存储和网络传输能力都提出了巨大的挑战。因此，多视点视频编码( m u l t i v i e w v i d e oc o d i n g ) 技术成为下一代交互式三维视频系统的一项关键技术。 视，占1 l 蕤 电视高清电视 视点2 r ” _ 一搁圈 视点3 多视点泓多视点 l 毯鬣涵g 雾。囊 i 。、， i j 体糸缆 胤州。辑簧。视频 燮， 视频 纂 一编码器解码器1 一j 。曩 一 l 麓 6 b荔髟幽缓酗 l 一 一。i * 翳溺 ；i多视点 ! r t 。 - 三j- ，： ： i 视点n 三维电视 - 图卜5 三维电视系统 由于多视点图像是在同一个时问点由位于不同位置的摄像头采集到的图像集合， 所以多视点技术可以让用户从宽屏幕和任意视点来体验虚拟环境。由于处理的数据量 和摄像头的个数成正比，研究者需要提出一种更加有效的编码方式来更好地压缩多视 点视频而不牺牲视频质量【1 8 】【l9 1 。在传统的单视点视频中，各个帧之问存在很大的时问 浙江大学硬士学位论文 相关性，视频编码利用这一特性进行时间预测来减少时间上的冗余。而对于多视点视 频，各个视点之间的视频内容也存在很大的相关性。在