（信号与信息处理专业论文）并行环境下的avs降分辨率转码的研究与实现.pdf

摘要 摘要 我国自主定制的视频编码标准a v s 具有编码效率高，专利费用低廉等特点。 当前大多数的视频节目都被制作成分辨率相对较高的数字电视广播，d v d 视频等， 为对视频分辨率的要求相对较低的显示终端重新制作低分辨率的视频节目显然不 经济。本文在a v s 标准下研究了高分辨率到低分辨率的快速转码。 本文完成的工作包括三部分： 1 研究了视频转码的并行性，利用多线程技术实现a v s 高分辨率到低分辨率 的串行和并行转码。 2 分析了三种主要的运动矢量映射算法，做出适当调整后测试了在a v s 降分 辨率转码中的性能。根据实验结果选择了加入s a d 判决的加权平均法作为本文的 运动矢量重用算法。然后利用a v s 的编码特点和源码流中的图像信息提出了b 帧 8x8 块的快速编码模式选择算法。 3 找出了a v s 正反变换的矩阵运算过程并通过实验验证了其正确性。由此推 导出a v s 频域下采样公式。分析了视频转码框架，选择综合性能最优的基于变换 域的漂移补偿部分编码结构设计了对p 帧做变换域运动补偿的闭环结构，使图像 的p s n r 相对于开环结构提高了2 2 2 d b ，图像失真减小明显。 实验表明，本文的转码方案在相对于传统的像素域转码，在图像质量下降 0 9 0 d b ，码率上升0 0 0 3 的情况下，节省了7 0 2 4 的转码时间。本文最后利用 v c 2 0 0 5 在x 8 6 平台完成了具有用户界面的a v s 时域和频域并行转码器。 关键词：a v $ ，下采样，转码，并行，运动矢量重用，变换域 a b s t r a c t a b s t r a c t a u d i ov i d e oc o d i n gs t a n d a r d ( a v s ) ，i n d e p e n d e n t l yd e v e l o p e da n do w n e db y c h i n a ，h a sh i g hc o d i n ge f f i c i e n c ya n dl o wp a t e n tf e e c u r r e n tv i d e op r o g r a m sm o s t l y a r ec o m p r e s s e dw i t hh i 曲r e s o l u t i o nr a t i o ，s u c ha sd i g i t a lv i d e ob r o a d c a s t i n ga n dd v d v i d e o o b v i o u s l y , i t sn o tc o s t - e f f i c i e n t t o r e c o m p r e s sl o wd e t a i lv i d e os t r e a mf o r d e v i c e sw h o s ed e m a n do i lr e s o l u t i o nr a t i oi sl o w e r t h i st h e s i s ，w i t ht h ev i d e oc o d i n g s t a n d a r do fa v s s t u d i e dt r a n s c o d i n gs t r e a mf r o mh i g hr e s o l u t i o nr a t i ot ol o wr e s o l u t i o n r a t i o t h et a s kt h i st h e s i sa c c o m p l i s h e di n c l u d e st h r e ep a r t s ： 1 s t u d i e dt h ep a r a l l e l i s mo fv i d e ot r a n s c o d i n ga n da c t u a l i z e ds e r i a la n dp a r a l l e l t r a n s c o d i n gb yu s i n gm u l t i t h r e a dt e c h n o l o g y 2 a n a l y z e dt h r e ed o m i n a t i n gm vm a p p i n ga l g o r i t h m s a n dt e s t e dt h e i r p e r f o r m a n c e si na v sr e d u c i n gr e s o l u t i o nr a t i ot r a n s c o d i n g t h e n ，a c c o r d i n gt ot h et e s t r e s u l t s ，c h o s e na m r a r i t h m e t i ca n da d d e ds a da d j u d g i n gt ob em vr e u s ea l g o r i t h mo f t h i st h e s i s t h e nu s i n gt h ep r o p e r t yo fa v se n c o d e ra n dt h ep i c t u r ei n f o r m a t i o no f s o u r c es t r e a m ，p r e s e n t e da l la l g o r i t h mf o rf a s tc h o i c eo f8 x 8b l o c k se n c o d i n gm o d eo f bf r a m e 3 f o u n do u tt h em a t r i xt r a n s f o r m i n gp r o c e s sf o ra v st r a n s f o r ma n di n v e r s e t r a n s f o r ma n dd e d u c e dt h ed o w ns a m p l i n gf o r m u l ai nt r a n s f o r md o m a i no fa v s a n a l y s e dv i d e ot r a n s c o d i n gf r a m e sa n du s e dt h eb e s tf r a m ed e s i g napf r a m em o t i o n c o m p e n s a t i o nt r a n s c o d i n gs t r u c t u r e w i t ht h i ss t r u c t u r e ，t h ev i d e oq u a l i t yi n c r e a s e d 2 2 2 d ba n dt h ev i d e od i s t o r t i o nd i m i n i s h e de v i d e n t l y t h et e s tr e s u l ti n d i c a t e st h a tt h et r a n s c o d i n gs c h e m eo ft h i st h e s i sc a nr e d u c e 7 0 2 4 o ft h et r a n s c o d i n gt i m ew h i l ev i d e oq u a l i t yd e s c e n d0 9 0 d ba n db i tr a t e i n c r e a s e s0 0 0 3 f i n a l l y , u s i n gv c 2 0 0 5 ，t h i st h e s i sf i n i s h e dat i m ea n df r e q u e n c y d o m a i nt r a n s c o d e rw i t hu ii nx 8 6p l a t f o r m k e yw o r d s ：a v s ，d o w ns a m p l i n g , t r a n s c o d i n g ，p a r a l l e lp r o c e s s i n g ，m ：vr e u s i n g ，t r a n s f o r m d o m a i n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：奎盛盘日期：2 0 05 年6 月2e l 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：奎盛鑫导师签名：叁鱼i 兰：生： 日期：2o 嘈年月2 日 第一章引言 第一章引言 视频转码( v i d e ot r a n s c o d i n g ) 是网络多媒体传输的核心技术之一。把已压缩视 频数据从一种编码格式转换为另一种编码格式的操作称为视频转换编码，简称为 视频转码，执行视频转码的设备称为视频转码器( v i d e ot r a n s c o d e r ) 。随着数字视频 处理技术和网络通信技术的发展，诸如数字电视广播( d v b ：d i g i t a lv i d e o b r o a d c a s t i n g ) 、视频点播( v o d ：v i d e oo nd e m a n d ) 、视频会议( v i d e oc o n f e r e n c e ) 、 网络流媒体( n e t w o r k i n gm e d i as t r e a m i n g ) 及网络远程教育( n e t w o r k i n gr e m o t e l e a r n i n g ) 等众多的网络多媒体服务己经或正在成为人们日常生活的重要组成部 分，这就促使计算机、广播电视以及各种通信系统越来越走向融合。如何有效地 在这些不同的系统间无缝地实现各种各样的多媒体服务，更好地实现用户和系统 的交互性，己经变得越来越重要，视频转码技术正是解决这样一个问题的关键技 术之一【1 1 。 1 1 视频压缩标准简介 国际上有两个国际组织专门进行视频编码标准的制定工作，即i s o i e c 下的 m p e g 组织与r r u t 的v c e g 组织。成立于1 9 8 6 年的运动图像专家组 m p e g ( m o t i o n p i c t u r ee x p e f l sg r o u p ) 专门负责制定多媒体领域内的相关标准，主要 应用于存储、广播电视、因特网或无线网上的流媒体等。国际电信联盟i t u 则主 要制定面向实时视频通信领域的视频编码标准，如视频电话、电视会议等应用。 在国内于2 0 0 2 年6 月成立的a v s 工作组专门负责为国内多媒体工业界制定相应的 数字音视频编码标准。 图1 1 为到目前为止由国内外各组织已经制定的编码标准【2 1 。其中m p e g 1 的 典型应用为v c d 光盘，m p e g 2 的典型应用为d v d 光盘。2 0 0 1 年i t u t 和m p e g 联合成立了一个工作组j v t ( j o i n tv i d e ot e a m ) ，负责制定一个新的视频编码标准， 标准在i s o 中称为m p e g 4 标准的p a r t l o ( a v c ) ，在h u 中称为h 2 6 4 标准， h 2 6 “a v c 的压缩效率比以往任何标准都大为提高。 为了适应国内多媒体产业发展的要求，成立于2 0 0 2 年6 月份的a v s 工作组负 责为国内工业界制定自己的视音频编解码标准，至今a v s 工作组己经成功地制定 电子科技大学硕士学位论文 了第一阶段面向高清数字电视广播的视频编码标准，通常称为a v s l 0 。以h 2 6 4 、 a v s 标准为代表的视频编码标准为视频编码技术的最新成果体现，其技术创新、 性能提高都有很大的突破。 国e 曰王 圈e 习e a v s l o c h i n 丑 a v s w g 回 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 0 2 0 0 2 2 0 0 4 2 0 0 6 2 0 0 8 图1 - 1 视频编码标准发展历程 1 2 本文的研究目标和意义 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 是我国具备自主知识产权的信源编码标准， 它是由我国数字音视频编解码技术标准工作组制订的，为数字音视频设备与系统 提供高效经济的编解码技术，不仅压缩效率比m p e g 2 提高2 3 倍，和h 2 6 4 相当， 而且实现复杂度明显低于h 2 6 4 3 1 。a v s l p 2 已经由国家标准化管理委员会批准， 正式成为国家标准，国标号码为g b t 2 0 0 0 9 0 2 2 0 0 6 ，并于2 0 0 6 年3 月1 日起正式实 施。a v s 标准将凭借其先进的技术和低廉简洁的专利许可方式为中国i p ，、高清 数字视频广播等重大信息产业应用起到积极的推动作用。a v s 标准从技术上来看， 具有多项自主先进技术，其专利池由很多自主创新专利技术组成，主要表在如下 几个方面： ( 1 ) 采用空域内的多方向帧内预测技术。 ( 2 ) 变块大小运动补偿。 ( 3 ) 多参考帧预测。 ( 4 ) 采用1 4 像素精度补偿。 2 第一章引言 ( 5 ) 提出了b 帧对称模式。 ( 6 ) 采用整数变换代替了传统的浮点离散余弦变换。 这些技术先进，编码性能优秀，我国具有自主知识产权。 a v s 在标准上取得了一定的成功，但是a v s 在产业发展中还面临着多方面的问 题需要解决。第一，需要出现价格低廉的、完全遵从a v s 标准的编解码芯片。第二， 需要足够多的a v s 节目源，来提供给营运商发行，供终端用户接收欣赏。随着数字 视频信源压缩技术、信道传输技术以及大规模集成电路技术的发展与成熟，数字 电视正走入人们的生活，人们不仅可以通过有线电视网络、高速互联网在电视及 p c 上收看高质量的数字电视节目，还可以通过手持移动设备，如手机、掌上电脑 等设备，无线移动地接收数字电视节目。不同的接收终端设备，在数据处理速度、 存储容量和显示能力上相差很大，因此在处理视频信息时，对不同的接收终端使 用同一格式的数据是不合适的，需要根据不同终端设备的处理能力和接收带宽， 进行视频转码，转换成不同的格式，再分别传输给不同的接收终端。但是目前大 多数的视频节目都被压缩为适于数字电视，p c 播放的高清和标清视频流，为移动 终端重新制作分辨率相对较低的码流显然不合适，更经济的做法是把已有的分辨 率较高的码流转换为分辨率较低的码流后传输给移动终端。因此本文在a v s 标准框 架下，进行了视频降分辨率转码的研究。研究的主要目标是： ( 1 ) a v s 高分辨率到低分辨率快速重采样算法的研究和仿真。传统的图像插 值算法有最近邻近法、双线性插值法和双三次卷积法。这些方法由于 没有充分挖掘图像数据中的空间梯度信息和统计特征，无法较好地识 别边缘而导致边缘模糊。其中，最近邻法容易产生锯齿现象，双线性 插值法精度不高，双三次卷积法的计算量较大。文献【4 】基于图像数据 所蕴含的二维空间梯度信息和统计特征，提出了一种新的图像插值算 法，能获得比较好的效果。 ( 2 ) a v s 像素域快速转码方法的研究。分析并实验三种典型运动矢量映射算 法在a v s 下采样中的性能，通过比较实验结果，选择了加权平均法和小 范围的s a d 搜索作为本文的运动矢量重用算法。利用a v s 的编码特性和 源码流中的图像信息，提出了b 帧的快速模式选择算法。 ( 3 ) a v s 频域快速转码方法的研究。分析了典型的转码框架的优劣，选择了 计算复杂度和视频质量综合性能最优的基于变换域的漂移补偿部分编 码体系结构作为本文的频域转码结构。推导出了a v s 快速频域下采样的 公式并实现了a v s 频域快速转码。 电子科技人学硕十学位论文 ( 4 ) 在多核处理器平台上研究并实现a v s 快速转码的演示平台。演示平台以 i n t e l 双核处理器为基础硬件，能在w i n d o w s 操作系统上实现并行和串行 降分辨率转码。随着p c 处理器的速度不断提高，并行计算能力不断增 强，与该平台与d s p 和f p g a 平台相比具有更多的优势。 通过完成上述研究目标，本文分析了典型算法在a v s 下采样转码中的性能和 典型转码结构的特点并做出了适于a v s 的改进，然后根据a v s 的特性提出了新的 算法，推导出了a v s 快速频域转码公式。最终实现了a v s 的像素域和频域的并行 下采样转码。综上所述，研究a v s 标准的高分辨率到低分辨率转码具有实用价值 与理论意义。 1 3 视频转码的分类 视频转码最简单的实现就是将解码和编码系统连接起来组成转码系统( 即 c p d t ) ，压缩视频经过视频解码后得到未压缩视频图像信息，然后进入视频编码 系统重新编码【5 1 ，如图1 2 。但是这样转码的运算量过大，因此如何利用输入压缩 码流中的信息来进一步减小视频系统的实现复杂度和提高转换后的图像质量是视 频转码技术研究的重点。 v i d e osa，eam订珥r面卜5一卜video$decoder e n c o d e r 一-h w vh 卜一 图1 2 像素域转码级联结构 当前国内外关于转码性能的研究主要集中在再量化偏差的减少、码率控制、 运动矢量的重新估计、编码类型的选择这几个方面。 再量化偏差是指第二次量化引入的新的量化噪声，经研究表明，通过估计输 入压缩码流中图像变换系数的概率分布参数，可以有效地减少第一次和第二次量 化所引入的噪声之和，这也是当前研究的主要方向。在文献【6 中，在假定图像的 d c t 系数满足拉普拉斯分布的前提下，提出了应用于视频转码中的再量化器的设 计。 码率控制是在满足目标码率的前提下，使编码失真最小。在文献 7 】中提出根 据帧的类型来分配编码比特数的方法。当前的研究主要集中在码率转换控制算法 上。运动矢量的重新估计的当前研究方向主要是如何使得估计后的运动矢量更为 准确，在文献 8 】 9 【l o 中有多种不同的方法用于完成估计。编码类型的选择当前 的研究方向是如何在r d 优化的前提下，选择各个宏块的类型和帧的类型。文献 4 第一章引言 【1 1 q 提出了几种应用于开环结构中的启发式类型选择策略，文献 1 2 1 q h 讨论了隔 行帧转码中如何选择帧编码还是场编码。视频转码技术当前国内外研究从应用的 类型可以分为以下几种：码率转换( b i t r a t et r a n s c o d i n g ) 、空间解析度和时间解析 度转换( s p a t i a la n dt e m p o r a lt r a n s c o d i n g ) 、信息插入转换( i n f o r m a t i o i li n s e r t i o n t r a n s c o d i n g ) 、视频标准转换( s t a n d a r d st r a m c o d i n g ) 。下文将简单介绍各种应用 的研究现状。 1 3 1 码率转换 码率转换的主要目的就是动态调整压缩视频码流的码率，使其与信道带宽相 匹配，这也是视频转码最早研究的内容。实现压缩视频码流的码率转换主要有两 种方法：第一种是丢弃每个单位块的高频变换系数，这种方法简单，但是会产生 严重的偏差，而且不易于控制产生的码率。第二种方法是采用改变量化值的方法 来改变码率，由于此算法能补偿再量化引起的转换的偏差，所以多用第二种。在 码率转换的研究中，前期主要集中研究系统的实现结构，以及各种实现变换域运 动补偿的快速算法【1 3 】，随着研究的深入，关注点逐渐转移到运动矢量的重估计【1 4 1 、 再量化偏差的减少和精确的码率控制。最近，码率转换的研究呈现与其他视频转 码技术相结合的趋势，如研究如何有效地将再量化和空间、时间解析度转换结合 起来，在使失真最小的准则下，达到更大范围地改变压缩视频码流的目的。 1 3 2 空间解析度和时间解析度转换 由于不同的接收端的显示能力和处理性能都不同，往往不仅需要做视频压缩 码流的码率转换，而且还需要改变视频的帧率和图像大小。在此转换中，我们需 要关心的问题就是如何有效地重新估计运动矢量。在空间解析度转换中，主要研 究的是如何将大图像转换为小图像。因此运动矢量就需要重新估计，需要从输入 的视频压缩码流中已存在的多个运动矢量中找到使得图像残差最小的运动矢量， 作为新的运动矢量。在时间解析度转换中，主要研究的是帧率的转换，将高帧率 转换为低帧率，比如由3 0 帧秒转换到1 5 帧秒。由于参考帧的丢弃，输入码流中 相当于此参考帧的运动矢量失效，因此需要从输入运动矢量中估计得到相对于新 的参考帧的运动矢量。无论是在空间解析度还是在时间解析度转换中，得到的新 的运动矢量一般都是偏离最优的运动矢量，为了使得新的运动矢量更加接近最优 的运动矢量，在此处采用运动矢量的优化可以取得较好的效果。具体方法就是以 5 电子科技大学硕士学位论文 新的运动矢量为中心，然后设定较小的运动估计窗范围来进一步搜索使图像残差 更小的运动矢量【1 5 】。 1 3 3 信息插入转换 信息插入转换是指在视频压缩码流中根据视频应用的需要插入所需的信息， 目前常用的有：标识的插入、水印的插入、错误恢复措施的插入。从实现和作用 上来说，标识的插入与可见水印的插入基本相似，都是在视频压缩码流中加入可 见的信息来表明此压缩码流的拥有者。以台标为例，台标是电视台的专有标志， 在电视节目中叠加台标是必须的工作。目前台标的插入方法主要有以下三种： ( 1 ) 完全解码后加入台标，然后再将视频序列完全编码，此种方法运算量很 大，不利于系统设备的简化。 ( 2 ) 局部区域解码，加入台标，局部区域编码，即对压缩码流中每帧图像涉 及台标插入的区域进行局部编码，加入台标，然后再对此区域局部编码，由于避 免了对每帧图像都进行完全解码和编码的操作，因此运算量大为减少。 ( 3 ) 在变换域直接叠加台标【1 6 】：在变换域直接将台标插入到图像中，由于避 免了反变换变换运算，可以极大节约运算量。 在很多应用场合下，视频码流压缩和传输在时间上是分离的，即码流先压缩 好，然后存储在设备中供以后使用，因此在压缩时无法知道信道的状况，也就无 法合适地选择错误恢复措施来提高在误码情况下的接收端解码图像质量。加之压 缩视频码流往往要在各种异构网络中传输，每种网络的带宽和误码率都不一样， 一次压缩后得到的码流是无法适应各种网络的信道状况的。如果在各个异构网络 的连接处，通过设置网络视频网关，并在视频网关中根据网络当时的信道状况， 适当地加入错误恢复的措施。可以极大地提高接收端解码图像质量。常用的错误 恢复措旅有t 再同步标记插入、可逆变长编码和自适应帧内宏块刷新、参考帧选 择、前向纠错码和数据重传等。 1 3 4 视频标准转换 在很多视频应用中，前端视频服务器中存储的码流采用一种压缩格式，而不 同的接收端能支持的压缩格式可能各不相同，在这种情况下，压缩视频码流在传 送到接收端之前需要进行压缩标准格式的转换。目前国际上通用的压缩标准包括 m p e g 一2 、m p e g - 4 、h 2 6 3 、h 2 6 4 和我国的a v s ，它们都采用基本相似的框架， 6 第一章引言 即采用压缩域变换和量化减小像素域中冗余，采用运动估计与运动补偿减小时间 域上的冗余。各个视频压缩标准的相似性给视频标准的转换提供了可能性，在视 频标准转换中，需要关心的主要问题是如何有效地改变压缩视频码流的语法结构， 使其能符合目标压缩标准的语法要求，从而能在支持目标压缩标准的解码器中解 码显示。目前研究较多的是m p e g 2 到h 2 “的转码，这是因为一方面目前已有 的大量视频节目是被录制成m p e g - 2 格式的，另一方面h 2 6 4 的优秀编码性能可 以使视频节目的图像质量达到m p e g - 2 编码质量的同时，码率远小于m p e g 2 编 码的节目，这极大地方便了高质量视频的传输和储存。随着我国a v s 的发展，其 高效的编码效率和便利的专利政策，使得由m p e g - 2 ，h 2 6 4 到a v s 的转码也逐 渐成为研究热点之一。 1 4 本文的研究工作和论文结构 本文完成的研究工作包括三个部分： 1 并行转码的实现。转码器中的解码部分和编码部分是相对独立的。虽然在 编码端需要用到解码得到的运动矢量、分块模式还有频域中的系数等信息，如果 是单线程程序的话，在编码一帧的时候，解码程序就要停止，只有当编码这一帧 的程序执行完以后，才能开始执行下一帧的解码程序。所以，在解码时编码程序 停止，在编码时解码程序停止，这将花费大量的时间来等待。如果是在双核或者 多核计算机上，就可以采用并行处理的方法，可以启动两个或多个线程，一个解 码线程和一个编码线程，在编码第n 帧的时候，同时解码第n + l 帧，达到解码和 编码同时执行的效果。此外，a v s 编码中存在大量可并行执行的运算，这些运算 的并发执行可以通过基于指令的并行算法实现。并行转码设计的重点在于控制解 码和编码线程使用资源时不发生冲突和两个线程能真正实现同步。本部分的工作 可以在转码质量完全没有降低的情况下节约1 6 6 的转码时间。 2 运动矢量重用和快速模式选择。运动搜索在编码中是一个非常耗时的环节， 所以为了实现实时转码，运动矢量的重用是非常关键的。以往的运动矢量大多是 关于m p e g - 2 到h 2 6 4 转码或m p e g - 2 下采样中的运动矢量重用，关于a v s 下采 样运动矢量重用的文献很少。本部分把m p e g - 2 和h 2 6 4 下采样转码的运动矢量 映射算法加权平均法和加权中值法联合应用到了a v s 的下采样转码中，并引入了 s a d 判别，达到了比较理想的转码效果。本部分利用编码b 帧d i r e c t 模式较多的 情况，提出了一种b 帧快速模式选择算法。根据源码流中的宏块信息，提前判断 7 电子科技大学硕士学位论文 出待编码的b 帧8 8 块模式是否为d i r e c t 模式。综合上述的运动矢量重用和b 帧 模式快速选择算法，可以在平均码率增加8 3 ，p s n r 下降0 0 5 d b 的情况下，节 约6 9 7 的转码时间。 3 快速变换域转码。变换域转码在解码端不需要进行逆变换，在编码端不需 要正变换，对于m _ p e g 2 的d c t 系数转换为h 2 6 4 的整数变换系数以及m p e g 2 的d c t 系数下采样已经有很多研究，还提出一些快速算法。要在a v s 上实现快速 变换域转码，就要知道a v s 正反变换的具体矩阵实现过程。本文首先找出了和源 码的正反变换等价的矩阵变换过程，从而推导出实现a v s 变换域下采样的关键矩 阵公式。最后为了解决采样后宏块的运动矢量与通过在变换域内进行图像下采样 得到的宏块变换系数可能不匹配的问题，本文使用了对p 帧作变换域运动补偿的 闭环结构，有效地减小了图像失真。 本文的组织结构为： 第一章介绍本文的选题意义，工作目的，完成的工作和视频转码研究现状； 第二章介绍了a v s 视频编码标准和典型转码结构； 第三，四，五章分别实现了并行转码，运动矢量重用和快速模式选择，快速 变换域转码。每章详细介绍了算法和实现流程，最后给出了实验结果和分析； 第六章对整个转码方案进行了总结并得出结论。 第二章a v s 视频编码标准介绍与转码结构分析 第二章a v s 视频编码标准介绍与转码结构分析 从1 9 5 2 年贝尔实验室c u t l e r 等人进行差分脉冲编码调审i j ( d p c m ) 技术的研究 开始，视频压缩编码技术经历了5 0 余年的发展。在这一过程中，逐渐形成了变换 编码、预测编码、熵编码3 类经典技术，分别用于去除视频信号的空域冗余、时 域冗余及统计冗余。并基于这些经典技术，逐渐形成了以块为单元的预测加变换 的混合编码框架。到目前为止，已有的视频编码标准都基于这一框架，包括国际 电信联盟( i t u - t ) 的h 2 6 1 3 4 视频编码标准以及国际标准化组织国际电工委员会 ( i s o i e c ) 的m p e g - 1 2 4 视频编码标准。这些标准及其技术对视频信号提供了一种 高效表达方式，使得巨大的视频数据能够在有限带宽下传输以及在有限空间下存 储。其中，m p e g - 2 标准在世界范围内得到了广泛应用，已经成为电视广播应用的 基础性支撑标准。但m p e g - 2 标准制订于1 9 9 4 年，属第一代视频编码技术，近1 0 年视频编码技术的发展，使得m l a e g 2 标准在新一代彤、高清数字电视广播、 无线移动媒体通信、流媒体服务等方面的应用上不再高效与经济。新的应用需要 新的高效信源编码方案。 数字音视频编解码标准( a v s ) 第2 部分：视频( a v s l p 2 ) 的技术规范完成于2 0 0 3 年1 2 月，该标准面向标清高清视频编码应用。a v s 视频标准吸收了国内外研究机 构近年来的优秀研究成果，属于高效的第二代视频编码技术。相比于m p e g - 2 标 准，编码效率提高2 3 倍。如果以a v s 视频标准进行标清视频广播应用，可以将 i v i p e g - 2 标准所需的5 6 m b s 传输带宽降低到1 5 3 m b s 。因此，即使在不进行 大规模宽带光纤网络升级的情况下，借助于a v s 视频技术，m t v 应用也可以在现 有家用数字用户线( d s l ) 网络的2 m b s 带宽下进行大规模实施。在新的宽带网络上， a v s 视频标准将使业务量翻番。 在获得高编码效率的同时，a v s 视频标准尽可能保持了低的计算实现复杂度。 当编码高清视频信号时，a v s 视频获得了与先进视频编码标准a v c h 2 6 4 主要档 次( m a i np r o f i l e ) 相当的编码效率，但解码器的实现复杂度只有其6 0 0 , 6 - - - 7 0 。在专 利许可方面，a v s 通过简洁的一站式许可政策，解决了m p e g - 4a v c h 2 6 4 被专 利许可问题缠身难以产业化的弊端，并且专利许可费用大大低于国际同类标准f 坍。 9 电子科技人硕士学位论文 2 1a v s 视频技术n 8 1 2 1 1 混合编码框架 a v s l p 2 视频标准采用经典的混合编码框架，如图2 一l 所示。此框架i j 以往视 频标准相同，但由于不同标准制订时出于对彳i 同应用的考虑，在技术取舍上对复 杂度一性能的衡量指标各不相同，因而在复杂性、编码效率上的表现也各不相同。 t z ) h ，一般认为h 2 6 4 的编码器人概比m p e g 2 复杂9 倍，而a v s 视频标准则由 于编码模块中的各项技术复杂度都有所降低，其编码器复杂度大致为m p e g 一2 的6 倍，但编码高清序列a v s 视频标准具有与h 2 6 4 相近的编码效率【1 8 1 。 图2 一la v s 混合编码框架 在图2 一l 所示框架下，视频编码的基本流程为：将视频序列的每一帧划分为 固定大小的宏块，通常为1 6 1 6 像素的亮度分量及2 个8 8 像素的色度分量( 对 于4 ：2 ：0 格式视频) ，之后以宏块为单位进行编码。对视频序列的第一帧及场景切 换帧或者随机读取帧采用i 帧编码方式，i 帧编码只利用当前帧内的像素作空间预 测，类似于j p e g 图像编码方式。其大致过程为，利用帧内先前已经编码块中的像 素对当前块内的像素值作出预测( 对应图2 1 中的帧内预测模块) ，将预测值与原 始视频信号作差运算得到预测残差，再对预测残差进行变换、量化及熵编码形成 第二章a v s 视频编码标准介绍与转码结构分析 编码码流。对其余帧采用帧间编码方式，包括前向预测p 帧和双向预测b 帧，帧 间编码是对当前帧内的块在先前已编码帧中寻找最相似块( 运动估计) 作为当前块 的预测值( 运动补偿) ，之后如i 帧的编码过程对预测残差进行编码。编码器中还 内含一个解码器模拟解码过程，以获得解码重构图像，作为编码下一帧或下一块 的预测参考。解码步骤包括对变换量化后的系数进行反量化、反变换，得到预测 残差，之后预测残差与预测值相加，经滤波去除块效应后得到解码重构图像。以 上编码框架包含如下关键技术： 帧内预测 多参考帧预测 变块大小运动补偿 l 4 像素插值 整数变换量化 高效b 帧编码模式 熵编码 环路滤波 2 1 2a v s 关键技术介绍 ( 1 ) 帧内预测 a v s 视频标准采用空域内的多方向帧内预测技术。以往的编码标准都是在频 域内进行帧内预测，如m p e g - 2 的直流系数( d c ) 差分预测、m p e g - 4 的d e 及高频 系数( a c ) 预测。基于空域多方向的帧内预测提高了预测精度，从而提高了编码效 率。h 2 6 4 a v c 标准也采用了这一技术，其预测块大小为4 4 及1 6 x 1 6 ，其中4 x 4 帧内预测时有9 种模式，1 6 1 6 帧内预测时有4 种模式。a v s 的帧内预测技术继 承了h 2 6 4 a v c 帧内预测的思路，采用代表空间域纹理方向的多种预测模式以相 邻像块的像素预测当前像块，所不同的是，在编码质量和效率相当的前提下，a v s 亮度和色度帧内预测都以8x8 块为单位，亮度块只采用5 种预测模式，色度块采用 4 种预测模式，而在这4 种模式中又有3 种与亮度块的预测模式相同，因此，相对于 h 2 6 4 a v c 基于4 x 4 块帧内预测的9 种模式而言，复杂度几乎降低一半。相同的 图像采用不同的预测方式，预测性能差异很大，也就是预测图像与原始图像相减得 到的预测残差中的能量差别很大，直接影响变换、熵编码后的编码码率，a v s 标准 的亮度块帧内预测模式如图2 - 2 所示。 电子科技大学硕士学位论文 图2 - 28 x 8 亮度块帧内预测模式 ( 2 ) 变块大小运动补偿 变块大小运动补偿是提高运动预测精确度的重要手段之一，对提高编码效率 起重要作用。在以前的编码标准m p e g - 1 、m p e g - 2 中，运动预测都是基于1 6 1 6 的宏块进行的( m p e g 2 隔行编码支持1 6 8 划分) ，在m p e g - 4 中添加了8 x 8 块 划分模式，而在h 2 6 4 中则进一步添加了1 6 x 8 、8 1 6 、8 4 、4 x 8 、4 x 4 等划 分模式。但实验数据表明小于8 x 8 块的划分模式对低分辨率编码效率影响较大， 而对于高分辨率编码则影响甚微。在高清序列上的大量实验数据表明，去掉8 8 以下大小块的运动预测模式，整体性能降低2 - - 一4 ，但其编码复杂度则可降低 3 0 4 0 。因此在a v s l p 2 中将最小宏块划分限制为8 8 ，这一限制大大降低了 编解码器的复杂度。a v s 的宏块划分模式如图2 3 所示。 ( 3 ) 多参考帧预测 多参考帧预测使得当前块可以从前面几帧图像中寻找更好的匹配，因此能够 1 2 第二章a v s 视频编码标准介绍与转码结构分析 o 1 23 图2 - 3 a v s 宏块划分模式 提高编码效率。但一般来讲2 3 个参考帧基本上能达到最高的性能，更多的参考 图像对性能提升影响甚微，复杂度却会成倍增加。h 2 6 4 最多可采用1 6 个参考帧， 并且为了支持灵活的参考图像引用，采用了复杂的参考图像缓冲区管理机制，实 现较繁琐。而a v s 视频标准限定最多采用两个参考帧，其优点在于：在没有增大 缓冲区的条件下提高了编码效率，因为b 帧本身也需要两个参考图像的缓冲区。 ( 4 ) 1 4 像素插值 m p e g - 2 标准采用1 2 像素精度运动补偿，相比于整像素精度提高约1 5 d b 编码效率；h 2 6 4 采用1 4 像素精度补偿，比1 2 精度提高约0 6 d b 的编码效率， 因此运动矢量的精度是提高预测准确度的重要手段之一。影响高精度运动补偿性 能的一个核心技术是插值滤波器的选择。a v c h 2 6 4 亚像素插值半像素位置采用6 拍滤波，这个方案对低分辨率图像效果显著。由于高清视频的特性，a v s 视频标 准对1 2 像素位置插值采用4 拍滤波器，其效果与6 拍滤波器相同，优点是大大 降低了访问存取带宽，是一个对硬件实现非常有价值的特性。 ( 5 ) b 帧宏块编码模式 在a v c h 2 6 4 标准中，时域直接模式与空域直接模式是相互独立的。而a v s 视频标准采用了更加高效的空域时域相结合的直接模式，并在此基础上使用了运 动矢量舍入控制技术，a v s 标准b 帧的性能比h 2 6 4 中b 帧性能有所提高。此外， a v s 标准还提出了对称模式，即只编码前向运动矢量，后向运动矢量通过前向运 动矢量导出，从而实现双向预测。此方案与编码双向运动矢量效率相当。 ( 6 ) 整数变换与量化 a v s 视频标准采用整数变换代替了传统的浮点离散余弦变换。整数变换具有 复杂度低、完全匹配等优点。由于a v s l p 2 中最小块预测是基于8x8 块大小的， 因此采用了8 8 整数变换矩阵。8 8 变换比4 x 4 变换的去相关性能强，在变换 模块，a v s 标准编码效率相比h 2 6 4 提高2 ( 约0 1 d b ) 。同时与h 2 6 4 中的变换 电子科技大学硕士学位论文 相比，a v s 标准中的变换有自身的优点，即由于变换矩阵每行的模比较接近，可 以将变换矩阵的归一化在编码端完成，从而节省解码反变换所需的缩放表，降低 了解码器的复杂度。 量化是编码过程中唯一带来损失的模块。以前典型的量化机制有两种，一种 是h 2 6 3 中的量化方法，种是m p e g 2 中的加权矩阵量化形式。与以前的量化 方法相比，a v s 标准中的量化与变换归一化相结合，同时可以通过乘法和移位来 实现，对于量化步长的设计，量化参数每增加8 ，相应的量化步长扩大1 倍。由于 a v s 标准中变换矩阵每行的模比较接近，变换矩阵的归一化可以在编码端完成， 从而解码端反量化表不再与变换系数位置相关。 ( 7 ) 熵编码 熵编码是视频编码器的重要组成部分，用于去除数据的统计冗余。a v s 视频 标准采用基于上下文的自适应变长编码器对变换量化后预测残差进行编码。其具 体策略为，系数经过“之 字形扫描后，形成多个( r u n ，l e v e l ) 数对，其中r u n 表示非零系数前连续值为零的系数个数，l e v e l 表示一个非零系数；之后采用多个 变长码表对这些数对进行编码，编码过程中进行码表的自适应切换来匹配数对的 局部概率分布，从而提高编码效率。编码顺序为逆向扫描顺序，这样易于局部概 率分布变化的识别。变长码采用指数哥伦布码，这样可降低多码表的存储空间。 此方法与h 2 6 4 用于编码4x4 变换系数的基于上下文的自适应变长编码器 ( c a v l c ) 具有相当的编码效率。相比于h 2 6 4 的算术编码方案，a v s 的熵编码方 法编码效率低0 5 d b ，但算术编码器计算复杂，硬件实现代价很高。 ( 8 ) 环路滤波 起源于h 2 6 3 + + 的环路滤波技术的特点在于把去块效应滤波放在编码的闭环 内，而此前去块效应滤波都是作为后处理来进行的，如在m p e g - 4 中。在a v s 视 频标准中，由于最小预测块和变换都是基于8 x 8 的，环路滤波也只在8 x 8 块边缘 进行，与h 2 6 4 对4 x 4 块进行滤波相比，其滤波边数变为h 2 6 4 的1 1 4 。同时由于 a v s 视频滤波点数、滤波强度分类数都比h 2 6 4 中的少，大大减少了判断、计算 的次数。环路滤波在解码端占有很大的计算量，因此降低环路滤波的计算复杂度 十分重要。 1 4 第二章a v s 视频编码标准介绍与转码结构分析 2 1 3 编码效率比 以上是从编码模块各个方面认识a v s ，从中不难看出a v s 视频标准对每项技 术都进行了复杂性与效率的权衡，为所面向的应用提供了很好的解决方案，努力 降低复杂度，并保证高的编码效率。 表2 - 1 给出了2 0 0 5 年8 月中国国家广电总局广播电视规划院主持完成的 a v s l p 2 视频标准测试结果，整体结论为性能优良。考虑到目前使用m p e g - 2 标 准实施高清电视广播时，一般使用2 0 b i b s 的码率；使用m p e g 2 标准实施标清电 视广播时，一般使用5 6 m b s 的码率。对照测试结果可以得知，a v s 视频码率为 m p e g 2 标准的一半时，无论是标准清晰度还是高清晰度，编码质量都达到优秀。 码率不到其三分之一时，也达到良好到优秀。因此在比m p e g - 2 视频编码效率提 高2 - - 3 倍的前提下，a v s 视频质量完全达到大范围应用所需的“良好 要求