（信息与通信工程专业论文）视频转码算法研究.pdf

浙江大学硕i ：学位论文 摘要 随着多媒体通信和视频编码技术的发展，针对不同的数字视频应用，出现了 许多视频编码方案和标准。而多种视频压缩标准的共存和网络的异构性导致了视 频设备和网络传输出现兼容性问题。视频转码可以解决这种兼容性，将一种压缩 格式的视频码流转换为另一种压缩格式，如不同码率、不同分辨率、不同语法格 式等。论文系统地研究了m p e g - 4 到h 2 6 4 转码的标准间转码、码率转换、空间 分辨率转码和时间分辨率转码等技术。 论文首先阐述了标准间转码的关键技术，分析了纹理数据复用和运动矢量复 用的m p e g 一4 至h 2 6 4 转码中误差产生的原因，并提出了误差补偿的方法。在码 率转换部分，研究了基于基本单元层的比特分配策略，以输入压缩码流中的信息 为依据来分配基本单元的编码比特数，使转码中实际分配的比特数更接近于目标 比特数。 在空问分辨率转码部分，为减少运算开销，提出一种整数变换域内的帧内空 间分辨率下采样转码快速算法。利用h 2 6 4 帧内预测模式具有方向性的特点，提 出整数变换域内的块边缘方向检测方法，以此预测块的帧内编码模式；分析了宏 块编码的块大小与宏块包含的1 6 个4 4 子块直流( d c ) 系数方差问关系的统计结 果，在此基础之上，提出根据宏块子块d c 系数方差与阈值比较的结果来选择块 编码大小的算法，并引入“过渡区间”的概念，通过设定“双重阈值”以减少误 判；经数据统计发现，相邻块之间帧内预测模式具有一定相关性，论文给出预测 模式相关性判决准则，提出根据已编码相邻块的帧内预测模式预测当前块的编码 模式，有效地缩小了耗时的模式搜索。在帧间空间分辨率下采样转码中，提出两 种支持任意比率下采样转码的宏块编码模式确定方法：模式映射法和残差预测 法；并根据映射区域运动矢量离散度，进一步减少了候选预测模式的数目，缩短 了转码时间，并保持了较好的图像质量。 论文最后研究了时间分辨率转码，在已有的运动矢量重建算法的基础上，结 合m p e g 一4 到h 2 6 4 转码的特点，改进了活动主导运动矢量选择( a d v s ) 算法，提 出了根据压缩码流中当前块的编码模式和丢弃帧中参考块的编码模式来预测当 前块再编码模式的方法，使模式搜索的范围缩减5 0 以上，同时保持了较好的率 失真特性，实验结果表明，转码p s n r 和码率均接近于完全重编码结果。 关键词：视频转码，空间分辨率转码，帧率变换，码率变换 浙江大学硕： = 学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h em u l t i m e d i ac o m m u n i c a t i o na n dt h ev i d e oc o d i n g t e c h n o l o g y , s e v e r a lv i d e oc o d i n gs t a n d a r d sh a v eb e e ne s t a b l i s h e df o rv a r i o u sv i d e o a p p l i c a t i o n s a st h en u m b e ro fn e t w o r k sa n dt h ec o e x i s t e n c eo ft h ev i d e os t a n d a r d s ， i n t e r o p e r a b i l i t yb e t w e e nd i f f e r e n ts y s t e m sa n dd i f f e r e n tn e t w o r k si sb e c o m i n gm o r e i m p o r t a n t v i d e ot r a n s c o d i n gi sa ne f f i c i e n tw a yt os o l v et h i sp r o b l e m av i d e o t r a n s c o d e ri sad e v i c et h a tc a nc o n v e r tv i d e of r o mo n ec o m p r e s s e df o r m a ti n t oa n o t h e r c o m p r e s s e df o r m a tw i t hd i f f e r e n tb i t r a t e ，r e s o l u t i o no rs y n t a x t h i st h e s i s f o c u s e s o nt h er e s e a r c ho fv i d e ot r a n s c o d i n ga l g o r i t h m f i r s t l y , t h ek e yp r o b l e mo fi n t e r - s t a n d a r dt r a n s c o d i n gt e c h n o l o g yi sp r e s e n t e d b y a n a l y z i n gt h ec a u s eo fd r i f te r r o ri nt h et e x t u r ea n dm o t i o nv e c t o rr e u s i n gt r a n s c o d i n g a r c h i t e c t u r ef r o mm p e g 一4t oh 2 6 4 ，a ne r r o rc o m p e n s a t i o nm e t h o di sp r o p o s e d i n t h er a t ec o n t r o lp a r t ，t h eb a s i cu n i tl e v e lb i ta l l o c a t i o na l g o r i t h mi se m p h a t i c a l l y s t u d i e d t h ea l l o c a t e db i tn u m b e rf o rt h er e e n c o d e db a s i cu n i ti sa l l o c a t e di nt e r mo f t h ei n f o r m a t i o no ft h ep r e c o d e db i t s t r e a ma n dt h ea l l o c a t e db i tn u m b e ra c t u a l l y r e a c h e sa p p r o x i m a t e l yt h et a r g e tb i tn u m b e r i nt h es p a t i a lr e s o l u t i o n t r a n s c o d i n g ，i no r d e rt or e d u c et h ec o m p u t a t i o n c o m p l e x i t y , w ep r e s e n ta nf a s ti n t e g e rt r a n s f o r m d o m a i ni n t r af r a m ed o w n s c a l e t r a n s c o d i n ga l g o r i t h m am e t h o dt oe s t i m a t et h ee d g ed i r e c t i o ni n s i d eb l o c ki nt h e i n t e g e r - t r a n s f o r m d o m a i ni sd e r i v e d b a s e do nt h es t a t i s t i c a la n a l y s i so ft h e r e l a t i o n s h i po ft h ev a r i a n c eo ft h es i x t e e n4 x4s u b - b l o c kd cc o e f f i c i e n t si n s i d eo n e m a c r o b l o c ka n dt h ei n t r ap r e d i c t i o ns i z e ，ap r e d i c t i o ns i z es e l e c t i o na l g o r i t h mi s p r o p o s e da n dac o n c e p tn a m e d t r a n s i t i o ni n t e r v a l ”i s i n t r o d u c e d t h ew r o n g j u d g e m e n tn u m b e rc a l le f f i c i e n t l yb er e d u c e dt h r o u g hs e t t i n g “d o u b l et h r e s h o l d f o r t h ep r e d i c t i o ns e l e c t i o na l g o r i t h m t h e r ee x i s t sa nr e l a t i v i t y a m o n gt h ei n t r a p r e d i c t i o nm o d e so ft h en e i g h b o r i n gb l o c k s ，w eg i v eaj u d g e m e n tr u l et op r e d i c tt h e c u r r e n tb l o c kc o d i n gm o d ef r o mt h en e i g h b o r i n gb l o c k s ，e f f i c i e n t l yr e d u c i n gt h e c a n d i d a t e so ft h ep r e d i c t i o nm o d e i ni n t e rf r a m ed o w n s c a l et r a n s c o d i n g ，t w om e t h o d s t op r e d i c tt h ec o d i n gm o d eo fc u r r e n tm a c r o b l o c ka r ep r o p o s e d ：m o d e m a p p i n g m e t h o da n dr e s i d u a l - p r e d i c t i o nm e t h o d t h e n ，w eu s et h em o t i o nv e c t o rd i v e r s i t yo f t h ec o r r e s p o n d i n gm a p p i n ga r e at of u r t h e rr e d u c et h ec a n d i d a t e so ft h ei n t e r p r e d i c t i o nm o d e s t h ee x p e r i m e n tr e s u l t ss h o wt h a to u rm e t h o dc a nr e d u c et h e n u m b e ro fc a n d i d a t e so ft h ec o d i n gm o d e so b v i o u s l ya n dm a i n t a i ng o o dp i c t u r e l l 浙江大学硕一i ：学位论文 q u a l i t ym e a n w h l e i nt h el a s t ，w es t u d yt h ee x i s t i n gm o t i o nv e c t o rc o m p o s i t i o nm e t h o d sa n d p r o p o s e a l li m p r o v e da d v sm o t i o nv e c t o rc o m p o s i t i o n a l g o r i t h mc o n s i d e r i n gt h ec h a r a c t e r s o ft h em p e g - 4t oh 2 6 4 a v ct r a n s c o d i n g t h e n ，am e t h o dt op r e d i c tt h ec o d i n g m o d eo ft h ec u r r e n tm a c r o b l o c ki s p r o p o s e du s i n gi t sc o d i n gm o d ei nt h ec o d e d b i t s t r e a ma n di t sr e f e r e n c em a c r o b l o c kc o d i n gm o d ei nt h ed r o p p e df r a m e ，t h u st h e r a n g eo ft h ei n t e r - m o d es e a r c h i n gi sr e d u c e db y5 0p e r c e n t t h ee x p e r i m e n tr e s u l t s s h o wt h a tt h ep s n ra n db i t r a t eo ft h ea l g o r i t h ma r ec l o s et ot h o s eo ft h e r e e n c o d i n g r e s u l t s k e y w o r d s ：v i d e ot r a n s c o d i n g ，s p a t i a lr e s o l u t i o n t r a n s c o d i n g ，f r a m e r a t e t r a n s c o d i n g ，b i t - r a t et r a n s c o d i n g i i i 浙江人学硕士学位论文 1 1 研究背景及意义 第1 章绪论 随着多媒体通信的普遍应用和视频编解码技术的发展，需要存储、传输和处 理的多媒体信息的数量迅速增加。视频信息具有数据量大、信息内容丰富、与时 间密切相关等特点，其表达、存储和传输显得尤为重要。尽管硬件方面的革新已 经极大地提升了c p u 、磁盘和传输信道的性能，但直接对原始的数字化视频数据 进行存储和传输所涉及到的巨大数据量仍将给现有存储设备和网络造成巨大的 负担。 工业界和国际标准化组织先后制定了一系列的视频压缩标准，主要有 m p e g 一1 2 4 ，h 2 6 x 以及我国自主的音视频编码标准a v s 。视频编码标准被广泛 用于i n t e r n e t 视频传输、数字电视、视频会议等场合，但也导致了不同标准之 间无法相互兼容，支持不同编码标准的设备无法存取同一媒体数据。同时，由于 通信网络的异构性，媒体服务需要为用户提供通用多媒体存取服务，这就需要使 用视频转码技术，视频转码使得在异质网络和不同终端间进行视频传输成为可 能。 所谓转码，是指将己编码的视频转换成其它的编码格式，如不同码率、不同 分辨率、不同语法格式等。它通过部分解码和部分编码，运算复杂度低，实时性 好。视频转码技术可分为同类标准码流的转换和异类标准码流的转换嘞1 。同类标 准的转码技术，解码器和编码器可以组合在一起，以简化转码结构。例如m p e g 一2 到m p e g - 2 码流的转换，h 2 6 3 到h 2 6 3 码流转换等。异类转码技术一般有两种 方法：一种是码流的直接映射，如m p e g - 4 和h 2 6 3 之间码流的转换，它要求两 种标准的相似性比较大：另外一种是语法的转换，需要重新解码和编码，例如 m p e g 一4 和h 2 6 4 码流转换等。 视频转码技术对压缩视频进行端到端的处理n0 1 ，即转码器的输入、输出都是 压缩数据，转码后的压缩码流更能适应传输带宽以及接收端的要求。使得异质网 络之间、不同接入设备之间以及不同多媒体数据格式之间能够无缝连接，如：在 数字广播中，可由机顶盒或网关设备完成转码，使不同多媒体终端均可以接收到 数字广播。除通用的多媒体访问外，视频转码技术还可应用于多路视频流的复合 传输，控制码率使其满足信道带宽的限制，在压缩视频流中增加公司标识、水印 以及抗误码特性，对数字视频的快进、回放等模式的支持和视频点播也非常有用。 视频转码已成为网上多媒体传输的核心技术之一瞄利。 视频转码已成为视频编码领域一个新的研究热点，不仅应用于包括视频广播 转码、媒体网管、多会议单元、医疗影响和视频监控等商用产品中，而且也将 浙江大学硕：i ：学位论文 用于包括数字媒体适配器、高清视频会议终端、高级数字机顶盒、i p 视频电话 和高清网络摄像机等消费类产品。但随着各种新的视频编码标准的制定、计算机 软硬件技术和网络技术的发展，视频转码在理论研究和技术应用方面有待完善和 提高。 1 2 视频编码标准与方案 1 2 1 视频编码标准与方案发展历史 从上个世纪8 0 年代开始，i s o i e c 和i t u - t 这两大组织就已经不断的推出一 系列针对不同应用领域的数字视频编码标准与方案，这其中包括i s o i e c 的m p e g 系列和i t u - t 的h 2 6 x 系列。另外，m i c r o s o f t 、a p p l e 和r e a l 等公司也制定了 自己的编码方案，如w m v 、v c - i 、q u i c k t i m e 和r e a l 等。 h 2 6 1 标准乜3 的全称是”v i d e oc o d e cf o ra u d i o v is u a ls e r v i c e sa tp 6 4 k b it s ”，主要应用于i s d n 网上的视频会议系统，公布于1 9 9 0 年，是第一个采 用现代编码算法的通用视频编码标准。在技术上，h 2 6 1 采用了基于块匹配的运 动补偿方法、只支持整像素精度的运动补偿和单向的单帧参考、d c t 变换、量 化、熵编码以及与固定速率的信道相适配的速率控制等部分，获得了很好的压缩 效果。 m p e g 一1 标准。的全称是“c o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e d a u d e o f o rd i g it a ls t o r a g em e d i aa tu pt oa b o u t1 5 m b i t s ，主要是为了 视频存储媒体而指定的。m p e g - 1 标准包括系统、视频、音频、一致性和参考软 件五个部分，具有随机存取、快速正向逆向搜索、逆向重播、视听同步、容错 性等功能，是v c d 工业标准的核心，适用于低端图像编码，可以满足大多数视频 会议、图像监控的要求。与h 2 6 1 相比，m p e g - 1 中加入了两个比较重要的新特 性：双向运动补偿技术和1 2 像素精度的运动补偿。 m p e g 一2 标准h 1 的全称是“g e n e r i cc o d i n go fm o v i n gp i c t u r e sa n d a s s o c i a t e da u d i o ”，于1 9 9 4 年推出，m p e g 一2 的目标是在3 m b p s 至3 5 m b p s 的 传输速率下，提供高质量的多媒体信号，并提供质量、时间、空间上的可伸缩性。 m p e g 一2 诞生于1 9 9 4 年，支持固定比特率传送、可变比特率传送、随机访问、分 级编码、比特流编辑等功能，能够提供广播级的视像和c d 的音质。作为目前最 成功的视频编码标准，m p e g - 2 被广泛应用于数字存储媒体、高清晰度电视和数 字视频广播等领域。 h 2 6 3 标准晦的全称是“v i d e oc o d i n gf o rl o wb itr a t ec o m m u n i c a t i o n ”， 公布于1 9 9 6 年，它的目标应用是低码率的视频电话，目标网络是p s t n ，i s d n 2 浙江大学硕。 ：学位论文 以及无线网络。在h 2 6 1 的基础上，h 2 6 3 进一步引入了半像素运动补偿精度、 三维变长编码、运动矢量预测、帧内预测编码、去除块效应滤波器等技术，并支 持无限制运动补偿、前向和后向帧预测以及分级的比特流。与h 2 6 1 相比，h 2 6 3 在相同的码率下，进一步提高了图像质量。 m p e g - 4 标准晦1 的全称是“c o d i n go fm o v i n gp i c t u r e sa n da u d i o ，于1 9 9 9 年推出，其目标应用包括因特网多媒体、交互式视频游戏、个人通信、多媒体邮 件、网络数据库服务、远程视频监控、无线多媒体等。m p e g 一4 的革命性的贡献 是引入了基于对象的思想，但是由于受运算复杂度的限制，实际应用不是很广泛。 m p e g - 4 基本上和h 2 6 3 类似，后者在h 2 6 3 的基础上引入了1 4 像素精度的运 动补偿和全局运动估计等技术。 h 2 6 4 a v c 盯3 新一代视频压缩编码标准是由i s o i e c 下属的m p e g 与i t u 下属 的视频编码专家组( v c e g ) 组成的联合视频组( j v t ) 于2 0 0 3 年共同完成的。在编码 算法方面，h 2 6 4 采用了多种块大小的运动补偿、1 4 像素精度插值、多参考帧 预测、基于方向的空间帧内预测、整数变换、基于内容的自适应熵编码、环内去 块滤波等先进技术，压缩效率是m p e g - 4 和h 2 6 3 的两倍。h 2 6 4 的目标应用涵 盖了目前大部分的视频服务，如有线电视、远程监控、交互媒体、数字电视、视 频会议、视频点播、流媒体服务等。为了应对不同应用以及网络之间的差异，h 2 6 4 中定义了一个v c l 层( 视频编码层) 和一个n a l 层( 网络抽象层) 。v c l 层负责对视 频内容进行有效的编码表示，n a l 层负责根据传输层或者存储媒体的特性对码流 进行适当的组织。 w m v ( w in d o w sm e d i av i d e o ) 哺引是微软推出的一种流媒体格式，它是在a s f ( a d v a n c e ds t r e a mf o r m a t ) 格式升级延伸来的。在同等视频质量下，w m v 格式的体积非常小，因此很适合在网上播放和传输。从w m v l ( 第七版) ，微软 公司开始使用它自己非标准m p e g - 4p a r t2 。但是，w m v 第九版已经是s m p t e 的一个独立标准( 4 2 1 m ，也称为v c - 1 ) 。 v c 一1 晒们是由微软公司于2 0 0 3 年9 月提交的编码格式，直到2 0 0 6 年初，才得 到活动图像和电视工程师协会( s m p t e ) 的颁布，为该格式在下一代d v d 中的应用 铺平了道路，目前已经得到了m o v i e b e a m 、m o d e o 等不少公司的采纳，同时也 包含在h dd v d 和蓝光中。v c l 基于微软w i n d o w sm e d i av i d e o9 ( w m v 9 ) 格 式，而w m v 9 格式现在已经成为v c - 1 标准的实际执行部分。相对于m p e g 2 ， v c - 1 的压缩比更高。相对于h 2 6 4 而言，从压缩比上来看，h 2 6 4 的压缩比 率更高一些，但是v c 一1 格式的视频在解码计算方面则更小一些，目前来看， v c - 1 可能是一个比较好的平衡。 q u i c k t i m e 3 是苹果公司提供的系统级代码的压缩包，q u i c k t i m e 是建立 在一些与时基数据相关的概念基础之上的：原子( a t o m ) 、媒体结构( m e d i a 浙江人学硕二t 学位论文 s t r u c t u r e s ) 、组件( c o m p o n e n t ) 、时间管理( t i m em a n a g e m e n t ) 、动画图像 ( s p r i t e s ) 。它拥有c 和p a s c a l 的编程界砸，更高级的软件可以用它来控 制时基信号。应用程序可以用q u i c k t i m e 来生成、显示、编辑、拷贝、压缩 影片和影片数据。q u i c k t i m e 不仅是一个媒体播放器，而且是一个完整的多 媒体架构，可以用来进行多种媒体的创建，生产，和分发，并为这一过程提 供端到端的支持：包括媒体的实时捕捉，以编程的方式合成媒体，导入和导 出现有的媒体，还有编辑和制作，压缩，分发，以及用户回放等多个环节。 r m ( r e a l m e d i a ) 是r e a l n e t w o r k s 公司制定的音频视频压缩规范，用户可 以使用r e a l p l a y e r 或r e a l o n e p l a y e r 对符合r e a l m e d i a 技术规范的网络音 频视频资源进行实况转播，并且r m 可以根据不同的网络传输速率制定出不 同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。 r m 作为目前主流网络视频格式，它可以通过其r e a l s e r v e r 服务器将其它格 式的视频转换成r m 视频并由r e a l s e r v e r 服务器负责对外发布和播放。 r m v b 是r e a l 公司新的编码格式9 o 格式，是在流媒体的r m 影片格式上 升级延伸而来。v b 即v b r ，是v a r i a b l eb i tr a t e ( 可改变之比特率) 的英 文缩写。r m v b 打破原先r m 格式那种平均压缩采样的方式，在保证平均压缩 比的基础上，设定了一般为平均采样率两倍的最大采样率值。将较高的比特 率用于复杂的动态画面，而在静态画面中则灵活地转为较低的采样率，合理 地利用了比特率资源。 1 2 2 视频编码基本原理 当前的国际视频编码标准均采用了基于块的混合视频编码框架。图1 1 给出 了新一代视频编码标准h 2 6 4 a v c 的编码框图。混合编码通过使用变换编码技术 去除图像空间冗余和预测编码技术消除视频序列的时间冗余。下面以h 2 6 4 为例 讨论混合编码方法采用的技术，其它视频编码标准也有类似的结构和技术特点。 一 帧内预测 帧内预测是指利用当前块上方和左侧已编码重建的像素来产生对当前块的 预测，帧内预测利用图像自身的相关性压缩。最早采用帧内预测的编码标准是 h 2 6 3 + ，h 2 6 4 a v c 中对帧内预测方式进行扩展以提高编码效率。 - 帧间预测 基于运动补偿的帧间预测可消除序列图像之间时间上的相关冗余，用运动矢 量来标记当前待编码块的参考块在参考图像中的位置，运动矢量的精度能得到 1 4 像素，亚像素运动矢量对应的参考块需经插值得到。然后计算待编码块与其 4 浙江人学硕 ：学位论文 参考块之间的插值，得到相应的残差数据块。 图1 1h 2 6 4 编码器框图 - 变换和量化 变换编码的基本思想是将空问域里描述的图像，经过某种变换使图像能量在 空间域的分散分布变为在变换域的能量相对集中分布。这样有利于进一步采用其 它的处理方式，如之字形( z i g z a g ) 扫描。h 2 6 4 a v c 将整数变换和量化整合在一 起使用整数运算实现，整数d c t 变换是可逆的，这样可以避免编码器和解码器计 算d c t 精度不同而造成的误差。 - 熵编码 熵编码用于去除编码语法元素在统计意义上的冗余。h 2 6 4 a v c 中采用了从 霍夫曼编码演化而来的u v l c 编码，以及从算法码发展来的c a b a c 编码。两种编 码都可以根据上下文的情况对概率模型或者码表进行更新或者选择，因此被称为 上下文自适应熵编码。 1 3 视频转码技术概述 视频转码技术主要包括：标准间的转换、码率变换、空间分辨率变换和帧率 变换。 - 标准间的转换 不同的标准在具体的语法、码流结构上是有差异的，因此不同标准之问的转 换主要是语法、码流结构上的对应转换。在充分分析不同标准之间异同的基础上， 利用原始码流中的信息可有效提高转码效率。 - 码率转换 国外对转码最早的研究就是从降低原始压缩码流的比特率丌始的，侧重于研 浙江人学硕：l 二学位论文 究如何降低码率以适应传输信道的容量要求。降低码率的目标在于保持低复杂度 和保证尽可能高的质量要求下降低码流的码率。在理想的情况下，降低码率后的 视频流应该具有在同等码率下直接产生的视频同样的质量。目前，码率转换主要 有两种结构：开环结构和闭环结构。 - 空间分辨率转换 空间分辨率转换的目的除了实现有效传输、节省带宽和与特定的编码类级 兼容外，还为了使码流满足用户端显示器分辨率的限制等。最简单的空间分辨率 转码就是完全解码后，在像素域对数据进行下采样，然后再重新编码。为了提高 转码效率，要充分利用输入码流中已有的压缩数据。研究内容主要包括：运动矢 量缩放算法、d c t 域纹理数据下采样、宏块信息的映射处理以及误码扩散的消除。 -帧率变换 帧率变换实际上就是降低或提高视频序列的帧率，减少或增加单位时间内播 放视频的帧数。目前，帧率变换研究的重点帧率降采样技术，这样做的目的在于 适应接收端设备处理能力的局限性，同时也能够减少编码比特率，以适应窄带传 输的要求。帧率变换的研究内容主要包括运动矢量重建及修正、去抖动、误差扩 散( d r i f t ) 的消除等。 1 4 本文主要内容与贡献 1 4 1 主要内容 本文以视频编码理论与视频转码理论为基础，围绕m p e g 一4 到h 2 6 4 的视频 转码技术展丌研究，主要研究的目的是实现将压缩视频码流变换成适合于网络传 输、终端设备要求的各种视频格式，以满足不同应用环境中不同编码标准的数字 视频系统之间的兼容性要求。在视频转码中，遵循的基本原则是在转码后图像质 量损失较小的前提下，如何减少转码的运算量，实现实时性的转码。全文内容安 排如下： 第2 章分为标准间转码和码率转换两部分。在标准间转码部分，首先介绍了 标准问转码的语义转码、运动矢量复用、模式复用和纹理数据复用等关键技术。 然后研究在m p e g - 4 到h 。2 6 4 转码中运动矢量复用与纹理数据复用引起的误差， 并给出量化误差与插值误差的补偿方法。在码率转换部分，首先分析了码率转码 与编码中码率控制的区别和经典码率控制算法，然后研究基于基本单元层的比特 分配策略，并给出实验结果。 第3 章研究的是空间分辨率转码技术。该章首先介绍了传统视频转码中空间 6 浙江大学硕i ：学位论文 分辨率转码的方法和系统结构，然后结合t t 2 6 4 的帧内预测技术与帧问预测技 术，研究帧内( i 帧) 空间分辨率转码和帧间( p 帧) 空间分辨率转码。 在帧内空间分辨率转码中，为了减少候选预测模式的范围，提出一种整数变 换域内的帧内空间分辨率下采样转码快速算法。首先利用h 2 6 4 帧内预测模式具 有方向性的特点，提出整数变换域内的块边缘方向检测方法，来预测块的帧内编 码模式；然后分析了宏块编码的块大小与宏块包含的1 6 个4 4 子块d c 系数方 差间关系的统计结果，在此基础之上，提出根据宏块子块d c 系数方差与阈值比 较的结果来选择块编码大小的算法，并引入“过渡区间”的概念，通过设定“双 重阈值 以减少误判；经统计发现，相邻块之间帧内预测模式具有相关性，论文 给出预测模式相关性判决准则，提出根据己编码相邻块的帧内预测模式预测当前 块的编码模式；有效地避免了模式的搜索。给出纹理相似性的判决准则，根据已 编码的相邻块的帧内预测模式预测当前块的编码模式。 在帧间空间分辨率转码中，研究了下采样后运动矢量的重建与修正问题，针 对m p e g 一4 到h 2 6 4 转码的特点，提出两种支持空问任意比率下采样的宏块编码 模式预测方法，即模式映射法和残差预测法，最后又提出利用映射区域的运动矢 量离散度选择编码模式，进一步缩小了模式遍历的范围，减少了转码的时间。 第4 章主要研究视频时问域变换的转码技术。首先分析丢弃非参考帧帧率下 采样和丢弃参考帧帧率下采样两种方案，在研究丢弃参考帧( p 帧) 的帧率下采样 转码中的运动矢量重建与运动矢量修f 问题的基础上，结合m p e g - 4 到h 2 6 4 转 码的特点，提出一种改进的a d v s 算法。为了提高转码后的图像质量，尽量减少 转码后的码率，本文提出根据当前宏块在原始压缩码流中的编码模式和当i j 块的 参考块在丢弃帧中的编码模式来预测当前块的再编码模式的方法。 第5 章对本论文的工作进行总结并作出展望。 1 4 2 主要贡献： 针对m p e g 一4 至t t 2 6 4 转码中直接复用纹理数据与运动矢量引起的图像“漂 移”现象，分析了运动矢量是半像素精度与1 4 像素精度两种情况下误差累积的 原因，并提出误差补偿的方法，有效地克服了误差的传播，使转码后的图像质量 接近于像素域级联转码的结果。 在帧内( i 帧) 空间分辨率下采样转码中，针对模式全搜索法运算量大这一问 题，根据帧内预测模式具有方向性的特点，提出整数变换域的边缘方向检测算法， 缩小了模式搜索的范围。分析了宏块编码的块大小与宏块包含的1 6 个4 4 子块 d c 系数方差间关系的统计结果，在此基础之上，提出根据宏块子块d c 系数方差 与阈值比较的结果来选择块编码大小的算法，进一步减少了候选预测模式的数 7 浙江大学硕l 学位论文 目，并引入“过渡区间”的概念，通过设定“双重阈值”以减少误判；提出根据 已编码相邻块的帧内预测模式预测当前块的编码模式，有效地避免了模式的搜 索。 在帧间( p 帧) 空间分辨率下采样转码中，提出两种支持空间任意比率下采样 的宏块编码模式确定方法，即模式映射法和残差预测法，减少了候选预测模式的 数目；提出利用映射区域的运动矢量离散度选择编码模式，进一步减少了转码的 时间。 在时间分辨率转码中，分析了丢弃非参考帧( b 帧) 对视频序列连续性的影响。 结合m p e g - 4 到h 2 6 4 转码的特点，改进了现有的a d v s 算法。并提出根据当前 宏块在原始压缩码流中编码模式和当前块的参考块在丢弃帧中的编码模式来预 测当前块的再编码模式的方法。 8 浙江人学硕一 ：学位论文 第2 章标准间转码与码率转换 2 1 标准间转码 视频标准问转码的主要功能是进行语法的转换，使其满足目标压缩标准的要 求。但是由于不同的编码标准采用的编码技术有所差异，所支持的图像类型、宏 块编码模式等也会不同。本节将以m p e g - 4 到h 2 6 4 的转码为例，首先在比较两 种标准差异的基础上，讨论标准问转码的主要问题，包括语义转码、编码模式复 用、运动矢量复用等，最后研究运动矢量复用与纹理复用的标准间转码中误差引 入的原因，并给出误差补偿的方法。 2 1 1 转码器设计准则 在转码器的设计中，要采用以下三个准则： ( 1 ) 应当尽可能利用原始码流中的信息； ( 2 ) 新码流的视频质量应当尽可能高。也就是说，新码流应当比得上根据新标准 对原始视频数据进行编码得到的码流。尤其是，不能忽视由时空误差积累产生的 图像漂移。 ( 3 ) 所需的操作应当尽可能少，以便满足实时系统的要求。 2 1 2m p e g 4 标准和h 2 6 4 标准的比较 转码器的设计要通过分析比较m p e g - 4 与h 2 6 4 两种标准的异同点，来设计 研究视频转码的基本结构。 混合视频编码的基础在于变换编码和预测编码。从表2 1 可以看出，m p e g 一4 标准的a d v a n c es i m p l ep r o f i l e 与h 2 6 4 标准的b a s e l i n e 主要区别如下： ( 1 ) m p e g - 4 采用离散余弦变换( o c t ) ，而h 2 6 4 采用整数变换( i c t ) 。由于变 换域特性不同，在两种标准间转换，需解码至像素域或增加一个变换系数转换模 块实现d c t 系数到整数变换系数的转换； ( 2 ) m p e g - 4 的运动补偿块大小有两种，即1 6 1 6 和8 8 ，而h 2 6 4 运动补 偿块大小有七种，1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 和4 4 ，如图2 1 所示。在两种标准间转码时，涉及到宏块再编码模式确定问题； ( 3 ) m p e g - 4 运动矢量的1 2 像素精度与1 4 像素精度是可选的，而h 2 6 4 运 动矢量精度只有1 4 精度的。运动补偿时，两种标准的亚像素插值方法不同。 9 浙江人学硕十学位论文 表2 1m p e g - 4 标准和h 2 6 4 标准采朋的技术比较 编码技术 m p e g - 4 h 2 6 4 a v c 图像类型 i ，p ，bi ，p ，b ，s i ，s p 编码单元1 6 x1 6 宏块 1 6 x 1 6 宏块 变换 8 8 d c t 4 4 整数变换 - 帧内预测无有 运动补偿块人小8 8 或1 6 x1 61 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 、4 x4 运动补偿精度叫分之一像索 四分之一像素 运动矢量范嘲 可指向参考图像外可指向参考图像外 多帧参考无( 1 个参考帧)有( 最多1 6 个参考帧) 熵编码v l cu v l c 或c a b a c 支持图像格式逐行或隔行于_ i 描图像 逐行或隔行 ：1 描图像 编码方式 帧场白适应帧场白适应 支持图像分辨率从s o c i f 罕4 k 4 k 像素从s q c i f 歪h d t v 去块滤波有( 8 8 块边界，后滤波)有( 8 8 块边界，环内滤波) 1 6 x 1 6 1 6 x 1 6 8 x 8 厂n r 广 1 j 【j a ) m p e g 4 帧间预测模式 1 6 x 88 x 1 6 口目田 ( b ) h 2 6 4 帧h j 预溯模式 图2 1m p e g 一4 与h 2 6 4 帧间预测宏块划分方式示意图 ( 4 ) m p e g 一4 的帧间预测使用单参考帧，而h 2 6 4 最多可以有1 6 个参考帧。 ( 5 ) m p e g 一4 没有帧内预测，而h 2 6 4 使用了帧内预测编码。 2 1 3m p e g 4 到h 2 6 4 转码的关键技术 2 。1 3 1 语义层转换 简单地说，语义层转换就是将待转码的序列头信息转换为所需压缩码流的序 列头信息。语义层的数据靠起始码标识，比较容易从压缩码流中分离出来。此外， 还有一些计算帧率和其它与时间相关的信息码字生成。具体的映射关系如下： 1 0 懈田州日似田 浙江大学硕一i 二学位论文 保持m p e g - 4 视频流的高层语法结构，即序列头的位置不变，g o p 的位置 和结构不变，帧的预测类型不变。 重新划分m p e g 一4 的s l i c e ，默认每一帧为一个s l i c e 。 2 1 3 2 编码模式复用 m p e g - 4 标准的a s p ( a d v a n c e ds i m p l ep r o f i l e ) 帧格式有三种：i 帧、p 帧和 b 帧，宏块编码没有帧内预测，运动补偿块大小有两种，即1 6 1 6 和8 8 。而 h 2 6 4 的b a s e l i n e 不支持b 帧编码，有帧内预测，运动补偿块大小有七种。这 些不同特点都是编码模式复用要解决的问题。 帧模式转换；保持i 帧、p 帧的帧类型不变，而将b 帧转换为p 帧编码。 宏块模式转换；最直接的宏块模式复用方法是：帧内编码宏块采用h 2 6 4 的帧内预测算法重新编码；保持帧间预测运动补偿块划分的大小不变。 即帧间1 6 1 6 模式映射为1 6 1 6 模式，帧间8 8 模式映射为帧间8 8 模式，对于m p e g - 4 码流中的跳过( s k i p ) 宏块，转码时映射为跳过模式 编码，不进行宏块编码模式的选择和运动估计。 2 1 3 3 运动矢量复用 如果通过重新运动估计的方法得到转码的运动矢量，势必带来很大的运算 量。实际上，完全可以重用原始码流的运动矢量信息，加快转码速度。 如果原始码流中运动矢量是1 2 精度的，将运动矢量左移一位，然后在 此基础上进行亚像素修正。当运动矢量指向整像素点时，搜索周围的8 个半像素点，否则，搜索周围的8 个1 4 像素点。 如果原始码流中运动矢量是1 4 精度的，直接重用原始运动矢量。 2 1 3 4 纹理数据重用 由于m p e g - 4 是基于d c t 变换的视频编码而t t 2 6 4 是基于整数变换( i c t ) 的视 频编码，在转码中，如果重用纹理数据，需要将d c t 系数转换为整数变换系数。 目前，对于不同变换域系数已有不少的研究成果瑚3 。 2 1 4 运动矢量与