（信号与信息处理专业论文）视频编码流分辨率变换技术和转换编码的研究.pdf

t r l 、 摘要 视频编码流的转换编码( t r a n s c o d i n g ) 技术是数字视频通信领域中出现的新课 题。f 是指对已经压缩编码的视频码流进行再处理，使经过处理后的数据符合接 收端的要求。主要包括三种情况：码率变换、分辨率变换和句法转换。需要进行 转换编码的原因主要有以下几点：( 1 1 目前在图像通信领域存在多种流行的国际 标准，不同国际标准的编码码流的句法格式不同；( 2 ) 现实的网络环境要求进行 不同的编码：( 3 ) 解码器资源是有限的，因此一个解码器通常只能对码率在一定 范围内、并具有指定的分辨率的视频编码码流有效解码：( 4 ) 监视器的显示格式 t l 编码图像序列的格式不同；( 5 ) 另外一些特殊应用的需求，如在数字视频磁带 求像机( d i g i t a lv t r ) 上的应用。j b 作为对视频编码流转换编码研究的基础，文中先对所涉及的几类编码标准进 j 7 确要的介绍。接着对转换编码这一课题的内容与发展进行了分析。考虑到分 辨率f 变换解码技术，不仅本身极具实用价值，而且可将其看成是分辨率下变换 转换编码的一部分，因此本文对m p e o 一2 视频编码流分辨率变换进行了比较详 尽的研究，对所提出的频率合成基础上的改进方案进行了对比实验，并对分辨率 变换过程中所遇到的其它一些问题进行了分析和研究。 髓着课题的进展，根据需要，文章进一扬对m p e g 4 视频编码标准进行了 调研，通过对m p e g 4 标准特别是v m 模型的深入钻研和思考，提出了m p e g 一2 到m p e g 4 转换编码的大致方案。根据m p e g 4 基于对象的编码原理选择适当 的类和级别，并根据m p e g 一2 、m p e g 一4 码流语法意义的对应，进行语法转换。 针对m p e g 一4 标准提供的运动预测模式，在由m p e g 一2 空间分辨率下变换后将 过去对应每个宏块的运动矢量对应到新的块中，以简化这类转换的复杂性。 综上所述j 本文对数字电视系统中的视频解码算法和视频编码流的转换编码 技术进行了比较系统的研究，提出了一些行之有效的算法。这些算法和技术具有 一定的先进性和实用性。本文提出的算法是在v c 6 0 编译环境下，用c 语言实 现，模块性好，易于调试。7 r 关键词：数字电视 视频压缩编码、 转换编对 分辨率下变换。 分辨率下变换转换编码 - - ， 、 a b s t r a c t t r a n s c o d i n go fc o m p r e s s e dd i g i t a lv i d e os t r e a mi sa n e w e m e r g i n gr e s e a r c ht o p i c i nt h ef i e l do fd i g i t a lv i d e o c o m m u n i c a t i o n s t r a n s c o d i n g c a r lb ed e f i n e da st h e c o n v e r s i o no f c o m p r e s s e dv i d e os t r e a mi n t oa d e s i r e df o r mm e e t i n gt h er e q u i r e m e n t s o ft h er e c e i v i n gt e r m i n a l i tm a i n l yi n c l u d e st h r e ei n s t a n c e s ：r a t ec o n v e r s i o n ，r e s o l u t i o n c o n v e r s i o na n ds y n t a xc o n v e r s i o n t h er e a s o n sw h y c o m p r e s s e db i t s t r e a mn e e d st ob e c o n v e n e da r e a s f o l l o w s ：( 1 ) d i f f e r e n t s t a n d a r d s y n t a x e s ( 2 ) c h a n g i n g n e t w o r k e n v i r o n m e n t s a d o p t i n g d i f i e r e n ts t a n d a r d s ( 3 ) c o n s t r a i n t so nd e c o d e rr e s o u r c e s ( 4 ) d i f f e r e n c e sb e t w e e nt h ef o r m a to fd i s p l a yf a c i l i t i e sa n dt h ef o r m a to fc o d e di m a g e s e q u e n c e s ( 5 ) s p e c i a la p p l i c a t i o nr e q u i r e m e n t s ， a st h eb a s i so f t h e f o l l o w i n gr e s e a r c ho nt r a n s c o d i n g ，s e v e r a lr e l a t e dv i d e oc o d i n g s t a n d a r d sa r ei n t r o d u c e di nt h i st h e s i sf i r s t ，a n dt h e nt h ec o n t e n ta n dd e v e l o p m e n to f t r a n s c o d i n ga r ea n a l y z e d d o w n c o n v e r s i o nd e c o d i n gi sn o to n l yv e r yu s e f u li ni t s e l f , b u ta l s oo n ep a r to f r e s o l u t i o ns c a l i n gt r a n s c o d i n g t h e r e f o r e ，i ti so l l ei m p o r t a n t p a r to f t h i sr e s e a r c hw o r k s o m em e t h o d si n c l u d i n gt h em o d i f i e df r e q u e n c ys y n t h e s i sa r e e m u l a t e d a n ds o m eo t h e r p r o b l e m so f r e s o l u t i o ns c a l i n ga l ea l s od i s c u s s e d t h es t a n d a r dm p e g 一4i s i n v e s t i g a t e da l o n gw i t ht h ep r o c e e d i n go f t h i sp r o j e c t a f t e ra s s i d u o u s l ys t u d y i n go ft h es t a n d a r d ，e s p e c i a l l yt h ev m ，ar o u g hs c h e m eo f t r a n s c o d i n gf r o mm p e g 一2t om p e g 4i sb r o u g h tf o r w a r d a c c o r d i n gt ot h eo b j e c t - b a s e dp r i n c i p l eo fm p e g 一4 ，t h ea p p r o p r i a t ep r o f i l ea n dl e v e la r es e l e c t e d a n dt h e s y n t a xc o n v e r s i o ni sa l s oc o n d u c t e do nt h eb a s i so f t h es y n t a xm a t c h i n gb e t w e e nt h e t w os t a n d a r d s a n dan e wm e t h o do fm v m a t c h i n gi s i n t r o d u c e dt o s i m p l i f yt h e c o n v e r s i o n i nc o n c l u s i o n ，t h es y s t e m a t i cr e s e a r c ho nt h em p e g 一2d e c o d i n ga n dt r a n s c o d i n g o fc o d e dv i d e ob i t s t r e a mi sc a r r i e do u ti nt h i st h e s i s s e v e r a le r i e c t i v ea l g o r i t h m sa r e p r e s e n t e d t h e s ea l g o r i t h m sa r en o to n l yn o v e l 。b u ta l s op r a c t i c a l w eb e l i e v et h a tw i t l l t h ed e v e l o p m e n to f d i g i t a lt vs y s t e m ，t h e s et e c h n i q u e sm u s th a v eb r o a da p p l i c a t i o n p r o s p e c t s a l lt h ea l g o r i t h m sa r ei m p l e m e n t e d w i t hc l a n g u a g e0 n v c 6 0c o m p i l e ra n d t h em o d u l a r d e s i g ni sa d o p t e d ，w h i c hl e a d st ot h ee a s ym o d i f i c a t i o n k e yw o r d s ：d i g i t a lt v v i d e o c o m p r e s sc o d i n g t r a n s c o d i n g d o w n - c o n v e r s i o n d e c o d i n g r e s o l u t i o ns c a l i n g 第一章多媒体数据压缩蝙码标准 第一章多媒体数据压缩编码标准 世纪之交的年代，是网络的时代，是信息的时代，是多媒体的时代。从2 0 世纪8 0 年代开始，世界上已有几十家公司纷纷投入到多媒体计算机系统的研制 和开发1 ：作。9 0 年代初已有不少诱人的多媒体产品问世。 i n t e r n e t 技术的迅猛发展与普及，推动了世界范围的信息传输和信息交流， 波澜壮阔的信息化浪潮f 在席卷全球。 在色彩缤纷、变幻无穷的多媒体世界中，用户可以选择产品，也可以自由 地组合、装配来自不同厂家的产品部件，构成自己满意的系统，这就提出了一 个不同厂家产品的兼容性问题，因此需要一个全球性的统一的国际技术标准。 国际标准化协会( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，i s o ) ，国际电 子学委员会( i n t e r n a t i o n a le l e c t r o n i c sc o m m i t t e e ，i e c ) ，国际电信联盟( i n t e m a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，i t u ) 等国际组织，于9 0 年代已组织制定了许多重要 的多媒体数据压缩标准。 1 1j p e g j p e g 是j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ( 联合图像专家组) 的缩写词。它 是国际上彩色、灰度、静止图像的第一个国际标准。j p e g 标准是一个使用范围 广泛的通用标准。它不仅适于静止图像的压缩，而且也常用于电视图像序列的 帧内图像的压缩编码。j p e g 的目的是为了给出一个适用于连续色调图像的压缩 方法，使之满足图像质量、压缩比以及计算复杂性控制的要求。j p e o 的算法具 有以下四种操作方式： 1 顺序编码：每一个图像分量按从左到右、从上到下扫描，一次扫描完成 编码。 2 累进编码：图像编码在多次扫描中完成。累进编码传输时间长，接收端 收到的图像是多次扫描由粗糙到清晰的累进过程。 3 无失真编码：这种方法能保证解码后完全精确地恢复源图像采样值，其 压缩比低于有失真压缩编码方法。 4 分层编码：图像在多个空间分辨率进行编码。当信道传送速率慢，接收 端显示器分辨率也不高的情况下，只需做低分辨率图像图像解码，不必进行高 分辨率解码。 j p e g 图像压缩标准，对多媒体数据压缩技术，起了积极的推动作用。实践 证明j p e g 标准不仅适用于静图像压缩，在视频图像数据压缩中也很有效。 第一章多垛体数据压缩蝙码标准 1 2m p e g 一1 m p e g 是m o v i n g p i c t u r ee x p e r t sg r o u p ( 运动图像专家小组) 的缩写词。m p e g 号家小组的研究内容不仅仅限于数字视频压缩，音频及音视频的同步问题也要 涉及。m p e g 1 是将数字视频信号和与其相伴随的音频信号在一个可以接受的 质量下压缩到码率约为1 5 m b s 的一个m p e g 单码流。实际上，m p e g 一1 标 准，包括三个部分，视频、音频和系统。 一、m p e g 一1 视频压缩策略 m p e g 一1 视频压缩技术是针对运动图像的数据压缩技术。为了提高压缩比， 帧内、帧间图像数据压缩技术必须同时使用。帧内压缩算法与j p e g 压缩算法 大致相同，采用基于d c t 的的变换编码技术，用以减少空域冗余信息；帧问压 缩采用运动补偿技术用以减少时域冗余信息。 1 去时域冗余 由于m p e g 对视频信号作随机存取的重要要求，和通过帧间运动补偿可有 效地压缩数据比特数，m p e g 采用了三种类型的图像：帧内图( i n t r a p i c t u r e s ，i ) ， 预测图( p r e d i c t e dp i c t u r e s ，p ) 和双向预测图( b i d i r e c t i o n a lp r e d i c t i o n ，b ) 。帧内图 可提供随机存取的存取位置，但压缩比不大：帧间插补可减少时域的冗余信息。 帧间预测编码时，要用到先前的图( 帧内图或预测图) ，当前的预测图通常又作 为后面的预测图的参考值；双向预测图的数据压缩效果最显著，但是它在预测 时需要先前和后续的信息，另外，双向预测图不能作为其他图的预测参考图。 帧内图( i ) 和预测图( p ) 及双向预测图( b ) 沿时间轴上的顺序排列如下： i b b p b b p b b p b b p b b i b b p b b p b b p b b p b b m p e g 中的这些图的组织结构是十分灵活的，它们的组合可由应用规定的 参数决定，如随机存取和编码延迟等。 ( 1 ) 运动补偿 运动补偿是减少帧序列冗余信息的有效办法。运动补偿是基于1 6 x1 6 子块 的算法，每个子块可作为一个二维的运动矢量处理。运动补偿实际上是一种广 义的预测技术，它适用于单纯性预测( 因果预测) 和非因果预测( 插补) 。运动 补偿预测以子块( 1 6 1 6 ) 为预测单元，把当前子块认为是先前某一时刻图像子 块的位移，位移的内容包括运动方向和运动幅度。所以运动补偿是用先前的局 部图像，来预测当前的局部图像，1 6 1 6 的运动矢量块是预测误差，它必须进 行编码、传送，供解码时恢复图像用。 运动补偿中的非因果性预测，即插补编码是基于时间轴上的多分辨率技术。 是对时间轴( 帧序列方向) 方向上低分辨率子信号进行编码。比如通常仅对帧 率为1 2 ( 1 5 f p s ) 或帧率为1 3 ( 1 0f p s ) 的低分辨率图像进行编码，然后作图 第一章多媒体数椐压缩蝙码标准 3 图像插值及附加校正，最后得到全分辨率的图像信号。 运动补偿插补编码也叫做双向预测编码。通过双向预测编码，可以获得高 的压缩比。个电视图像的帧序列中，不能全部是插补图b ，b 网必须由参考 图进行插补，参考图可以是帧内图( i ) 或预测图( p ) ，b 图不能作参考图。在两 个参考图之间出现双向预测图b 的频度是可以选择的。当增加参考图之间b 图 数目时，将会减少b 图与参考图之间的相关性。b 图数目的选择与被编码的图 像景物有依赖性，对大多数景物来说，参考图以大约十分之一秒的洲隔隔丌较 为合适。由于i 图、p 图、b 图三者间存在因果关系，例如第4 帧的p 图是由 第1 帧的i 图预测；第l 帧的i 图和第4 帧的p 图共同预测出它们之间的双向 预测b 图，所以接收端解码器的输入( 发送端编码器的输出) ，不能按照时间 的顺序，而是按照以下的排列顺序： l p b b p b b p b b p b b i b b 这种帧图排列顺序，完全符合解码需要。解码器的输出，又恢复为编码器 输入顺序显示。 f 2 ) 运动矢量 m p e g 标准中，运动补偿估算是基于1 6 x1 6 的块为单元表示的。这样的补 偿单元称为宏块。宏块有不同的类型。比如在双向预测图( b ) 的每个1 6 1 6 的宏 块，可以是帧内型、前向预测型、后向预测型或者是平均型的。对于一个给定 的宏块，其预测器的表达式，取决于参考图( 前向和后向) 和运动矢量。 不同区域宏块的运动矢量，可有不同的选择，其选择范围可以是基于帧间 图像的时间分辨率，块内图像的时间分辨率，以及帧序列图像的性质等。当两 个1 6 1 6 宏块所包含的画面内容在待送中完全静止不动，那么宏块的运动矢量 为零( 宏块坐标没有改变) 。对于每个1 6 1 6 宏块的运动信息与其相邻块之间 可作不同的编码处理。采用宏块运动补偿方法，可减少电视图像帧间完整图像 传送帧数，去除冗余信息，获得高压缩比和良好重建图像质量。 ( 3 ) 运动估计 运动估计涉及到从视频序列中抽取运动信息所使用的一整套技术。m p e g 标准说明了怎样表示运动信息，根据运动补偿的类型：前向预测、后向预测和 前后向预测，每个1 6 x1 6 的宏块中可包含一个或两个运动矢量，然而m p e g 标准并没有说明运动矢量的求取方法。 运动估计的算法很多，但主要有两类典型的运动估计算法：像素递归法( p i x e l r e c u r s i v ea l g o r i t h m ) 和块匹配算法( b l o c km a t c h i n ga l g o r i t h m ) 。像素递归法用于 估计单个像素的运动，块匹配用于估计给定大小的像素块的运动。通常像素递 归法比块匹配法估计精度高，对多运动画面的适应性强，但它的主要缺点是算 法复杂、运算量大、难以用硬件实现，另外容易受噪声影响。而块匹配运算简 单，易于用硬件实时处理，所以具有较大的实用意义。 第一章 多媒体数据压缩蝙码标准 电视图像的帧内图像和预测误差信号，都有很高的卒域冗余信息。m p e g 聚j j 了基j - _ 块的变换编码技术，离敞余弦变换( d c t ) 编跗有l ! j ：| 确的优，、：i 舸j 钟f 对 简荦的实现方法，d c t 技术与视觉加权标量量化及行程编码和熵编码技术足被 优先考虑的变换编码技术，这一点与j p e g 以及c c i t th 2 6 1 标准中处理方法 量化器结合游程编码使大部分数据得以压缩，通过量化器的量化操作，使 实体分开，防止语意模糊，并减轻解码过程的负担。其分层结构如表1 1 和图1 - 1 所示。共包括六层，每一层支持一个确定的函数或者是一个信号处理函数( d c t , 运动补偿) ，或者是一个逻辑函数( 同步，随机存取点) 等。 r 下= 。= ：二i 叫 图卜1m p e g 视频编码分层结构 表1 - 1m p e g 视频位流语法层次 p i x e l s 视频序列层 图组层 图层 条层 宏块层 块层 ( 随机存取单元：上下文) ( 随机存取单元：视频编码) ( 基本编码单元) ( 重同步单元) ( 运动补偿单元) ( d c t 单元) 第一章多媒体敷据压缩蝙码标准 1 3m p e g 。2 与m p e g 1 标准相同，m p e g 一2 标准也包括系统、视频和普频等部分；它 克服了m p e g l 不能满足闩益增长的多媒体技术、数字电视技术对分辨率和传 输率等方面的技术要求的缺陷。m p e g 一2 主要是为了适应数字电视节目的生成、 编辑、储存、恢复、传输和显示的综合要求而研发的。该标准提供了一套视频 和音频压缩以及相关数据的复杂的复接传输方法。在m p e g l 中是没有电视帧 的概念的，只支持逐行扫描，不支持隔行扫描：而在m p e g 一2 中，针对电视系 统常用的隔行扫描格式，将图像分为“帧图像”和“场图像”，对于“帧图像”， 运动补偿和离散余弦变换( d c t ) 既可以按帧格式进行，也可以按场格式进行， 编码效率显著提高。 为了使标准具有足够的灵活性，以适应不同场合的需求，保证编解码系统 具有较高的性价比，m p e g 一2 提出了类( p r o f i l e ) 和等级( l e v e l ) 的概念。 所谓类是指m p e g - 2 句法的一个子集，它是按视频编码技术的简单还是复 杂而确定的：对于每一类，按其编码参数所受的不同限制，即由图像格式的简 单还是复杂，把类进一步划分为不同的等级。m p e g 一2 标准中规定了5 类4 个 级。需要指出的是类和级之间并不是任意组合的，在实际应用中类和等级可能 的组合如表l 一2 所示。 简单类的特点是不支持双向预测帧( b 帧) 、采样格式为4 ：2 ：0 、不支持任何 分层编码方法，只定义主等级。简单类提供了一种低延时编码模式。 主类的特点是支持i ，p ，b 三种图像帧，采样格式为4 ：2 ：0 ，不支持任何分层 编码方法。在该类中定义了全部四个等级。主类是m p e g 2 中最令人感兴趣的 一个类，它在低等级上达到了m p e g 1 质量的图像，在主等级上达到了现行广 播电视的质量，在高等级上处理h d t v 图像。它是应用最广泛的类。主类 主 表1 - 2m p e g 一2 实际应用点 s i m p l e m a i ns n rs c a l a b l e s p a t i a ls c a l a t ；l eh i g h p r o f i l ep r o f i l ep r o f i l ep r o f i l ep r o f i l e h i g hl e v e l xx h i g h - 1 4 4 0l e v e l xx m a i nl e v e lxxxx l o wl e v e ixx 注：x 是坐标点，表示在实际应用中等级和类可能的组合 等级( m p m l ) 适应于将现行p a l n t s c 电视信号数字化后的压缩编码。 信噪比分层类的特点是支持信噪比分层的编码，并定义了低等级与主等级。 该类的码流由两层组成。对于低等级而言，其基本层码率3 m b s ；两层码率之 和4 m b s 。对于主等级而言，其基本层码率1 0 m b s ；两层速率之和1 5 m b s 。 第一章多媒体数据压缩蝙码标准 窄问分辨率分层类只定义了1 4 4 0 高等级，其比特流最多可包含层。摧本 层速字1 5 m b s ：前两层速率之和4 0 m b s ；三层速率之和6 0 m b s 。 高级类定义了主等级、1 4 4 0 等级和高等级，其采样格式为4 ：2 ：0 或4 ：2 ：2 。 该类的比特流最多可包括三层，以主等级为例：其基本层速率4 m b i t s ：前 两层速率之和1 5 m b s ：三层速率之和2 0 m b s 。 为了支持m p e g 一2 的信噪比分层类、空间分辨率分层类和高级类的句法和 定义的功能，m p e g 2 采纳了分层编码体系( h i e r a r c h i c a lc o d i n g ) ，其中的分层 编码工具有四种。 1 、空间分层：提供空间分辨率不同的图像。 2 、时阳j 分层：提供空间分辨率相同，但帧速率不同的视频信号。 3 、信躁比分层：提供具有相同空问分辨率，但编码质量不同的视频码流。 4 、数据划分：将编码比特流分成两个优先级不同的部分。 除上述标准外，9 6 年i t u 批准了公用电话交换网( p s t n ) 上多媒体可视电话 标准h 3 2 4 ，其中视频压缩标准称为h ，2 6 3 ，是在h 2 6 1 的基础上引入m p e g 1 2 中比较成功的技术和其它的一些新技术，提高了视频编解码器的性能。 1 4m p e g 4 m p e g 一4 的初衷是针对视频会议、视频电话的超低码率编码，但在调查过 程中m p e g 感受到了两大变化，并据此立即修改计划，制定现在意义上的 m p e g 一4 。两大变化是： 物质基础变化：高能通用芯片性价比的提高使得基于软件平台的压缩编 码方法具有使用可能；对基于对象压缩编码方法的研究掀起了热潮。 应用需求的变化：对多媒体信息，特别是视频信息的应用要求由播放型 转向基于内容的访问、操作型。 这意味着，需要将基于内容的检索与编码结合起来考虑，在压缩数据中就 应该有描述视频内容的信息，从而使对多媒体信息的内容的访问可以直接针对 压缩数据进行，这种压缩编码方法就叫做基于内容的压缩编码方法，这主要是 针对应用来定义的一种概念。新的编码方法可以基于通用芯片，打破了原来压 缩编码方法基于硬件的限制，可以引入涉及到图像分析的较复杂的算法。于是 m p e g 一4 新的目标就定为：支持多种多媒体应用( 主要侧重于对多媒体信息内 容的访问) ，可根据应用要求不同来现场配置解码器。编码系统是开放的，可以 随时加入新的有效的算法模块，这对于以前基于专用硬件的压缩编码方法都是 不可想象的。 m p e g 4 标准的编码是基于对象的，这样就便于操作和控制对象，而传统 第一章多媒体数据压缩蝙码标准 j _ 1 i 缩方法是基于帧的，显然无法对对象操作。由于传输带宽的限制，必须对瓜 缩码率进行控制，这就直接影响图像的质量。过去在比特率低时，整- 陨图像的 质量都受影响，没有灵活性可言；而m p e g 4 中对比特率控制可以基于对象， 即使在低带宽时，也可以利用码率分配方法，对于用户感兴趣的对象可以多分 配一些比特，使图像主观质量得到保证。 为了支持前面提到的各种功能：高效压缩、基于内容交互( 操作、编辑、 访问等) 以及基于内容分层扩展( 空域分层、时域分层) ，必然要求m p e g 一4 要以基于内容的方式表示视频数据。因此，m p e g 4 中引入了v o ( v i d e oo b j e c o 的概念来实现基于内容的表示。v o 的构成依赖于具体应用和系统实际所处环 境：在要求超低比特率的情况下，v o 可以是一个矩形帧( 即传统m p e g l 、h 2 6 3 中的矩形帧) ，从而与原来的标准兼容：对于基于内容的表示要求较高的应用来 说，v o 可能是场景中的某一物体或某一层厩，如新闻节目中的解说员的头肩 像：也可能是计算机产生的二维、三维图形等。每个v o 由三类信息来描述： 运动信息、形状信息、纹理信息。 图1 2 为m p e g 4 的编码器框图。第一步是v o 的形成( v of o r m a t i o n ) ，先 要从原始视频流中分割出v o ，之后由编码控带l j ( c o d i n gc o n t r 0 1 ) 切制为不同v o 以及各个v o 的三类信息分配码率，之后各个v o 分别独立编码，最后将各个 v o 的码流复合( m u x ) 成一个码流。其中，在编码控制和复合阶段可以加入用 户的交互控制或由智能化的算法进行控制。 _ 一v ol i 竺! ! 坐l 一一v o p 1 l 一 一1c o d i n g 广。 m u x 一 l i c o d i n g i 。-i 。 图1 - 2m p e g - 4 的编码器框图 1 5m p e g 7 m p e g 一7 正式名称叫做“多媒体内容描述接1 3 ”( m u l t i m e d i ac o n t e n t d e s c r i p t i o ni n t e r f a c e ) ，它为各种类型的多媒体信息规定一种标准化的描述，这 种描述与多媒体信息的内容本身一起，支持用户对其感兴趣的各种“资料”的 快速、有效的检索。 第一章多媒体数据压缩蝙码标准 各种类型的信息的标准化描述可以分成一些语义上的层次。以视频资料为 例：较低层次的描述就是颜色、形状、纹理、空间结构等信息；而最高层次的 语义描述信息可以是“画面中有一只棕色的狗在左边，而一个蓝色的球稿i i ，边”。 也可以有介于两种层次之间的中层语义描述信息。同样的内容根据小 4 的应用 领域要求，可以携带不同类型的描述信息。 1 6 本文内容简介 论文的主要工作就是结合上述多媒体数据压缩编码标准，对编码视频信号 的空间分辨率变换以及标准间的转换进行深入研究。下面先对本文后续章节做 个简要的介绍。 第二章对目前转换编码的情况做了大致的介绍，并对随着认识的进步、标 准的更新所带来的新内容进行了讨论。 第三章对分辨率变换进行了研究，分别对空间分辨率下变换和时问分辨率 下变换进行了仿真实验。 第四章根据课题的进展，对m p e g 4 标准进行了比较详尽的分析。 第五章对m p e g 2 和m p e g - 4 两类标准进行了初步探讨。 第二章转换蝙码技术的研究 第二章转换编码技术的研究 2 1引言 目前，a t s c 和d v b 两种数字电视标准的视频压缩部分都是m p e g 一2 标准 的一个子集。m p e g 通过提供多种“类”和“等级”来覆盖尽可能多的应用领 域，但目前真正得到广泛重视和支持的主要是主类。m p e g 一2 提供了分层编码 工具，支持一些较为复杂的应用，但是受编解码器复杂度的制约，分层编码的 层数有限，在很多情况下无法与数字电视格式和传输信道特性的多样性相匹配。 在视频点播应用中，分层的特点限制了用户的选择，并且可能与未来的网络不 能很好地适应，比如利用移动网低码率传送视频。为解决这类问题，近年来多 种视频转换编码技术得到了广泛研究。解码器与编码器级连，通过避免占编码 器6 0 7 0 运算的运动估计，在现有条件下转换编码的软件实现是可行的。对于 新的视频标准m p e g 4 ，它允许将任意形状对象做为独立的视频面进行编解码， 在收端，视频对象重新构成对象或场景，对其进行转换既具有灵活性同时也增 加了转换的复杂性。而由于不同的标准适用于不同的网络情况，特定情况下异 类码流间的转换也就具有重要的现实意义。 2 2m p e g - 2 基于矩形块码流的转换编码 2 2 1 转换编码技术的发展 视频编码流的转换编码( t r a n s e o d i n g ) 是近年来数字视频通信领域中出现的新 研究课题，它是指对已经压缩编码的视频码流进行再处理，使经过处理后的数 据符合接收端的要求。 主要分为以下三种情况： 1 、视频编码流码率变换； 2 、视频编码流分辨率转换编码； 3 、视频编码流句法转换编码。 在三种情况中：码率变换是为适应不同的带宽要求：分辨率转换也可以是 为适应带宽的要求，不过主要是针对用户解码器的一些局限性，比如处理能力、 存储能力以及显示器格式限制等：为保证异类网络间信息交流，要求进行协议 层的语法转换，为保证接收机的兼容性，也需要进行码流句法的转换。 第二章转换编码技术的研究 国外对转换编码的研究可以追溯到1 9 9 4 年，在i e e e 第一届图像处理国际 会议( i c i p 9 4 ) 上，文献f 1 1 通过对采用数据划分工具的m p e g 一2 分层编码方法 进行了研究，采用了拉格朗日方法对d c t 系数的截取进行率失真优化，这，r 以 看成是对采用频率截除方式来实现m p e g 一2 编码视频流码率变换的研究。此后， 对转换编码器的结构和码率控制算法的研究广泛地展开，其中许多方法虽然具 有比较好的效果，但考虑到实时性以及复杂程度的要求，提出的许多码率控制 算法并不具备实用性，当然其理论价值仍应肯定。 视频编码流码率变换主要涉及两个问题：码率变换器的结构和码率控制算 法。与直接编码所采用的码率控制不同，比较理想的转换编码应利用输入视频 编码流中的数据来提高码率变换的码率控制算法性能，并根据不同的应用场合 ( 传输网络中和视频服务器与网络接口处) ，采取不同的码率控制算法。比如： 针对大规模动态服务系统( 如视频点播系统) 对系统资源( 服务器内部数据传 输速率、存储器的容量、传输信道的带宽等) 动态分配的需求，采用帧存受限 条件下码率变换结构，其特点是支持存储资源动态分配，并且编码图像质量随 配置帧存储器容量的增加呈单调递增的关系。这种结构为系统在可用存储容量 小于一个图像帧存的情况下实现高质量的码率变换提供了一种有效的途径。 相比之下，国外对视频编码流的分辨率转换编码的研究较晚。直到1 9 9 8 年， 文献 2 在对基于h 2 6 3 标准的视频编码流的转换编码的研究中，才第一次涉及 到视频编码流的空间分辨率转换技术，但是其中对低分辨率图像重新编码使用 的运动矢量，只是简单地从四个相关高密度运动矢量中选择一个，然后除以2 ， 因此，帧间预测的效果较差。 从离散余弦变换问世以来，它在图像处理，尤其是图像压缩中获得了广泛 的应用。在d c t 域进行图像的滤波、抽样运算的技术，对编码视频流的分辨率 转换编码而言，是非常重要的。归纳起来，离散余弦变换域图像分辨率下变换 的方法大致有三类：图像子块内滤波下变换、图像子块间滤波下变换和线性滤 波下变换。可以证明若滤波器的冲激响应是实偶对称的，则d c t 具有与d f t 类似的“频域相乘一时域卷积”特性，因此图像的滤波可以直接在频域实现。 考虑到在编码视频流分辨率下变换解码过程中，解码运算( 反量化、i d c t 和运 动补偿) 与分辨率下变换运算要完全并行地进行的需求，图像的滤波和抽样通 常只能在一个宏块( 4 个8 8 图像块) 内进行，因此提出了d c t 频率合成技术， 即由四个8 x8 d c t 图像块合成一个1 6 1 6 图像块，然后再进行滤波、抽样运算。 通过增加变换图像块的尺寸，通常可以提高分辨率下变换处理的质量。同样， 对d c t 域频率截除，也可以采取变换的i d c t 核的方法来实现【3 】，所得图像质 量并没有明显恶化，而计算量却大大降低了。 第二幸转挟编码技术的研究 2 2 2 转换编码中的运动估计 当前视频压缩技术主要针对三种类型的冗余，即通过d c t 对空间冗余的处 理，通过运动补偿预测编码对时间冗余的处理以及通过统计编码去掉统汁冗余。 通常对于从参考帧中提取的运动补偿块差值进一步进行d c t 变换，去空问冗余 后传输。 运动估计就是从参考帧中寻找当前宏块最佳匹配运动矢量的过程，而运动 矢量就是从最佳匹配宏块到当前宏块的位移量。运动估计以亮度块为参考，通 常是以相应像素的绝对差值和( s a d ) 为判断依据。具有最小s a d 的块被认为是 最佳匹配块。当前宏块的运动矢量参考下式： ( ，) = a r g ，m 媳删d r ( 小，厅) ( 2 1 ) m 翩d ，( 脚，丹) = 防( ，) 一彤( f + 脚，+ 丹) i ( 2 2 ) j 这里m 和n 分别为匹配块的水平和垂直分量，咩( f ，) 和r # ( f ，) 分别表示当前 帧和参考帧的像素，上标c 和p 表示当前帧和过去参考帧。下标f 表示图2 1 中转换编码器中的前端编码器，后面提到的下标s 表示转换编码器。 嶝_ 。丽。带2 厂 卜。r = = = l j i a 一 一鹰 b - 匝m 丑厂 7 增) i7 凹7 di r 卤 麻 ； 卤 立 l l i d c t t 爪心凛 肜 埋感1 l叫习剧。 i i r ， l 、第二级编码 图2 - 1 级联转换编码器结构 图2 1 描述了一个级联转换编码器的结构，为简化起见将运动估计块略去。 由于输出码率低于输入码率，转换编码器中q 2 的量化步长比q 1 的大，转换编 码器中，最优运动矢量可以通过重新进行运动估计求得。 ( q ，o y ) - a r g ，m 啦，s a d ，( m ， ) ( 23 ) mn s a d a m ，胛) = l 弓( ，) 一r p ( i + m ，+ 月) i ( 24 ) ， ， 由图2 1 可以知道，前端编码器中的重建图像与转换编码器中的当前输入帧 相同，即尺# ( f ) = 掣( f ，j ) ，r ；( f ，j ) = 髟( f ，j ) ，这样l h ( 2 4 ) 式得到： 第二章转换编码技术的研究 s a d 。( m ，月) = k ( f ，) 一r 知+ m ，j + 月) i ， mn = 阿( f ，) _ r f ( f + m ，+ ”) + 岔，( f ，) 一鹫( f + m ，+ 月) i ( 2 5 ) ， ， 其中c ，( f ，) = r ；( f ，j ) 一巧( f ，j ) ，：( f ，j ) = r ? ( ，j ) 一只”( f ，j ) 式( 2 5 ) e e ，巧( f ，j ) 一r ? ( f + m ，+ 月) 是用于在式( 2 2 ) 中i 端编码器求输入运 动矢量时计算s a d 的项。0 ( f ，_ ，) 表示由前端编码器量化q l 导致的当前帧的 重建误差，趟( f ，) 表示由第二个编码器量化q 2 导致的过去帧的重建误差。从 式( 2 5 ) ，当町( f ，) 一雠( f + m ，+ n ) 可忽略时，执行新的运动估计将得到与输入 运动矢量完全相同的运动矢量，此时，输入运动矢量是最优的。然而，由于该 项并不总能忽略，因而量化误差导致这类运动矢量并不是最优的。 尽管也可以由新的运动估计来得到最优的运动矢量，但考虑到计算复杂性， 通常多数转换编码器采用重用输入码流中的运动矢量的方法，其输出码流质量 也被认可。但是仿真结果表明，简单地重用已有运动矢量的方法比重新进行新 的运动估计所得到的图像质量有较大恶化。 通常可以认为文献 1 2 1 由输入码流中直接得到的运动矢量偏离最优值，而在 大多数宏块中，这个偏差属于一个较小的范围，最优运动矢量通常临近从输入 码流中得到的运动矢量。因此，最优运动矢量可以在已有运动矢量的小范围内 通过最优化得到。 为了对输入运动矢量进行优化，首先定义一个基本运动矢量( 盈，b 。) ，它表 示由输入码流中得到的运动矢量。一个差分运动矢量( d 。，d 。) 在由基本运动矢 量指向点周围的新的搜索窗s 8 内进行估计。 ( q ，b ) - a r g ( 。m 鄙i n 。黝珐 ( 2 6 ) s a d r = 峙( f ，) 一群( f + b ，+ 啪，+ b ，+ n ) i ( 2 7 ) j 新的搜索窗s 8 可以比全像素搜索时的搜索窗s 小很多，而得到的视频质量非常 接近于全搜索。 2 3 异类码流问的转换编码 同类码流的转换编码已开展了较多的研究，如：m p e g 一2 、h 2 6 1 、h 2 6 3 。 异类码流间的转换编码研究也已启动，其部分推动力来源于对一种解码器与其 它码流格式的兼容性要求，如：h 2 6 3 与m p e g 2 ；以及低带宽、恶劣环境下传 输视频数据的需要，比如移动网络、因特网等环境。文献 4 】中对异类多媒体网 第二章转换编码技术的研究 络的信息交互m p e g 一4 与h 2 6 3 的转换编码进行了分析。两类标准语法l 有 定的区别，实验结果表明由于采用了高质量的预测等因素，转换编码器所得到 的解码图像峰值信噪比( p s n r ) 比完全解码后再编码要高。 m p e g 一2 在数字电视领域的普及，形成了巨大的数字基础设施市场，带来 了大量的广播质量的节目；m p e g 一4 则广泛应用于移动多媒体通信，两者的结 合产生了了新的要求。国外公司已经丌始利用现有数字基础设施，丌发可应用 于监控系统的m p e g 一2 到m p e g 4 的转换编码。 2 4m p e g 4 转换编码 转换编码控制 图2 - 2 利用元数据自适应转换编码 出 与过去的一些标准相比，m p e g - 4 最为显著的特点在于它对对象形状进行 编码。而且每一对象的码流都独立于其它码流，因此每一对象都与一个视频层 ( v o l ) 和一个视频面( v o p ) 相联系。v o p 的头包括了对象编码所使用的量 化参数( q p ) 。而每一对象的q p 也用于建模和分析纹理信息。所有其它比特都 储存下来直到码流重建。码流重建中，利用接收到的时间分辨率的信息，控制 v o p 是否被跳过