（信号与信息处理专业论文）数字视频转换编码及可分级编码技术研究.pdf

摘要 随着i n t e r n e t 技术的迅猛发展，基于i n t e r n e t 的多媒体应用，如视频点 播、网上购物、电视会议、远程教育以及实况转播等迅速发展，并不断出现新 的服务形态和系统。由于视频通信系统传输的数据量大，并需连续传送，对实 时性和可靠性要求也较高，因而成为这类多媒体应用中极具挑战性的课题。 另一方面，传输网络和接收终端的多样性又需视频流能适应多种不同传输、 解码和显示的要求。为此，本文首先简要介绍了m p e g - 2t m 5 中使用的传统的 可分级编码方案。这种编码技术将编码的比特流以“层”的形式构造，一般一 个视频流包括一个“基本”层和一个或多个“增强”层数据流【1 1 ，叨。这种分级编 码的视频数流，使得解码器能有选择的解码编码数据流中的一部分。例如只解 码基本层得到基本质量的视频，也可以解码基本层和一个或多个增强层，得到 高质量的视频。 传统的可分级编码技术层数有限，且不够灵活，而视频转换编码则可提供码 率在更宽范围内变化的压缩视频流。视频转换编码是将一个输入的已压缩视频 码流转换成另一种不同视频格式、不同传输码率或不同编码标准码流的过程。 这个过程一般无需完全解码和完全重新编码。 视频转换编码可以分为同类、异类、错误恢复和应用于多媒体通信的四种类 型。本文详细分析了同类视频转换编码技术，给出了码率、空间分辨率和时间 分辨率下变换转换编码器结构，着重研究了其间漂移误差的产生与补偿。针对 评价转换编码算法性能的两个最主要方面转换速度和转换后码流的质量， 本文提出了加快转换编码速度的新算法宏块编码模式的利用及重新判断； 改善转换后码流质量的新算法利用运动矢量进行重构内部宏块；以及既能 改善转换质量、又能一定程度上控制目标码流码率的新算法综合利用运动 矢量和残差信息重构内部宏块。论文论证了所提算法的原理，并给出了相应的 实验结果。本文还介绍了异类、错误恢复和应用于多媒体通信的视频转换编码 技术。 为克服传统可分级编码技术的局限性，近年来提出的f g s 算法是实现视频 流图像质量精细可分级的有效算法，有望在网络传输环境下，特别是低码率视 频传输领域，锝到应用。小波交换是信号处理技术另一热点研究领域，将其多 分辨率分解性质应用于视频编码，可实现视频流的时间和空间分辨率分层。面 向有应用前景的这两种算法，本文将它们作为“高级可分级编码技术”，也作了 一定深度的理论分析和算法研究。 关键词：数字视频转换编码流媒体技术可分级编码分辨率变换 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e tt e c h n o l o g y , m u l t i m e d i aa p p l i c a t i o n sb a s e do n i n t e m e t , s u c ha sv i d e oo nd e m a n d ( v o d ) ，n e t w o r ks h o p p i n g ，v i d e o e o n f e r e n c e ， r e m o t ee d u c a t i o n , f i e l dp i c k u pa n ds oo nh a v ee m e r g e di ne n d l e s s l y v i d e o c o m m u n i c a t i o nh a sb e c o m et h em o s tc h a l l e n g i n gt h e s i si nt h e s em u l t i m e d i a a p p l i c a t i o n sb e c a u s eo fi t sc o n t i n u o u st r a n s m i s s i o n ，l a r g eq u a n t i t y o fd a t aa n d r e q u i r e m e n tf o rr e a l - t i m ea n dr e l i a b i l i t y , v a r i o u sn e t w o r ka n dr e c e i v i n gt e r m i n a l sr e q u i r ev i d e os t r e a ms h o u l dh a v et h ea b i l t i y t oa d a p ti t s e l ft ov a r i o u st r a n s m i s s i o n , d e c o d i n ga n dd i s p l a yr e q u i r e m e n t s t h i sp a p e r i n t r o d u c e st h et r a d i t i o n a ls c a l a b l ee n c o d i n gt e c h n o l o g yi nm p e g - 2t m 5f i r s t t h i s t e c h n i q u ee n c o d e sb i t s t r e a mi n l a y e r ，f o r m a t ，n o m a l l yo n ev i d e os t r e a mc a nh a v e o n e b a s e l a y e ra n do u eo rm o r e e n h a n c e l a y e r e n c o d i n gv i d e od a t ai nl a y e r f o r m a tm a k e st h ed e c o d e rc a nc h o s eap a r to f e n c o d e ds t r e a mt od e c o d e d e c o d e rc a n d e c o d eo n l yt h eb a s el a y e rd a t at og e tb a s i cq u a l i t ys l l - e a m ，a n da l s oc a nd e c o d eb a s e l a y e ra n do n eo rm o r ee n h a n c el a y e rt og e th i 曲q u a l i t yv i d e o t r a d i t i o n a ls c a l a b l ee n c o d i n gt e c h n i q u ec a l lo n l yd e c o m p o s es t r e a mi n t ol i m i t e d l a y e r s ，a n di ti sl a c ko ff l e x i b i l i t y ，w h i l ev i d e ot r a n s c o d i n gc a np r o v i d em o r ef l e x i b l e c h a n g e m e n to fb i tr a t ef o rc o m p r e s s e dv i d e o v i d e ot r a n s e o d i n gi sap r o c e s so f c o n v e r t i n gap r e v i o u s l ye n c o d e dv i d e ob i t - s t r e a mi n t oa n o t h e rb i t - s t r e a mw i t ha l o w e r b i t - r a t e ，ad i f f e r e n td i s p l a yf o r m a t , o rad i f f e r e n te n c o d i n gm o d e ，i nt h i sp r o c e s s c o m p l e t ed e c o d i n go rr e e n c o d i n gi sn o tn e e d e d v i d e ot r a n s c o d i n gc a nb ed i v i d e d i n t o h o m o g e n e o u s ，h e t e r o g e n e o u s ，f o r e r r o r r e c o v e r y a n df o rm u l t i m e d i a c o m m u n i c a t i o nd e s i g n t h i sp a p e ra n a l y z e di nd e t a i lt h et r a n s c o d e rs t r b c t u r e so f b i t r a t e ，s p a t i a ld e f i n i t i o na n dt e m p o r a ld e f i n i t i o nd o w n c o n v e r s i o ni nh o m o g e n e o u s v i d e ot r a n s c o d i n g ，a n dt h ep r o d u c t i o na n dc o m p e n s a t i o no fd r i f te r r o r i na l l u s i o nt o t w om o s ti m p o r t a n tf a c t o r se v a l u a t i n gt r a n s c o d i n gp e r f o r m a n c e ：t r a n s c o d i n gs p e e d a n dq u a l i t yo ft r a n s c o d e ds t r e a m ，t h r e en e wa r i t h m e t i c sw e r ep u tf o r w a r d ：o n ei st h e i i s ca n dr e d e t e r m i n a t i o no fm a c r o b l o c k se n c o d e dm o d ew h i c hc a l la c c e l e r a t et h e t r a n s c o d i n gp r o c e s s ；a n o t h e ra r i t h m e t i ci sr e f r e s h i n gi n t r am a c r o b l o c k sa c c o r d i n gt o t h em o t i o nv e c t o r sw h i c hc a ni m p r o v et h eq u a l i t yo ft m n s c o d e ds t r e a m ；t h eo t h e r m e t h o di sr e f r e s h i n gi n t r am a e r o b l o c ka c c o r d i n gt on o to n l ym o t i o nv e c t o rb u ta l s o r e s i d u a li n f o r m a t i o nw h i c hc a ni m p r o v et h eq u a l i t ya sw e l la sr e d u c et h eb i tr a t eo f t r a u s e o d e ds t r e a m t h i sp a p e rd e m o n s t r a t e dt h et h e o r yo ft h e s ep r o p o s e da r i t h m e t i c s ， g a v e o u t c o r r e s p o n d i n ge x p e r i m e n t a lr e s u l t s a n dt h i sp a p e ra l s o i n t r o d u c e d h e t e r g e n e o u s ，f o r e r r o rr e c o v e r ya n df o rm u l t i m e d i ac o m m u n i c a t i o n d e s i g n t r a n s c o d i n gt e c h n o l o g i e s i no r d e rt oc o n q u e rt h el i m i t a t i o no ft r a d i t i o n a ls e a l a b l ee n c o d i n gt e c h n o l o g y , t h e r e c e n t l yp u tf o r w a r da r i t h m e t i c ：f g si sa l le f f e c t i v ea r i t h m e t i ct or e a l i z et h ef i n e l y s e a l a r i t yo fv i d e oq u a l i t y i ti ss u p p o s e dt ob eu s e di nn e t w o r kt r a n s m i s s i o ns i t u a t i o n , e s p e c i a l l yl o wb i t r a t ev i d e ot r a n s m i s s i o nf i e l d w a v e l e tt r a n s f o r mi sa n o t h e rh o ts p o t i ns i g n a lp r o c e s s i n g , i t sm u l t i r e s o l u t i o na n a l y s i sp r o p e r t yc a l lh e l pt or e a l i z es p a t i a l a n dt e m p o r a ld e f i n i t i o ns e a l a b l ev i d e oe n c o d i n g t h i sp a p e rt o o kt h e s et w o p r o s p e c t i v ea r i t h m e t i c s a sa d v a n c e ds c a l a b l ee n c o d i n gt e c h n o l o g yt od os o m e t h e o r e t i ca n a l y s i sa n da l g o r i t h m i cr e s e a r c h k e y w o r d s d i g i t a lv i d e o ，t r a n s e o d i n g ，s t r e a m i n gm e d i at e c h n o l o g y , s c a l a b l e e n c o d i n g , d e f i n i t i o nc o n v e r s i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得叁叠盘釜或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意。 学位论文作者签名：辁岩 签字目期：硎f 年1 月如日 学位论文版权使用授权书 本学位论文作者完全了解盘盗盘堂有关保留、使用学位论文的规定。 特授权鑫洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：j 寺j 岩 导师签名： 霹，尽 签字目期：押年1 月如日签字日期： k 多年， 月“ 日 第一章绪论 第一章绪论 随着i n t e r n e t 技术的迅猛发展，基于i n t e r n e t 的多媒体应用，如视频点播、 网上购物、电视会议、远程教育以及实况转播等层出不穷。对视频通信，由于 数据量大，要求连续传输，对实时性和可靠性要求较高等，是这类多媒体应用 中最具挑战性的课题。 现有的解决视频网络通信的途径可分为对视频信号进行处理和改进网络通 信环境两类。后者主要通过加大网络有效带宽实现i 虽然网络的发展一定可以 实现这一目标，但事实上由于网络上用户数量和对服务需求的增长速度比有效 带宽的增长速度快得多，因此图像和视频信号的有效压缩始终是一个好的视频 传输系统所必须解决的问题。 视频压缩是指依据视觉特性，通过去除视频信号中的空间和时间冗余信息、 来减少表征视频信号所需的数据量。空间冗余存在于一帧的各像素之间，而时 间冗余则存在于各帧之间。目前，国际标准化组织( i s o ) 、国际电信联盟( i t u ) 和 国际电工委员会( 也c ) 针对不同的用途，制订了几种不同的视频编码标准。 网络和接收终端的多样性要求视频流能适应不同传输、解码和显示环境和 需求。视频分级编码是实现上述目标的有效手段。但传统的可分级编码技术能 分解的层数有限，且不够灵活，而转换编码技术能提供更多选择和更宽范围的 码率变化。 本文研究和评价了同类视频转换编码中多种码率、时间和空间分辨率下变 换转换编码器结构；以追求低复杂度和高质量为目标，改进了转换编码中的一 些关键算法；介绍了异类转换编码等转换编码技术：把f g s 和基于小波多分辨 率分析性质的空间、时间分辨率分级技术作为“高级可分级编码技术”，给出 了分析，并进行了部分实验研究。 1 1 数字视频压缩编码标准 p e g 是i s o 的“联合图像专家组”( j p e g ) 发布的针对静止图像压缩编码的 国际标准。它把图像分成1 6 x1 6 像素的宏块。一个宏块由四个亮度块和两个 第一章绪论 色度块组成。对每个图像块通过8 8d c t ( 离散余弦变换) ，由空间域变换到频 率域，经量化和编码，减少其空间冗余度。 对于在带宽只有1 2 8 k b p s 的n - i s d n ( 窄带综合业务数据网) 上传输的视频 会议，j p e g 的性能远远不够。针对赖于i s d n 的视频会议等应用，i t u 制定了 h 2 6 1 标准 2 1 。其码率是6 4 k b p s 的整数倍。其编码器采用基于图像块、有运动补 偿功能的混合编码技术构建。与j p e g 相比，h 2 6 1 增加了运动补偿的帧间预测 功能，以降低时间冗余度。 i s o i e c 于1 9 8 8 年成立了运动图像专家组( m p e g ) ，为数字视频及相应的 音频制定编码标准。1 9 9 2 年制定并发布了m p e g 1 标准。m p e g 1 是针对多媒 体及c d = r o m 中运动图像及其伴音的编码标准，码率最高约1 5 m b p s l 3 。m p e g - 1 中的运动补偿算法比h 2 6 1 更为精密而复杂：将视频帧分成i 、p 、b 三种类型。 i 帧采用帧内编码，p 帧为前向预测编码，而b 帧进行双向预测编码。由于b 帧 的存在，编码帧顺序不等同于视频序列原顺序，所以解码器需进行帧重排，并 设置图组( c r o p ) 结构来组织各帧。每个g o p 都以一个i 帧开始，后跟一定数量 的p 帧和b 帧。m p e g 1 使用半像素精度的运动矢量，运动检测范围扩大到+ 6 4 像素。 m p e g - 1 不能以广播质量有效地压缩隔行扫描数字视频。为此，i s o i e c 发 布的另一标准m p e g 2 ，则以电视演播室及标准清晰度电视( s d t v ) 和高清晰度 电视( h d t v ) 为目标【4 】。m p e g 2 标准可以自适应地选择帧场模式，处理隔行扫 描视频的性能要优于m p e g - 1 。m p e g 2 定义了几种“框架( p r o f i l e ) ”，每种“框 架”针对一类特定应用。m p e g - 2 根据视频参数的不同，划分了不同的“级别”。 l 级别”是一个对码流中各参数进行限定的集合。m p e g - 2 支持各种可分级性。 空间可分级性使不同的解码器能够从同一个比特流中提取不同图像尺寸的视 频。时间可分级性可以把比特流解码成不同帧率的视频序列。信噪比( s n r ) 可 分级性可以从同一个比特流中提取不同信噪比的视频序列。可分级语法用层来 构造比特流。一个使用可分级编码的视频可以被编码成2 3 层。基本层使用不 可分级语法，保证其能够被不支持可分级语法的m p e g 2 终端解码。基本层的 视频具有较低的空间分辨率、帧率或s n r ，增强层解码后加到基本层，可得更 高的视频质量。 m p e g - 2 标准后来被i t u - t 采纳作为宽带视频通信的编码标准，并命名为 h 2 6 2 。 第一章绪论 得益于m p e g - 1 、m p e g - 2 在实践中积累的经验，u 改进h 2 6 1 后，形成 了编码标准h 2 6 3 闭。h 2 6 3 针对在p s t n ( 公共交换电话网) 和u 蝌( 局域网) 中传输视频电话等应用。h 2 6 3 标准的编码算法限制了后向预测的应用，以降低 延时。 在m p e g - 2 标准得到广泛应用的同时，m p e g 组织又制定了新的标准 m p e g _ 4 6 7 1 。m p e g - 4 标准旨在支持传统应用的同时，满足新一代交互多媒体 应用。其面向的应用是因特网视频、交互式视频、内容管理、专业视频、二维 和三维计算机图形以及移动视频通信等。这些多媒体应用系统除要求高效编码 外，还要求各对象的交互性、内容的可分级性和高度的差错复原性等。m p e g - 4 支持更宽的码率范围，它的主要特点是基于内容的互动、压缩和接入。m p e g - 4 在视频序列各帧定义任意形状的视频对象( v 0 ) ，编码各v o 的形状、运动和纹 理信息，并分别存储、传输和解码。 2 0 0 1 年，u t 的视频编码专家组( 、，c e g ) 和i s o i e c 的运动图像专家组 ( m p e g ) 合作，成立了联合视频小组( j v t ) ，致力于制定新一代视频编码标准h 2 6 4 a v c 列【9 】。h 2 6 4 a v c 采用了多种复杂而先进的技术，具有很好的压缩性能， 能适应大部分视频编码需求。 h 2 6 4 a v c 制定了3 个框架，分别是基本框架、主框架和扩展框架。基本 框架采用最基本的技术和算法。主框架和扩展框架在基本框架的基础上增加了 更复杂的技术。h 2 6 4 a v c 编码算法包含2 层：网络提取层( n a l ，n e t w o r k a b s t r a c tl a y e r ) 和视频编码层( v c l ，v i d e o c o d i n gl a y e r ) 。n a l 对编码后的视频 数据迸行封装，用户可以选择不同的封装格式以适应传送信道对码流格式的要 求。v c l 实现高效视频压缩。v c l 仍沿用h 2 6 3 基于块的混合编码机制，用帧 间预测减少时域冗余，以帧内预测和正交交换减少空域冗余，采用熵编码减少 码间冗余。v c l 在运动补偿、熵编码及去块效应滤波等方面采用了许多先进技 术，获得更好的性能。其中包括多参考帧、帧内预测、高精度运动补偿、块大 小灵活可变、4 x 4 整数变换、更多的量化等级、自适应熵编码方法以及更精细 的去块效应滤波算法等。 、 h 2 6 4 a v c 具有更高的压缩率和良好的信道适应力，适用领域广阔，包括 远程教育、远程监控、可视电话、视频点播、视频会议、视频数据存储、数字 电视广播以及移动通信等。目前国内外许多通信公司己开始h 2 6 4 a v c 产品 开发工作，随着处理器运算速度的不断提升和算法的不断改进，h 。2 6 4 a v c 已 第一章绪论 开始进入实用阶段。 现有的大部分视频编码标准都采用了包括d c t 、运动估值、帧间预测和变 字长编码等在内的混合编码技术。每个输入数字视频帧被分成多个“块”，每 个“块”由8 8 的像素矩阵组成。4 个亮度块和对应的两个色度块组成一个“宏 块”，每个“宏块”对应1 6 1 6 像素。每个宏块先用运动补偿预测进行编码， 以消除时间冗余，得到预测误差( 预测残差) 。对每个8 8 预测残差块再进行 8 8 二维d c t 变换，得频率域d c t 系数，量化后许多高频系数变成零，降低 空间冗余度。8 8 的二维d c t 系数按“z i g - z a g ”顺序扫描，按空间频率上升顺 序重排成一维数组，然后对各一维数组进行游程编码，再对所得符号进行变字 长编码( v l c ) 。变字长码表根据测试序列统计特性编制，经常出现的符号用短码 字表示，较少出现的符号用长码字表示，从而降低统计冗余度，进一步提高压 缩率。 m p e g 一4 标准发布不久，m p e g 组织又提出了m p e g - 7 1 1 川和m p e g - 2 1 1 标 准。m p e g - 7 为多媒体内容描述接口，面向根据内容在视频中检索和内容相关的 视频数据，用于图像数据库查询等。m p e g 2 1 规定了一个多媒体框架，描述如 何对视频的压缩、检索和传输等做最上层的组织和管理。该框架可理解为一个 “传输链”，其意义在于把所有与视频数据生成、传输、编解码相关的技术整 合在一个标准框架之内。 1 2 数字视频转换编码技术 为实现网络间的通信，需要对已压缩编码的视频码流进行必要的操作，使 其具有不同扫描格式，尺寸、传输码率，或从一种语法规范转换成另一种。利 用某种算法实现这些必要操作的过程就是视频转换编码。 视频转换编码的原始灵感来自视频可分级编码技术1 2 1 n 3 1 。视频可分级编码 器采用分层结构，产生具层次结构的压缩视频流，各层有不同码率。可分级技 术使视频编码器能由一个视频源产生适应传输信道状况、用户需求以及接收终 端能力，不同时间和空间分辨率、不同码率、不同0 0 s ( q u a l i t yo fs e r v i c e ) 传输和接收级别的码流。 第一章绪论 1 2 1 传统的可分级编码技术 可分级编码【4 】【j 4 】【1 5 1 6 j f l 7 】f l s l 1 卸形成分层的比特流。一般包括一个“基本”层 和一个或多个“增强”层，在容量有限的网络中，可优先传送码率较低、对误 码较敏感的基本层码流。若解码器只能获得或只选择基本层码流解码，则可得 基本质量的视频；若可解码基本层和一个或多个增强层码流，则可得高质量的 视频。 根据分级编码对视频信息分割方式的不同，分级编码可有不同实现方式。 通常划分为数据分割、质量可分级( 即s n r ) 、空间分辨率可分级和时间分辨 率可分级四种，将它们组合也可得混合可分级编码方案【1 5 1 。 数据分割是最简单的分级编码模式。这种模式中，由编码器决定把哪些语 法元素放在高优先级的基本层，哪些放在低优先级的增强层。一般是分成两层， 第一层为基本层，包含地址、控制信息及低频d c t 系数，优先级最高；第二层 是增强层，含有高频d c t 系数。 s n r 可分级是一种频域方法，其中所有层的空间分辨率均相同，各层使用 不同量化步长得不同质量图像。s n r 以频域( d c t 域) 可分级技术为基础，基本 层d c t 系数粗量化，得码率较低、基本质量视频；增强层用更精细的量化步长 编码量化前的d c t 系数与基本层中粗量化后的d c t 系数的差值。解码时，将 增强层信息加到基本层，可得较高质量的视频。 空间分辨率可分级技术将每个输入的视频帧( 或视频对象) 进行水平和垂 直方向下采样，编码下采样后的低分辨率的帧构成基本层；然后解码基本层， 上采样成原始分辨率形成预测帧，将其与原始的高分辨率帧相减得差值，编码 差值( 残差) 形成增强层。解码时，先解码基本层，上采样成原始分辨率，然 后解码增强层，将从增强层中解码出来的残差与解码出来的基本层相加，形成 高分辨率的输出帧。空间可分级编码技术可支持不同空间分辨率显示终端，从 基本层可恢复较低空间分辨率视频，解码基本层和增强层可获高分辨率输出。 时间分辨率分级编码将基本层以较低的帧率( 低于输入视频序列的帧率) 独立编码，没有被基本层编码的视频帧在增强层中编码。增强层编码可只用由 基本层重构的视频帧做预测，也可用基本层和增强层重构的前一帧预测。将基 本层和增强层数据合起来可得原始帧率视频流。 不同编码标准和不同分级方式的算法复杂度和编解码开销不同，例如 第一章绪论 m p e g - 2 规定只能用两帧进行增强层图像的预测，实际应用中应根据不同需求加 以选择。 m p e g - 2 、h 2 6 3 和m p e g 4 都可以实现可分级编码。m p e g - 2 和h 2 6 3 标 准支持上述四种传统的可分级编码模式，m p e g - 4 除这四种还可实现“复杂度可 分级”和“精细可分级编码( f o s ) ” 7 1 。“复杂度可分级”是指解码后继的增强 层所需的复杂度越来越高。“精细可分级编码”使用位平面编码技术，使图像 质量小幅逐渐提高，这部分内容将在第七章中作为“高级可分级编码技术”详 细介绍。 1 2 2 数字视频转换编码技术 转换编码可较传统的可分级编码更加灵活。例如可分级编码只能提供几种 固定码率，而转换编码可为压缩视频提供更宽范围码率变化。一般可分级编码 需用复杂的分级技术，这会提高对处理能力的要求，使视频编解码器变得复杂， 并带来延时。另外，网络环境和传输条件的频繁变化也需要在网络不同位置进 行必要的操作，以及时适应不断变化的条件和要求，而传统的可分级编码很难 满足这种需求。 视频转换编码一般不需要完全解码和完全重新编码，如图1 一l 所示。视频转 换编码酋先根据输入源码流的特征、服务器的要求、信道情况和用户的接收能 力及偏好生成一些参数，然后利用这些参数修改已编码的码流1 2 0 。 图1 - 1 视频转换编码系统 # 理论上任何需要改变压缩视频码流的操作都可以用转换编码器进行。视频 转换编码大致可分为四种伫1 1 1 2 2 】【2 3 i 2 4 1 1 2 5 2 6 1 1 2 7 1 ：同类视频转换编码、异类视频转换 编码、以错误恢复为目的的视频转换编码和应用于多媒体通信的视频转换编码。 第一章绪论 其中应用最广的是同类视频转换编码，它包括码率、帧率、空间分辨率下变换。 码率下交换指降低已压缩视频的码率，两不改变其帧率或空间分辨率。它 可以通过选择传输 2 s ) 2 9 1 或重量化 2 9 1 3 0 】实现。传输指忽略高频d c t 系数，重量化 指重新量化运动补偿后的残差信息，二者都对d c t 系数操作，易于实现。 在帧率、空间分辨率转换编码中，目标视频的帧率、空间分辨率与输入视 频不同，其最主要问题是如何不进行运算量很大的运动估计就可以得到目标视 频中相匹配的运动矢量和预测残差。对空间分辨率转换编码，目标宏块的运动 矢量与输入码流中相邻宏块的运动矢量密切相关，可用来合成目标运动矢量。 帧率下变换指减少视频流的帧率，而不改变每帧的空间分辨率。帧率下变 换大多用于带宽受限信道，保证所传视频帧的图像质量。帧率下变换可使码率 大大降低，但由于编码中使用了预测编码，丢弃的帧可能对后继帧的重建很重 要，所以帧率转换必须考虑丢弃帧中的运动矢量，根据它们( 丢弃帧中的运动 矢量) 合成未丢弃帧中的运动矢量( 这些运动矢量在输入视频中不存在) ，或 改变剩余帧中的宏块编码类型，使帧间预测编码的宏块变成帧内编码的宏块。 无论帧率转换还是空间分辨率转换，都要对从原码流中提取出来的运动矢 量进行优化才能得到匹配的运动矢量和预测残差。 随着不同多媒体网络的涌现，越来越需要进行不同视频编码标准码流间的 异类视频转换编码。完成异类视频转换编码的视频代理在不同标准间进行必要 的语法转换，解决由于各种网络平台使用不同视频编码标准而引起的不兼容问 题。 视频转换编码器还可以用来增强压缩视频流对传输错误的恢复能力 跚【3 1 】【3 2 】，这就是以错误恢复为目的的视频转换编码技术。在编码原始视频流时 可能没有考虑信道误码的影响，或者只面向传输质量好、信道误码率低的网络， 这样的视频流进入传输质量较差、信道误码率较高的网络前，就需要一个视频 代理对其进行必要的操作，增强其对传输误码的抵抗和恢复能力。这可通过对 输入码流进行数据分割、插入重同步标志或对不同重要性的视频数据段加不同 错误保护等方法实现。 不同多媒体网络的涌现，还使多媒体通信技术成为重要研究领域。在各种 多媒体通信中，网络拥塞对编码视频的影响最为严重田】。拥塞可能造成部分数 据丢失，而对预测编码，丢失的某些帧又可能导致后续帧间编码视频帧不能正 确重构，于是误差随着时间累积，直到到来新的有效内部编码帧( i 帧) 。拥塞对 第一章绪论 双向低码率通信影响更加严重，因为这种情况下网络常常不能容纳较多的大数 据量的i 帧。假设不同网络段的特性不对称，传输码率也不同，那么多点间进行 视频通信，就必须使用视频转换编码器，它们通常位于多点控制中心，旦输 入视频流的码率超过了目标网络处理能力，视频转换编码器就进行降码率或其 它转换，这是一种为多媒体通信规划进行码率管理的转换编码器，这个过程称 为多媒体通信设计1 3 4 p 5 1 1 3 6 1 。实现这种功能的视频转换编码器，通常简称为“视 频代理”。它独立于编码器和解码器而存在并运行，旨在监控网络状态并接收 用户终端的反馈，进而对输入码流进行转换，使输出码流能适应当对的网络状 态和用户需求。视频代理将视频编码器和解码器从不必要的、复杂的分级算法 中解放出来，使网络响应更快。个视频代理可以包含一个或一组同时运行的 视频转换编码器。 1 3 课题研究的背景和目的 各种多媒体服务随着近年来网络技术的快速发展已经得到越来越广泛的应 用。这些服务通常需通过不同网络传输信息流 3 7 1 1 3 8 1 ( 3 9 ) ( 4 0 1 1 4 1 1 。在这些应用中，多 媒体节日源通常是已经压缩编码的数字音视频码流。m p e g x 系列、h 2 6 x 系 列等视频压缩标准都能有效地去除视频序列中的时间、空间和统计冗余度，减 少表示视频序列所需数据量，便于多媒体节目的存储和网络传输，但它们面向 的应用，构筑码流的语法和语义，实现压缩的算法等不尽相同。 通常，接收多媒体码流的终端多种多样，可以是数字电视机、计算机、移 动通信终端等。它们对码流质量、显示格式等的要求各不相同，加之传输网络 经常发生变化，因此，常常需要转换已编码视频流的码率、显示格式或编码模 式等，以适应不同网络的不同可用带宽、各种接收设备的不同解码及显示能力。 不同网络传输的码流除语法可能不同外，支持的传输率可能在很大范围内 变化，而接收端对码流的不同要求则多体现在视频的时间和空间分辨率及其质 量等方面。改变传输码率可不改变时间和空间分辨率，但会影响质量；而时间 和空间分辨率的改变则将大幅度改变码率。 目前，一些视频编码标准，如m p e g 2 、h 2 6 3 、m p e g - - 4 ，都提供了可分级 编码功能。可以在时间和空间分辨率以及信噪比等方面对原始视频进行分级编 第一章绪论 码，形成分层的码流结构 4 1 1 5 4 2 1 。可是，由于增强层个数有限，传统的可分级编 码最多只能提供三个级别1 4 1 1 5 1 ，并且这些分级都是在编码时预先确定的，不能根 据网络情况和用户要求自适应改动。另外，许多网络多媒体应用还需要更加精 细和灵活的分级。 用转换编码的方法将预先压缩好的视频流转换成低码率或其它不同性质的 码流，可以根据网络的状态或用户的要求，动态的调整视频流，来匹配网络可 用带宽、或满足用户的特定要求，提供较精细而灵活的变化，而且对终端功能 没有额外的要求。此外，转换编码还可以提供其它的功能，如：不同标准间的 语法转换、数字水印和公司图标的插入，或者增强码流的错误恢复功能。 目前，已提出几种有效实现转换编码的转换编码器结构。包括开环、级联、 闭环等类型，还可根据待转换编码的数据特性，将转换编码器分为空间域和频 率域( d c t 域) 转换等类型 2 8 1 1 4 3 1 1 4 4 1 4 5 1 1 4 6 1 1 4 7 1 f 4 8 j 4 9 j 。 转换编码的速度和转换后视频的质量是衡量转换编码器结构及算法优劣的 两个最重要方面。许多面向网络传输的多媒体业务，对实时性要求较高。开环 结构的转换编码器速度最快，但其视频质量最差。视频质量的降低主要由漂移 误差引起。漂移误差源于编码器和解码器重构帧的不匹配及其随着时间的累积。 采用某些补偿算法可校正漂移误差，如采用闭环结构转换编码器，优化运动矢 量，重构内部宏块等。这些算法可改善目标码流质量，但同时使转换编码器变 得复杂，速度减慢。必要时，可采用一些快速算法，如d c t 系数截断、快速d c t 域转换编码、快速运动矢量优化等。所以，研究转换编码算法的核心是如何在 转换后视频质量和转换速度间进行平衡和折衷，使二者都达到较满意的程度。 如前所述，传统的可分级编码技术不够灵活，不能最大限度的利用网络带 宽，对低码率视频传输更起不到较好的效果。精细可分级f i g s ) 编码技术克服了 这一缺点【5 0 】【s l 】。f g s 是m p e g - 4 视频编码框架中的一种分层算法。这种算法把 视频流编码成两层：一个基本层和一个f g s 增强层。基本层码率须选定在最低 网络带宽下得以传输，而增强层的数据率则可按实际带宽精细调整。这一点与 传统的可分级编码算法不同，其增强层码率不再固定不变。 为实现码率连续可分级，f g s 算法对增强层数据进行位平面编码，即编码 时从最重要的位平面扫描到最不重要的位平面，使最重要的信息位于该帧增强 层码流的最前面，而不重要的信息位于后面，这样，当在带宽受限的信道中传 输时，因截断而丢失的信息不是最重要的。解码时仍可利用前面相对重要的信 第一章绪论 息位恢复。由于增强层数据是基本层的量化误差，所以恢复后的视频效果较平 滑。质量较好。 近年来，随着信号处理领域研究的不断深入，小波变换技术在视频处理领 域的应用越来越成熟。小波分析5 2 1 【5 3 1 【5 4 l 【5 习是在传统f o u r i e r 分析基础上发展起来 的，具有良好的时、频局域性和与人眼视觉特性相符的多分辨率分析能力，已 广泛用于各种图像编码中。 小波变换提供了一种多分辨率信息分层结构，而且这种分层可逆。视频序 列帧内信息的分层可采用帧内二维小波变换实现经小波变换后各帧图像被分 解成不同尺度下拥有不同频率成分的频带。其中最低频带为原图像的粗尺度描 述，含图像的大部分低频信息，是分层后最重要的数据，编码时应尽量减小其 失真，传输时要赋以最高的优先级；其它频带则分别是原图像水平、垂直和对 角方向的轮廓等高频细节信息，它们在不同分辨率下体现。 完成帧内分层后，还可对相邻的一组图像帧经帧内二维小波变换后得到的 低频近似图像进行时间轴上的一维小波变换，从而实现图像帧间信息的分层。 变换后得到的前几帧数据是租分辨率下该组图像帧在耐间轴上的近似，集中了 该组图像帧在时间轴上的绝大部分信息，对视频质量影响最大，应以最高优先 级传送。这样，通过帧内二维、帧问一维的三维小波变换将一组视频信息分成 多个重要性和优先级不同的层次，可以利用网络丢失率等统计数据灵活的动态 调整分层结构，使整个视频编码系统在各种情形下均能保持最佳。这是目前最 高级的分级编码技术。 1 4 论文的主要研究工作 总的来说，视频转换编码器按照应用领域的不同可以分为同类、异类、错 误恢复和应用于多媒体通信设计四种，其中同类视频转换编码器是最基本的一 种。同类视频转换编码器根据转换的目的不同，又可分为码率、空间分辨率、 时阀分辨率转换编码器。 本文首先研究了同类视频转换编码中的降码率转换编码器，讨论了这种转 换编码器的级联、筠化、闭环和开环四种不同的结构，比较了结构之间的不同 以及转换编码后码流质量的差异；分析了影响降码率转换编码质量的最主要因 第一章绪论 素：漂移误差的产生以及其补偿方法；并介绍了关于码率控制、将恒定码率码 流转换成变码率码流。 空间分辨率下变换转换编码也是实现降低码率的一种有效手段，同时它还 可以适应具有不同解码、显示能力的终端的需求。由于进行了空间分辨率的转 换，转换后码流的质量下降得较严重。本文第三章首先分析了空间分辨率下变 换转换编码中漂移误差的产生、类型和对转换后码流质量的影响，然后给出了 三种可以补偿漂移误差的转换编码器结构，并对它们产生的码流质量进行了比 较。空间分辨率下变换转换编码不但可以在像素域进行，也可以在频率域进行。 本文第三章给出了在d c t 域进行转换的算法。并讨论了中值滤波和加权平均这 两种运动矢量映射方法以及搜索窗尺寸对运动矢量优化的影响。 本文第四章针对衡量转换编码性能的两个最主要方面转换速度和转换 后码流的质量，提出了根据输入视频压缩码流中的参数一一宏块编码模式 ( m a c r o b l o c ke n c o d i n gm o d e ) ，在转换编码前预先得知宏块残差信息和运动矢量， 以此为根据调整转换编码过程，加快转换编码速度；重构内部宏块 ( i n t r a - r e f r e s h ) 能显著改善目标码流质量，但引入的大量内部宏块会显著增高 码率，为此，本文提出根据相邻宏块的运动矢量的集簇状态来决定是否需要进 行重构内部宏块：在空间分辨率下变换转换编码中，如果用