（信号与信息处理专业论文）空间降分辨率视频转码技术的研究.pdf

山东大学硕士学位论文 缩略语 剐订v r a d 印t i v em 0 t i o n 、铳t o rr c - s 锄p l i i l g 自适应运动矢量重采样 斟c 斟s a d v s a d v a n c e d d e 0c 0 d m g 高级视频编码 a d v 如c e d 卸d i o 锄d d e 0c o d 洫gs t 锄d a m先进音视频编码标准 a c t i v 毋d o n 血1 觚tv t o rs e l e c t i o n活动性支配的矢量选择 c a b a cc o n t e x ta d a p t i v eb i 彻巧m t h m e t i cc o d i n g 上下文自适应二进制算术编码 c a 、几cc o n t e x ta d a p t i v e u r i a b l e g m 蛐g上下文自适应可变长编码 c b r c i f c p d t d c d c t d v b d v d f d v s f s g o p g o v c o n s t a n tb i tr a l e c 嬲c a d c dp i x e ld o m a i nt r a n s c o d m g d i s c r e t ec o s i n e1 h n s f o m d i g i t a l d e ob r o a d c a s t d i g i t a lv i d o od i s k f o 刑莉d o m 血v t o rc o m p e l l s a t i o n f u us e a r c h g r o u po fp i c t u r e c 衲叩o f d e 0 h d t v h i g hd e 丘m t i o n1 e l e v i s i o n h v s i d c t 固定码率 公共中间格式 级联像素域转码 直流 离散余弦变换 数字视频广播 数字视盘 前向支配的矢量选择 全局搜索 图像组 视频组 高清晰度电视 h 啪锄s 吼ls ) ，s t e m人眼视觉系统 i i l v e r s ed i s c r c t ec o s i n et r a n s f 0 衄反离散余弦变换 3 i s d n i s o i t u j v t m a d m b m c m e 山东大学硕士学位论文 1 1 1 t e 刚酣s e n ，i c e sd 酒t a jn e 帆o r k 窄带综合业务网 i n t c m a t i o n a ls t ；锄d 莉础i o no r g ；田血a t i o n 国际标准化组织 i n t e m 撕0 n a lt e l c c o 咖u i l i c 撕o nu m o n国际电信联盟 j o i i l t d e 0t e 锄联合视频专家组 m i n i i i l 啪a b s o l u t ed i 能r e i l c e最小绝对差 m a c r 0b 1 0 c k m 0 t i o nc o m p e n s a t i o n m o t i o ne s t i m a t i o n m p e gm o t i o np i c t u r ee x p e n sg r o u p m s e m n a l p s n r q c i f q p r d o s a d s d t a v b r v l c v l d 4 m e 锄s q u a r ee n o r m o t i o nv t o r n e t 、o r ka d a p t i v el a y e ru n i t p e a ks i g n a l t on o i s er a t i o 宏块 运动补偿 运动估计 运动图像专家组 均方误差 运动矢量 网络适配层 峰值信噪比 q u 缸e rc o m m o ni i l t 锄e d i a t ef o n n a t 四分之一公共中间格式 q u a n t i z a t i o np a r a m e t e r r a t e - d i s t o r t i o no p t i m i z e s 啪o f a b s o l u t ed i m 孙e i l c e 量化参数 率失真优化 绝对误差和 s p a t i a j 司o m a i nt r 趾s c o d i n ga r c h i 慨t u r c 空域转码架构 、7 i a r i a b l eb i tr a t e 、嘶a b l el 舳舀hc o d i n g 、a b l el e n 舀hd e c o d i n g 可变码率 可变长编码 可变长解码 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：丛宏：庭日期：垄! 里辱：竺：；旦 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：邀塞；虹师签名：刨址日 期： 山东大学硕士学位论文 摘要 随着多媒体通信技术的发展，在个人多媒体设备( p d a 、智能手机等) 上接 收和播放高清晰数字视频的服务越来越受到人们的青睐。由于受到网络带宽与接 收终端显示材料的限制，原始的高分辨率视频编码码流往往需要被转换为适合接 收端显示的低分辨率编码后进行传输。作为新一代的国际视频编码标准，h 2 6 4 编 码标准在图像质量与编码效率上都有了很大的提升，因此得到越来越广泛的应用。 对h 2 6 4 码流进行降低空间分辨率的视频转码技术成为了近年来人们研究的热门 话题之一。 本论文主要研究对h 2 6 4 编码码流的空间降尺度转码中的一些关键技术，包 括宏块重编码的模式选择问题，运动矢量重估计的方法等。其中，宏块的重编码 模式选择又分为帧内与帧间两类进行讨论。在帧间图像的预测中，由于使用完全 搜索的运动估计方法会占用相对较多的时间，如何使用输入码流中的运动矢量信 息来获取转码码流的运动矢量值，成为了转码过程中的一个关键问题。另外，选 用不同的运动矢量合成及运动矢量精细化方法，在提高预测准确性的同时也有可 能造成的码流长度增加，因此对转码质量与码率的控制也是需要注意的一个方面。 通过对传统降尺度转码算法的研究，本文提出了一种改进的算法，采用了新的运 动矢量测度因子，并通过自适应阈值的分类方法对不同视频序列选择合适的重编 码模式，对不同的视频序列都能做出较准确的判断。对于运动剧烈的视频序列， 本算法比传统运动矢量合成方法提高了约l d b 的p s n r ，与d i m 方法在相同比特 率情况下提高了o 1 o 7 d b 的图像质量：对于平缓序列，在保持较高转码图像质量 的同时，与d i m 方法相比降低了3 0 6 0 转码后码流大小。 论文的最后一部分简要介绍了作者在硕士期间所做的另外一部分工作内容， 即a v s 熵解码部分的实现以及在d s p 平台上的优化工作。通过算法级和指令级的 优化，提高了d s p 的并行处理能力，使熵解码部分的解码速度提高了3 倍以上， 为最终达到实时解码奠定了基础。 关键词：运动矢量合成，运动矢量精细化，多样性，重要性，帧内刷新 山东大学硕士学位论文 a bs t r a c t w i 山t h ed e v e l o p m e n to fm o d e n lm u l t i m e d i ac o m m u l l i c a t i o n 慨1 1 i l o i o g y 廿l e r ei sa s t r o n gn e e df o ru s e r st 0 c e 豁v i d e o so r i g i n a l l yc 叩t u l 刷i i lah i g l lr e s 0 l u t i o n 邶l u g h t l l em o b i l em u l t i m e d i ac a p a b l ed e v i c 髓t l l u s ，an 砌l s c o d m gr n e c h a m s mi sr e q 岫矧t 0 m a k et 1 1 ec o n t e n ta d a p t i v et 0t l l ec a p a b i l i t i 鼯o fd i v e r c l i e n td e v i c 髓( e g p d a ，锄a r t p h o n e ，c t c ) d u et 0t i i el i m i to fn e 咐o r kb 锄d 们d l 卸dd i s p l a ym a t 耐a lo ft 印劬1 a l d e v i c e ，t 1 1 e1 1 i 曲d e f “t i o ns 0 u r c ev i d e oe n c o d i n gb i t m 1 燧s h o u l db en 锄s f o 肌e di m o l o w e rr c s o l u t i o nd e f i n i t i o nf o m a t sw l l i c ha d a p tt 0 l er 。c e i v m gd e v i c e s h 2 6 4 ，笛t l l e e r n e 唱i n gv i d e 0c o d i n gs t a l l 捌，a c i l i e v 鹤m u c hk g l 】肼c o d i i l ge m c i 饥c yt l l 锄p r e v i o 吣 s t 锄d 莉s s oi ti sb e i i l gw i d e l yu s e di i lm o d 锄啊d e 0m a r k e t n sv e 巧p o p i l l a rt 0 r e ：s e a r c hh 2 6 4d o w n s c a l i i l g 心m s c o d i n gt e c h l i q u er e c e n t l y 1 1 1 i sm 器i sd i s c u s s e st h ek e yt e c h l l i q u 髂o fh 2 6 4d o w n s c a l i i l gn l s c o d i i l g ， i i l c l u d i n gm a c r o b l o c k 倍e n c o d em o d es e l e c t i o 皿m o t i o nv e c t o rr c - e s t i m a t i o n 孤ds oo n r e e n c o d i n gm o d es e l e c t i o na l g o r i t i l i t li i l c l u d e si i l 昀觚di n t e rc a s e s b e c a u s em l l s e a r c hm o t i o nc s t i m a t ea i g o r i m mt a k e st o om u c ht i m ed 嘶n gp 删i c t i n gt l l ei n t e ri m a g e ， i ti se s s e n t i a jt or e u s et 1 1 em o t i o ni n f 0 肌a t i o n 丘d mt l l ei n p u tb i t r a t 骼f u r t h e rm o r e ，t l l e m o t i o nr e f i n e m e i l tm e m o dm c l u d em ei n c r e 弱eo fr c c n c o d i n gb i t - r a t e sw h i l et l l e p r c d i c t i o ni si m p r o v e d 1 1 1 i st l l e s i sr e v i e w st l l et r a d i t i o n a lm e l o do fd o w n s c a l i n gv i d c 0 t r 觚s c o d i n ga r l dp r o p o s e san e wa l g o r i t h i i lo nh 2 6 4d o 、n s c a l i n g 仃黜c o d i n g ，w l l i c h u s 器i m p r o v e dm e a s u r ct op r c d i c tm o t i o nv e c t o 体，锄du s 髓锄a d a p t i v em e t l l o dt 0j u d g e m e 陀e n c o d i n gm o d eo fav i d e 0s e q 呦c e i i lc 签eo fe x q u i s i t es e q u e i l c e s ，t l l et r 韧- s c o d e p i c t u r eq u a l i t yo f t 1 1 ep r o p o s e dm e t h o di sa b o u tld bl l i g h c rt l l a nt h o s eo ft m d i t i o n a lm v c o m p o s i t i o nm e t h o d s ，锄d0 1 0 7 d b1 1 i 曲e rt l l 锄t t l a to fd i mm e t h o 也w h i l em a l ( 铝m e 跚n eb i t m t e s i l lc 越eo fm i l ds e q u e n c e s ，i tp 刚u c 髓砌y3 0 6 0 b i t st h 锄d i m m e t l l o d ，w h i l ep r e s e r v i n gh i g hp i c t u r eq u a l i t y 1 1 1t h e1 硒tp a r to ft 1 1 et l l e s i s ，t l l ea u t h o ri i l 仃0 d u c 豁肌o t h e r 、o r kw h i c hw 船d o n e d u n gt 1 1 em 笛t e rs t a t e ：i m p l e m e n to fa v se n t r o p yd e c o d i n ga n do p t i m i z a t i o no nd s p u s i n gi n s t m c t i o nl e v e la n da l g o r i t l ll e v e lo p t i i l l i z a t i o n ，t h j sm e m o di r i l p r o v e sm e p a r a j l e l i s md e g r e co fd s p t h ee n t r o p yd e c o d es p e e di i i l p r o v e db ym o r et h 锄3t i m e s ， w h i c hc o n t r i b u t e st ot h ea c l l i e v e m e l l to fr c a l t i i l l edc c l o d i n g 2 k e yw b r d s ：m vc o n l p o s i t i o 地m vr e f i n e m e i l t ，d i v e r s i 劬h p o r t 锄c e ，i 1 1 仃a - r e f i 伪h 山东大学硕士学位论文 1 1 研究的背景与意义 第一章引言弟一早ii 随着信息科技的进步和数字娱乐产业的迅猛发展，数字多媒体技术越来越受 到人们的广泛青睐。其中，视频业务的增长尤为明显。除了传统的无线广播电视 以及录像播放机以外，人们还可以通过因特网或刚等方式在电视及p c 上收看高 清晰度的数字电视节目。各种新的视频接收终端也相继出现。通过便携式的个人 多媒体设备( 如p d a 、智能手机等) ，可以随时随地观看数字电视或在线视频点播。 不同的接收终端设备，在数据处理速度、存储容量和显示能力上相差很大，因此 在处理视频信息时，对不同的接收终端使用同一格式的数据是不合适的，需要根 据不同终端设备的处理能力和接收带宽，进行视频转码，转换成不同的格式，再 分别传输给不同的接收终端。这就需要在接口处使用视频转码技术。越来越多的 场合要求数据能在不同格式、不同编码标准之间转换，因此压缩编码数据之间的 转换编码成为新的研究方向【l 】。 通过转码可以实现异质网络架构下不同容量、不同格式的多媒体设备间的视 频内容交互。例如，将一个高精度编码的源视频流( d 、巾、h d t v 等) 转换后通 过光缆或无线网络传送到不同的接收端 2 】。在这一过程中，转码器根据原始的视 频比特流直接牛成适应于接收端特性的传送码流，而不需要解码再重编码。为了 适应网络带宽的需要，视频转码器还可以动态地调整视频流的比特率，无需在解 码器端添加额外的功能单元。另一个应用场景是基于i n t 锄e t 的视频会议。参与者 可能使用不同的终端设备，所以对视频编码的转换也提出了不同的要求。视频转 码器可以提供双重的服务。一方面是视频格式的转换，以适应内容交j 耳= 的需要； 另一方面是为适应与会者可用网络资源的需要而进行动态的码率调节。总之，视 频转码器在目前的多媒体系统中起到了十分重要的作用，其目标是提供通用的视 频接口。 i d g ( 国际数据集团) 的一项调查结果 3 】中指出，随着家用、商业和移动电 予装置的种类持续增加，内容供应商、网络服务供应商和产品制造商必须解决多 山东大学硕士学位论文 种格式的庞大数码资料传送问题。因此转码功能的应用日益广泛，并逐渐成为网 络基础设施的重要环节。消费者才是推动转码应用和决定视频内容的关键。消费 者希望能随时随地观看高画质节目、选择节目和视讯内容等服务，他们还会向传 统与非传统来源寻求这些支持。而转码将使所有人都能享受这些新服务和内容。 视频转码己成为视频编码领域一个新的研究热点，许多学者从各种角度出发 对视频转码进行了研究。但随着各种新的视频编码标准的制定、计算机软硬件技 术和网络技术的发展，视频转码在理论研究和应用技术方面仍有许多工作要做。 另外，在数字电视的编码方式上，国家正在大力推广具有自主知识产权的a v s 标准。为了实现a v s 产业化的最终目标，首先要提升d s p 平台上的解码速度，需要 对解码程序的各个模块都进行优化。 1 2 主要研究工作 本论文丰要研究对h 2 6 4 编码码流的空间降尺度转码中的一些关键技术，包括 宏块重编码的模式选择问题，运动矢量复用的方法等。对于转码输入的h 2 “码流， 先解码然后在空间域进行降采样，随后对降采样得到的较低分辨率的视频图像进 行重编码。宏块的重编码模式选择又可分为帧内与帧间两类，在两种情况下具体 的重编码模式又有所不同，需要根据宏块信息进行选择。在帧间预测模式下，由 于使用完全搜索的运动估计方法会占用相对较多的时间，如何使用输入码流中的 运动矢量信息来获取转码码流的运动矢量值，成为了转码过程中的一个关键问题。 另外，选用不同的运动矢量合成及运动矢量精细化方法，在提高预测准确性的同时 也有可能造成的码流长度增加，因此对转码质量与码率的控制也是需要注意的一个 方面。根据对传统降尺度转码算法的研究，提出了一种改进的算法，采用了新的运 动矢量测度因子，并通过自适应阈值的分类方法选择合适的重编码模式，对不同类 型的视频序列，在转码图像质量与转码后码流大小之间实现了较好的折衷。 本文的另一部分简要介绍了对a v s 熵解码的d s p 优化工作，从算法级、指令级 提出了优化方案并给出了优化前后的效果对比。 6 山东大学硕士学位论文 1 3 本文的组织结构 第一章为绪论；第二章主要介绍视频转码的概念、视频转码的分类以及视频 转码的应用；第三章主要讨论空间降尺度转码中帧间宏块的运动矢量重估计算法； 第四章给提出了h 2 “转码中的实现方法，并给出了实验数据；第五章介绍了作 者另外一部分工作内容，即a v s 熵解码部分的实现以及在d s p 平台上的优化工作； 第六章总结了全文，并指出了本工作今后的改进方向。 7 山东大学硕士学位论文 第二章视频转码技术简介 2 1 视频压缩标准的讨论 国际上音视频编解码标准 4 丰要两大系列：i s o i e cj t c l 制定的m p e g 系列 标准；i t u 针对多媒体通信制定的h 2 6 x 系列视频编码标准和g 7 系列音频编码标 准。1 9 9 4 年由m p e g 和i t u 合作制定的m p e g 一2 是第一代音视频编解码标准的 代表，也是目前国际上最为通行的音视频标准。 图2 一l 视频编码框架 经过十j 年多演变，音视频编码技术本身和产业应用背景都发牛了明显变化， 后起之秀辈出。目前音视频产业可以选择的信源编码标准有四个：m p e g 一2 、 m p e g 4 、m p e g 一4 a v c ( 简称a v c ，也称j v t 、h 2 6 4 ) 、a v s 。前二个标准是由 m p e g 专家组完成的，第四个是我l 翻白手制定的。m p e g 一2 是第一代信源标准，其 余j 个为第二代标准。m p e g 4 的编码效率是m p e g 一2 的1 4 倍，a v s 和a v c 相 当，都是m p e g 一2 两倍以上。目前国内比较热门的视频压缩标准包括h 2 6 4 标准 和a v s 标准。二者都采用混合编码框架( 见图2 一1 ) ，包括变换、量化、熵编码、 山东大学硕士学位论文 帧内预测、帧间预测、环路滤波等技术模块，这是当前主流的技术路线。 h 2 “m p e g 4 a v c 5 】是自m p e g 2 视频压缩标准发布以后的最新、最有前途 的视频压缩标准。h 2 6 4 是由i t u - t 和i s o i e c 的联合开发组共同开发的最新国际 视频编码标准。通过该标准，在同等图象质量下的压缩效率比以前的标准提高2 倍以上，因此，h 2 6 4 被普遍认为是最有影响力的行业标准。 作为新一代的数字视频压缩格式，h 2 6 4 标准即保留了以往压缩技术的优点和 精华，又具有其他压缩技术无法比拟的许多优点。 1 低码流( k wb i tr a t e ) ：在同等图像质量下，采用h 2 6 4 技术压缩后的数 据量只有m p e g 2 的l 8 ，m p e g 4 的l 3 。 2 高质量：h 2 6 4 能提供连续、流畅的高质量图象( d v d 质量) 。 3 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下丢包等错误的必要工 具。 4 网络适应性强：h 2 6 4 提供了网络适应层( n e 附o r k a d a p t a t i o nl a y c r ) ，使 得h 2 6 4 的文件能容易地在不同网络上传输( 例如互联网，c d m a ，g p r s ， w c d m a ，c d l 气2 0 0 0 等) 。 相对于早期的视频压缩标准，h 2 6 4 在编码框架上还是沿用以往的m c d c t ， 结构，即运动补偿加变换编码的混合结构，因此它保留了一些先前标准的特点。 h 2 6 4 还引入了很多先进的技术，包括4 x 4 整数变换、空域内的帧内预测、l 4 精 度的运动估计、多参考帧与多种大小块的帧间预测技术等。 4 x 4 整数变换 h 2 6 4 将整幅图像分成4 x 4 像素大小的块进行映射编码。与以往的编码标准中 d c t 变换不同的是h 2 “使用一种整数变换，其基本编码特性与4 x 4 的二维d c t 变换相似，将二维整数变换分解为一维整数，变换先进行行整数变换再进行列整 数变换。在变换过程中系数均为整数保证了编解码端的数据可以精确匹配。 帧内预测技术 我们通过去除图像的空间与时间相关性来达到视频压缩的目的。空间相关性 通过有效的变换来去除，如d c t 变换、h 2 6 4 的整数变换；时间相关性则通过帧间 预测来去除。这里所说的变换去除空间相关性，仅仅局限在所变换的块内，如8 x 8 或者4 x 4 ，并没有块与块之间的处理。h 2 6 3 与m p e g _ 4 引入了帧内预测技术，在变 9 山东大学硕士学位论文 换域中根据相邻块对当前块的某些系数做预测。h 2 6 4 则是在空域中，利用当前块 的相邻像素直接对每个系数做预测，更有效地去除相邻块之间的相关性，极大地 提高了帧内编码的效率。 运动估计 h 2 6 4 的运动估计具有3 个新的特点：l 4 像素精度的运动估计；7 种大小不同的 块进行帧间匹配：前向与后向多参考帧。h 2 “的帧间编码中，一个宏块( 1 6 x 1 6 ) 可以被分为1 6 x 8 、8 x 1 6 、8 x 8 的块，而8 x 8 的块被称为子宏块，又可以分为8 x 4 、4 x 8 、 4 x 4 的块( 如下图所示) 。总体而言，共有7 种大小不同的块做运动估计，以找出最 匹配的类型。与以往标准的p 帧、b 帧不同，h 2 “采用了前向与后向多个参考帧的 预测。半像素精度的运动估计比整像素运动估计有效地提高了压缩比，而l 4 像素 精度的运动估计可带来更好的压缩效果。 1 6 8 1 6881 6 1 6 x 1 6 8 田臼田 1 6 x 8 8 8 田：目田 图2 2h 2 6 4 宏块划分模式 帧编码和场编码自适应方式选择 对于运动量较小的图像序列，则帧编码时邻行之间空间相关性大，故采用帧 编码；对于运动量大的，则场编码邻行间的时间相关性大，故采用场编码。有时 同一帧中有一部分内容运动量大，有一部分内容运动量小，则可在帧编码中进一 步分成图像自适应帧场( 姗) 和宏块自适应帧场( m b a f f ) 等模式。 熵编码自适应技术 i o 4 6x8 4 山东大学硕士学位论文 在h 2 “中采用了两种自适应的嫡编码：上下文自适应变长编码( c a c ) 和 上下文自适应二进制算术编码( a 蛆a c ) ，它们都利用待编码视频信息邻近已编 码像素的统计特性，因而码率压缩比( 编码效率) 进一步提高，而后者编码效率 更高，但计算更复杂些。 去块效应滤波器 h 2 6 4 标准引入了去块效应滤波器，对块的边界进行滤波，滤波强度与块的编 码模式、运动矢量及块的系数有关。去块效应滤波器在提高压缩效率的同时，改 善了图像的主观效果。 h 2 “中率失真优化算法 不同于以往的编码标准，在h 2 6 4 标准中采用了牢失真优化算法( 1 m o ：r ，l t c d i s t o r t i o p t i 玎也斌i o n ) 。h 2 “的运动估计与模式选择算法有低复杂度模式和高复 杂度模式之分，在参考实现中由r d o ( 率失真优化) 选项来设定：当r d o 设置为o f f 时，为低复杂模式，设置为0 n 时，则为高复杂模式。低复杂度模式虽然能加快h 2 “ 的编码速度，但其编码效率远不如高复杂度模式，而h 2 “的强大优势恰恰在于其 高压缩的编码效率方面。高复杂度模式下的牢失真优化算法使用r d 代价来选择最 佳编码模式，其表示如下： ，( 肌，k ) = 黝d b ，c ( m ) ) + 九甜渤尺( m p ) ( 2 1 ) 其中，m = ( m ，所，) 为运动矢量，p = ( p ，p ，) 为预测的运动矢量，五。砌是拉格朗 日( l a 伊锄g e ) 运动模式乘数因子，它和待编码块所在条带编码类型( 如p 条带或 b 条带等) 及量化参数q p 有关；尺( 肌一p ) 表示运动矢量差值( 候选运动矢量减去预 测运动矢量) 所需的二进制位数，通过查表取得；绝对误差和( s 啪o f a b s o l u t e d i 脓e n c e ，s a d ) 定义如下式，其中的绝对差值是通过查找绝对值表实现的。 舰嘶，c ( 聊) ) ：羔兰，y 】一如一肌一m ，l ，( n 为1 6 ，8 或4 ) ( 2 - 2 ) 式中s 表示源视频信号，c 表示解码视频信号。 山东大学硕士学位论文 2 2 视频转码的概念 将某种编码格式的压缩码流转换为另一种编码格式的压缩码流称为视频转码 ( t r a n s c o d i i l g ) 。其中，编码格式可以包含诸如比特率、帧率、空间分辨率、编码标 准、色度格式、g o p 结构视频内容等。 插入水印 j 输入压缩视频流v - 一视频转码器卜 目标压缩视频漉v t 比特率：b r l 比特率：b r 2 空f i l 】分辨率：f r l 空m 分辨率：f r 2 压缩算法：a l l压缩算法：a l 2 图2 - 3 视频转码的过程 视频转码的目标是使转码后压缩码流更能适应传输信道带宽以及接受端的要 求，譬如：预先把压缩的视频比特流的码率降低，可以不用在解码端加上额外的操 作实现数据接收；或者，压缩的固定比特率视频流可以根据网络带宽动态调整码率 等。另外，转码技术还可以实现在数字视频流中插入水印，公司图标，或是在压 缩码流中加入误码恢复等( 如图2 3 ) 。与传统的解码、编码不同，转码的输入和输 出都是压缩码流，他们在数据比特率、帧率、空间分辨牢以及所遵循的压缩编码 标准等方面都可能不同。 视频转码可以先通过视频码流解码还原为解压缩图像，然后按照目标格式进 行完全重编码来完成。但这样做，不仅系统成本非常高，而且会引入额外的处理 延时。一般来讲，在视频转码系统中不会采取上述的完全重编码的方法，而是充 分利用输入压缩码流中的信息，来更简洁、更有效地对转码目的码流进行预测， 从而实现各种视频格式的转换。 转码与普通视频编码的区别之处在于转码利用了输入码流中的各种编码参数 与统计量来对所要转换的码流进行估计，而这一估计过程所需的运算量与普通的 编码相比是较为简单的。转码不仅可以减少计算复杂度，还可以提高视频图像的 质量。通过对输入码流中参数的利用，使得转换码流的预测更为精准。对于研究 者来讲，视频转码的挑战就在于如何用更少的计算量来来获取更高质量的码流。 而实现这一目标的必要条件就是要对源编码信息与统计量的加以合理的利用。 山东大学硕士学位论文 与其他的编码格式转换方法相比，视频转码也也具有相对优势。通常多媒体 数据格式转换的解决方案有自适应编码、重新编码、可分级扩展编码等。这几种 方案都可完成压缩视频格式转换的工作，且各有优缺点。而转码技术与它们相比 更能有效地解决数字家庭中多媒体数据格式转换的问题。自适应编码一般采用基 于反馈的自适应技术，通过反向信道将需要的信息传递给编码器，编码器接收到 这些信息后可以自行调整以适应带宽和分组丢失等情况的变化。其缺点是需要与 编码器交互，即编码器要在线编码，编码不能离线单独进行。转码技术与自适应 编码方案相比，编码和传输相分离，可以进行单独编码，因而更加灵活：重新编 码技术则是把转换前码流的原始参数如编码类型、p 矩阵和运动矢量等全部进行保 留，以便用于再次编码。与重新编码方案相比，转码技术通过部分解码和部分编 码实现转码，运算复杂度低、实时性好；可分级扩展编码方案采集视频数据只压 缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类 用户的各种不同应用要求的技术。与之相比，转码技术可自适应地把存储码流转 化为更精确匹配网络带宽和用户终端处理能力的码流。 2 3 视频转码器的架构 2 3 1 开环转码器与闭环转码器 码率控制 图2 4 开环转码结构 输出码流 在转码器架构 6 】中，最简单的一种形式是如图2 4 所示的开环转码形式。在这 种架构中，首先对输入码流进行可变长解码( v l d ) ，然后进行反量化处理，得到 d c t 系数。再根据目标码率选择较大的量化步长q 2 对d c t 系数进行重量化。由于 山东大学硕士学位论文 重量化后系数值变小，所以可变长编码( 上) 后可以获得更高的编码效率，可 以起到降低码牢的作用。 在预测编码过程中，当前帧是通过参考帧预测得到的，将原始视频图像与参 考图像中预测值相减后再对残差编码，而且只对残差进行编码传输。所以，解码 端预测器中参考图像必须与编码器中的预测器完全一致才能保证解码的准确性。 否则，会在转码后视频中出现错误的图像。但开环转码器量化后预测残差发生改 变，使得解码端预测器中的参考图像与编码端预测器的参考图像存在误差。而这 些错误会随着g o p ( 印u po f p i c t u r e s ) 的增加而不断积累。这种由编、解码器间预 测不一致而引起的错误积累，称为“漂移”误差。在开环转码器中，漂移误差是 由重量化过程、截取非零d c t 系数或是截取整数部分而引起的。由于帧内编码图 像( i 帧) 没有参考帧，对i 帧无需进行运动补偿，所以对i 帧的转码不会有漂移现 象。双向预测编码帧( b 帧) 通常不被用作参考帧，所以对b 帧的转码不会造成误 差的积累和扩大。因此，漂移误差是由多个连续p 帧的预测误差积累而成的。而且 在一组g o p 内，这种误差会不断的增加，直到出现一个i 帧刷新视频场景为止。因 为预测编码时参考帧的漂移误差会带到当前帧，即使参考帧只有很小的漂移误差， 经过逐级放大累积，也会变得很大，这就是漂移误差的累积放大效应。 在开环转码器中缺少运动补偿预测环路，所以整个转码过程的计算复杂度将 低，也不需要大容量的帧存储器，是一种高效的码率变换结构，但是它存在着严 重的漂移问题。由于这种架构的设计目标是降低转码的计算量，仅通过截取编码 d c t 系数的方法来降低整体的比特率。由于对残差数据以及解码端预测器进行了 改动，因而当使用开环架构的转码器进行解码时，预测器中的图像将与源编码端 的图像不一致，造成漂移现象。 闭环转码结构中，通过运动补偿的引入，有效地抑制了漂移误差。图2 5 描述 了闭环级联转码器的各功能单元构成。其中，l c 与v l d 分别代表可变长编码与 可变长解码的模块；q i 为源码流的量化参数，q 2 为目标码流的量化参数：d c t 与 i d c t 分别代表离散余弦变换及它的逆变换：r 代表存储的参考帧；与m c 分 别为运动估计与运动补偿模块。 1 4 山东大学硕士学位论文 图2 5 闭环转码结构 在闭环转码器中包含一个运动补偿的预测环路，通过转码器的漂移补偿对失 真进行校正，因此基本消除了漂移误差对转码后图像质量的影响。 2 3 2 像素域( 空域) 视频转码 图2 6 展示的是空域转码架构( s d l a ：s p a t i 甜d o m a i l l 仃彻s c o d i n ga r c l l i t e c t i 鹏) 。 在这个架构中，通过对编码端的帧率控制，转码器可以动态地调整比特率的大小。 因为解码环路与编码环路实际上相瓦独立( 例如编、解码端可以使用各自不同的 比特率、帧率、图像分辨率等进行转换) ，这种转码架构是不稳定的。虽然可以避 免漂移现象【7 】，t u 是整个转码的计算复杂度也随之增加，不适宜实时应用的需要。 而转码器接收到的从前端编码器发送来的预编码码流中含有图像格式、运动矢量 ( m v ) 、量化步长等编码参数和统计量，这些对于转码器来说，是很有用的信息。 通过对这些信息的采集和利用，可以实现较低计算复杂度下的高质量的视频转码。 对输入码流中的运动信息以及宏块模式在转码时加以复用通常不会导致图像质量 的恶化。因此，用这种方法可以避免视频编码中最耗时的运动估计过程，提高了 计算效率。 山东大学硕士学位论文 图2 6 像素域转码架构 2 3 3 压缩域( 频域) 视频转码 上述基于像素域省略运动估值的快速级联转码结构避免了最费时的运动估值 过程，使转码器大为简化，但并没有解决d c t i d c t 这一运算瓶颈。在d c t 域必 须重建参考帧，所以还是需要存储一帧的像素域数据，并且转码结构中仍然保留了 一组d c t i d c t 变换。转码过程中d c t 和i d c t 是为了进行像素域运动补偿，以 便消除误差积累造成的图像漂移。i 帧无须运动补偿。如果省略图中p 帧和b 帧的 运动补偿反馈回路，则d c t i d c t 过程都可避免。此时所有i ，p 和b 帧都按照i 帧 转码公式在d c t 域进行重新量化转码。这种转码器是对码流在d c t 域进行重量 化，输入的压缩视频流经过熵解码和逆量化后，再进行重量化和熵编码，称为基于 d c t 域重量化转码器如图2 7 所示。这种结构避免了运动估值、运动补偿、 d c t i d c t 等运算瓶颈，是最简单的转码器结构。在其实现结构中，输出码的 g o v ( g m u po f d e o ) 结构必须与预先编码的输入码流保持一致。否则，会造成延 迟和严重的视觉失真。 1 6 山东大学硕士学位论文 图2 7 压缩域转码架构 这种转码方法的关键是要解决不匹配宏块的复原技术。这种转码方法与其它 像素域方法相比，计算复杂性低，所需缓存少，延迟小，硬件实现简单，能够满足 实时要求。但由于编码参数( 如运动矢量、编码模式) 在转码前后保持不变，所以这 种转码器不能实现帧编码类型转换、编码速率变化以及空间分辨率变化，故十分不 灵活。由于码流只进行重量化而不经过运动补偿，p 帧和b 帧会由于误差积累而 造成图像漂移。码流中的g o p ( 舶u po f p i c n l r e s ) 越长，漂移现象就越明显。因而 这种转码器适用于q o s ( q u a l i t yo f s e r v i c e ) 要求较低的实时环境。 2 4 视频转码的分类 转换编码丰要有以下几种情况【7 】：码率转换、空间分辨率转换和语法间的转 换。其中码率转换、分辨率转换多用于同类编码标准之间的转码。在各类转码中， 还可以加入l o g o 或容错等。本节将简要的介绍一下这些不同的转码形式。 2 4 1 比特率转码 比特率转码丰要是针对输入源码流的码率进行转换，以实现码流的有效传输， 起到节省带宽的作用，并且能够和与特定的编码相兼容。 实现码牢转换最直接的一种方法是重新量化法。这种转码器是把标准解码器 与标准编码器相级联，先用源编码器的量化参数q l 对码流进行反量化后解码，然 山东大学硕士学位论文 后按新的目标码率对重建图像进行编码( 在重编码的量化过程中选用一个不同的 量化参数q ，) 。图2 - 8 所示为重新量化的结构框图。这种方法的好处是能够补偿再 量化引起的转换偏差。现在的码率转换中多用这种方法。 但是，由于级联的码率转换编码器结构比较复杂且价格昂贵，又考虑到运动 补偿可以在频率域直接进行，可以将输入编码码流经过变长解码( v l d ) 和解量 化得到d ( 丌变换系数后，直接通过重新量化或滤波处理，把编码码流的码率调整到 新的目标值上，即在频率域进行再量化。常用的再量化方法有两种：一种是m s e ， 另一种是脚。m s e 方法根据原始值与量化值间的均方误差最小来选择新量化值； m a p 方法则根据原始d c t 值落入新区间的后验概率最大来选取新量化值。这两种 方法都是基于d c t 系数分布符合拉普拉斯分布的模型。 目前码牢变换的丰要研究问题是如何改善由于再量化误差和漂移造成的图像 质量下降和部分地减小解码的复杂性。 输入 ；r 一一 r 2 4 2 分辨率转码 图2 8 码率转换结构框图 输出 分辨牢转码包括空间分辨率转码和时间分辨率转码。丰要针对用户解码器的一 些限制如实时处理能力、解码端处理能力及用户端显示器分辨牢等。 ( 1 ) 时间分辨牢转码 山东大学硕士学位论文 图2 9 时间分辨率转码中参考图像的改变 时间分辨率转码也就是帧率的变换，在实际应用中多为帧的丢弃。如图2 9 描 述了一种帧率降采样的例子，对原始码流进行时间间隔为2 的降采样后，图形编码 模式并不需要改变，而剩余图形的参考图像也得到了保留。帧率降采样变换是节 省更多比特给剩余帧、提高剩余帧质量的一种有效措施。由于双向预测帧不作为其 他帧的参考，所以首先考虑丢弃b 帧。如果需要对内部i 帧和单向预测p 帧操作， 则会影响其他帧运动矢量的指向，所以这部分的研究包括：一是研究丢帧策略和丢 帧后帧格式的转换，另一个就是参考帧丢弃后，受影响运动矢量的重新估计。 丢帧策略和帧格式的转换与输入、输出流中的帧组构成有关。由于b 帧通常不 作为其它帧的参考，所以丢弃b 帧相对来说对压缩数据的处理简单一些，唯一的问 题是调整帧率不够灵活，对于任意帧率的调整算法，如果丢弃了参考帧，则余下 的以此帧为参考帧的预测帧必须重构运动矢量和定位新的参考帧，有些情况下还 必须从原始的预测帧中生成新的内部编码帧，这又会对新的预测帧造成误码扩散。 若不改变原始序列中个帧的编码模式，遇到b 帧时，将相邻的两个b 帧合成一个新 的b 帧，则可降低码率而避免了新的误码扩散。 曩h 的值 图2 1 0 时间分辨率转码中的运动矢量映射 1 9 山东大学硕士学位论文 在丢弃b 帧的方法中，由于被丢弃的帧不再用做其它帧的参考帧，转换编码器 仅需要对原码流进行语法转换，由最终解码器恢复的图像质量并没有改变。当丢 弃帧不仅限于b 帧时，原码流的部分运动矢量由于其所指向帧在新码流中被丢弃 而变得无效，需要对运动矢量进行修正。因此，帧