（通信与信息系统专业论文）数字视频dct域转码技术研究.pdf

数字视频d c t 域转码技术研究 摘要 现阶段在数字视频通信领域存在多种图像编码标准，这些标准除语法格式不 同外，在压缩效率、输出码率、图像格式等方面也不完全相同，它们分别适用于 1 ：同的网络环境、解码器和监视器。当已有的压缩码流格式与当前的使用环境或 客户端需要不同时，则要求能够将已有的码流无缝地转换成满足需要的格式，这 就是视频转换编码，简称转码。 早期的转码技术主要关注于降低视频流的码率以适应信道传输带宽的要求； 而随着时间的变迁，移动视频得到越来越广泛地应用，其有限的显示能力，也使 得降低图像分辨率和视频帧率的转码也成为重点研究方向。最直观的转码方法是 把两个独立的视频解码器和编码器相级联，将输入视频完全解码，还原出视频像 素域的信号，然后再根据客户端要求或信道带宽不同进行第二次压缩，得到指定 格式的码流。这种像素域转码方法存在计算复杂、帧缓存大和转码延时长等不足， 因而近年来转码技术研究的焦点逐渐集中到d c t 域转码，利用d c t 变换的线性 特点，将转码过程转移到d c t 域来实现。 本文辛要针对d c t 域视频转码技术的几个关键点展开研究，主要包括帧率 变换转码、图像分辨率变换转码、不同编码标准之间变换的语法转码以及结合几 种转码过程的联合转码技术等。主要研究工作概括如下： 本文首先对视频编码和转码技术的发展进行了回顾，归纳了转码技术研究的 一些关键问题，并对其进行了分类整理。针对d c t 域转码的几个基础理论展开 讨论，分析d c t 变换的性质与特点，以此来推导d c t 域整像素和半像素的运动 补偿算法；分析推导d c t 域运动估计问题，讨论将其应用到转码重建运动向量 r 中的可行性；对几种d c t 域转码结构的漂移误差进行了定量分析。 针对帧率变换转码技术研究，给出一个视频帧率下采样转码的基本模型，详 细分析丢弃参考帧帧率下采样和丢弃非参考帧帧率下采样的两种转码方案。对帧 率下采样的运动向量重建算法展开研究，提出一种完全在d c t 域实现的带宏块 再编码模式重判决的帧率下采样算法( m c m r 算法) ，根据参考块在被丢弃帧中 覆盖面积和位置，来重新判决宏块的编码类型和重建运动向量，并对转码后的预 测残差进行更新：该算法省去了i d c t 和d c t 过程，有效地降低了转码复杂度， 以牺牲很少的码率为代价获得了非常可观的图像质骨= 提高。 针对图像分辨率变换转码技术研究，通过分析图像分辨率下采样变换的信号 处理基础推导像素域图像分辨率下采样方法；对d c t 域图像分辨率转码过程中 所涉及运动向量重建、图像纹理数据的下采样以及转码误差的消除等关键技术展 开研究。提出了种基于宏块运动方向一致性的图像分辨率下采样转码算法，通 过对输入码流中宏块运动方向的一致性进行判断，将部分运动方向非常分散的帧 问编码宏块在分辨率下采样后转变为帧内编码宏块。实验表明：相比于已有分辨 率下采样转码算法，本文算法能够获得接近o 5 d b 左右的图像质量提高，p s n r 性能有着比较明显的优势。 研究了视频在不同编码标准之间变换的转码技术，对m p e g 2 到m p e g - 4 标 准之间语义层转码技术进行分析，对组合帧率、分辨率、语法等多种变换的联合 转码技术展开研究，分析语法转码中帧率下采样与帧类型变换组合的运动向量重 建办法。提出一种组合视频帧率与图像分辨率的联合转码结构，通过算法比较和 实验仿真给出个较优的联合转码方案。 关键词：视频转码，d c t 域，帧率变换转码，分辨率变换转码，语法转码， 联合转码技术 r e s e a r c h e so nt h et e c h n o l o g i e so fd i g i t a l d e o t r a n s c o d i n gi nd c td o m a i n a b s t r a c t n o w a d a y s ，k i n d so fv i d e oc o d i n gs t a n d a r d sh a v eb e e nd e v e l o p e d ，w h i c h a l e d i f f e r e n tf r o me a c ho t h e ri ns y n t a xa sw e l la si nc o m p r e s s i n g r a t e ，b i t - r a t ea n dp i c t u r e f o r m a t t h e ya l ed e s i g n e df o rd i v e r s en e t w o r k s ，d e c o d e r sa n dm o n i t o r s w h e nt h e i n c o m i n gc o d e dv i d e os t r e a mw i t has p e c i f i cf o r m a ti sn o tf kf o rt h ec u r r e n tn e t w o r k o rg u e gr e q u i r e m e n t ，w en e e dt ot r a n s f e rt h ec o d e ds t r e a mf r o mo n ef o r m a tt ot h e r e q u i r e df o r m a ts e a m l e s s l y , w h i c hi sk n o w na st h et r a n s c o d i n g a tt h eb e g i n n i n g ，e a r l yt r a n s c o d e ri se m p h a s i so nv i d e ob i t - r a t er e d u c t i o nf o r f i t t i n gt h eb a n d w i d t ho ft r a n s m i s s i o n a st i m em o v e do n ，m o b i l em e d i as e r v i c e sg e t m o r ea n dm o r e p r a c t i c a lu s e s ，i t m a k e sb o t hp i c t u r e - s i z e t r a n s c o d i n g a n d f r a m e s k i p p i n gt r a n s c o d i n gb e c o m eak e yd i r e c t i o no ft r a n s c o d i n gr e s e a r c hh e c a u s e o ft h ec o n s t r a i n to fd i s p l a ya b i l i t y o n es t r a i g h t f o r w a r da p p r o a c hf o ri m p l e m e n t i n ga t r a n s c o d e ri st oc a s c a d eo n ei n d e p e n d e n td e c o d e rw i t ho n ei n d e p e n d e n te n c o d e r , c o m m o n l yk n o w n a sp i x e l - d o m a i nt r a n s c o d e r b yt h i sm e t h o d ，t h ei n c o m i n gv i d e o s t r e a mi s f i r s t l y d e c o d e di n t ot h e p i x e l d o m a i n ，a n dt h e nt h e s ef r a m e sa r e r e c o m p r e s s e da tt h ed e s i r e df o r m a ta c c o r d i n gt ot h ec a p a b i l i t yo ft h ec l i e n t s d e v i c e s a n da v a i l a b l eb a n d w i d t h t h i sp r o c e d u r es u f f e r sf r o mah i g hp r o c e s s i n gc o m p l e x i t y , m e m o r ya n dd e l a y i no r d e rt os o l v et h e s ed r a w b a c k s ，t h er e s e a r c h e sf o c u so n t ot h e d i s c r e t ec o s i n et r a n s f o r m ( d c t ) d o m a i nt r a n s c o d i n gr e c e n t l y , w h i c ht r a n s f e r st h e p r o c e s so ft r a n s c o d i n g i n t ot h ed c td o m a i ni nt e r m so ft h ec h a r a c t e r so fd c t t r a n s f o r m a t i o n i nt h i sp a p e r , w em a k es o m er e s e a r c h e so nt h ek e y t e c h n o l o g i e so ft r a n s e o d i n gi n d c td o m a i n ，w h i c hm a i n l yc o n t a i n s f r a m e s k i p p i n gt r a n s e o d i n gt e m p o r a l l y , p i c t u r e - s i z et r a n s c o d i n gs p a t i a l l y ，s y n t a xt r a n s c o d i n ga n dh e t e r o g e n e o u st r a n s c o d i n g c o m p o s e db ys e v e r a lt r a n s c o d i n gp r o c e s s e s t os u m m a r i z e ，o n rr e s e a r c hi n c l u d e st h e f o l l o w i n ga s p e c t s ： f i r s t l y , w eg i v eab r i e fr e v i e wo ft h ed e v e l o p m e n to fv i d e oc o m p r e s s i n ga n d v i d e ot r a n s c o d i n g ，a n ds u mu pi t sf o r m e rs y s t e ma r c h i t e c t u r e sa n dr e l a t e d t e c h n o l o g i e s w ea n a l y z es e v e r a lr e l a t e dp r i n c i p l e so ft r a n s c o d i n gi nd c td o m a i n ， a n dd e d u c et h ea l g o r i t h mo f m o t i o nc o m p e n s a t i o nw i t hp i x e la n dh a i f _ p i x e lp r e d i c t i o n i nd c td o m a i nb a s e do nt h ec h a r a c t e r so fd c tt r a n s f o r m a t i o n w cs t u d yo nm o t i o n v e c t o rr e b u i l d i n gs c h e m e so ft r a n s c o d i n gi nt e r m so fr e s e a r c ho nm o t i o ne s t i m a t i o n i nd c td o m a i n a n da l s o ，w ed i s c u s st h ed r i f te r r o ro f d i f f e r e n tk i n d so f t r a n s c o d i n g 。 r e g a r d i n gt h et e m p o r a lt r a n s c o d i n gt e c h n o l o g yr e s e a r c h ，w eg i v eab a s i cm o d e l o ff r a m e s k i p p i n gt r a n s c o d i n gf i r s t l y , a n dt h e np r e s e n tt w om a i nf r a m e r a t er e d u c i n g s o l u t i o n si n c l u d i n gd i s c a r d i n gn o n r e f e r e n c ea n dr e f e r e n c ef r a m e s c o n c e r n i n g m o t i o nv e c t o rr e b u i l d i n g ，w ep r o p o s eaf r a m e s k i p p i n gs c h e m et h a ti se n t i r e l y p e r f o r m e di nd c td o m a i n ，i nw h i c ht h em bc o d i n gm o d ei sr e - j u d g e d ( m c m r a l g o r i t h m ) b yo v e r l a p p i n gm o d ea n da r e a ，a n dt h ep r e d i c t i o nr e s i d u a lr e - c a l c u l a t i n gi s u t i l i z e d a sar e s u l t ，t h ea l g o r i t h ma c h i e v e sa ne x c e l l e n tq u a l i t yp r o m o t i o nw i t hl i t t l e s a c r i f i c eo fb i t - r a t ei n c r e a s i n g ，a sw e l la sr e d u c e st h ec o m p l e x i t yo ft r a n s c o d i n gw i t h e l i m i n a t i o no fd c t i d c t p r o c e d u r e r e g a r d i n gt h es p a t i a lt r a n s c o d i n gt e c h n o l o g yr e s e a r c h ，w em a i n l yf o c u se l lt h e k e yt e c h n o l o g i e so fs p a t i a lt r a n s c o d i n gs u c ha sm o t i o nv e c t o rr e - b u i l d i n g ，p i c t u r e t e x t u r er e - s a m p l i n ga n dt r a n s c o d i n ge r r o rr e d u c i n g w ed i s c u s st h ep i c t u r e - s i z ed o w n s a m p l i n gi np i x e ld o m a i na f t e rt h ee x p l a n a t i o no fs i g n a lp r o c e s s i n gp r i n c i p l ef i r s t l y , a n dt h e np r e s e n ta nn o v e lp i c t u r e - s i z ec o n v e r s i o nt r a n s c o d i n ga l g o r i t h mb a s e do nt h e c o i n c i d e n c eo ft h em o t i o nd i r e c t i o no fm a c r o b l o c k s ( m n s ) ，i nw h i c ht h em b sw i t h d i s p e r s e dm o t i o nv e c t o r sw i l lb ec h a n g e dt ot h ei n t r a - c o d e dm o d ef r o mi n t e r - c o d e d m o d e e x p e r i m e n t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc a ba c h i e v en e a ro 。5 d bp n s r p r o m o t i o nc o m p a r i n g w i t hp r e s e n tp i c t u r e s i z ed o w n - s a m p l i n ga l g o r i t h m a l s o ，s y n t a xt r a n s c o d i n gb e t w e e nd i f f e r e n tc o d i n gs t a n d a r d sa n dh e t e r o g e n e o u s t r a n s c o d i n gc o m p o s e db y s e v e r a l t r a n s c o d i n gp r o c e s s e sa r es t u d i e d t h e u n s o p h i s t i c a t e de x p r e s s i o nc o n v e r s i o nb e t w e e nm p e g - 2a n dm p e g - - 4i sa n a l y z e d ， i v a n dt h e nt h em o t i o nv e c t o rr e b u i l d i n ga l g o r i t h mo f t h e j o i n tt r a n s c o d i n gc o m b i n e d b y f r a m e 。r a t e r e d u c i n ga n df r a m e - t y p ec o n v e r s i o ni sd i s c u s s e d ah e t e r o g e n e o u s t r a n s c o d e rc o m p o s e db yt w ot r a n s c o d i n gp r o c e s s e s 。p i c t u r e s i z ed o w ns a m p l i n ga n d f r a m e - r a t e r e d u c i n g i s p r o p o s e d f i n a l l y , af e a s i b l es o l u t i o no fh e t e r o g e n e o u s t r a n s c o d e ri sp r e s e n tb yt h ee x p e r i m e n t sa n dt h ec o m p a r i s o no f a l g o f i t h m s k e yw o r d s ：v i d e ot r a n s c o d i n g ，d c td o m a i n ，f l a m e - r a t ec o n v e r s i o nt r a n s c o d i n g ， p i c t u r e s i z ec o n v e r s i o nt r a n s c o d i n g ，s y n t a xt r a n s c o d i n g ，h e t e r o g e n e o u st r a n s c o d i n g a d v s a d v t a m v r b i v s c b r d c t d c m c d f s f d v s f m 0 g o p h a v s h d t v i d c t i s o 1 1 u j p e g m a d m b m c m c m r m p e g m s e m v m v s m j p e g 英文缩略语 a c t i v i t yd o m i n a n tv e c t o rs e l e c t i o n a r b i t r a r yd o w n s i z i n gv i d e ot r a n s c o d i n g a d a p t i v em o t i o nv e c t o rr e - s a m p l i n g b i l i n e a ri n t e r p o l a t i o nv e c t o rs a m p l i n g c o n s t a n tb i tr a 姆 d i s c r e t ec o s i n et h n s f o n l l d c td o m a i nm o t i o nc o m p e n s a t i o n d e c o d i n gf r a m es t o r e f o r w a r dd o m i n a n tv e c t o rs e l e c t i o n f l e x i b l em a c r o b l o c ko r d e r i n g g r o u po f p i c t u r e h o r i z o n t a la n dv e r t i c a ls e a r c h h i g l ld e f i n i t i o nt e l e v i s i o n i n v e r s ed i s c r e t ec o s i n et r a n s f o r m i n t e r n a t i o n a ls t a n d a r do r g a n i z a t i o n i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n j o i n tp h o t o g r a p h i ce x p e r t sg r o u p m e a na b s o l u t ed j f f e r e n c e m a c r ob l o c k m o t i o nc o m p e n s a t i o n m b c o d i n gm o d er e - j u d g m e n t m o v i n gp i c t u r ee x p e r t sg r o u p m e a ns q u a r ee r r o r m o t i o nv e c t o r m o t i o nv e c t o rs t o r e m o t i o n j o i n tp i c t u r ee x p e r tg r o u p 活动性支配的向量选择 任意比例下采样转码 自适应运动向量重采样 双线性插值运动向量采样 恒定码率 离散余弦变换 d c t 域运动补偿 解码帧存 前向支配的向量选择 灵活宏块排序 图像组 垂直与水平搜索 高清晰度电视 逆离散余弦变换 国际标准化组织 国际电信同盟 联合图像专家组 绝对值，f 均 宏块 运动补偿 宏块编码模式重判决 运动图像专家组 均方误差 运动向量 运动向量缓存 运动联合图像专家组 n f s n t s c p s n r r s s a d s d t v t m 5 u m a v b r v l c v l d v s s v o p n o n - s k i p l df r a m es t o r e n a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e e p e a ks i g n a l t o - n o i s er a t i o r e d u n d a n ts l i c e s s u mo f a b s o l u t ed i f f e r e n c e s s t a n d a r dd e f i n i t i o nt e l e v i s i o n 1 e s t m o d e l5 u n i v e r s a l m u l t i m e d i aa c c e s s v a r i a b l eb i tr a t e v a r i a b l el e n g t hc o d e v a r i a b l el e n g t hd e c o d e v a r i a b l es t e p s i z es e a r c h v i d e oo b j e c tp l a n e s 非跳过帧存储器 国家电视标准委员会 峰值信噪比 冗余片 绝对值差总和 标准清晰度电视 测试模型5 通用媒体访问 可变码率 可变长编码 可变长解码 可变步长搜索 视频对象平面 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名： 裕欠 日期：妒7 年z 月硒日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密口，在- 年解密后适用本授权书。 本学位论文属于， 不保密目。 ( 请在以上方框内打“”) 学位论文作者签名：亏乒寿爻 指导教师签名： 日期：厶。7 年z 月2 8e t 日期：( 刀年堋擂 数宁税额d c t 域转码技术研究 第一章绪论 1 1 引言 第一章绪论 随着多媒体技术的不断发展和广泛应用，数字视频压缩及处理技术得到了深 入研究并日趋成熟。国际标准组织根据应用场合的不同设立了系列视频编码标 准，如针对多媒体数据存储及其数字电视应用制订的m p e g 系列标准【l h 3 1 ；针对 视频会议以及视频电话制定的h 2 6 x 系列标准1 4 1 - 8 肄等。这些标准的制定着眼于 模拟图像的数字化，以及如何根据信道容量或存储能力对数字视频信号进行压 缩，提高压缩效率。 在压缩编码中，编码器总是根据已有的信道特性模型和解码端解码器能力将 输入的多媒体数据压缩到一个指定格式。因此，不论编码器产生的是恒定码率 ( c b r ) 或是变码率( v b r ) 的码流，其针对不同信道带宽和解码终端的适应性 都比较差；为了能够透明地存取、发布和接收视频数据，实现通用多媒体访问 ( u m a ) ，就有必要对压缩码流进行转换编码。视频转换编码，简称转码，是指 视频从一种格式到另一种格式的转换，其中格式是由码率、帧率、空间分辨率及 编码语法所表征p 】。视频转码实现了编码、存储和传输、解码的分离，使得压缩 后固定格式的多媒体数据能够被灵活地传输和访问，总结转码需求可以归纳为以 下几点：( 1 ) 网络传输环境复杂多变，经常会出现一些码流与传输信道失配的情 况，因此需要对码流的码率进行变换r i o - 1 1 3 】以确保其与传输信道的码率适配；( 2 ) 由于终端接收设备的解码和播放能力限制，直接在发送端传送高帧率、高分辨率 的视频码流并不能被终端接收设备有效地接收、解码和播放，需要适当降低原有 视频的帧率【4 1 【1 8 1 和图像分辨率【1 9 1 1 2 2 来适应接收设备的需要；( 3 ) 现实中，存在 有多种视频编码国际标准舢，使用不同标准压缩的码流在语法格式上有所不 同，为了实现不同语法压缩码流的数据交互，常常需要将压缩码流由一种语法结 构转变成另外一种语法结构t 2 3 1 - t 2 7 1 ；( 4 ) 同时，在演播室中使用的视频非线性编 辑1 2 8 1 - 1 也会涉及到转换视频帧类型、插入图标等一些转码操作。总体来说， 视频转码技术是一个非常具有实用性的研究领域。 第l 页 上海交通大学博学位论文 1 2 视频压缩编码技术综述 1 , 2 1 视频压缩编码的主要技术 与模拟视频信号相比，数字视频具有易于存储、编辑和传送的优点，所以在 电子商务、广播以及网络通信领域得到越来越广泛的应用，但是采样数字化的视 频信号数据量巨大，必须通过高效的压缩方法来减少表征该信息所需的数据量。 图像信号可以压缩的依据有两条9 2 1 ：一是，图像信号中存在大量冗余信息可供压 缩，并且这种冗余在解码之后还可以无失真地恢复；二是，图像压缩可以利用人 的视觉特性，在不被主观视觉觉察的容限内，通过降低表征信号的精度，以一定 的失真来换取数据的压缩；因而视频压缩实质就是去除上述冗余信息的过程。 近年来，视频压缩算法得到不断发展，但其最基本的原理仍未发生改变，即： 对于帧内压缩，采用d c t 变换利用量化来去除视频信号的空间相关性；而对于 帧间压缩，则利用运动补偿去除在时间上的相关性，并对残差数据施以d c t 变 换和量化实现在空间和时间上两个方向的压缩。这其中使用了三个关键的视频压 缩算法： 1 变换编码； 变换编码是将一组像素值经过某种形式的正交变换，转换成一组变换系数， 然后根据人的视觉特性对各变换系数进行不同精度的量化后编码的技术。正交变 换的作用是解除像素值间的空间相关性，降低冗余度。目前在大多数编码标准中， 都将图像分成像素块后采用d c t 变换进行正交变换，每一个图像块经过变换后 将空间域上像素信息转换为d c t 域不同频率上的信息。d c t 变换本身不产生任 何压缩，压缩是在量化变换后的系数上取得的。量化利用人眼的视觉特性，以一 定的失真米换取数据的压缩，量化系数越大，压缩的效果越好，失真也越大。 2 预测编码； 预测编码是利用图像信号在局部空间和时间范围内的高度相关性，以已经传 送出的邻近像素点作为参考，预测当前像素值，然后量化、编码预测误差；与运 动估计技术结合的运动补偿帧间预测是目前视频压缩编码系统中解除信号在时 间域。卜冗余信息最常用和有效的方法。目前常见的运动补偿帧间预测方法是使用 相邻帧适当位置的图像块来预测和匹配当前的图像块，通常是把一幅图像分为 第2 页 数字视频d c t 域转码技术研究第一章绪论 1 6 1 6 像素的宏块，先在参考帧中根据一定的准则预测当前编码宏块中的每一个 像素值，如果两者像素值的最小均方误差小于一定值，则认为当前宏块可以用参 考帧中的相应大小的块移动得到；对于帧内预测编码，目前的最新的压缩标准 h 2 6 4 剐则利用当前编码块左边和上边已编码重建像素进行预测估计。 3 统计编码 这是一类根据信息熵原理进行的信息保持型变字长编码，也称熵编码。编码 时对出现概率高的符号用短码表示，对出现概论低的符号用长码表示。当输入视 频经过变换编码和预测编码后原始的视频信号就变成了一系列的变换系数、运 动向量和辅助信息，从熵编码的角度来说，它们都是一些符号，因此可以用概率 统计的方法对常用的符号建模，然后用另一种符号来表示它，这样可以进一步减 少最终的码率。 v 固1 - 1 视频鳊码器框图 f i g 1 1 b l o c kd i a g r a mo f t h ev i d e oe n c o d e r 实际上，目前典型的编码系统就是上述几种压缩算法技术的综合，图1 1 描 述了通用的视频编码结构框图：图像序列经过色度变换、逐行，隔行格式变换、 预滤波，二次采样等预处理后送入编码器，在编码器中首先进行图像顺序重排， 对于帧内编码的图像进行d c t 变换后，对d c t 系数进行量化，再经过v l c 编 码后输出；而对于帧间图像则需要进行运动估计，搜索到匹配的参考宏块后，对 参考块与当前编码块之间的差值数据( 预测残差) 进行d c t 变换、量化和v l c 编码输出，其中对于量化而言，则可以根据信遭的条件进行动态调整量化系数， 第3 页 上海交通大学博t 学位论文 以满足信道码率要求。 1 2 2 视频压缩编码标准回顾 针对不同应用目的经过国际标准化组织( i s o ) 、国际电信联盟( i t u ) 等 几个标准化组织的推动，先后形成了多个系列的视频压缩编码标准；其中，最具 有代表性的是h 2 6 x 系列阡嗍，包括h 2 6 1 ，h 2 6 2 到h 2 6 4 等，和m p e g 系列 f 1 h ，包括m p e g l 到m p e g - 4 ，具体的标准演进如图l - 2 所示。 1 9 9 01 9 9 21 9 9 41 9 9 61 9 9 8 2 0 0 0 2 0 0 2 2 0 0 3 困卜2 国际视频压缩标准的演进图 f i g 1 - 2 t h er o a d m a po f i n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d s 在这一系列的视频编码标准中，帧内压缩多参照 p e g 压缩方法d 3 1 。j p e g 是被首先提出的静态图像压缩标准，该标准利用帧内编码技术，有效去除了图像 中的空间冗余。它将图像分解为指定大小的数据块，借助d c t 变换将块中像素 值映射到频域，变换后的d c t 系数经过量化、熵编码，最终实现压缩。通常， 在4 到5 倍的压缩率时j p e g 解码图像仍可达到与原始图像相似的视觉效果。 m p e g 组织制定的一系列标准中，m p e g 1 主要针对c d 存储应用，将数字 视频信号和与之相对应的音频信号在某一可以接受的质量下，压缩到码率为 1 5 m b p s 的单一流中。m p e g - l 以1 6 x 1 6 像素宏块为组织采用帧内和帧问两种编 码方式。帧内编码采用与j p e g 相同的编码算法；而帧间编码采用运动补偿预测 编码算法，支持单向( p 帧) 和双向( b 帧) 两种预测方法。 第4 页 愿置 圈罨 盈藓蠹重僵团 镣堕普 数字税额d c t 域转码技术研究第一章绪论 m p e g - 2 在m p e g 一1 标准的基础上对码流质量、码率、编码算法和应用等各 方面进行了扩展，主要针对图像质量要求较高的场合，如d v d 、数字电视及其 高清晰度电视等应用，码率范围控制在3 2 0 m o p s 之问。m p e g - 2 新增加了帧 场自适应预测方法，并且首次引入了分级编码的概念，将图像序列压缩成多层码 流，其中摹本层码流可独立解码并产生低信噪比、低分辨率或低帧率的图像序列， 而增强层信号解码后与基本层解码信号相叠加，可恢复出更高质量的图像。如果 对基本层数据编码采用较强的保护措施，则可以保证解码端在恶劣的信道条件下 仍可获得基本的图像质量。这种分级编码方式极大地拓宽了视频应用在网络中的 适应性。 继m p e g 一2 以后，m p e g 组织颁布了m p e g - 4 视频压缩标准，该标准为综合 多媒体应用提供解决方案，它的服务范围扩展到了移动电话、专业视频编辑、网 络交瓦点播和视频通信等诸多领域。与以往m p e g 标准不同，m p e g - 4 定义着 眼下述两个方面：( 1 ) 极低比特率下的多媒体通信；( 2 ) 多媒体技术的融合。即 在提高压缩效率的同时，增强音频和视频对象的交互功能。为了实现视觉目标的 交互性，m p e g - 4 编码采用了基于目标的编码算法，目标中的像素被看成不可分 割的整体，具体到视频的每一帧，编码过程中都可以被分解成任意形状的v o p ( v i d e oo b j e c tp l a n e s ) ，编码压缩不仅可以象m p e g - l ，m p e g - 2 标准那样作用 于整个矩形区域，也可作用在某一特定对象v o p 上。m p e g - 4 将不同对象的形 状、运动、纹理信息分别编码，并传输存储在各自的v o p 对象层中。 在i t u 组织颁发的一系列编码标准中，h 2 6 1 首先被提出用于实现p x 6 4 k b p s 低码率条件下的视频编码，h 2 6 1 在j p e g 压缩算法的基础上引入了帧间预测的 概念，利用图像的时域相干性，通过预测去除视频序列在时域的冗余，进一步提 高了压缩效率。针对甚低码率( 6 4 k b p s ) 视频会议与可视电话的应用，i t u t 组 织将h 2 6 1 标准进一步发展，出台了h 2 6 3 视频编码标准，增加了如下一些新的 算法：半像素精度运动估计、重叠运动补偿、宏块运动估计与块运动估计的自适 应变换等算法，并且在图像格式上支持s u b q c i f 的码流。 h 2 6 4 作为最新推出的一种编码标准，引进了多种有效算法来提高视频压缩 率和增强网络适应性。对于帧内预测编码，h 2 6 4 针对不同尺寸的编码单元设计 第5 页 上海交通大学博士学位论文 了多个方向的预测模式，来消除帧内编码图像的空间域冗余；对于帧问预测编码， h 2 6 4 引入了町变尺寸块匹配、高精度运动向量、多参考帧和去块效应滤波等多 种技术，来提高预测编码的精度，从而减小帧间预测残差的信号能量。达到提高 压缩编码效率的目的；对于增强网络应用的抗误码能力，h 2 6 4 将视频层与视频 流头信息进行分离引进了视频参数集的概念，可以在传输中对参数集进行保护， 并且采用灵活的宏块次序( f m o ) 和冗余片( r s ) 来进行解码端错误恢复。 1 3 视频转码技术综述 将视频信息由一种编码格式转换成另一种编码格式就叫做视频转码1 9 】【蚓【3 5 1 。 视频转码按照作用域可以分为两类唧：像素域转码和压缩域( d c t 域) 转码；而 按照交换对象的不同又可以分为1 3 6 】：码率转码、帧率转码、图像分辨率转码和语 法转码等几种类型。 从转码组合上看，级联像素域转码是形式最为直观的一种转码方法p 6 1 。如图 1 - 3 所示，像素域转码器由独立的解码器与编码器完全级联而成，首先将输入视 频流完全解码至u 像素域，再对像素域的图像序列作变换处理，改变其帧率、图像 分辨率等参数，最后将视频序列重新编码，产生所需格式的视频码流。 恤h 型怔啦 冒 潍“背 j 鬯字型蒯 嚣毋。警 吲 bnl ”。l 驯眦 l f r a m e - r a t e j p z c t u r o - s i z e 用l 3 像素域视频转码 f i g 1 - 3 v i d e o 打a n s e o d i n gi np i x e ld o m a i n 像素域转码器的解码回路、编码回路和变换处理模块相互独立，所以这种转 码器功能非常灵活，可以很容易地实现不同的码率、帧率、图像分辨率，甚至不 同视频编码标准问的转码，并且转码过程不存在漂移现象，输出的视频质量较好； 但足像素域转码存在计算量大、视频帧缓存量大等不足，导致转码系统成本增高、 第6 页 数字视频d c t 域转码技术研究 第章绪论 实时性降低，从而在一般视频转码应用中难以推广。 考察像索域转码过程，最耗费计算量的部分是d c t f i d c t 变换和运动向量的 重新估计；特别对于运动向量估计，其运算量一般会占到编码计算总量的6 0 以上【朔。一般而言，在转码器输入的码流中会包含部分有用信息，如果加以合理 利用则可以简化再编码过程，降低运算量；所以简化转码运算的通常做法是对视 频流部分解码，恢复出图像块的d c t 系数以及与之对应的运动向量并加以利用 来简化再编码过程1 3 s ，这种部分解码的转码方法称之为d c t 域转码，其简单框 架如图1 4 所示。 一 喀罱 + j 叫豳声时 豳 圃 d 警半啊刮 醋苗 黼湖 7 隧翌憋溷 图i - 4 d c t 域视频转码 f i g 1 - 4 v i d e ot r a n s c o d i n gi nd c td o m a i n d c t 域转码重用了原始码流中的运动向量信息，避免了运动向量重估计的过 程，并且省略了d c t 和i d c t 两个环节，不仅降低运算量而且简化转码系统结 构；但同时由于视频信号d c t 域处理不如像素域来得直接，这使得d c t 域转码