（通信与信息系统专业论文）视频转码若干技术研究.pdf

摘要 通信、计算和互连网的结合为视频应用带来了前所未有的机遇，但也对压缩视频传输提 出了新的挑战。网络的异构性和多种视频压缩标准的存在，导致视频设备和网络出现兼容性 问题，而视频转码是有效解决这种兼容性问题的一种技术，其不仅解决不同网络结构、带宽 及不同网络协议之间的兼容性问题，而且解决互相通信的设备之间采用不同压缩编码标准、 不同的码率、不同的图像解析度以及不同的帧率之间的兼容性问题。本文研究工作就是围绕 视频转码技术展开的。 首先，本文分析了目前几种用于码率转码中的码率控制算法，针对其不能精确产生目标 编码比特数和没有利用输入压缩码流中压缩参数的缺点，提出了一种用于码率转码的精确码 率控制算法f r c a t ，其利用量化后非零的d c t 系数个数与最终产生的编码比特数之间的近 似线性关系来根据目标编码比特数选择合适的量化值，并用输入压缩码流中信息来估计 f r c a t 模型参数芷，从而能在图像高质量的基础上，比较精确地产生目标编码比特数。在 码率转码时，通过估计未压缩图像d c t 系数的概率分布参数可以达到减小再量化偏差的目 的，有助于提高码率转码后图像的性能。但当一帧中各个宏块采用不同量化值时，用文献 6 4 】 中的方法无法从压缩码流中估计得到未压缩图像d c t 系数的概率分布参数，因此本文构造 了一种晟大似然概率函数，其用输入码流一帧中的最大量化值量化后d c t 系数为零的个数 和不为零的个数之间的关系来估计得到未压缩图像d c t 系数的概率分布参数，从而能有效 地减小再量化偏差。 其次，针对网络带宽变化大的特点，本文提出了一种能在较大范围内改变压缩视频码率 的联合时域与空域码率控制算法。在此算法中，联合改变每秒编码帧数和每帧的量化值，在 编码失真最小的优化条件下，找到图像空间显示质量和视频序列的时间解析度的均衡点，达 到更大范围改变压缩视频流码率的目的，从而能很好地适应网络带宽变化范围大的特点，有 效地防止网络阻塞。在算法实现中，利用失真变化率随着码率的增大而减小的特点，大大加 速判断是否需要跳帧以及确定跳帧数目的计算，并在跳帧后采用性能更优的运动向量重估计 算法。在同等码率下提高图像质量。 针对网络容易丢包的特点，本文根据建立的端到端视频失真模型，在端到端失真最小的 约束条件下，提出一种根据网络丢包率的大小确定帧内宏块数目以及编码比特数的自适应帧 内宏块刷新算法。此算法应用于码率转码中时用拉格朗日乘数法将带失真约束条件的优化问 i 题转化为无约束的优化问题，从而在不同丢包率下找到每帧帧内宏块数目和其编码比特数的 优化解，并根据码率转码的特点，缩减了优化解搜索空间的大小，大大地简化了运算。经实 验验证。在不同的传输带宽、不同的丢包率下，此算法都能取得很好的效果，性能明显优于 文献 1 2 0 中的方法，从而在不同的丢包率下，能很有效地提高接收端的解码图像质量。 最后，本文讨论了如何有效地实现多路联合转码的问题。常用的多路联合转码算法中用 编码复杂度作为码率分配权重，无法使转码后多路码流的编码失真趋向一致。因此在本文中， 改用估计得到的各路码流的编码失真作为准则来进行码率分配。各帧在相同失真范围下的编 码比特数相加得到编码比特数直方图，从而根据目标码率选择合适的直方图值，按照直方图 中备帧的编码比特数组成给各帧分配合适的编码比特数，使其编码失真趋向一致。并且为了 防止编码失真大的码流得到过多的编码比特数，通过限定各路码流量化值差值的范围保证了 每路码流的最低图像质量。 关键词：视频转码，码率控制，错误恢复，联合时域与空域码率控制算法，联合码率转码，自 适应帧内宏块刷新 i i a b s t r a c t t h ed e v e l o p m e n to f m u l t i m e d i as y s t e m sh a sh a dam a j o ri n f l u e n c ei nt h ea r e ao f i m a g ea n dv i d e o c o d i n g t h ep r o b l e mo f i n t e r a c t i v i t ya n di n t e g r a t i o no f v i d e od a t aw i t hc o m p u t e r , c e l l u l a r ，a n d t e l e v i s i o n s y s t e m s i sr e l a t i v e l y f l e w a n ds u b j e c t t oa g r e a t d e a lo f r e s e a r c h w o r l d w i d e a s t h en u m b e r o f n e t w o r k s ，t y p e so f d e v i c e s ，a n dc o n t e n tr e p r e s e n t a t i o nf o r m a t si n c r e a s e ，i n t e r o p e r a b i l i t yb e t w e e n d i f f e r e n ts y s t e m sa n dd i f f e r e n tn e t w o r k si sb e c o m i n gm o r ei m p o r t a n t t r a n s c o d i n go f v i d e oc o n t e n ti s o n ek e yt e c h n o l o g yt oa c h i e v et h ei n t e r o p e r a b i l i t yo f c o m p r e s s e ds 灯e a ma n dn e t w o r k t h i st h e s i si s f o c u so l lr e s e a r c ho fv i d e ot r a n s c o d i n g f i r s t l y , a f t e ra n a l y z i n gs e v e r a lr a t ec o n t r o la l g o r i t h mu s e di nt r a n s c o d i n g ，t h et h e s i sp r o p o s e sa f i n er a t ec o n t r o la l g o r i t h mi nt r a n s c o d i n g ( f r c a t ) w h i c hu s e st h ec o m p r e s s e dp a r a m e t e r so fi n p u t c o m p r e s s e ds t r e a m st oi m p r o v ea l g o r i t h mp e r f o r m a n c e f r c a ti sa l la c c u r a t er a t ec o n t r o la l g o r i t h m a n ds e l e c t sq u a n t i z a t i o nv a l u eb a s e do nt a r g e tb i tr a t ea c c o r d i n gt ol i n e a rr e l a t i o n s h i pb e t w e e nt h e n n u m b e ro fn o n - z e r oq u a n t i z e dd c tc o e f f i c i e n t sa n dt h eb i tr a t e t h ep a r a m e t e rk fo ft h ef r c a t c o u l db ee s t i m a t e df r o mt h ec o m p r e s s e dp a r a m e t e r so f t h ei n p u tc o m p r e s s e ds t r e a m i nt r a n s c o d i n g ，t h e r e d u c t i o no fr e - q u a n t i z a t i o nd r i f tw h i c hb a s e so nt h ep r o b a b i l i t yd i s t r i b u t i o np a r a m e t e ro fd c t c o e f f i c i e n t se s t i m a t e df r o mt h ei n p u tc o m p r e s s e ds t r e a m ss h o u l di m p r o v et h ei m a g eq u a l i t y w h e ne a c h m a c r ob l o c ko fap i c t u r eu s e sd i f f e r e n c e n tq u a n t i z a t i o nv a l u e ，t h ep r o b a b i l i t yd i s t r i b u t i o np a r a m e t e ro f d c tc o e f f i c i e n t sc o u l d n te s t i m a t e db yu s i n gt h em e t h o dp r o p o s e di n 【6 4 s ot h i st h e s i sp r o p o s e sa m a x i m u ml i k e l i h o o df u n c t i o n 幻e s t i m a t et h ep r o b a b i l i t yd i s t r i b u t i o np a r a m e t e ro fd c tc o e f f i c i e n t s t h i sm a x i m u ml i k e l i h o o df u n c t i o ni sb a s e do nt h er e l a t i o n s h i pb e t w e e nt h en u m b e ro fl i o n z e r o q u a n t i z e dd c tc o e f f i c i e n t sa n dt h en u m b e ro f z e r oq u a n t i z e dd c tc o e f f i c i e n t s s e c o n d l y , s i n c et h en e t w o r kb a n d w i d t hm a yf l u c t u a t ew i l d l yw i t ht i m e ，t h i st h e s i sp r o p o s e san e w j o i n tt e m p o r a l s p a t i a lr a t ec o n t r o la l g o r i t h mw h i c ha d j u s t sb o t ht h ef l a m er a t ea n dt h e q u a n t i z a t i o n v a l u eo ff r a m et oa c h i e v eg o o dt e m p o r a l s p a t i a lq u a l i t yt r a d e o f fb a s e do nt h ec u r r e n t c h a n n e l b a n d w i d t h s i n c et h i s a l g o r i t h mc o u l dc h a n g eb i tr a t eo ft h ec o m p r e s s e ds t r e a ma tl ”g e rr a n g e a c c o r d i n gt ot h en e t w o r kb a n d w i d t hc u r r e n t l y ，i ts h o u l dp r e v e n tt h en e t w o r kb l o c k i n ga n dt h el o s so f d a t ap a c k e b t h ev a r i a t i o no f d i s t o r t i o ni sr e d u c e dw h e nb i tr a t ei n c r e a s e s w h e nw ej e d g ew h e t h e ro r n o tt h ef r a m ei ss k i p p e da n ds e l e c tt h en u m b e ro fs k i p p e df r a m e s ，w eu s et h i sc h a r a c t e rt or e d u c et h e l h c o m p u t a t i o nb u r d e n i nt h i sa l g o r i t h m ，t h eo p t i m a lm o t i o nv e c t o rr e e s t i m a t i o nm e t h o d i su s e di n t r a n s c o d i n gt oi m p r o v et h ei m a g eq u a l i t y w h e nd a t ap a c k e ma r et r a n s m i t t e di nt h en e t w o r k ，t h e ys h o u l d b ei o s e de a s i l y t h i st h e s i s p r o p o s e san e wa d a p t i v em a c r o b l o c ki n t r ar e f r e s hm e t h o du s e di nt r a n s c o d i n gb a s e do ne n d t o - e n d d i s t o r t i o nm o d e l t h i sm e t h o dc o u l df i n dt h en u m b e ro fi n t r am a c r o b l o c ka n dt h eb i tr a t eo ft h e s e m a c r o b l o c ku n d e rd i s t o r t i o nc o n s t r a i n ta c c o r d i n gt ot h ec h a n n e lc o n d i t i o n i tu s e sl a g r a n g i a nr e l a x m e t h o dt oc h a n g ec o n s t r a i n to p t i m i z a t i o np r o b l e mt ou n c o n s t r a i n to m i m i 2 a t i o np r o b l e m s i n c et h e c o m p l e x i t yo f a g r a n g i a nr e l a xm e t h o di sh i 曲，w er e d u c et h es c o p eo fs e a r c hs p a c eo fp a r a m e t e r st o s i m p l i f yt h es o l u t i o n s i m u l a t i o nr e s u l t ss h o wt h a tt h i sa d a p t i v em a c r o b l o c ki n t r ar e f r e s hm e t h o dc o u l d a c h i e v eb e t i e rp e r f o r m a n c et h a nt h em e t h o dp r o p o s e di n 1 2 0 。 f i n a l l y ，t h et h e s i sp r o p o s e dan e wj o i n tt t a n s c o d i n gr a t ec o n t r o lm e t h o d b e c a u s em a n yj o i n t t r a n s c o d i n gr a t ec o n t r o lm e t h o da l l o c a t et h eb i tr a t et oe a c hs t r e a mo rf r a m ea c c o r d i n gt oi t se n c o d i n g c o m p l e x i t y ，t h e yc o u l d n ta c h i e v ec o n s i s t e n tv i d e oq u a l i t ya c r o s se v e r ys t r e a m s i nt h i sm e t h o d ，t h eb i t r a t ei sa l l o c a t e db a s e do f ft h ee s t i m a t e dd i s t o r t i o no f e a c hs t r e a ma n df r a m e t h eb i t so fe a c hf r a m e c o r r e s p o n d i n gt ot h es a m ed i s t o r t i o na na c c u m u l a t e dt om a k eu po fh i s t o g r a m t h e nt h eb i tr a t eo f e a c hf r a m ei sa l l o c a t e db a s e do nt h ep r o p o r t i o no fh i s t o g r a mv a l u es e l e c t e da c c o r d i n gt ot h et a r g e tb i t k e y w o r d ：t r a n s c o d i n g ，r a t ec o n t r o l ，e r r o r - r e s i l i e n t , j o i n tt e m p o r a l - s p a t i a l r a t ec o n 仃o l ，j o i n t i v u a n s c o d i n g ，a d a p t i v em a c m b l o c ki n t mr e f r e s h a i r ： a r q ： b a u ： c b r ： c d d t ： c p d t ： d c t ： d p ： f e c ： f d v s ： f g s ： f 1 f o ： g o p ： h d t v ： f r c a t m a d ： m a p ： m m s e ： o u 、： p c m p s n r ： q o s ： r t c p ： r 丁p ： r v l c s d d t s d l - v s p ： s p d r ： 中英文缩略词表 a d a p t i v ei n t r am a c r o b l n c kr e f r e s h a u t o m a t i cr e - t r a n s m i s s i o nq u e s t b i t r a t ea 1 l o c a t eu n i t c o n s t a n tb i tr a t e c a s c a d ed c td o m a i nt r a n s c o d e r c a s c a d ep i x e ld o m a i nt r a n s c o d e r d i s c r e t ec o s i n et r a n s f o r m d y n a m i cp r o g r a m m i n g f o r w a r de r r o rc o r r e c t i o n f o r w a r dd o m i n av e c l o rs e l e c t i o n f i n eg r a n u l a r i t ys c a l a b i l i t y f i r s ti nf i r s t0 u t g r o u po fp i c t u r e h i g hd e f i n i t i o nt v f i n er a t ec o n t r o la l g o r i t h mi nt r a n s c o d i n g m e a ua b s o i n t ed i m r e n c e m a x i m u map o s t e r i o r i m i n i m i z a t i o no f m e a ns q u a r ee r r o r o p e nl o o pt r a n s c o d e r p u l s ec o d i n gm o d u l a t i o n p e a ks i g n a l - - t o - - n o i s er a t i o q u a l i t yo fs e r , i c e r e a lt i m ec o n t r o lp r o l o c o 】 r e a 】t i m ep j o t o c o j r e v e r s i b l ev a r i a b l el e n g t hc o d e s i m p l i f i e dd c td o m a i n l z a n s c o d e r s t a n d a r dd e f i n i t i o nt v s i m p l ep r o f i l e s i m p l i f i e dp i x e ld o m a i nt i + a n s c o d e l 白动帧内宏块刷新 臼动重传请求 码半分配竹元 周定比特牢 绒连d c t 域转码系统 级连像素域转码系统 离散余弦变换 动态规划 前向纠错 前向主向景选择 精细可分级编码 先进先山 图像细 高清晰度电视 用丁转码的精确码半控制算法 、r 均绝对荒 持大后验概二红 最小均方劳 开环转码系统 脉冲编码调制 峰值信噪比 服务质景 实时控制1 办议 殳时 j ，议 反向变k 编码 简化d c t 域转码系统 f ，j ；准湖惭度i u 视 简一t l 级圳 简化隙袭域转l i 屿系统 ic p ：i t a n s m i s s i o nc o n t t o ip r o t o e o l t m 51 b s t m o d e l5 t v c ：t e l e s c o p i cv e c t o rc o m p o s i t i o n t s ：t r a n s p o r ts t r e a m u d p ：u s e rd a t a g r a mp r o t o c o l v b v ：v i d e ob u f f e r i n gv e r i f i e r v l c ：v a r i a b l el e n g t hc o d i n g v m 8 ： v e r i f i c a t i o nm o d e l8 传输控制协议 测试模型5 伸缩向最合成 传输流 用户数据报| 办议 视频缓存校验模型 变k 编码 校验模掣8 附件四 上海交通大学 学位论文原刨性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名： 豫包 日期： 驴6 年r 月fs 日 附件五 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密口，在- 年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名：豫琵 日期：护6 年了月【5 日 指导教师签名： 觚也 日期：d 6 年j 为心一日 1 0 引言 第一章绪论 图像是信息含量最为丰富的信息载体。由于图象处理的数据量巨大因此高效的图像压 缩技术一直是人们所致力研究的课题。1 9 4 8 年。s h a n n o n 和他的两个学生o l i v e r 与p i e r c e 联合发表了对电视信号进行脉冲编码调制( p u l s ec o d i n gm o d u l a t i o n ，p c m ) 的论文，标志 着数字图象压缩编码技术的开端。从二十世纪四十年代末开始，图像编码技术经历了半个世 纪的发展。五、六十年代对基本方法的探讨和七十年代早期可视电话的研究，使得这领域 有了长足的发展，许多基本的思想和方法都相继提出。到了八十年代前后，顺应信息化的趋 势，面向各种应用的开发研究都大力开展起来。进入二十世纪九十年代以后，国际上致力于 标准化的工作。国际标准化组织( i s o ) 和国际电信联盟( i t u ) 先后制定了一系列静止和 运动图像编码标准，包括静止圈象压缩的j p e g1 4 q 【4 1 、面向i s d n 视频传输的h 2 6 1 1 5 ”、用 于数字视频和音频传输及存储的m p e g 1 【4 ”、支持h d t v 等高品质数字视频和音频传输与 存储的m p e g 2 1 4 9 心】、适合于低码率视频传输的h 2 6 3 t ”1 、基于对象的视频编码标准 m p e g 4 1 ”】和致力于低码率高编码效率的h 2 6 4 。这些国际编码标准的建立集中体现了图像 以及视频编码技术五十年的研究成果，并且极大地推动了数据压缩技术的实用化和产业化。 通信、计算和互连网的结合为视频应用提供了前所未有的机会，但同时也对压缩视频传 输提出了新的挑战口“。首先，在网络上传输的视频信息的内容与形式更为丰富多样，这给 压缩效率和视频质量提出了更高的要求，同时由于网络的异构性、网络带宽的变化以及不可 避免的传输错误，网络视频服务要求压缩视频流能够适应网络带宽的变化和其备一定的容错 性。由于各个子网的网络资源( 如处理能力、带宽、存储能力、拥塞控制策略) 分布不均匀， 用户通过不同的通信子网传输数据时实际的传输率、延时、丢失率等都会不尽相同。这会对 压缩视频流的传输造成很大的困难。如图1 1 所示的情况，多个终端通过不同的网络与视频 服务器相连，终端1 、终端2 和终端3 通过宽带i p 网络与前端视频服务器相连接，其得到 的带宽展大。而终端4 和终端5 则首先通过低带宽的a d s l 网络，然后再通过宽带i p 网与 前端视频服务器相连，其网络信道带宽比终端1 、终端2 和终端3 要低很多，而手机终端则 通过无线网络与前端视频服务器相连。由于无线网络的带宽很低而且误码率很高，因此其 网络信道状况最差。由于各种终端与前端视频服务器的连接网络状况不同，因此针对每种网 1 电视终端l n p e g 2d l2 5 f p s 手机终端1 o c i fm p e g 一4l o f p s手机终端2 c i f1 5 f p s 终端im p e g 一4d i2 5 f p s 终端2 h2 6 4d 1终端3m p e g 一2c i f终端4m p e g 叫lc i f1 5 f p s 图i - i 异构网络组成的视频应用系统示意图 f i g1 - 1t h ed i a g r a mo fv i d e os y s t e mc o n s i s to fh e t e r o g e n e o u sn e t w o r k 络状况，压缩视频流的特性都要做出相应的调整，使其能够有效地传输到接收终端。 由于网络带宽的波动性，压缩视频流需要针对带宽的不断变化而调整其码率，同时由于 在网络上传输时，丢包和误码是不可避免的，而且丢包率和误码率随着时间不同是变化很大 的，因此压缩视频流在改变码率的同时也应该随时调整其错误恢复措施，这对视频压缩技术 提出了很高的挑战。 用户接收视频信息的设备和援放视频的方式是多种多样的，如在图1 1 中终端1 支持 m p e g 4 解码，而终端2 则支持h 2 6 4 解码。终端1 到终端5 均为计算机，但其运算能力各 不相同，因此其能支持实时解码的图像大小也不一样。而手机终端显示和处理能力更是有限， 其仅能显示和处理q c i f 视频图像。对于某些视频服务，特别是流媒体视频业务，一个服务 器可能需要同时支持成千上万个用户。不同的用户，它们的设备存在很大的差异，具有的传 输带宽各不相同，对分辨率的要求、计算能力的大小、存储设备的容量、功耗的要求等等也 都不相同。这些都要求压缩后的视频码流能够动态调整以支持多种不同的播放设备。 以上这些视频应用中遇到的问题是设备与网络的兼容性的问题，其不仅是不同网络结 构、带宽以及不同的网络协议之间的兼容，而且是互相通信的设备之间采用不同压缩编码标 - 准、不同的码率、不同的图像解析度以及不同的帧率之间的兼容。视频转码就是解决这些兼 容性问题的一种技术。视频转码是一种将视频从一种格式转换为另外一种格式的操作 2 图卜2 视频转码示意图 f i g1 - 2 t h ed i a g r a mo fv i d e ot r a n s c o d i n g ( t r a n s c o d i r t gi st h eo p e r a t i o no f c o n v e r t i n gav i d e of r o mo n ef o r m a ti n t oa n o c 1 e rf o r m a t ) 1 7 】1 7 ”。 视频的格式可以是指视频压缩的标准、视频码流的码率、视频码流的帧率和视频图像的解析 度。由图1 2 可以看到，视频转码就是将视频从图中左边椭圆中的格式转换为右边椭圆中的 格式。在转换过程中可能改变视频的一种格式，也可能改变视频所有的格式。视频转码的要 点就是能够根据网络和接收终端的情况实时动态地调整压缩视频流的参数，使其能够顺利的 传输到接收端，并且正确解码显示。 视频转码可以通过先将视频码流解码还原为未压缩图像，然后将其按照目标格式重新进 行编码来完成。但这样做，不仅系统成本非常高，而且会引入额外的处理延肘。囡此视频转 码的目标就是充分利用输入压缩码流中的信息来更简洁、更有效地实现各种视频格式的转 换。 通过分级编码也可以在一定程度上达到动态改变压缩视频流的码率、帧率和图像的大小 等参数的目的f 5 3 1 。但是可以知道在分级编码中通过对原始视频信号和基本层视频信号的差 值进行编码得到增强层码流，因此基本层码流码率的选取非常重要。而在很多视频应用环境 中网络的带宽变化很大，在这种情况下，确定合适的基本层码流码率非常困难。如果基本 层玛流的码率设置过低，则会严重影响整个视频流的图像质量。而如果基本层码流的码率设 置过高，则很容易引起信道的阻塞。当采用分级编码时，会同时增加解码端和编码端的系统 实现复杂度。视频转码与分级编码相比具有更大的灵活性，其不仅能大范围的调整压缩视频 流的码率、帧率和图像大小，而且还可以改变压缩视频流的压缩方式及语法结构等。由于采 用视频转码技术仅仅会增加发送端的复杂度，只需要改变发送端的系统结构而不必对接收 端进行任何的修改，因此在实际视频应用系统中更易得到推广。 流 图卜3 级连的视频转码系统 f i g1 - 3v i d e et r a n s e e d i n gs y s t e mw h i c hc a s c a d ead e c o d e ra n da l le n c e d e r 1 1 视频转码研究现状 t 视频转码最简单的实现是将视频解码和视频编码系统级连起来组成转码系统研】，如 警 图1 - 3 所示。在图1 - 3 中，压缩视频流首先经过视频解码后得到未压缩视频图像信息，然后 进入视频编码系统重新编码。在视频编码时，充分利用视频解码得到的输入压缩码流的参数 信息，如运动向量和量化值等，这也是视频转码与视频编码的最大区别。尽管在图1 - 3 系统 中，可以避免编码中运算量最大的环节运动估计，但仍然运算量过大，因此如何利用输入压 缩码流中的信息来进一步减小视频系统的实现复杂度以及提高转码后的图像质量是视频转 码技术研究的重点。 视频转码技术从系统结构上可以分为三大类：一类为像素域实现结构。将输入的压缩视 频码流先解码到像素域，然后再利用得到的压缩参数信息来根据目标格式完成视频编码。另 一类为d c t 域实现结构。将输入的压缩视频码流先解码到d c t 域，然后在d c t 域完成视 频格式的转换，此类实现结构的好处是能够避免进行d c t i d c t 运算，从而能够节省计算 量。但其缺点也很突出，由于无法在d c t 域实现像素域的运动估计，因此在某些应用中无 法应用此结构。这就提出了第三种系统结构：像素域和d c t 域混合系统结构，此类系统结 构结合像素域和d c t 域系统结构的优点，对每个宏块独立选择实现结构。 视频转码技术从应用的类型上可以分为以下几种：码率转码( b i tr a t e t r a n s c o d i n g ) 、空 间解析度和时间解析度转码( s p a t i a la n dt e m p o r a lt r a n s c o d i n g ) 、视频标准转码( s t a n d a r d s t r a n s c o d i n g ) 和信息插入转码( i n f o r m a i o ni n s e r t i o nt r a n s c o d i n g ) 。在下文中，按照上面的 分类简单介绍各类应用的研究现状。 1 1 1 码率转码 4 码率转码的主要目的就是动态调整压缩视频码流的码率，使其与信道带宽相匹配，这也 上海交通大学博士学位论文 是视频转码最早研究的内容。实现压缩视频码流的码率转码主要有两种方法h 4 1 ：一种方法 为丢弃每个单位块的高频d c t 系数，这种方法实现简单，但在码率转码过程中会产生严重 的偏差，而且不易控制产生的码率。另一种方法为采用改变量化值的方法来达到改变码率的 目的，这种方法由于能够补偿再量化引起的转码偏差，从而得到广泛应用。 在m c d c t 混合编码结构中，帧间编码帧的编码内容是此帧图像与参考帧( r e f e r e n c e f r a m e ) 图像的残差值。因此如果改变了参考帧的量化值后，帧间编码帧的编码内容也会 相应的发生改变。根据码率转码过程中是否补偿这种偏差可以分为两种不同的系统结构：开 环转码系统( o p e n l o o pt r a n s c o d i n gs y s t e m ) 和闭环转码系统( c l o s e - l o o pt r a n s c o d i n g s y s t e m ) 。 开环转码系统的实现非常简单，如图1 4 所示。其仅仅需要经过变长码解码，反量化， 再量化和变长码编码几个步骤就可以完成码率转码。但由于参考帧再量化引入的偏差没有得 到补偿，会严重影响图像质量。这种偏差还会累积，直到遇到另一个帧内编码帧才能消除。 开环转码系统与简单的丢弃高频d c t 系数实现原理类似，缺点也非常相似，在对图像质量 要求高的情况下无法应用。 闭环转码系统采用一个闭环补偿参考帧再量化引入的偏差，最基本的结构如图1 3 所 示，即将转码系统划分为两个环节：解码环节和编码环节，两个环节共享运动向量等信息。 由于在编码环节中，帧间编码帧的图像残差是根据再量化后的参考帧重新计算得到，因此就 消除了参考帧再量化引入的偏差，从而能够有效地提高码率转码后的图像质量。 正如前面指出的，闭环转码系统可以分为d c t 域转码系统和像索域转码系统。d c t 域 转码系统的理论基础建立在d c t 变换是线性正交变换的基础上，从而能够在d c t 域实现像 素域的运动补偿，避免了d c t i d c t 运算【1 2 4 1 。利用运动估计的近似线性性质，文献 1 0 5 】中 提出了简化的闭环转码系统，此系统与级连的闭环转码系统相比较，不仅节省计算量。而且 能将存储量降低一半，但这也是付出图像质量下降为代价的。 在码率转码研究中，前期主要集中研究系统的实现结构 1 4 4 聊】，以及各种实现d c t 域运动补偿的快速算法【1 0 0 】 1 2 5 1 1 1 2 0 1 1 6 “，随着研究的深入，关注点逐渐转到运动向量的重估 计1 1 3 1 6 7 一m ”、再量化偏差的减小】和精确的码率控制【1 0 】上。晟近，码率转码的研究 、 呈现与其它视频转码技术相结合的趋势，如研究如何有效地将再量化和空间、时间解析度转 换结合起来，在使失真最小的准则下，达到更大范围的改变压缩视频码流码率的目的t ”8 l 。 输入的压缩广 厂 厂 厂 输出的压缩 型墅刊v l d 卜一纠卜一q 2 卜一v l c 卜塑塑够 图卜4 开环转码系统框图 f i g1 - 4 t h ed i a g r a mo fo p e n l o o pt r a n s e o d i n gs y s t e m 1 1 2 空间解析度和时间解析度转码 由于不同的接收解码终端的显示能力和处理性能都不一样，往往不仅要求对压缩视频码 流的码率进行转换，而且还要求改变视频的帧率和图像大小。在空间解析度和时间解析度转 码中，一个共性的问题也是最重要的问题就是如何有效地重新估计运动向量。 在空间解析度转码中，主要研究如何将大图像转换为小图像。因此在运动向量重新估计 时，需要从输入压缩码流中已经存在的多个运动向量中得到使图像残差最小的新的运动向 量。图卜5 中表示将输入压缩码流中图像横向和纵向都进行2 ：i 抽取后的运动向量之间的关 系。如何从输入码流中的四个运动向量得到输出码流中相对应的的一个运动向量成为了问题 的关键。在义献【9 7 j 中，采用从输入的四个运动向量中任意选择一个运动向量作为输出的运 动向量，而文献【1 3 中将四个运动向量加权平均后作为输出运动向量，在文献 9 7 】则指出采 用中值滤波方法可以得到最优的运动向量，而在文献 1 2 9 j 中则基于宏块的统计特性采用似 然打分( l i k e l i h o o ds c o r e ) 的方法来选择最优的运动向量。 在图像大小偶数倍转换中，不仅输出运动向量较为容易获得，转换后的图像值也容易得 到。而在图像大小任意倍数转换时，不仅嘏优的运动向量很难获取，如何快速有效地得到转 换后的图像值也非常值得研究。在文献 1 1 4 7 8 中，利用d c t 变换的特性，提出了在d c t 域实现图像大小转换的有效方法，而在文献 3 4 7 3 中考虑了运动向量的不同贡献而得到新 的运动向量。 在时间解析度转码时，由于参考帧的丢弃，输入码流中相对于此参考帧的运动向量失效， 因此需要从输入运动向量中估计得到相对于新的参考帧的运动向量。在文献 6 7 中采用前向 主运动向量f d v s ( f o r w a r dd o m i n a n tv e c t o rs e l e c t i o n ) 来重新估计新的运动向量，而在文献 1 3 4 中采用伸缩向量合成t v c ( t e l e s c o p i cv e c t o rc o m p o s i t i o n ) 方法将跳帧中与当前宏块相 关的运动向量累积起来得到新的运动向量。在运动向量较小的码流中，t v c 可以取得和 f d v s 类似的性能。 无论是在空间解析度转码中，还是在时间解析度转码中，采取上述方法得到的运动向量 6 t ，。，。，。些婆鍪鐾耋垡垒堡二，。，。， ， 输入运动向量 输出运动向量 图1 - 5 空间解析度转码中输出码流中运动向量与输入码流中运动向量的关系 f i g1 - 5t h er e l a t i o nb e t w e e nm o t i o nv e c t o ro fo u t p u tc o m p r e s s e ds t r e a ma n dm o t i o n v e c t o ro f i n p u tc o m p r e s s e ds t r e a mi ns p a t i a lt r a n s r o d i n g 往往偏离最优运动向量。为了使新的运动向量能够尽量接近最优的运动向量，在此处采用运 动向量的优化( m o t i o nv e c t o rr e f i n e m e n t ) 可以取得很好的效果。运动向量的优化以重新估 计得到的运动向量为中心，在设定的一个非常小的运动估计窗范围内进一步搜索能使图像残