（信号与信息处理专业论文）可伸缩性视频编码的转码及其应用.pdf

摘要 摘要 随着网络技术和多媒体技术的迅猛发展，基于网络的多媒体获得了十分广 泛的应用。当前的媒体应用环境具有网络形式的异构性、终端设备的多样性以 及多媒体应用的复杂性等特点，从而造成了目前多媒体应用面临的困难和挑战。 其中可伸缩性视频编码技术提供内嵌多层子码流来提供不同时间、空间、质量 等各种尺度的可伸缩功能，从而摆脱传统的单层视频编码而具有良好的适应能 力；另外，一直以来具有良好性能并被广泛研究的视频转码( d e ot r 肌s c o d i n g ) 技术则能对已编码码流按用户需求进行可变、多样的格式转换，同样具有良好 的适应能力。这两者都是有望解决这些问题的关键技术，是目自仃视频处理与通 信领域研究的热点，具有重要的理论意义和广泛的应用价值。 本文在深入分析最新的可伸缩性视频编码国际标准( s c a l a b l ev i d e o c o d i n g ，s v c ) 技术特点及应用场景的基础上，研究相应的转码技术，旨在解 决在不同的网络应用环境、用户体验和编码格式下，转码存在的各种技术问题。 本文的主要工作以及创新之处在于： 1 研究s v c 技术与转码技术的性能对比。 本文对s v c 进行理论分析和实际测试，综合各种特性的视频内容，从编码 端复杂度、编码性能、解码端复杂度以及可伸缩应用角度对其和视频转码进行 详细的对比实验和数据分析，指出s v c 的优势以及缺点，为s v c 的应用日仃景 提供了理论分析和数据支持。 2 提出了通用的基于s v c 标准到h 2 6 4 a v c 标准的空间分辨率转码框架及算 法。 本文研究了从s v c 标准到h 2 6 4 a v c 标准的空间分辨率转码过程，分析 了s v c 标准与h 2 6 4 a v c 标准的异同点，提出了通用的空问分辨率转码框架， 着重在像素域上研究快速运动估计、快速模式选择以及运动重用技术的算法， 在保证良好转码性能的同时，实现了低复杂度的、从s v c 到h 2 6 4 a v c 的空 间分辨率转码。 3 提出了通用的从s v c 标准到h 2 6 4 a v c 标准的综合转码框架及算法。 在本文所提的空间分辨率转码技术基础上，本文研究了从s v c 标准到 h 2 6 4 a v c 标准的质量转码过程，并提出了综合空间分辨率和质量的通用的转 码框架，分别在像素域的闭环以及开环算法中研究综合转码的各种问题，并提 出闭环开环联合的综合转码方法以及由底向上的快速模式选择算法，在保证性 能损失不大的情况下，进行迅速的转码，实现复杂度以及率失真性能的良好折 中。 摘要 综上所述，本文对s v c 进行了探讨和研究，并结合可伸缩性视频编码与转 码，进行空间与质量的转码技术研究，取得了一些有价值的研究成果。 关键词：可伸缩性视频编码 s v ch 2 6 4 a v c视频转码 性能比较 快速 模式选择快速运动估计码率转码 a b s t r a c t a b s t r a c t w i t ht h ef a s td e v e i o p m e n to fn e t w o r ka n dm u i t i m e d i at e c h n i q u e s ，m u l t i m e d i a a p p l i c a t i o n sb a s e do nn e t w o r k sh a sb e e nw i d e l ya p p l i e di n t oe v e r y d a yl i f e t h e r ea r e m a i l l i yt h r e ec h a r a c t e r i s t i c si nt 1 1 ec u r r e n tm u l t i m e d i aa p p l i c a t i o ne n v i r o m e n t ： h e t e r o g e n e o u sn e 饥r o r k s ，v a r i o u sr e c e i v i n gt e n n i n a 王sa n dd i v e r s 时o fm u l t i m e d i a a p p l i c a t i o nc a t e g o r i e s t h e s ef e a t u r e sl e a dt od i f ! e i c u l t i e sa sw e l la sc h a l l e n g e sw i t h i n m u l t i m e d i a a p p l i c a t i o n s s c a l l b l ev i d e o c o d i n g ，h i c hc o n t a i n sm u l t i p l e s u b - b i t s t r e a i l l sf o rd i 毹r e n tt e m p o r a l ，s p a t i a la n dq u a i i t ys c a l a b i l i t i e s ，d i f f e r s 掣e a t l y 疗o mt r a d i t i o n a is i n g i e i a y e rc o d i n g ，a n di sa d a p t i v et oa b o v ee n v i r o l m e n t s o nt h e o t h e rh a n d ，v i d e ot r a n s e o d i n g ，w h i c hh a se x c e l l e n te o d i n gp e r f o n n a n c ea n d 、v a sa l s o s t u d i e df o ry e a r s ，c a l lc o n v e r to n es i g m lt oa n o t h e ra c c o r d i n gt o v a r i o u su s e r r e q u i r e m e n t s ，t h u si sa ni d e a la l t e m a t i o n t h e s et w oa r et h ek e yt e c h n i q u e st os o l v e a b o v ep r o b l e m s ，a n da r et h eh o ts p o t si nr e s e a r c ha r e ao fv i d e op r o c e s s i n ga n d c o m m u l l i c a t i o n t h e ya r ec o n s i d e r e da st w op r o m i s i n gt e c h n i q u e si nt h e o 巧a n d p r a c t i c e ， u n d e rm el a t e s t 矗a m e w o r ko fs c a l a b i ev i d e oc o d i n g ( s v c ) e x t e n s i o no f h 2 6 4 a v c ，t h ed i s s e r t a t i o na n a l y z e si t st e c h n i c a lf e a t u r e sa n d 印p l i c a t i o ns c e n a r i o s ， a n ds t u d i e sr e l a t e dv i d e 。t r a n s c o d i n gt e c h n i q u e s ，f o rt h ep u r p o s eo fs o l v i n gv a r i o u s p r o b l e m s i nv i d e o t r a n s c o d i n g u 1 1 d e rd i f f e r e n tn e t w o r k e n v i r o n m e n t s ， u s e r e x p e r i e n c e sa n dc o d i n gf o m a t s t h em a i nc o n t e n t sa n dn o v e l t i e so ft h ed i s s e r t a t i o n a r ea sf o l l o w s ： 1 。m a k e sc o m p r e h e n s i v et e c l u l i c a lc o m p a r i s o n sb e t w e e ns v c a n dv i d e ot r a n s c o d i n g t h i sd i s s e r t a t i o ns t u d i e ss v cf r o mt h e o r e t i c a la n a l y s i st op r a c t i c a ls i m u l a t i o n s w i t h i nb r o a dc a t e g o r i e so fv i d e oc o n t e n t s ，a n dm a k e s c o m p a r i s o n sb e t w e e ns v ca n d v i d e ot i ：a n s c o d i n gi nt e r m so fe n c o d e rc o m p 】e x j t y ，e o d j n g p e r f o n n a n c e ，d e c o d e r c o m p l e x i 坝s c a l a b i l i t ys c a l e ，e t c w i t ht h ea b o v ed e t a j l e dc o m p 撕s o n sa n dd a t a a n a l y s i s ，t h ep r o sa n dc o n so f s v ca r ep o i n t e do u t ，w h i c hc a nb ec o n s i d e r e da s t h e o r e t i c a la n a l y s i sa n dd a t as u p p o r tf o rt h ep o t e “a la p p l i c a t i o ns c e n a r i o so fs v c 2 p r o p o s e sag e n e r a ls p a t i a lr e s 0 1 u t i o n 仃a n s c o d i n gf - r 啪e w o r kt oh 2 6 4 办气v cv i d e o f o r m a t ，a sw e l la sa l g o r i t h m s t h ed i s s e n l t i o ns t u d i e st h es p a t i a lr e s o l u t i o nt r a n s c o d i n gp r o c e s s & o ms v c t o h 2 6 4 a v c ，a n a l y z e st h ec o m m o r u l e s s 砒l dd i f f e r e n c e sb e t w e e nt h e m ，a n dp r o p o s e sa i i i g e n e r a l 蠡s ts p 撕a lr e s o l u t i o nt r a n s c o d i n ga r c h i t e c t u r ef r o m s v ct oh 2 6 4 a v c f o r m a t i tf o c u s e so np i x e l d o m a i nf a s tm o t i o ne s t i m a t i o n ，f a s tm o d ed e c l s l o n ，a j l d i n o t i o nr e u s i n gt e c m q u e s u n d e rm i sb r a n d n e w s v c - t o h 2 6 4 a y cs p a t i a j t r a n s c o d i n ga r c h i t e c t u r e ， e x c e l l e n tt r a n s c o d i n gp e 怕n n 孤c e i so b t a i n e dv ，h i l e m a i n t a i n i n gl o wc o m p l e x i 啦 3 p r o p o s e sag e n e r a lm e t h o df o rc o m p r e h e n s i v ev i d e o 扛a n s c o d i n g 仔o ms v c t o h 2 6 4 a v cv i d e of o m a t ，t o g e t h e rw i t ho t h e rt e c h n i q u e s w i t hp r o p o s e ds p a t i a lt r a n s c o d i n ga r c h i t e c t u r em e n t i o n e da b o v e ，t h ed l s s e r h 眦l o n s t u d i e st 1 1 et r a n s c o d i n gp r o c e s sf r o ms v ct o h 2 6 4 a v cmt e r m so fb i t r l 钯 t r a n s c o d i n g ，a n d p r o p o s e s as p a t i a l q u a i i t yc o m b i n e dc o n l p r e h e n s l v et r a n s c o d l n g f r 锄e w o r ka n dr e l a t e da l g o r i t h m s t h en e wf 锄e w o r ks t u d i e s仃a i l s c o d l n g t e c h n i q u e s o nb o t h0 p e n 1 0 0 pa n dc l 。s e d 1 0 0 pt r a n s c o d i n g 矗d d s i na d d i t i o n ， c o n s i d e r i n gb i t r a t er e d u c t i o n ， m ed i s s e r t a t i o np r o p o s e sab o t t o m u pt a s tm o d e d e c i s i o na l g o r i t h m t h e s et e c h n i q u e sc a nr e a l i z er e a l t i m es p a t i a la n dq u a l i t yv i d e o t r a n s c o d i n gw h i l em a i n t a i n i n ga c c e p t a b i ep e r f o 咖a n c e l o s s ， t h u sm a k m ga s a t i s f 如t o r yt r a d e o f fb e t l w e e nt r a n s c o d i n gp e r f o h n a n c ea n dt r a n s c o d i n gc o m p l e x l t y i nc o n c l u s i o n ，t h i sd i s s e i r t a t i o ni n v e s t i g a t e st h el a t e s ts v cs t a n d a r d ，a n db u i l d s u pn e wa r c h i t e c t u r e sc o m b i n i n gs v c 觚dt r a n s c o d i n gf o rt h ep u 印o s e so fs p a t l a la 1 1 d q u a i i t yt r a n s c o d i n g ，s o m eu s e f u la n de n c o u r a g i n g r e s u l t sh a v eb e e no b t a l n e d k e yw o r d s ： s c a l a b l ev j d e oc o d i n 吕s v c ，h 2 6 4 a v c ， v i d e ot r a n s c o d i n 岛 p e r f o m a n c ec o m p 撕s o n ，风tm o t i o ne s t i m a t i o n ，f a s tm o d ed e c i s i o n ， b i t r a t er e d u c t i o n 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：j 驻 签字同期：2 受誓二二主l 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 f 讼开 作者签名： 签字同期： 口保密(年) 塑呈缘 兰! 拿：! ：三2 导师签名： 至蕴兰兰 导师签名： 盆。f 盖；墨 签字闩期： 丝1 2 ：主! 第l 章绪论 1 1 引言 第1 章绪论 计算机及网络技术飞速发展的当今世界，多媒体信息已经成为人类获取信息 的最主要载体之一，同时也成为电子信息领域技术开发和研究的热点之一。从概 念上来说，多媒体信息是指融合两种或者两种以上媒体的一种人机交互式信息交 流和传播的媒体，使用的媒体包括文字、图形、图像、声音、动画和视频等。多 媒体技术的发展使计算机具有综合处理文字、图形、图像、声音、动画和视频等 的能力。它以形象丰富的声音、文字、图像等信息和方便的交互性，极大地改善 人机界面，丰富了人们使用计算机的方式和手段，从而为计算机进入人类生活和 生产的各个领域打开了方便之门，给人们的工作、生活和娱乐带来了深刻的变化 ( 钟玉琢，1 9 9 9 ；刘甘娜等，2 0 0 4 ；王小鹏等，2 0 0 6 ) 。 近三十年来，随着多媒体技术的进步，各种多媒体应用也得到迅猛发展，例 如数字电视广播、远程监控、数字视频点播、无线多媒体通信等。视频信息在多 媒体信息中更是占有重要地位，人类获取的信息中7 0 来源于视觉。以上应用 无一例外都要用到多媒体技术中最重要的一个部分视频编码技术。同时，因 为视频数据的冗余度最大，经压缩处理后的视频质量高低成为决定多媒体服务质 量的关键因素。因此，数字视频技术是多媒体应用的核心技术，视频技术的研究 已成为信息技术的热门研究领域之一。 虽然网络带宽和存储设备的容量有着飞速的发展，但未经压缩的原始视频数 据的庞大数据量相对于当前仍然有限的传输带宽或存储空间都是难以承受的。举 例来说：一帧数字视频光盘( d 珥t a l d e od i s c ，d v d ) 格式的未压缩图像( 分 辨率为7 2 0 x 5 7 6 ，每个像素r g b 三色共需要2 4 比特) 要占用1 2 m b 的空间， 假设帧率为3 0 帧秒，则一部两个小时的d v d 电影其数据量高达2 6 0 g b 。因此， 视频压缩技术一直是国内外视频技术研究的热点之一。经过近半个世纪的研究， 数字视频编码技术无论是在算法研究还是在产业发展上都有了长足的进步。国际 上已经成功地制定了面向各种应用的多个视频编码标准，主要包括：用于视频高 密光盘( d e oc o m p a c td i s c ，v c d ) 存储的m p e g 1 标准( i s o i e cj t cl ，1 9 9 3 ) ； 用于d v d 和数字视频广播( d 磷t a l d e ob r o a d c a s t i n g ，d v b ) 的m p e g 一2 标准 ( i t u t a n di s o i e cj t c1 ，1 9 9 4 b ) ：用于视频会议的h 2 6 l 标准( i t u t ，1 9 9 3 ) 和h 2 6 3 标准( i t u t ，2 0 0 0 ) ；允许对任意形状对象进行编码的m p e g 一4 标准 ( i s o i e cj t c1 ，2 0 0 4 ) ： 由国际电信联盟( i n t e m a t i o n a lt e l e c o m m u n i c a t i o n 第1 章绪论 u n i o n ，i t u ) 的远程通信标准化组( i t u - t ) 以及国际标准化组织( i n t e m a t i o n a l 0 r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ，i s 0 ) 与国际电工委员会( i n t e m a t i o n a l e l e c 仃o t e c h n i c a lc o m m i s s i o n ，i e c ) 合作而联合制定的最新的h 2 6 4 a v c 视频编 码标准( i t u 。ta 1 1 di s o i e cj t c1 ，2 0 0 7 ) ；以及国内的数字音视频编码标准a v s ( a u d i ov i d e os t a n d a r d ) ( 中国质监总局国家标准化管理委员会，2 0 0 6 ) 。 但随着网络技术的迅猛发展和用户生活质量水平的提高，网络结构的复杂 性、用户终端的多样性都对以上主要着力于提高单层视频编码性能的标准提出了 挑战。因此，i t u t 于2 0 0 7 年正式通过了h 2 6 4 a v c 标准的可伸缩性扩展档次， 即可伸缩性视频编码国际标准s v c ( i t u ta n di s o i e cj t cl ，2 0 0 7 ) ，用来提 供对异构网络和不同用户需求的支持。与此同时，伴随着不同视频编码标准的产 生而发展的视频转码技术也同样适用于以上环境( v e t r oe ta l ，2 0 0 3 ；a h m a de ta 1 ， 2 0 0 5 ；x i ne ta l ，2 0 0 5 ) 。这两个技术被认为是解决这些问题的最有前途的关键技 术之一。 s v c 是近年来视频技术领域研究的热点之一，其目的是为了解决随着多媒 体应用的扩展出现的越来越多的异构网络、多媒体终端、用户需求对相同内容多 媒体信息的访问要求。将s v c 技术与视频转码技术相结合，进一步提高对以上 需求的访问支持能力，使其适应复杂的多媒体应用环境，是一个非常新兴的视频 技术研究领域，涵盖了众多的理论和技术，其研究具有非常重要的理论和实用价 值。 本章将对s v c 和视频转码的研究背景、研究现状进行分析，最后给出了论 文的组织结构和创新点。 1 2研究背景 随着计算机技术、网络技术和多媒体技术的飞速发展，基于网络的多媒体应 用已经遍及人们生活的各个角落。当前的媒体应用环境具有如下几个主要特点： 首先是网络形式的异构性。从早期的电话线路、以太网，到如今的光纤网、无线 网络等，各种形式的网络通过互联技术相连，组成了一个非常复杂的互联网。其 次是终端设备的多样性。高性能的个人电脑( p e r s o n a lc o m p u t e r ，p c ) 和工作站 是最早的传统的网络访问设备。随着芯片技术和计算机软硬件技术的发展，手持 移动设备，如p d a ，s m a np h o n e 等，同样能够支持网络访问的功能。由于其便 携性，移动终端越来越多地被人们所使用，而目前不同终端设备提供的功率、空 问分辨率等，都有着各自不同的要求和规格。再次是多媒体应用的复杂性。从视 频电话、信息查询到视频点播、视频共享、视频搜索、视频摘要、视频监控等等， 2 第l 章绪论 众多应用满足了人们的多种需求。最后，在不同的应用中，人们的喜好和要求也 各不相同。尤其在如今的年轻人群体里，喜好的个性化更有着独立鲜明的标志。 以上复杂的多媒体应用环境对媒体访问带来了困难。通用媒体访问 ( u 血v e r s a lm e d i aa c c e s s ，u m a ) ( c h a n ga n dv e t r o ，2 0 0 5 ) 被认为是多媒体应 用需要满足的一项基本要求，它指用户可以使用不同终端设备，通过各种网络形 式访问所需要的媒体信息，并且，这种访问是无缝连接的，即用户不会因为终端 或网络的变化造成媒体访问的困难。然而，不同的网络具有各自的特性，比如其 网络带宽、误码率、丢包率等参数有很大差别。这些网络的差异使得通用媒体访 问的实现变得非常困难。加之人们在各种多媒体应用中的不同需求和喜好，使得 媒体访问的问题变得更加复杂。 视频是多媒体信息中提供信息量最多的重要组成部分，通用媒体访问首先要 解决视频信号的表达与传输。由于视频信号数据量巨大，一般情况下需要先编码 压缩再存储、传输。针对不同应用，人们已经建立了多个视频压缩标准，主要包 括i t u t 的h 2 6 x 系列和i s 0 i e c 的m p e g x 系列，以及由我国制定的具有自 主知识产权的a ，s 标准。从本质上说，这些标准都是利用视频编码技术将原始 视频信号压缩成一定码率下的具有固定时空分辨率的码流，其主要由运动矢量和 残差两部分组成。显然，这种视频表达方式过于单调，难以适应当前复杂的媒体 环境。例如，一段根据有线网络带宽压缩成的高码率视频，可以提供很好的视频 质量，但是，对于无线网络，这种高码率的视频难以被传输；另外，对于不同分 辨率需求的用户，该视频还需要进行必要的后处理，可能无法实现实时解码的需 求。一种直接的解决方案是将同一段视频压缩成各种形式的独立码流以满足不同 应用的需要。但这种解决方案缺乏灵活性，同时计算量大，存储要求高，并不实 用。为了适应复杂的应用环境，媒体需要有一定的适应性，也就是说根据不同的 应用环境，人们可以对媒体进行调整，从而满足环境条件的限制。这里的限制包 括网络带宽，终端设备的计算能力，显示屏尺寸，用户的喜好等等。为了实现通 用媒体访问，人们提出了可伸缩性视频编码和视频转码的概念。从本质上说，可 伸缩性视频编码就是将相同的视频内容压缩成一个码流，在保证编码性能的同 时，使得该压缩码流能满足各种情况和需求。显然，可伸缩性视频编码可以抽象 成数学中带约束条件的最优化问题，即在增加冗余来实现多维可伸缩的应用场景 的同时，保证每个应用中该视频内容的用户满意度最高。视频转码相对可伸缩性 视频编码来说则是更具目的性、针对性，通常针对每个用户的需求，点对点地对 原编码数据进行有效、迅捷的码流转换。目前，有关可伸缩性视频编码以及视频 转码的研究已经成为视频技术领域研究的热点，包含了众多基础理论和实用化技 术的研究，具有重要的理论意义和广泛的应用价值。 3 第l 章绪论 1 3 研究现状 从发展和研究观点来看，可伸缩性视频编码和视频转码技术两者本身都不是 最新的研究领域。 可伸缩性视频编码从概念上来说可以这样定义，即压缩后的码流经部分抛弃 或截取，其残留的码流仍可被解码端正确解码，得到格式减小的视频内容；其中 格式减小的涵义可以是时间、空间以及质量等方面的缩小( s c h w a r ze ta l ，2 0 0 7 ) 。 可伸缩性视频编码技术早在2 0 世纪9 0 年代的m p e g 1 标准中就开始存在，在 m p e g 2 标准中可明确找到，继而在后续的所有视频编码标准系列中都出现过类 似的概念，甚至在目前编码性能最好的h 2 6 4 侩v c 标准中都不乏有时间上的可 伸缩功能。但在h 2 6 4 a v c 标准出现之前，几乎所有的可伸缩性视频编码标准 都是不成功的j 其原因在于以前可伸缩性视频编码技术性能不佳( s c h w a r z e ta l ， 2 0 0 7 ) ，或当时的市场不成熟。 然而，网络技术的飞速发展，多媒体技术的迅猛扩张，计算机软硬件的急遽 更新换代，以及人们对丰富的多媒体生活的不断追求，为可伸缩性视频编码标准 的再次到来提供了技术和市场的支持。在h 2 6 4 a v c 取得单层编码性能最佳丽 成功的同时，其开发小组也针对可伸缩性视频编码进行研究并提出了新的草案。 经过数年的发展，最终于2 0 0 7 年通过i t u t 审议，正式成为h 2 6 4 j a v c 的可伸 缩扩展s v c 。 视频转码技术相比可伸缩性视频编码则出现的更早，可以追溯至视频编码标 准的出现。视频转码本质的含义是将已编好的具有某种格式的码流转换成另一个 种格式的码流。视频转码包含的概念比可伸缩性视频编码更广泛，这其中格式的 转换不仅包含了时间、空间和质量的变化，还包含了更广义的比如码流标准格式 的转变、加入容错、加入水印等各种技术，因此可以说，视频转码比可伸缩性视 频编码的应用更广泛。但相对来说，转码针对性太强，比较适合点对点或端对端 传输，而不适用于多播情况。另外，随着每个视频标准的制定，视频转码都会有 相应的变化，不具有通用性。 鉴于可伸缩性视频编码与视频转码的局限性和可用性，加上最新可伸缩性视 频编码标准s v c 的制定，如何将两者结合使用，取其长，避其短，则可能成为 多媒体异构网络解决多种需求的完善、成熟的解决方案。 根据具体应用，两者的结合技术大致可分为以下三类： 1 ) 同格式的质量级别的转换。s v c 虽然支持质量可伸缩性即码率可伸 缩性的编码，但对传输码率的要求并未精确到任意一个具体的码率，因而若想要 在现有s v c 生成的码流中取得精确码率( 或质量级) 的码流，可以通过视频转 码实现。 4 第1 章绪论 2 ) 同格式的空间大小的转换。虽然s v c 可以在编码端包含尽可能多的空间 分辨率视频内容，然后随着对应分辨率编码层的增加，其整体编码性能会有极大 的降低。故而通常s v c 编码端对整体包含层数有最大数的限制，而真正应用中 编码端则通常只提供最常用的5 个以内的分辨率；这样，很多用户自定义大小的 分辨率则无法得到最佳体现。如何结合视频转码达到空问分辨率与质量的最佳折 中成为一个难题。 3 ) 不同格式的转换。这直是视频转码存在的最大一个优势，即如何将一 个标准格式的码流通过合适的、迅速的转换，成为另一个符合用户需求的标准格 式的码流。在保证质量的前提下，如何在可伸缩性视频码流与其他现有的标准码 流进行转换，同样是视频转码的热点。 目前国内外学者的研究主要着重于第三点，即在可伸缩性视频编码标准与其 他标准、尤其是最新的h 2 6 4 a v c 格式之间的转换，并取得初步的效果，比如 j v t 会议上惠普公司的s e g a l l ( 2 0 0 7 ) 提出的基于粗粒度质量可伸缩( c o a r s eg r a i n s c a l a b i l i t y ，c g s ) 的重写机构，诺基亚公司的h a n n u k s e l ae ta l ( 2 0 0 7 ) 提出的 特定结构的重写机制等。然而，到目前为止，作为一个新兴的研究领域，可伸缩 性视频编码与视频转码的结合仍处在一个初始状态，尚存在众多问题有待人们去 研究解决。 1 4 论文创新点以及组织结构 本文分析了可伸缩性视频编码与转码相结合的研究方向，在不同格式转换的 应用上提出了从最新的s v c 到h 2 6 4 a v c 标准格式上具有普适意义的转码框 架，针对用户在不同空间分辨率、质量等各方面的需求，进行了一系列的研究。 其主要创新之处在于： 1 ) 从理论和实际两个方面精确分析了s v c 与视频转码各自的优缺点及其各 自合适的应用场景。 2 ) 提出了具有普适意义的从s v c 标准到h 2 6 4 a v c 标准的空间分辨率转 换的转码框架。该框架能将标准s v c 格式的任何具有多层空间分辨率的码流转 换成用户指定大小的、h 2 6 4 a v c 格式的码流。其中，提出快速运动估计、模式 选择等核心技术，确保转码的迅速以及转码前后质量的基本无损，为系统提供优 秀的转码性能。 3 ) 在本文所提的空间分辨率转码技术基础上，提出了具有普适意义的从s v c 标准到h 2 6 4 a v c 标准的综合空间分辨率和质量的通用转码框架。该框架能将 标准s v c 格式的任何具有空间或和质量可伸缩的码流转换成h _ 2 6 4 a v c 格式的 第1 章绪论 码流，并提出了分别在像素域的闭环以及开环算法中研究综合转码的各种问题。 在大质量转变情况下，本文还提出了自底向上的快速模式选择算法。在保证性能 损失不大的情况下，这些算法均能进行迅速的转码，实现复杂度以及率失真性能 的良好折中。 论文一共分为六章。各章的主要内容如下： 第一章简要介绍可伸缩性视频编码与视频转码楣结合的研究背景以及研究 现状。 第二章介绍本文相关的基础知识，包括视频编码原理、可伸缩性视频编码技 术、视频转码技术以及现有的将两者结合的若干方法。 第三章分析了s v c 在实验和理论中与转码技术相比存在的优缺点及应用场 景。 第四章详细介绍提出的从s v c 标准到h 2 6 4 a v c 标准进行空间分辨率转码 的框架及算法。其中包括语义分析、快速运动估计、模式选择以及率失真优化问 题。最后进行实验验证以及分析。 第五章详细介绍提出的从s v c 标准到h 2 6 4 a v c 标准进行综合空间分辨率 与质量的转码的框架及算法。其中包括闭环和1 丌环的算法，以及在质量大幅度变 化时提出的自底向上的快速模式选择算法。最后给出了实验数据及分析。 第六章对全文进行总结并对未来的工作进行了展望。 第2 章视频编码和转码基础 第2 章视频编码和转码基础 本章将对本文所用到的视频编码及视频转码基础知识进行必要的介绍，其 中包括：视频编码原理，视频编码标准，可伸缩性视频编码，以及视频转码的 基本技术知识。 2 1 视频编码原理 随着数字化、网络化、全球一体化信息时代的来临，包括文字、声音、图 形以及图像、视频在内的多媒体信息需要大量的传输和处理。其中视频是最重 要的组成部分。视频一词译自英文的d e o ，与静止图像相反，视频是活动图 像( 或者称为运动图像) 。人们所看到的视频信息实际上是由许多单一的画面所 组成的，每幅画面称为一帧。由于人眼的滞留效应，每秒2 4 帧的电影画面就形 成了连续活动影像感觉的电影。 电话( 2 0 0 3 4 0 0 h z ) 。 带宽语音( 5 0 一7 0 0 0 z ) ， 带竟音频( 2 0 一2 0 0 0 0 h z ) ； 圈像： 视频： 高清晰度电视： 8 0 0 0 样本秒l2 比特样本= 9 6 k b p s 16 0 0 0 样本秒j4 比特样本= 2 2 4 k b p s 4 4 1 0 0 样本秒2 信道1 6 比特样本= 1 4 1 2 n p 8 5 1 2 5 1 2 像素图像2 4 比特散素= 6 3 如图像 6 4 0 4 8 0 像素图像2 4 比特像素3 0 图像秒= 2 2 l n p 。 1 2 8 0 7 2 0 像素图像2 4 比特像素6 0 图像秒= i 3 g b p s 图2 1 信源信号的原始数据速率 据统计，人类通过视觉获取的信息量约占总信息量的7 0 ，而且视频信息 具有直观性、可靠性等一系列优点。然而，从图2 1 可以看出，视频传输的数 据量之大，单纯用扩大存储器容量、增加通信干线的传输率的办法是不现实的； 相反，数据压缩技术是个行之有效的解决办法。数据压缩可以将庞大视频数据 中的冗余信息去掉( 去除数据之间的相关性) ，保留相互独立的信息分量。 视频的信源数据有极强的相关性，也就是说其间有大量的冗余信息。这些 冗余包括时域冗余、空域冗余、统计冗余以及心理视觉冗余。 时域冗余：视频序列连续时间上的图像之间的内容一般变化不大，具有很 强的相关性，称之为时域冗余。这也是视频中存在的最大的冗余。 空域冗余：视频由连续时间的图像组成。而通常一幅图像中经常存在大量 7 第2 章视频编码和转码基础 内容相似的区域，在空间上存在很大的相关性，即空域冗余。 统计冗余：在对信息进行熵编码的过程中，若采用不同的编码方法，编码 每个信源符号的平均比特数不一定相同，造成编码效率不同，即编码码字存在 冗余，这就是统计冗余。 心理视觉冗余：主要指人眼视觉系统( h u m a i l s u a ls y s t e m ，h v s ) 对图 像的色彩、对比度、时间、空间以及频率等特性的分辨能力有一定的限度。因 此在定程度上降低视频信号在以上各个方面的精度表达不会被人眼察觉，以 此实现减少数据量的目的。挖掘视频数据的心理视觉冗余主要利用了人眼视觉 系统的色彩敏感性、对比度敏感性、纹理敏感性和空间频率敏感性等几个方面。 视频信号的压缩过程就是尽可能地消除上述各种冗余。从上个世纪四、五 十年代开始人们就进行了大量研究。视频数据中的时域冗余可以用运动补偿 ( m o t i o nc o m p e n s a t i o n ，m c ) 技术来消除，其基本思想是将连续的视频图像内 容进行匹配，对匹配的内容进行差值预测，从而降低冗余度。该匹配过程既可 以基于整帧，也可以基于划分的块，甚至基于像素。对于视频数据中的空域冗 余，一方砸可以通过空间上的差值预测来消除邻近像素之间的相关性；另一方 面，正交变换能够将空域相关的数据转换成频域内不相关的变换系数来表示， 同时正交变换还具有能量集中的作用，可以用若干个低频系数近似表示原来的 能量。因此，变换与量化相结合能够舍弃一些重要性较低的高频系数，从而达 到压缩的目的，同时又不会造成大的失真。对于统计冗余，主要是采用熵编码 技术，通过其提高熵编码效率来降低统计冗余，例如哈夫曼变长码、算术编码 等。心理视觉冗余则在降低数据采样速率、分级量化等技术中得到广泛应用， 例如利用人眼对色彩空间中的亮度较为敏感而对色度信息较不敏感的特性，通 过降低色度信息的采样率能大大降低数据量。 2 2 视频编码标准简介 为了更好的促进互操作性，随着产业化活动的进一步开展，视频压缩编解 码已进入标准化阶段。目前，制定标准的组织包括国际电信联盟( i n t e m a t i o n a l t e l e c o m m 眦1 i c a t i o nu n i o n ，i t u ) 、美国国家标准协会( a m e r i c a i ln a t i o n a l s t a n d a r d si n s t i t u t e ，a n s i ) 电信委员会、电信工业联合会( t e i e c o m m u n i c a t i o n s i n d u s t r ya s s o c i a t i o n ，t i a ) 、欧洲电信标准机构( e u r o p e a nt e l e c o m m u n i c a t i o n s s t a n d a r d si n s t i t u t e ，e t s i ) 、日本电信技术委员会( t e l e c o m m u n i c a t i o nt e c l l i l o l o g y c o m m i t t e e ，t t c ) 、美国电器电子工程师学会( i n s t i t u t eo fe l e c t r i c a ja n d e l e c t r o n i c se n g i n e e r s ，i e e e ) 和国际标准化组织( i n t e m a t i o n a lo r g a l l i z a t i o nf o r 8 第2 章视频编码和转码基础 s t a n d 龇d i z a t i o n ，i s o ) 等。其中，反响最大、使用相对最为广泛的标准组织是 i t u ( 和视频相关的主要是i t u 的远程通信标准化组i t u t ) 和i s o ( 和视频相 关的主要是i s 0 与国际电工委员会( i n t e m a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ， i e c ) 合作( i s o i e c ) 的j o i n tt e c h l l i c a lc o m m i n e e ，j t c ) 制定的标准( s u l l i v a n ， 2 0 0 5 ：祖晟，2 0 0 6 ) 。 视频编码标准的发展可用图2 2 做简单的回顾。 ll l l | 1 m l tl 麟1 p 猡 h 瑚3li u 6 3 + 一+ + l 铲 5 一| l 1l c l 山盘| 椭擂 ：锣 ll a v s w g l l a v 譬m 兹爹铲。 。 。 。 1 1 l2 图2 2 视