（通信与信息系统专业论文）面向网络的可伸缩视频编码的研究.pdf

摘要 传统的视频压缩技术主要解决的问题是如何提高压缩编码效率，面向网络的 视频编码除了对编码效率提出了更离的要求外，还要求压缩后的视频流能够适应 网络带宽的变化和容忍传输错误( 如互联网的丢包和无线网络的突发及随机错误 等) 。在视频通信应用中，视频编码的目标从面向存储转到了面向网络传输，编码 的目的从产生适合存储的固定尺寸的码流发展到产生适合一定的传输码率的可伸 缩性码流。因此面向网络的可伸缩视频编码技术成为视频通信应用中急需解决的 关键问题，对其进行的研究必将具有重要的理论与现实意义，本文对于面向网络 的可伸缩视频编码技术进行了深入系统的研究。 本文首先总结了视频流服务的研究发展现状以及视频编码的理论基础和现 有的国际标准，介绍了时域、空域和信噪比可伸缩视频编码的基本理论。其次结 合m p e g 4 中可伸缩编码的通用工具，对于m p e g 4 中定义的精细可伸缩编码进 行了较为详细的研究，并讨论了基于宏块的渐进的精细可伸缩编码方案，可以提 高增强层码流的容错性和鲁棒性；最后结合目前最新的小波提升方案，讨论了运 动补偿三维小波编码方案。利用运动补偿和小波提升技术实现运动补偿时域滤波， 编码效率因多参考帧和子像素运动补偿的使用而大大提高。 关键词：精细可伸缩视频编码小波变换小波提升方案运动补偿时域滤波 a b s t r a c t t h em 萄o rt a s ko ft 1 1 ev i d e oc o d i n gt e c h n o l o g i e sf o rs t o r a g e - b 觞e d 印p l i c a t i o i l si s h o wt o i 堇l l p m v e t 1 1 e c o d i n ge 衔c i e n c y h o w e v e r ，f o ri n t e m e t - o r i e m e dv i d e o c o r r 蚰u n i c a t i o na p p l i c a t i o n s ，b e s i d e sm er e q u i r e m e n t so nh i g h e rc o d i n ge m c i e n c y 也e g e n e r a t e db i t s t r e 锄sh a v et oa d a p tt on e t w o r kb a n d w i d mv a r i a t i o n s 趾dt o l e r a t e t r a n s m i t t e de r r o r s ( s u c ha sp a c k e tl o s s e si nt h ei m e m e tn e t w o r ka n dr a n d o mo rb u r s t e r r o r si nw i r e l e s sn e t w o r k ) ，t h eg o a l so ft h ev i d e oc o d i n g 、e r ec h a n g e d 疔o mt h e s t o r a g et ot h et r a n s m i s s i o n ，a n df r o mt h ef i x e db i t s t r e a m st ot l l es c a l a b l eb i t s t r e a m s t h es c a l a b l ev i d e oc o d i n gt e c h n o l o g i e sf o rc o m m u n i c a t i o n 印p l i c a t i o n sa r et h ek e y q u e s t i o nf o ri n t e m e t - o r i e n t e dv i d e oc o m m u n i c a t i o na p p l i c a t i o n s i t i si m p o r t a n tt o r e s e a r c ht 1 1 e s et c c h n o l o g i e sf o rt h es c a l a b l ev i d e oc o d i n gt h e o r i e sa i l dt h ee n g m e 耐n g 印p l i c a t i o n s t h em e s i ss y s t e m a t i c a l l yr e s e a r c h e st h ei n t e m c t o r i e n t e ds c a l a b l ev i d e o c o d i n gt e c h n o l o g i e s i nt h eb e g i n n i n g ，w es u m m 新z et h er e s e a r c h e sa n dd e v e l o p m e m so fm e d i a s t r e 锄s e i c ea n di m r o d u c eb a s i ct h e o r ya n di n t e m a t i o n a ls t a n d a r d si nv i d e oc o d i n g f i e i d i ti si n t r o d u c e ds e c o n d l yt 1 1 eb a s i cc o n c e p to ft e m p o r a ls c a l a b i l i t y ，s p a t i a l s c a l a b i l i t ya n ds n rs c a l a b i l i t y t h e nw er e s e a r c hi nd e t a i lo nm ef i n e 擎a n u l a r i t y s c a l a b i l i t y ，w i t h t h eg e n e r a lt o o l so ff g si nm p e g - 4 ，a n dw ea l s oa n a l y s et h e p r o g r e s s i v ef i n eg r a n u l a r i t ys c a l a b i l i t y ( p f g s ) i no r d e r t oi m p r 0 v et h er e s i l i e n c ea i l d r o b u s to fp f g se n h a l l c e dl a y e r b i t - s t r e 啪，w ei n t r o d u c es o m er e s i l i e n c ea l g o r i t l l l 1 1 so n t h em a c r o b l o c k - b a s e dp f g se n h a i l c el a y e r a tl a s tw ed i s c u s sm o t i o n - c o m p e n s a t e d s p a t i o t e m p o r a lw a v e l e tc o d i n gw i t hl i f 【i n gs c h e m ew a v e l e t t h em o t i o nc o m p e n s a t e d t e m p o m l f i l t e r i n gp r o c e s si sa c h i e v e di nt e r f i l so ft h ec o n c 印to fl i f t i n g 五l t e r s t h e c o d i n ge m c i e n c yi si m p r o v e dd u et ot h cu s eo fm u l t i p l e - r e f c r e n c ea n ds u b p i x e l a c c u r a t em o t i o nc o n l d e n s a t i o n k e y w o r d ：f i n eg r a n u i a rs c a i a b i ev i d e oc o d i n g w a v e l e tt r a n s f o 瑚 l i f t i n gs c h e m e m c t f 独刨性( 或创新性) 声明 y8 s 8 9 0 9 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名赵迹同期遗址：l 关于论文使用授权的浇明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名 导师签名： 扭 锉 日期竺! ：! ：2 同期型! ：! ：多 第一章绪论 第一章绪论 1 - l 引言 随着i m e m e t 的迅猛发展，它所提供的前所未有的信息服务，给人类社会的 生产、生活带来了深刻的变化。当前接入i m e m e t 服务和享受网络所带来的便利 已成为大众生活的一部分，人们对通信的需求已经由最初的单一语音需求转变为 对视频和音频的通信需求，以传送语音、数据、视频为一体的视频通信业务成为 通信领域发展的热点，视频应用在不断满足人们的需求的同时，也对图像处理和 视频压缩编码技术提出了新的挑战。 1 2 研究背景与价值 历经半世纪的发展，视频编解码技术已经在工业界得到了广泛的应用。在 m p e g 和i t u 组织的协调下，已经有若干m p e g 系列和h 2 6 x 系列音视频编码 标准，及至目前两组织共同参与制定的a v c 标准【l 】，代表着以d c t 变换为基础 的视频编码技术的成熟。这些标准面向不同的应用背景，如低码率传输、中码率 的存储和面向高清晰数字电视等。 2 0 世纪9 0 年代中期以后，网络技术的兴起和发展，为人们的信息获取和交 流通信带来了巨大的变革。随着i n t e m e t 带宽的增加，人们已不满足于简单的文 本和图像信息，要求在目前的信息中有更多的音视频等多媒体信息。随着i n t e m e t 技术的普及，网络服务器中的音视频媒体信息越来越丰富，同时促进了视频流传 输技术的应用，如视频点播、可视电话、视频会议和远程监控等。同时移动通信 的迅猛发展，并且在预期的3 g 技术应用之后，在无线网络上实现手机的视频通 信成为人们的需求和现实可能。透过这些应用，视频的传输为人们的信息交流呈 现出新的场景。人们可以在网上查询和检索视频数据库的资料，在线播放最新影 片，交互式点播数字电视，拨打可视电话，进行远程的视频会议，乃至在网络上 建立自己的媒体中心。并且随着技术的发展，视频通信应用的领域越来越广泛。 传统的图像和视频压缩编码技术主要是面向存储的，目标是单纯地追求某一 固定码率下的压缩效率：随着，面向网络应用的视频服务日益广泛，如：视频会 议、可视电话、视频点播、视频监控等；由于网络的异构性和缺乏服务质量( q o s ) 保证，带宽往往在一个较大范围内变化，因此对视频压缩的要求不但是保证高压 ! 堕塑堕塾丝亘塑塑望夔塑曼塑堑壅 缩率，同时还要求压缩后的视频流能够适应一定的网络带宽的变化，并具有一定 的容错性和多方面的可伸缩性。 图1 1 流媒体服务系统结构 一般而言，网络中的视频通信系统通常称为流媒体系统，包括以下几个方面： 媒体采集和编码、，文件转换、磁盘存储和流媒体服务器以及客户端的播放器，如 图1 1 所示。而其核心部分为服务器至客户端的编解码和传输。即服务器首先压 缩视频形成视频流，然后按照某种协议打包，按时序将包发送至网络，经过网络 的路由寻址和交换将数据送至客户端，客户端对其进行重组解码播放，如图1 2 所示。这种传输方式韵优点是：客户端不必将所有数据下载至本地，从而使得用 户不需要等待漫长的下载时间；不需提供大量的本地存储：有利于知识产权的保 护，只有授权用户才能收看相关节目；可以实现网络上的现场直播。 编 图1 2 流媒体应用传输结构 视频播放有着严格的实时性要求，数据必须在播放时序到来之前完全到达客 户端。然而i n t e m e t 和无线网络并不提供q o s 服务，以及网络和用户设备的异构 性，给视频流的传输带来了挑战。通信中各子网的处理能力、带宽和拥塞控制策 略等网络资源分布不平均，因此无法给出一致的网络描述。用户设备的异构性则 是由客户端的处理能力以及用户要求不同的服务质量造成的。同样的网络在不同 器玛 解 、illrj 第一章绪论 时间呈现出不同的带宽和拥塞状况，而视频的传输要求带宽应满足一定的条件， 当带宽低于视频流的最低码率时，将影响媒体的播放，甚至无法观看视频图像。 由于在编码时，编码器无法预知传输网络和客户设备的条件，因此要求服务器能 够实现视频对特定视频传输请求的自适应性。视频的自适应性主要是指视频在压 缩后形成的码流可以被灵活地组织适应不同的应用需求。此种特性对于多媒体传 输非常重要并十分具有吸引力，特别是在编码前不知道客户端的具体情况时尤其 如此。在视频通信中，码流的自适应性可以通过三种方式实现：1 ) 在压缩端生成 码流时使之具有自适应性；2 ) 在网络传输层通过对视频流分组打包实现；3 ) 在解 码器终端根据接收到的视频流作可伸缩的解码。 第一种方法不依赖于现有的和未来的网络设施，对网络无要求，相对比较容 易实现。第二种方法以网络为中心，要求网络中的路由器交换机为视频传输提供 带宽、丢失率等服务质量保证。第三种方法则首先受限于网络的能力，网络很可 能无法将所有的码流数据传输至客户端，其次即使客户端可接收到全部数据，但 仅解码部分信息会带来资源的浪费。因此在服务器端实现码流的自适应性具有独 立于网络和客户端的优点，具有更好的通用性和简单性。网络的异构性集中体现 在带宽的不同，而设备的异构性则主要是处理能力和显示能力的差异。目前有多 种方法实现这种自适应性： 1 ) 最小传输。按所有请求中带宽最低的用户接收条件产生视频流传输给所 有用户。这种方法可以保证所有用户均能观看视频，但网络状况好的客户也只能 收看质量很差的视频，带来了带宽资源的浪费。 2 ) 自适应编码。根据网络的实时状况，调整编码参数，生成相应的码流。 比如在m p e g - 4 【2 】和h 2 6 3 + 【3 】面向低码率传输环境的编码标准，允许在编码过程 中，通过跳帧和调整量化参数结合，达到码率的适应性。但当用户增加时，对服 务器的处理能力的要求急剧增加，很难应用于实际系统。特别对于离线编码系统， 如v o d 等，自适应编码也不适用。 3 ) 转码( t r a n s c o d i n g ) 。在服务器上保存一个质量足够好的压缩视频流，当 需要更低的码率时，服务器进行部分的解码和再编码，丢弃不影响视觉质量的部 分信息。尽管该方法比自适应编码复杂度低，但当大量用户点播时，服务器开销 仍然很大。 4 ) 多码流切换。以不同的码率压缩和存储视频序列，然后根据给定的网络 负载和特定的用户请求，服务器以合适的速率传输视频信号。这种方法需存储不 同码率的压缩视频信号，因而增加了存储的负担，并需要对其进行管理：对实时 应用，在同一时间也不可能有数个编码器对视频压缩。 在服务器端实现码流适应不同网络状况和终端的另一解决办法是设计一个 编码器，使之能从单一视频流中动态地选择码流适应特定的要求，这就是视频可 4 面向网络的可伸缩视频编码的研究 伸缩性。这种方法对于某些应用有着重要意义，如在视频点播环境下，异构的客 户端从服务器端请求同一视频节目时，可伸缩的视频码流可能是最有效的解决办 法。视频可伸缩性的概念不同于网络中的意义。大多数已有的压缩方法需要如码 率、帧率和帧的大小尺寸等参数，它们都在编码时被设定，不易被改变。如果某 个压缩方法允许一次性压缩后的视频能以不同的码率、帧率、空间分辨率和视频 质量解码则称其具有“可伸缩性”。分层可伸缩性编码自十年前开始，一赢是编 码领域研究的热点之一。m p e g 2 【4 】，m p e g 4 【2 】、h 2 6 3 + 【3 1 以及h 2 6 4 【l l 国际标准 均支持分层的可伸缩特性。不同基础网络的异构性和终端系统处理及显示能力的 差异对可伸缩算法起着持续的推动作用。 在1 9 9 9 年的图像编码年会上，“视频压缩的未来”议题组提出了视频压缩中 的可伸缩性特性。讨论的结果认为，根据重要性顺序，以下特性应被研究界接受： 码率伸缩性：接收器可以请求某个特定的码率，该码率可从有限的码率集 合中选择( 分层的码率可伸缩) ，也可以从连续的码率中选取( 连续码率可伸缩) 。 对以数据包为传递单位的网络( i n t e m e t ) ，码率可伸缩可能是最具影响力的模式。 s n r 伸缩性：根据解码视频对原始视频的保真度，接收端提出特定的质量 要求。而保真度通常由信噪比度量。 时间伸缩性：接收端提出不同的帧率： 空间伸缩性：接收端提出不同的分辨率： 内容伸缩性：在解码端决定场景中的内容的能力，它是m p e g - 4 内容的一 部分。为了适应网络带宽的变化，在m p e g 4 支持精细的可伸缩视频编码方案。 其基本思路是首先将视频编码为一个可独立解码的基本层和一个可在任何码率截 断码流的增强层其中基本层码流适应最低的网络带宽要求。 随着对小波理论研究的深入，特别是提升小波模型的引入使基于小波的图像 和视频编码技术进入实用阶段，丽不仅仅限于学术探讨和理论研究。在j p e g2 0 0 0 中已经采用小波变换进行变换编码【吼，它与现在的基于d c t 变换的压缩标准相比 不仅有更好的压缩性能，而且可提供分辨率和码率上的伸缩性。将小波变换简单 地推广至基于d c t 的编码框架，并不能取得更好的编码效率。但由于可伸缩编码 特性的需求，小波多分辨率表达具有的内在可伸缩性，使得基于小波变换的可伸 缩视频编码仍是较好的选择。 1 3 本文的研究方向和组织结构 视频编码技术的研究从最初的面向存储转到了面向网络传输，这反映了面向 通信的视频编码技术是当前的研究方向和发展趋势之一。因此，本文研究面向网 络的视频应用，在大量阅读文献和调查研究的基础上研究了若干适于通信的视 第一章绪论 频编码编码技术，通过实验仿真对新颖的方案和算法加以验证，以下各章节的内 容安排如下： 第一章是绪论部分，主要讲述了视频流服务的研究发展现状，并简要介绍了 可伸缩视频编码技术的研究价值。 第二章简要归纳了图像压缩编码的理论基础。现有的视频图像压缩标准，以 及传统视频编码的关键技术，并列举了一些主要的视频编码技术的新技术。 第三章对基本的时域、空域和信噪比可伸缩视频编码理论进行系统归纳。 第四章系统研究了f g s 和p f g s 编码方法针对p f g s 的基本编码技术扩展 到增强层中的宏块层，总结了3 种编码方式以选择每个宏块编码时使用的参考图 像，使得p f c s 编码方法既能有效地消除在低码率下的误差传递和累积下，又能 进步提高其编码效率。 第五章首先总结了目前基于小波变换的视频编码算法，主要讨论了基于运动 补偿的三维小波变换的视频编码算法，然后介绍了m c e z b c 可伸缩小波视频编 码系统，探讨了小波视频编码中的运动估计算法，最后研究了时间运功补偿滤波。 第六章是对本文的总结和展望，提出了进一步解决的问题和研究方向。 第二章视频压缩的理论基础与国际标准 第二章视频压缩的理论基础与国际标准 2 1 视频图像压缩基础 在i n t e m e t 上进行视频传输，存在着许多亟待解决的困难和问题。从数字视 频图像和通信网络信道特性两方面分析。存在着以下事实：借助数字技术和计算 机技术获取和利用图像的信息具有极其庞大数据最：一幅未经压缩5 1 2 5 1 2 的真 色彩( 2 4 b i t s d i x e l ) 的图像，所需的存储空间是6 3 m b i t ；如果是视频序列以每秒 3 0 帧计，则每秒的传输速率高达1 5 7 m b i t s 。对如此大的信号量，不要说在网络上 传输，一个6 5 0 m b ”e 的c dr o m 也仅仅能够存储2 8 秒这样的视频1 6 】。 现在的i m e m e t 本身是一个与时间和空间的变化都相关的共享通信信道，其 可用带宽十分有限并且随所在位黄的不同及所处时间的变化而变化，同时i n t e m e t 不提供任何服务质量保证( q u a l 时o fs e r v i c e ，q o s ) ，因此由拥塞而导致的包丢 失、传输延迟及迟延的变化根本无法预见。网络中各个用户在机器类型、操作系 统、外设性能、c p u 处理能力等方面均存在着巨大的差异：最后连接各用户的 弼络区段也会在带宽、延时和误码率等方面存在或大或小的差异p l 【s l l 9 l 。 过于庞大的数字视频图像的数据最及网络带宽分配不确定性的矛盾极大地 制约了图像通信的发展，己成为图像通信发展中的“瓶颈”。对数字视频图像进行 高效的可根据网络状况自动伸缩的压缩成了一个必须解决的问题。 基于网络传输的图像压缩编码的目的就是要以尽量少的比特数表征图像，同 时保持恢复图像的质量，并使它可以自适应的符合各种不同应用场合视频压缩编 码标准的要求【iu j j 。 2 1 1 视频图像压缩编码理论及技术基础 数据压缩就是以最小的比特数表示信源所发出的信号，减少必须分配给指定 消息集合或数据采样集合的信号空间的数值。数掘压缩的原理应从信源和信宿两 个方面进行分析。信息论的观点认为信源中总是或多或少地含有自然冗余度，这 些冗余度来自信源本身的相关性和信源概率分布的不均匀性。 1 9 4 8 年s h a 娜船证观，总是可以找到一种编码方法对一个熵值为娥矽豹信 源编码，使其编码平均长度上与信源熵值任意接近【1 2 l 。令s 为任意小的正数，则 存在上： 帆j + ，经过压缩编码后码率平均长度三与信源熵值为其下限。对于有失 面向网络的可伸缩视频编码的研究 真的信源编码定义了失真函数胄倒，它是平均失真d 小于某一失真限度下的最小 平均信息量。 通过s h a 嘲o n 的编码定理：一个具有率失真函数胄倒的信源，若有平均失真 d ，并具有两个任意小的正数和6 ，则必定存在一种信源熵值编译码方法，使其 比特率r 尺倒+ s 而平均失真d s d + j 这说明码率在某个界限内的编码才是 可能的。这为数据压缩以及信道编码奠定了理论基础1 1 3 l 。 从信息论我们可得出两个重要的结论【1 4 】1 1 5 i ： 1 离散无记忆信源的冗余度寓于信源符号的非等概率分布之中，这是数据压 缩的基本途径之一。 2 联合信源的冗余度也寓于信源间的相关性之中，消除或减少它们之间的相 关性，使之称为几乎不相关信源，是数据压缩的一条基本途径。 因此，消除或减少信源的冗余度是数据压缩的基本依据。经典的面向存储的 压缩算法的理论依据正是s h a f u l o n 信息论，利用视频图像空域、时域的相关 性进行压缩编码，利用视频图像数据中存在的大量冗余进行压缩编码。图像数据 的冗余包括以下几类【l 引： 空间冗余：在同一幅图像中，规则物体或规则背景的表面物理特征具有相关 性。这些相关性在相应的数字图像数据中表现为数据冗余。 时间冗余：图像序列中前后两帧图像之间的时间域相关性很大，这反映为时 间冗余。空闻冗余和时间冗余是图像数据中广泛存在且最关键的冗余。 信息熵冗余：信息熵始信源的平均信息量。信源以等概率分布时，熵为最大 值。熵最大值与非等概率分布时熵值之间的差值就是信源含有的冗余度，成为信 息熵冗余。 视觉冗余：人类的视觉系统对于图像的感知是非均匀和非线性的，充分利用 视觉特性是图像压缩编码从信宿角度获得数据压缩的基本依据。 结构冗余：有些图像在较大的区域存在很强的纹理结构，称为结构冗余。如 果己知这些纹理的分布模式。可以通过某一过程生成罄像。 知识冗余：对许多图像的理解、分析、综合与一些基础知识有关。对于某些 图像内容确定的特定场合，可由先验知识、背景知识一类规律化的结构，建立图 像景物模型。这类冗余称为知识冗余。 局部相似性冗余：给定图像某一区域。往往可以在该区域附近找到一个更大 的区域，两者在仿射变换下相等或非常相近，这种特性称为局部相似性。 图像区域的相同性冗余：在图像的两个或多个区域所对应的所有像素质相同 或相近，从而产生的数据重复性存储，这就是强像区域稆同性冗余。 纹理的统计冗余：有些图像纹理在统计意义上服从某一分布规律，利用这种 性质也可以减少表示图像的数据量，所以我们称之为纹理的统计冗余a 第二章视频压缩的理论基础与国际标准 9 利用图像信号的统计相关性，消除冗余。常用的经典编码方法主要有预测编 码、变换编码、混合编码、矢量量化编码等。其中，d c t 变换、行游程编码、d p c m 、 帧间预测编码及哈夫曼编码等编码方法，因技术上的成熟，已经被有关国际组织 定为压缩编码标准推荐使用的主要方法【1 9 】1 2 0 】f 2 l 】。 下面介绍几种传统的编码方式【1 4 i 。 统计编码：根据信息论的原理，可以找到最佳数据压缩编码方法，数据压缩 的理论极限是信息熵。如果要求在编码过程中不丢失信息量，则要求保存信息熵， 这种信息保持编码有的叫做熵保存编码，或叫熵编码。熵编码是无失真数据压缩， 经解码后可无失真地恢复原图像。经典的熵编码有：h u 妇f m a i l 编码和行程编码。 预测编码：预测编码根据过去已经编码的像素( 也称为参考像素) 来预测当 前的像素值( 称为预测值) ，然后对当前的像素值与预测值之差进行编码。 常见的预测编码方法是差分脉冲调制编码( d p c m ) 。由于叉滞销，编码所 需比特数可减少很多。这是利用像素与像素之间的信息冗余度来进行编码的一种 数据压缩技术。在j p e g 标准中，对相邻宏块的压缩，采用了预测编码的方法。 运动补偿预测编码的基本思想是把一幅动态图像看成是由静态部分和运动 部分叠加而成。静态部分可以重复使用上一帧的数据，而对运动部分则设法确定 其位移量来进行运动部分的预测，即进行运动 f 偿之后再进行帧间预测。因此， 要从当前帧和先前帧图像的亮度中去估算移动矢量。对移动矢量的估值方法有很 多种，常见的有块匹配法、梯度法、傅立叶变换法等。 2 1 2 视频图像质量的衡量 目前的视频编码技术普遍将量化作为提高压缩率的手段之一，这样就不可避 免地存在数据丢失的情况，导致解码器端重建图像质量下降。如何评价质量下降 的程度以及其下降程度能否被接受，这要求有合理的图像质量评价方法。常用的 方法有两种，客观质量评价和主观质量评价。 客观质量评价是指按某一数学模型或公式，针对原始图像和重建图像求出一 确定的数值，用来衡量重建图像相对于原始图像的偏离程度。目前常用的客观质 量评价方法有均方误差( m e a l ls q u a r ee r r o r ，m s e ) 和峰值信噪比( p e a i ( s i g n a l t o n o i s er a t i o ，p s n r ) 。 m s e 的定义为： m i 一i 叭) 一，( 2 舰= ! 生竺一 ( 2 - 1 ) 朋川 其中肘、j v 表示图像的宽度和高度，厂( x ，) 、厂( j ，y ) 分别表示重建图像和 面向网络的可伸缩视频编码的研究 原始图像在( x ，j ，) 处的像素值，常常用灰度值( 即亮度值) ，由于人类视觉系统 的特性：是通过亮度来刻画图像之间的差异。 p s n r 本质上是与m s e 是相同的，其表达式可由m s e 表示： ，”一n 2 粥足= l o l o g 兰i 未 ( 2 2 ) m a 乜 其中n 为每个像素点所表示的比特数。 m s e 和p s n r 从总体上反映重建图像和原始图像的差别，不能反映少数像 素点存在的较大灰度差别和较多像素点有较少的灰度差别等情况。对图像中各像 素点同样对待，显然不能反映人眼的视觉特性。图像最终是给人观看的，因此合 理的图像质量评价方法还应充分考虑主观质量评价。 主观质赣评价是指让一群观察着对同一幅图像按照视觉效果好坏进行打分， 并对其进行加权平均。主观质量评价通常是变化的需要客观质量评价的配合。 主观质量评价可分为3 种类型，都有各自的分级标准和测试规程： 质量测试：观察者应评定图像的质量等级 损伤测试：观察者评审出视频图像的损伤程度； 比较测试：观察者对一幅给定图像和另一幅图像作出质量比较。 主观质量评价结果应具有足够置信度，要求严格规定试验各方面的条件。 2 2 现有的视频图像压缩标准 自1 9 4 8 年提出视频数字化的概念后经过4 0 年的探索，有关数字视频图 像压缩编码以及传输的一系列重要通用国际标准在多个标准化组织的合作下，被 依次提出和完善它们在数字视频图像领域起着极为重要的指导性作用；因此我 们就对其中几种最具代表性的标准进行简要的说明。 2 2 1j p e g j p e g 2 0 0 0 标准 静止图像数据压缩标准j p e g ( j o i n tp h o t o - g m p h i ce x p e n sg r o u p ) 从1 9 8 6 年 f 式开始制订，用于连续变化的静止图像。标准包含两种基本压缩方法，第一种 是有损压缩它是以d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 为基础的压缩方法：第二 种为无损压缩，又称预测压缩方法。但最常使用的是第一种，即d c t 压缩方法， 也称为基线顺序编解码( b a s e i i n es e q u e n t i a lc o d e c ) 方法，因为这种方法的优点 是先进、有效、简单、易于交流，因此应用广泛，是以d c t 为基础的最基本、最 重要的方法副。 j p e g 标准压缩是到目前为止用于静止图像的最好压缩方法。它可不必逐位 第二章视频压缩的理论基础与国际标准 地重建原始图像。由于j p e g 优良的品质，使得它在短短的几年内就获得极大的 成功，目前网站上百分之八十的图像都是采用j p e g 的压缩标准。 2 0 0 0 年3 月，在东京的会议上，j p e g 组织推出了更高压缩率以及更多新功 能的j p e g 2 0 0 0 基本编码系统的最终协议草案。j p e g 2 0 0 0 与传统j p e g 最大的不 同在于其放弃了j p e g 所采用的以离散余弦转换( d i s c r e t ec o s i n et r a i l s f o m l ) 为 主的区块编码方式，而改采以小波变换( w 打e l e tt r a i l s f o n n ) 为主的多解析编码方 式。小波变换的主要目的是要将图像的频率成分抽取出来。j p e g 图像压缩使用 的是d c t ( 离散余弦变换) ，它将图像压缩为8 8 的小块，然后依次放入文件中。 这种算法丢弃某些对图像细节不重要的频率信息已达到压缩目的，也就是说。图 像的压缩率越高，频率信息被丢弃的越多。在极端情况下，j p e o 图像只保留了 反映图像外貌的基本信息，精细的图像细节都损失了。而小波变换，是将图像转 换为一系列小波系数，这些系数可以被高效压缩和存储。另外，小波的粗略边缘 可以更好的表现图像，因为它消除了d c t 压缩普遍具有的方块效应。简单原理图 如图2 1 所示1 2 4 1 。 图2 1 j p e g2 0 0 0 与相关压缩标准f 司的关系 j p e g 2 0 0 0 对j p e g 的改进效果可以体现在以下几个方面【2 5 】【2 6 】【2 7 】： 压缩率比j p e g 高约3 0 左右。 j p e g 2 0 0 0 同时支持有损压缩和无损压缩，而j p e 0 只支持有损压缩，因 此j p e g 2 0 0 0 更适合于保存重要的图像资料。 实现渐进传输，这是j p e g 2 0 0 0 的一个极其重要的特征。它先传输图像的 轮廓，然后逐步传输细节数据，不断提高图像质量，让图像由朦胧到清 晰显示，而不像j p e g 由上至下显示。 支持“感兴趣区域”特性，可以任意指定图像上感兴趣区域的压缩质量， 还可以选择指定的部分先解压缩。 由于j p e g 2 0 0 0 和j p e g 相比优势明显，且向下兼容，因此可以断言，取代 传统j p e g 格式指同可待。 面向网络的可伸缩视频编码的研究 2 2 2h ，2 6 x 系列标准 1 9 9 0 年7 月r r u - i 通过h 2 6 l 建设p 6 4 l ( b s 视听业务的视频编解码器，其 中p = l 3 0 ，覆盖窄带i s d n 基群信道速率。同年1 2 月完成并批准了c c i 竹推 荐书h t 2 6 l ，即“采用6 4 k b ，s 的声像业务的图像编解码”，h 2 6 l 简称口6 4 【丝l 。 带宽和码率是h 2 6 1 考虑的核心问题：采取抽帧传输的方法，h 2 6 l 是此前视频 压缩编码数十年研究的结果，是以后j p e g 和m p e g 编码方法的重要基础。 为了能在普通公用电话网或移动电话网上传输视频信息，1 1 1 j ts g l 5 于 1 9 9 2 年1 1 月底开始研究低于6 4 k b ，s 的“甚低码率通信的视频编码”算法，并在 1 9 9 6 年3 月正式发布了h 2 6 3 建议。浚标准是在h 2 6 1 的基础上发展起来的，综 合应用帧间预测去除时间冗余度和d c t 交换编码去除空间冗余度的混合编码算 法。其标准输入图像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色 4 ：2 ：o 亚取样图像。 1 9 9 8 年i h j - t 推出修订h 2 6 3 建议的第二版，非正式地称为h 2 6 3 + 标准。 它在保证了原h 2 6 3 标准的核心句法和语义不变的基础上，增加了图像种类和编 码模式等选项用以提高压缩比和拓宽标准的使用范围。 h 2 6 3 更进一步的演化h 2 6 3 + + 已经由i t u t 正式制订为标准，并且在h 2 6 3 + 的基础上增加了增强型的参考帧选择( e r p s ) ，数据分片的模式( d p s ) 等增强 选项，主要是为了增强码流在恶劣信道上的抗误码性能和编码效率【2 9 】【3 l 】。 2 0 0 3 年，i t u t 通过了h 2 6 4 标准，它的编码方法仍是预测加变换编码的混 合编码模式，但采取很多措施，如分层设计、多帧参与、多模式运动估计、改进 的帧内预测等，提高了预测精度，从而获得了比h 2 6 3 好得多的压缩性能，其压 缩比约比 l 2 6 3 高一倍：另外，加强了对多种信道的适应能力，采用“网络友好” 的结构和语法，对于误码和丢包进行了适当的处理，因而有利于使用无线和i p 网 络 3 2 1 。 从发展来看，h 2 6 4 更适台于个人视讯的应用。如果其专用芯片能较快地进 入市场，相信个人视频终端的性能、价格均可达到令人满意的程度。 2 2 3m p e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p e ng r o u p ) 的英文缩写。实际 上它是标准化组织( i s o ) 和国际电工委员会( i e c ) 联合技术委员会( j t c1 ) 的 第2 9 分委员会( s c 2 9 ) 的第1 l 工作组( w g1 1 ) ，其全称是w g1 1 o fs c2 9 o n s o i e cj t cl 。m p e g 的任务是开发运动图像及其声音的数字编码标准，成立 于1 9 8 8 年【3 3 j 。 第三章视频压缩的理论基础与国际标准 专家组最初的任务有三个：实现1 5 m b ，s 、l o m b s 、4 0 m b ，s 的压缩编码标准， 即m p e g - l 、m p e g _ 2 、m e g 。3 。但因为m p e g - 2 的功能已使m e g - 3 1 为多余0 4 1 。 所以m p e g - 3 于1 9 9 2 年撤消。m p e g 4 项目是1 9 9 1 年5 月建议并于1 9 9 3 年7 月确认，其目标是甚低数码率的音视频压缩编码( 码率低于2 8 8 k b ，n 。 1 9 9 1 年1 1 月，m p e g 提出了i s 0 1 1 1 7 2 标准的建议草案通称m p e g l 标 准。m p e g 1 标准适用于数码率在1 5 m b p s 左右的应用环境，也就是为c d r o m 光盘的视频存储和放像所制定的。 m p e g 2 于1 9 9 4 年1 1 月正式确定为国际标准，是“活动图像及有关声音信 息的通用编码”( c e 舱r i c c o d i n g o f m o v i n g p i c t u r e s a s s o c i a t e d a u d i o i n f o n n a t i o n ) 标准。标准制定始于1 9 9 0 年7 月；在此之间国际电信盟电信标准化部门( 1 n j _ t ) 成立了一个有关a t m 的图像编码专家组。从此开始了j t c l 与i t u t 的合作。从 1 9 9 1 年5 月开始征集有关图像编码算法( d e oc o d i n ga l g o r i t h m s ) 的文件，有 3 2 个公司和组织提供了非常详细的研究结果和d 1 格式的编解码图像录像带。 1 9 9 1 年1 1 月，在日本的j v c 研究所进行了对比测试，确定带有运动补偿预测和 内插的d c t 最成熟、性能最好。m p e g 为制定m p e g 2 经常与有关国际组织， 如i s o 、i e c 、i t u t 、i t u - r 等开会协调，并注意到了与m p e g 1 的兼容一致【3 5 】 3 6 】 f 3 7 】。 m p e g 4 标准支持七个新的功能【3 8 】1 3 9 】。可粗略划分为三类：基于内容的交互 性、高压缩率和灵活多样的存取模式。现分别介绍如下： 基于内容的交互性( c o n t e 晦b a s e di n t e r a c t i v i t y ) ： 基于内容的操作与比特流编辑的支持：无须编码就可进行基于内容的操 作与比特流编辑。使用者可在图像或比特流中选择具体的对象( o b j e c t ) ， 例如图像中的某个人，某个建筑等等，随后改变它的某些特性。 自然与合成数据混合编码：提供将自然视频图像同合成数据( 文本、图 形) 有效结合的方式，同时支持交互性操作。 增强的时间域随机存取：m p e g 4 将提供有效的随机存取方式：在有限 的时间间隔内，可按帧或任意形状的对象，对音频、视频序列进行随机 存取。例如以一序列中的某个音、视频对象为目标进行“快进”搜索。 高压缩率( c o m p r e s s i o n ) ： 提高编码效率：在与现有的或正在形成的标准的可比速率上，m p e g 4 标准将提供更好的主观视觉质量的图像。这一功能可望在迅速发展中的 移动通信网中获得应用，但值得注意的是：提高编码效率不是m p e g + 4 的唯一的主要目标。 对多个并发数据流的编码：m p e g 4 将提供对一景物的有效多视角编 码，加上多伴音声道编码及有效的视昕同步。在立体视频应用方面， 面向网络的可伸缩视频编码的研究 m p e g 4 将利用对同一景物的多视点观察所造成的信息冗余m p e g 4 的这一功能在足够的观察视点条件下将有效地撩述三维自然景物。 灵活多样的存取( u n i v e r s a l a c c e s s ) ： 错误易发环境中的抗错性( r o b u s n l e s s ) ：“灵活多样”是指允许采用各 种有线、无线网和各种存储媒体，m p e g 4 将提高抗错误能力( e r r o r r o b u s t 扯s sc a p a b i l i 睁) ，尤其是在易发生严重错误的环境下的低比特应用 中( 移动通信链路) 。注意，m p e g - 4 是第一个在其音、视频表示规范中 考虑信道特性的标准。目的不是取代已有通信网提供的错误控制技术， 而是提供一种对抗残留错误的坚韧性。例如：选择性前向纠错( s e l e c t i v e f o 刑a r de 啪rc o r r e c t i o n ) ，错误遏制( e 舯rc o n t a i 姗e m ) ，或错误掩盖 ( e 玎0 rc o n c e a l m e n t ) 。 基于内容的尺度可变性( c o n t e n t - b a s e ds c a l a b i l 幻) ：内容尺度可变性意 味着给图像中的各个对象分配优先级。其中。比较重要的对象用较高的 空间或时间分辨率表示。基于内容的尺度可变性是m p e g 4 的核心，因 为一旦图像中所含对象的目录及相应的优先级确定后，其它的基于内容 的功能就比较容易实现了。对甚低比特率应用来说，尺度可变性是一个 关键的因素，因为它提供了自适应可用资源的能力。例如，这个功能允 许使用者规定：对具有最高优先级的对象以可接受的质量显示，第二优 先级的对象则以较低的质量显示，