（信号与信息处理专业论文）面向流式传输的视频压缩算法以及错误控制技术的研究和实现.pdf

猫妥 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 摘要 p 9 3 6 9 6 随着网络通信急速的飞速发展，在多种网络平台上实现音频、数据、视频等 多媒体通信已经成为可能，这种强大、经济、有效且崭新的通信手段极大的促进 了经济的发展和人类文明的进步。尤其是伴随着视频压缩技术的发展，低码率高 质量的视频标准不断推出，流式视频已经由梦想变为现实。 流式视频技术有两个关键技术，一个是视频压缩技术，没有高效的视频压缩 技术，基于网络的视频传输几乎不可能实现。另一个是视频通信技术。视频压缩 等， 然 后重点介绍了各种错误控制技术，包括基于编码端的，解码端的以及基于反馈的 错误控制技术，并且提出了自己的一些方法；然后介绍了一个基于手持设备的视 频系统，并给出了采用的错误控制方法，做了数据仿真和分析。最后给出了今后 的工作以及未来容错技术的发展方向。 关键词：流式视频，视频编码，容错视频，错误掩盖，错误扩散 a b s t r a c t w i t ht h e d e v e l o p m e n t o fn e t w o r ka n dc o m m u n i c a t i o n t e c h n i q u e s ， m u l t i m e d i a ( a u d i o ，d a t a ，v i d e o ) c o m m u n i c a t i o n b e c o m e p o s s i b l e i nv a r i o u sn e t w o r k p l a t f o r m a sap o w e r t h l ，e c o n o m i c a l ，a n de f f i c i e n tc o m m u n i c a t i o nm o d e ，i t b r i n g s a b o u tt h ef l o u r i s ho fe c o n o m ya n dt h ei m p r o v e m e n to fs o c i e t y e s p e c i a l l y , w i t ht h e f a s t d e v e l o p m e n to fv i d e oc o m p r e s s i o nt e c h n o l o g y , l o wb i t r a t eh i g hq u a l i t yv i d e o s t a n d a r d sa r ep r o p o s e d a n dt h ed r e a mo fs t r e a m i n gv i d e oo nn e t w o r kn o wb e c o m e t r u e t h e r ea r et w ok e yt e c h n o l o g i e si n s 仃簋旺l i n g v i d e o t h ef i r s to n ei sv i d e o c o m p r e s s i o nt e c h n o l o g y , w i t h o u th i g he f f i c i e n tc o m p r e s s i o 亿v i d e ot r a n s m i s s i o no n n e t w o r ki s i m p o s s i b l e t h eo t h e ro n ei sv i d e oc o m m u n i c a t i o nt e c h n o l o g y t h e d e s t i n a t i o no fv i d e o c o m p r e s s i o ni s t o i m p r o v e t h ev i d e o q u a l i t y i nt h e g i v e n b i t r a t e t h em a i nt o p i co fv i d e oc o m m u n i c a t i o ni sc o m m u n c a t i o np r o t o c o l ，a n dt h e d i f f i c u l t yi sh o w t oa v o i da n dr e d u c et h ec o m m u n i c a t i o ne r r o r sa n dd e c r e a s et h ee f f e c t o f t h e s ee r r o r s a f t e rt h eh i s t o r i c a l b a c k g r o u n d o fv i d e o c o m p r e s s i o nt e c h n o l o g yb e i n g i n t r o d u c e d ，s o m ek e yc o m p r e s s i o na l g o r i t h m sa r et h e np r o p o s e d t h e n ，k i n d so fe r r o r c o n t r o lt e c h n o l o g i e ss u c ha sr e s i f i e n tc o d i n me r r o rc o n c e a l m e n t , a n df e e d b a c k b a s e d e r r o rc o n t r o lm e t h o d sa r ei n t r o d u c e d a l s oo u rs e t t l em e t h o di s g i v e n t h e n av i d e o s y s t e m o n h a n d s e t ( p a i m ) i si n t r o d u c e d ，a n ds o m et e s t sa r es h o w n k e y w o r d s ：s t r e a mv i d e o ，v i d e oc o d i n g ，e r r o rr e s i l i e n t ，e r r o rc o n c e a l m e n t ，e r r o r p r o p a g a t i o n 浙江i ：学丽十学伊论文 第一章序论 随着科学技术的发展，特别是微电子予技术的突飞猛进，高性能的c p u 处 理器已经有足够的处理能力来处理各种图象视频数据：另一方面，计算技术也在 不断发展，各种压缩技术已经成为热门课题得到深入研究，其中以m p e g 和1 t u t 为首的组织经过长期摸索制定了一系列视频压缩标准，得到广泛的应用，尤 其是m p e g 4 和h 2 6 3 等面向低码率高质量标准对于实时视频传输处理有着非重 重要的意义。同时，通信技术也在飞速发展，各种宽带网络的出现使得实时视频 传输成为可能，流媒体技术走向千家万户。 1 1 流式传输与流媒体的概念 所谓流媒体是指采用流式传输的方式在i n t e m e t i n t r a n e t 播放的媒体格式，如 音频、视频或多媒体文件。流媒体在播放前并不下载整个文件，只将开始部分内 容存入内存，在计算机中对数据包进行缓存并使媒体数据正确地输出。流媒体的 数据流随时传送随时播放，只是在开始时有些延迟。显然，流媒体实现的关键技 术之一就是流式传输，流式传输主要指将整个音频和视频及三维媒体等多媒体文 件经过特定的压缩方式解析成一个个压缩包，由视频服务器向用户计算机顺序或 实时传送。在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整 个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算 机上利目解压设备对压缩的a 、3 d 等多媒体文件解压后进行播放和观看。此 时多媒体文件的剩余部分将在后台的服务器内继续下载。与单纯的下载方式相 比这种对多媒体文件边下载边播入的流式传输方式不仅使启动延时大幅度地缩 短，而且对系统缓存容量的需求也大大降低，极大地减少用户用在等待的时间。 而且随着宽带无线网技术如g p r s ，w c d m a ，基于无线的数据传输业务已 经越来越多，人们已经不在满足于短消息或者多媒体短信，无线视频也在慢慢走 向移动终端，最终流媒体将走向无线网络。 1 2 典型的流媒体系统 如图1 所示，一个典型的流媒体系统由下面几个模块组成 1 2 1 视频压缩 流媒体的基本结构 与模拟视频相比，数字视频模式具有多种明显的优点，包括存储、编辑、传 输等各个方面。因此，数字图像视频通信已经成为商务电子、广播和网络通讯 等应用的主流。 但是数字化后的信息，尤其是数字化后的视频信号的数据量之大是非常惊人 的。例如c c i r ( i n t e r n a t i o n a lc o n s u l t a t i v ec o m m i t t e ef o rr a d i o ) 格式，p a l 制、 4 ：4 ：4 采样的数字图像，每帧数据量为7 2 0 x5 7 6 3 = 1 2 4 m b ，每秒数据量( 位率) 为1 2 4 2 5 = 3 1 3 m b s ，而一片c d - r o m 可存帧数为6 5 0 1 2 4 = 0 5 2 4 k ( 帧， 片) ，所以一片c d r o m 可以存放的节目时间仅为6 5 0 + 3 1 1 = 2 0 9 秒片【1 05 1 。 从上例中可以看出，数字化信息的数据量何等庞大。这样庞大的数据量无疑 给存储器的存储容量、通信干线的信道传输率以及计算机的速度都增加了极大的 压力。这个问题是多媒体技术发展中的一个非常棘手的瓶颈问题。解决这一问题 的办法，单纯用扩大存储器容量、增加通信干线的传输率的办法是不现实的。数 据压缩编码是行之有效的方法，通过数据压缩手段把信息数据量压下来，以压缩 2 浙江大学硕十学位论文 形式存储和传输，既紧缩节约了存储空间，又提高了通信干线酮 专瑜双翠，同时 也使计算机实爵处理音频、视频信息，以保证播放出两质量言轰、我颤节蓦成 为可能。 因此，流媒体服务器都必须采用高效的视频压缩方法存储视频数据，或者实 时压缩并传输。目前应面向流媒体的视频标准有很多，如r e a l n e t w o r k 的 r e a l v i d e o ，但我们更偏向研究m p e g 和i t u t 组织制定的系列标准，关于视频 部分，我们将在第2 章详细介绍。 1 2 2 错误控制 由于视频数据在采用v l c 后有很高的压缩比，对码率中的错误特别敏感 失真的传播与扩散使得很低的误码率导致解码后视频图象质量的严重下簿；豆爨 基于a t m 的宽带网络能够提供q o s 保证，但大部分网络都不存在这样最务两 络延时，丢保现象经常发生，特别是在无线信道的流媒体，它会受到很多不可预 料的因素的影响，如信号衰减，多径效应等，都会导致码流出错。有效的采用视 频纠错技术对于流媒体视频应用有着很大的意义。 在本文后续章节中，将重点分析研究各种错误控制技术及优化和应用。 1 2 3 通信协议 通信协议的设计和标准化是为了流媒体服务器和客户通信所用。根据它们的 功能，这些协议可以分成三类： 1 网路层协议：网络层协议提供一些最基本的网络服务，如寻址等。p 协 议是一个应用最广泛的网络协议，在各种局域网，互联网，甚至很多无线网络都 是基于i p 协议的。 2 传输级协议：传输级协议为流媒体应用提供端到端的传输控制，这些议 包括u d p ，t c p ，r t p 以及r t c p 等。u d p 和t c p 是同一级协议，它们一般建 立于i p 协议之上，为更高层协议服务。r t p ( 实时传输协议) 和r t c p ( 实时传 输控制协议) 是建立在u d p t c p 之上，为流媒体应用提供实时的管理和控制。 u d p 和t c p 协议提供流的复用，错误控制和流的控制等功能。u d p ，t c p 能够将运行同一机器上不同应用的具有同一个i p 地址的流复用成一个流，同时 “k 5 “n e , 够用检查校验和的办法来检测比特错误。当u d p 发现某个数据报出现错误， 它放弃这个包，导致上层( e g r t p ) 将不会收到这个损坏的包；而对于t c p ，它 涉江大学硕七学 _ ：= 论文 会要求发送端重传该数据报以恢复数据，因此t c p 提供一个可靠的传输，但是 互；入丁较大的延时。因为流媒体需要实时通信，所以一般都采用了u d p ，而 将昕有的错误控制放在了更高层如r t p 或者应用层。 r t p ( r f c l 8 8 9 ) 协议是专为实时应用设计的端到端的传输级协议，它提供 媒体流的时戳信息以使不同流可能获得同步( 当然也需要应用层来实现) ，同时 r t p 数据报插入了包的序列号，在接受端爿能根据包的序列号来重新生成连续的 码流。另外，r t p 包头里有负载类型信息，接受端可以根据负载类型信息做相应 处理，如负载类型为m p e g 4 ，就将负载数据较给m p e g 4 解码器处理。 实时传输控制协议r t c p 。r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 和r t p 一毫搀謦流量控蔑翔翱塞控制服务。在一个r t p 会晤里，会晤参与者经常周期 佳曲爱送r t c p 报告包得到以提供一些信道信息，r t c p 一个主要的功能就是提 戋q 0 5 夏馈，对c p 给数据发送方提供关于数据分发质量的信息，发送方可以根 据这个信息来动态调整发送数据的比特率，这些信息通常包括丢保率，以及丢保 总数，数据报的抖动等等。r t p 和r t c p 配合使用，它们能以有效的反馈和最 小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。 1 3 常用通信网络及其性能 流媒体技术离不开通信网络，在这- 4 节，我们将描述流媒体应用的几种常用网 络，对于每种网络，我们简要介绍它的原理，协议，性能，包括带宽，延时，抖 动，丢保率等等，以及其典型应用。 p i t f l l i es w i t e l t d t e l e p h o n e n e t w o r kp s t n 指的是用老的电话网进行数据传输， 它的有点就是网络分布广，使用简单，只需用一个电话线接上一个m o d e m 就可 以上网，缺点也是显而已易见的，它支持的最大的速率是5 6 k ，对于视频传输而 言，这远远不够，只能传输q c i f 格式的视频。但新的基于电话线的a d s l 技术 能够拥有6 m 的下行速率，足够在线播放m p e g l ，m p e g 2 的媒体格式。 i n t e g r a t e ds e r v i c ed i g i t a ln e t w o r ki s d n 是以综合数字电话网( i d n ) 为基础发 展演变而成的通信网，能够提供端到端的数字连接，用来支持包括话音和非话在 内的多种电信业务。i s d n 提供两种基本数字接口，一种是基本速率，有3 个信道， 2 b + d ，共1 2 8 k b p s 带宽；其中b 信道一般用来传输话音、数据和图像，d 信道用 来传输信令或分组信息。另外一个是基群速率( p r i m a r yr a t e ) ：3 0 b + d 信道， 共2 m b p s 带宽， i s d n 是基于电路交换的，链接可靠，误码率少，带宽宽，可以传 4 涉江t 譬石一电位论文 输m p e g l ，h 2 6 1 ，t t 2 6 3 等视频。 b r o d b a n di n t e r g r e ds e r v i c ed i g i t 矗ln e t w o r k 竞带i s d n 网，所谓宽萧，是相对窄 频而占，指一个服务或系统所需要的传输通道能力高于t 1 ( 1 5 4 4m b p s ，北美系 统1 或e 1 ( 2 0 4 8m b p s ，欧洲系统) 速率，而网路若能提供宽频传送能力，则此 网路称为宽频网路。宽频应用是利用宽频网路能力来达到端点问( e n d - t o e n d ) 之传送；而宽频服务是指经由网路提供者所提供的单一用户撷取介面来提供宽频 应用之方式。宽频整体服务数位网路( b - i s d n j 于单一网路上同时提供多种资料 型态之高速传送，如数据、语音、影像、视讯等，其可利用连线导向( c o n n e c t i o n o r i e n t e d ) 与非连线导向( c o n n e c t i o n l e s s ) 方式来提供用户各种服务与应用，并 能保证连线之服务品质。提到b i s d n 裁不得不提型a t m 。a t m 的英文全名 为a s y n c h r o n o u st r a n s f e rm o d e ，菲同步传衰丧式是一稚高速交换网路技术，其 采用快速分封交换的技术，同时具有电罂交换及分封交羲的双重优点。a t m 网 路内部最基本的传输单位称为c e l l ，它是具有固定长度5 3b y t e s 的资料封包， 以简化缓冲及交换程序。a t m 网路能在单一网路上同时支援多重资料型态之高 速传送，如语音、数据、影像、视讯等。在实体传输介面上，a t m 网路并不受 限于特定的传输介质，它可以使用s t p 、u r p 、同轴电缆或光纤等传输介质，因 此a t m 网路可支援的传输系统及速率有许多种类，如t l 厂r 3 专线、e l e 3 专 线、s o n e t 、f d d i 等线路。由于a t m 网路可支援不同资料型态的高速传送、 可使用不同的传输介质、可收容各种不周的传输速率及连接不同系统的能力，使 其具有满足用户的各种需求，提供高速传输服务的性能；因此能提供多样化之高 速通讯服务，例如透过a t m 网路进行远噩教学、远匪医疗、视讯会议等应用， 同时a t m 网路亦可作为网路连接的骨干。 w i r e l e s s n e t w o r k基于不同的环境和应用有不同的无线网络系统，这些系 统有着不同的容量，性能，下面我将介绍几种传统的无线网络。 无线蜂窝网是传统的的无线网，主要面向语音通信，但是随着数据通信的发 展，它也可以通过无线调制器进行数据传输，码率不超过2 0 k b p s 。现在，也有 将蜂窝网直接链接到基于包的数据网络，大大提高了数据通信能力，如g p r s 技 术。g p r s ( g e n e r a lp a c k e tr a d i os e r v i c e ) 是一种基于包的无线通讯服务。它将使 得通讯速率从5 6 一直上升到1 1 4 k b p s ，并且支持计算机和移动用户的持续连接。 较高的数据吞吐能力使得可以使用手持设备和笔记本电脑电脑进行电视会议和 多媒体页面以及类似的应用。g p r s 是基于g l o b a ls y s t e mf o rm o b i l e ( g s m ) ，并 且能完成现有的一些服务，例如：蜂窝电话电路交换( c i r c u i t s w i t c h e d ) 连接和 短消息服务( s m s ) 。而新一代无线c d m a 网路则有着更加诱人的前景。c d m a 浙江大学硕士学位论文 技术所具有的强大优势，使其成为未来移动通信的发展方向。国际电信联盟已将 c d ，v l a 确定为第三代移动通信的核心技术。在全球得到广泛应用的第一个 c d m a 标准是i s 9 5 a ，其话音服务质量已非常接近有线电话。在2 g 阶段，增 强型1 s 一9 5 a 与g s m 在技术体制上属于同一代产品，提供大致相同的业务。恒 c d m a 在通话质量、掉话率、辐射、健康环保等方面具有显著优势。在2 5 g 阶 段，c d m a 2 0 0 01 x 与g p r s 相比技术上已占据明显优势，c d m a 2 0 0 01 x 的 数据传输速率更高，其最高速率达1 5 3 6 k b i t s ，在新业务承载上c d m a 2 0 0 0lx 比g p r s 更为成熟，可提供更多的中高速率的新业务。在从2 5 g 向3 g 技术体 制过渡上，c d m a 2 0 0 01 x 的过渡更为平滑，1 x e v - d o 最高速率可达 2 4 m b i t s ，而1 x e v - d v 最高速率可达5 2 m b i t j s 。 i n t e r n e t ( 又称因特网、国蕲互联网) i n t e m e t ( 又称因特网、国际互联网) 是以 t c p i p 协议为基础的计算机网络，是目前世界上最大的计算机网络，有近5 亿 用户( 其中中国大陆近3 千万) ，且还在快速发展。任何一个组织和个人只要有 计算机，并在当地电信局或其他互联网接入服务商( i s p ) 处登记，就可以进入 i n t e m e t 。通过i n t e m e t ，可以查找世界范围内的信息；也可以向全世界发布信息； 可以收发邮件、参与讨论和游戏、从事网络贸易和购物；可以参加远程教育和 娱乐等。目前基于i n t e r n e t 的流媒体系统也在蓬勃发展。 1 4 本文章节安排 本文第二章介绍了视频编码中各种关键技术及其原理，同时介绍了各视频标 准的发展；第三章介绍了基于解码端的视频错误控制技术，提出了自己的错误恢 复策略；第四章研究了各种基于编码端的容错视频编码技术，重点分析了r v l c 技术以及基于错误恢复误差的容错编码技术( c b e r c ) ；第五章我介绍了各种基于 反馈信道的错误控制技术，主要有错误跟踪，参考帧选择技术0 ：己i p s ) ，独立段解 码技术( i s d ) 等，并分析了它们的性能。 哥翌：学面= 爱。! 论文 第二章视频压缩标准及其关键算法 数字视频比模拟视频具有多种明显的优点，然而数字视频的巨大数据量，给 信息的存储和传输造成较大的困难，成为数字视频应用的瓶颈问题之一。而数字 视频压缩编码是解决这一问题的有效途径，它的发展推动了多媒体、虚拟现实、 视频通信、v c d 、d v d 和数字电视等产业的飞速发展，尤其是低码率高质量视 频压缩的出现，流媒体实在必行。 随着视频数据传输和存储应用的要求日益提高，对各种不同的应用领域已经 制订了许多卺哥五系鬃爰r 示准，掘a e g - 1 和m p e g 2 是为多媒体存储媒体( v c d 和d v d ) 和蓑享毫视直霜制罾的。通信领域的应用，如视频会议和视频电话， 采用i t u t 标准h 2 6 1 、h 2 6 3 和1 4 _ 2 6 3 + ，h 2 6 3 + + ( 一下我将通称它们为h 2 6 3 ) 。 相对而言，h 2 6 3 和m p e g - 4 标准主要面向低码率应用，能提供更高的编码效率。 这些标准虽然面向的应用不同，主要是采用了不同的v l c 码表，以及局部有不 同的算法，但归根到底，其基本原理都大同小异。本章我们主要介绍视频压缩算 法的关键技术，然后再介绍各视频标准的历史及其特点。 2 1 数字视频压缩编码的原理 数字视频数据压缩不仅是必要的而且也是可能的，原因是，自然视频图像有 极强的相关性，也就是说有大量的冗余信息。数据压缩就是去掉数据中的冗余信 息( 去除数据之闯的相关性) ，保留相互独立的信息分量。以静图像画面为例，数 字图像的灰度信号和色差信号在空域( 蕾y 坐标系) 虽然属于一个随机场分布， 但是它可以看成为一个平稳的马尔可夫场。也就是说，图像像素点在空域中的灰 度值和色差信号值，除了边界轮廓外，都是缓慢变化。比如一幅头肩人像图，背 景、人脸、头发等处的灰度、颜色都是平缓改变。相邻像素的灰度和色差值比较 接近，具有强的相关性，直接用采样数据( p c m 码) 表示灰度和色差，信息有 较多的冗余。但是如何先排除冗余信息，再进行编码，使表示每像素的平均比特 数下降，这就是通常所说的视频图像的帧内编码，以减少空域冗余进行数据压缩。 视频图像是沿时间轴方向的一个帧序列，其帧间图像的相关性也很强，通常用减 少帧间传送帧的数目即降低帧率，以减少时域的冗余，采用运动估值和运动补偿 的方法以满足解码图像质量要求i l ”j 。 到目前为止，不管是m p e g 系列的m p e g x 标准还是i t u t 的h 2 6 x 系列 准，它们的编码基本原理都是一样的，那就是用时域预测去掉时域冗余，空域预 浙江大学硕士学伊谴z 测去掉空阃冗余，再d c t 域量化，去掉高频不重要的信息，再用v l c 和游程编 玛使得可以用最少的比特来表示码流。所不同的是，吾若标准采焉嚣各码表不一 样，以面向不同的应用，另外，较新的标准采用比较高级的一些的算法。下面我 们m p e g 视频压缩为例进行详细的描述。 2 1 1 编码器框图 v i d e o h w c o a l r 崦c o n t r o l ，_ 。一上l 崔一伫，t 圹 毒埔 | s i ：一害 。嘲 y 酗 弹 ：一l 孽h 固一 l m o t i o nv e 鼬o r 2 1 2 去时域冗余 m p e g 编码器框图 由于m p e g 对视频信号作随机存取的重要要求，并考虑到通过帧间运动补偿 可以有效压缩数据比特数，m p e g 采用了三种类型的图像：帧内图( i 图像) ，预 测图( p 图像) 和双向预测图( b 图像) 。这些图像类型的组织结构十分灵活， 可以由编码器的参数决定。运动补偿是减少帧序列冗余的有效方法，它所用到的 运动信息( 用位移矢量或运动矢量来表示) 是通过运动估值算法得到的。 通常有许多运动估值算法，例如像索递归、块匹配等。由于其规律性和软硬 件实现的简单性，块匹配技术是通常采用的更合适的方法。m p e g 标准并没有说 明运动矢量的求取方法，是按照尽量减小块匹配误差的方法来获得。所有压缩编 码标准的运动估值都采用块匹配技术。由于运动估值运算的复杂性，它也是编码 过程的最大的运算瓶颈。穷举搜索算法对全部可能的运动矢量都作了考虑，结果 最好，但是这个结果是以很大的计算复杂性为代价而得来的，所以在编码器的实 现过程中，必须对运动矢量的质量与运动估值过程的计算复杂性折衷考虑6 5 1 。 浙江大学碗学位论文 2 1 3 去空域冗余 视频序列的帧内图像和预测残差信号都有很高的空域冗余信息。可用于减少 空域冗余信息的技术很多，在基于块的空间冗余技术领域中，变换编码技术和矢 量量化编码技术是两种可选的方法。几乎所有的视频压缩编码标准，诸如m p e g 、 h 2 6 1 、h 2 6 3 ，都采用正交变换编码技术实现数据压缩，这是由于经过多维坐标 系适当的旋转变换后，把散布在各个原坐标轴上的原始图像数据集中到新坐标系 中的少数坐标轴上了。而实际上用得最多的正交变换是离散余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ，它的性能最接近理论上最优的k 。l 变换。 d c t 变换有明确的优点和相对简单的实现方法。d c t 在很多方面类似于傅立 哥交换，它将图像数据从空域变换到离散频率系数。因为人眼对高频信号不如低 频信号敏感，所以可以将高频系数粗量化。实际上，可以将大部分高频系数量化 为零产生长零串，以利于进行更有效的行程编码。 d c t 变换编码方法归纳起来可分为：离散余弦变换、对d c t 变换系数进行量 化( 包括量化、z 字扫描、行程编码) 和熵编码三个阶段。 为得到更高压缩比，必须对d c t 系数进行量化。因为量化器结合行程编码 使大部分数据得以压缩，通过量化器的量化操作，使编码器的输出能与给定的位 速率匹配。为了迸一步提高d c t 固有的压缩性和减小运动信息对整个码率的影 响，要使用可变长度的码字进行编码( 即变长码v l c ) 。对d c t 系数，使用一 个类似霍夫曼的表，对相应于数对 行程，幅值) 的符号进行编码。为了避免出现 太长的符号，使用一个换码符后面跟随一个固定长度的码字。 在m p e g 编码过程中，d c t 模块消除了视频序列的空间冗余，但它同时是 整个编码过程的运算瓶颈之一。 可见，所有上述压缩编码标准所采用的运算算法都由视频序列的预处理、运 动估值、运动补偿、d c t 、量化和可变长编码等方法组成。d c t 消除了视频序 列的空间冗余，而运动估值和运动补偿是为了降低自然视频序列中的时间冗余。 m p e g 4 编码器各编码过程所占时间比较 涉江大学碗t 学位论文 表1 1 是基于矩形视频v o p 的m p e g - 4 编码过程中各编码运算所占时间的比 较。其中运动髂僮过程援索范禹楚3 l 。m p e g - 4 缡羁器遮行环境是：p i i4 5 0 m h z 处理器，2 5 6 m 内存，w i n d o w s 9 8 操作系统。 妖衰l 。l 中爵以看爨，d c t i d c t 穰运动佶壤逛正燕m p e g 镳羁器瓣嚣大运 算瓶颈。其中运动估值是最复杂的过程，占整个编码时间的7 5 以上。因而对 m p e g 缡筠器遴学性戆馕像匏关键技术，是磅突d c t 秘运动 舂德躲快速算法。 2 2 关键的视频压缮算法 2 + 2 。1d c t 冀法 d c t 可能是数字塑缘信号勉理，龙其是图像压缩编码算法，如d v ，j p e g 和m p e g 等，臌用最广泛的变换算法。由于臣丈视频数据量对存储和传输的要 求只盏提高，这些图像视频压缩技术交得越来越重要。其中m p e g 是最成功， 应用最广泛的压缩编码标准。m p e g 帧内和帧闻编码算法的核i i 就是d c t 。d c t 具有的特性简化了编码算法，并提商了编码效攀。然而由于其簸杂的运算过程， d c t 同时也是编码过程的一个逡算瓶颈。霞此，实现快速d c t 算法辩蕊效视频 编码技术十分必要。 视频编码算法串顿露移穰简编码麴核心葬法鄂是d c t ，d c t 其有的特经霹 以简化编码模式，提高编码效率。例如，对一个平滑8 8 块( 即所有像素的德 稻丽) ，其d c t 变换块巾只有繁一个系数( d c 蕊流系数) 秀 零僮。d c t 是一 种将像索块的数据分解成各空间频率的加权和的方法。 褫频疆缭算法中莱瘸的8 8 二缳d c t 定义魏下： s(x，y)=妻粪c(“)c(d，(v，“)c。s-!；!：!；坦e。s!；!：!-；i；!u=0婶e vl v 脚冲嘲丢7 善7 细s 堡等竽s 簧产 扭oj ；o vt u 其中函是在【切垃爱处鹣像滚建，群粒v 分嬲是承乎彝垂壹频率索孳 ，嚣豢 麓c ( “) 和c ( v ) 由下式给出： 浙江人学硕士学位论文 i fk 0 ， o t h e r w i s e 上式的运算，对8 8 块中的每个像素有6 4 次乘法和6 3 次加法，对整个块 中的6 4 个像素值共有4 0 9 6 次乘法和4 0 3 2 次加法。 一k 式等效于先对v 分量求和，再对“分量求和，如下所示： 脚) = 塑2 盟2 争c o s 号叫喜硒s 【堡v 州 f 1 ，i fk 0 ， c ( 2 ) 2 占o t h ，e r w i s ej ； i 2 上式等效于先对块中的每一列进行一维d c t 运算，然后荐对其结果的每 一行进行一维d c t 运算。反之颠倒行和列的顺序，先对每行进行维d c t 运算， 然后再对每列进行一维d c t 运算，所得结果相同。这就是基本的行列分离发， 把二维的d c t 变换化成一维的d c t 变化。 国内外文献中有许多算法可以实现快速的二维d c t 运算， 其中很多算法都 是基于行列分离发，再利用高效的一维d c t 算法；一些算法是基于直接对二维 d c t 运算的特性进行分析；其他算法结合了二维d c t 和快速一维d c t 算法的 特性。大多数一维d c t 和反d c t 快速算法是从l e e 的快速d c t 算法【ij 变化而 柬，或是从w i n o g r a d 的f f t 算法口】渗i 变来。但是这些算法大部分只是集中于减 少d c t 变换算法中的乘法次数。然而利用m m x t m 和s s e 技术，乘法的花销并 不大，所以只减少乘法次数并不是关键所在。而且这些算法的不规则内存访问方 式对利用m m x r m 技术指令集的高效实现也不利。 下面列出几种典型算法： 以快速一维d c t 算法为基础的l l m 算法1 3 。 2 直接分析二维d c t 特性的f e i g 提出的二维算法1 4 j 。 3 结合快速一维d c t 算法和二维比例缩放的a a n 算法【2 】。 其中f e i g 等人提出的2 一dd c t 快速二维算法减少了乘法次数，总共值需要 4 6 2 次加法、5 4 次乘法和6 次左移操作。但m m x 技术中乘法所需开销较小，因 此这种算法所减少的运算时间十分有限。虽然l l m 算法比a a n 算法更精确， 但是a a n 算法运算速度快得多，因而我们选择a a n 算法并结合m m x 和s i m d 技术，能有效地实现快速d c t 。该算法不仅减少了乘法次数，同时也将d c t 变 换与量化和扫描过程相结合来进一步加速整个m p e g 编码过程。另外，为加速 量化过程，我们还采用了一种快速查表算法。 l 厄 i 一2 ，f，l = ) ( c 涉江大学硕士学位论文 2 2 2 运动估计算法 运动估值是视频流编码过程中的一种视频运算技术。在下列情况下，运动估 值的压缩效率较好： 一个视频对象的大部分特征，如形状和方位，在各帧之间保持不变。 只有帧内视频对象的位置改变【6 。1 。 在大多数编码器中，运动估值模块是最费时，运算量最大的模块，所以运动 估值算法应当尽可能地进行优化和加速【6 ”。 2 2 2 1 运动矢量 运动估值过程计算每1 6 1 6 像素区域( 称为宏块) 的运动矢量。运动矢量 就是宏块从一帧到另一帧的相对位移。假设在当前帧( f 时刻) 中某一宏块左上 角的位置是( r ，y ) 。如果该宏块在参考帧中的最佳匹配宏块位于( 工+ ，y + v ) ， 那么位于( x ，y ) 处的宏块的运动矢量就是( x + “，_ y + v ) 。在相对坐标系中，运 动矢量表示为( ，v ) 。如果参考帧是，时刻之前的( ，一刀) 时刻，则运动矢量称 为前向运动矢量。如果参考帧是t 时刻之后的( f + 聆) 时刻。则运动矢量称为后 向运动矢量。 在编码过程中，对不同帧定义了不同的图像类型。在同一个视频帧中，每个 宏块可以采用不同的编码类型。每个宏块具有的运动矢量数目取决于宏块的编码 类型： 帧内图像( i 帧) 。编码时不需要其他参考帧。帧内编码宏块不需要运动矢量。 预测图像( p 帧) 。从前面i 帧或p 帧中进行运动补偿预测编码。在同一个p 帧内，某一宏块可以编码为p 类型( 前向预测编码) 或i 类型( 帧内编码) 宏块。p 类型宏块需要一个运动矢量，如果在运动估值过程中计算出的运动 矢量不能用时，则该宏块选择i 类型编码模式。 双向预测图像( b 帧) 。同时用前面和后面的i 帧或p 帧作参考帧进行运动补 偿预测编码。在同一个b 帧内，某一宏块可以编码为i 类型，p 类型或b 类 型编码模式。b 类型编码模式宏块使用一个前向运动矢量和一个后向运动矢 量的线性插值。b 帧通常每个宏块需要两个运动矢量。b 帧不能作为预测的 参考帧。 2 2 2 2 运动估值过程 出于实现运算量相对较小，在像素域参考帧中搜索最佳匹配宏块( 块匹配) 浙江大掌石士学o 迨文 的方法是各种压缩标准中最常用的运动估值万法。通常的算法都是将搜索区域限 制在当前帧中宏块的位置( z ，y ) 周匿：节，：范围内丽不是对整个参考帧进 行搜索。 各种块匹配算法在以下三方面有区别： 块大小选择。在m p e g 标准中，通常选择宏块尺寸1 6 1 6 为块匹配的尺 寸。 最佳匹配标准。 搜索策略。 最佳匹配可以用多种方法来判断。如最小均方差( m s e - - m e a ns q u a r ee r r o r ) 方法、最小均差( m a d - - m e a na b s o l u t ed i f f e r e n c e ) 方法和最大匹配像素数( p c - - m a t c h i n gp i x e lc o u n t ) 方法。由于i s e 方法需要求平方运算，实现较复杂， 所以不常采用。最常用的实现简单的方法是绝对蓑之和( s a d ) 方法，也就是说， 最佳匹配宏块是使绝对差之和s a d ( f ，- j 取最小值的宏块。s a d ( f ，_ ，) 定义如 下： 式中： c + 扩d表示当前帧中位于( x ，y ) 处宏块的像素。该宏块被称为估 计宏块。 月( 什f + 幻呵+ ) 表示参考帧中宏块的像素。该宏块被称为参考宏块。 “定义为在搜索区域内：- p _ k _ p ，节铲p 。 吖表示宏块的尺寸。 位于( x ，y ) 处的估计宏块的运动矢量是使函数s a d ( 奶取最小值的( u ) 。 当最佳匹配宏块与估计宏块几乎相同时，差值s a d ( u ) 非常小。实际上， 只有对s a d ( t ，) 值小于某预定阅值的宏块，才能使用运动估值算法。如果 s a d ( ，) 大于闽值，该宏块应当编码为i 类型( 帧内编码模式) 宏块。m p e g 标准没有对该阈值作定义，因此，该闽值的选取有一定的灵活性。 块匹配算法是找出使平均绝对差值函数s a d ( 忉取最小值的( “) 值的搜索 技术。通常有几种搜索算法： 1 全搜索算法 全搜索算法计算搜索区域 嵋纠内每个位置( 玎) 的s a d ( “) 来找出最佳匹 配结果。尽管这种算法能够保证找到全局最小的s a d ( “) 值，但由于其运算量 十分巨大，内存访问过多，所需运算时间过长，对编码器的运算能力要求非常高。 冈此需要进行快速块匹配算法的研究 6 7 】。通常的快速算法有下面的三步搜索算法 d + + y +石 ( r d + y 工 ，l c = 、，0 d剐 浙江火学硕士学位论文 和对数搜索算法。 2 三步搜索算法 首先，该算法计算搜索区域内9 个位置的s a d ( ，) 值：( 0 ，o ) 和沿着矩 形 - p 2 p z 边上的8 个点。( 0 ，0 ) 位置对应于当前估计宏块在参考帧中的位置。 将求得的“最佳匹配”位置作为新的起点( o ，0 ) ，再计算9 个位置处的m a d ( t ，) 值：新起点( 0 ，0 ) 和沿着矩形 - p 4 , p 4 边上的8 个点。这一过程将一直 持续到搜索区域不能被减小为止。此时得到的最佳匹配位置就定义为运动矢量 引。图4 3 1 表示了当口= 7 时这一搜索过程。 0 = 7 时三步搜索算法 不论运动矢量大小如何，三步搜索算法都需要计算2 5 个像素位置的s a d ( “) 值。因此，对运动矢量为零和不为零的情况，该算法所需运算时间是相同的。三 步搜索算法的运算复杂度只有全搜索算法复杂度的3 3 【1 17 1 。然而，如果s a d ( t ，) 值不是单调递增的，这种算法可能得出s a d ( u ) 的一个局部最小值，而 不是全局最小值。 3 新三步搜索算法 在这种算法基础上，文献中提出一种新三步搜索算法，新三步算法考虑到实 际的视频序列中全局最小值通常集中于零，这种结论尤其适合于视频会议的头肩 视频图像。因此新三步算法在三步算法的基础上，在第一步搜索过程中附加了( o ， o ) 周围八个像素搜索点，上图中用灰色方形表示。另外该算法还增加了中途停 止估值方法： 如果第一步搜索得到的结果位于矩形的中心( 0 ，0 ) ，则停止估值，将( o ， 0 ) 作为最终结果。称为第一步停止。 如果第一步搜索结果位于中心( 0 ，o ) 周围的八个像素点( 图4 3 1 中的 狄色方形位置) ，则只进行第一步搜索结果周围八个像素点的第二步搜 索。称为第二步停止。 1 4 涉江，j ：学硕士学估论文 在实际估值时，这种算法最常出现的情况是在第一步停止，其次是第二步停 止，所以平均丽言。，新三步算法比三步算法更快，尤其对头肩图像序列，这种算 法的s n r 比三步算法更高i l l 】。 4 w f a s t 算法 m v f a s t 算法利用了运动矢量的空间相关性，对运动估计做了优化的搜索 调整，大大改善了搜索的速度，同时也获得了比较理想的效果，被广泛采纳。 首先，可以进行静止块检测，这一步是可选的。就是让当前宏块与参考 帧当前位置的宏块计算s a d ，如果s a d 小于域值t ，就认为是静止宏块，如果 是静止宏块，那么运动矢量为0 ，宏块可以跳过。t 的典型值为5 1 2 ，如果令 t 为o ，则这个可选项被忽珞，直接进入下一步。 第二步，设当前宏块的领域宏块为其左边，上边，右上三个宏块，此三 个宏块对直了三个运动矢量，设v = v 1 。) ，v 2 m 。，v 3 ( 1 3 。， ，设 l = m a x ( x l + y 1 ， x 2 十 y 2 ， x 3 + j y 3 ) ，那么可以根据l 的值来决定当前 宏块的运动活动性： m o t i o n _ a c t i v i t y = l o w i fl = l l m e d i u m ifl 1 l l 2 第三步，决定搜索中心。如果宏块活动性为l o w 或者m e d i u m ，那么搜索 中心为原点；如果宏块搜索中