（计算机应用技术专业论文）h264avc运动搜索算法与sp编码算法的研究.pdf

摘要 摘要 上个世纪8 0 年代以来，随着计算机信息技术的快速发展，视频压缩编码技术 也进入了快速发展期。i s o i e c $ 1 j 定的m p e g 系列视频编码国际标准是推动视频 通信和存储应用发展的中流砥柱，其中的m p e g 2 获得了广泛的应用。进入2 1 世 纪以后，h 2 6 4 成为新一代运动图像压缩标准。h 2 6 4 视频标准( 又称为1 4 4 9 6 1 0 或m p e g 4p a r t l 0 ，a v c ) 的制定是由i s o i e c 下属的运动图像专家组m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和i t u 下属的视频编码专家组v c e g ( v i d e o c o d i n ge x p e r tg r o u p ) 共同成立的联合视频小组j v t ( j o i n tv i d e ot e a m ) 在2 0 0 3 年发布的。h 2 6 4 视频标准的压缩性能得到了很大的提高，但是这种性能的提升 是以编码复杂度的成倍增加为代价的。 为了降低h 。2 6 4 的编码复杂度，满足商业化应用中对视频压缩编码的实时性 要求，本文深入研究了h 2 6 4 整体架构，并对其中的各种算法进行了具体分析， 找到了对h 2 6 4 进行优化的方法，显著地改善了编码的实时性能。 本文首先介绍了课题研究的背景与现实意义，然后对于与本文有关的国内外 的视频标准的发展进行了介绍，其中着重介绍了h 2 6 4 中各种编码技术的应用， 并分析了这些技术对于h 2 6 4 整个编码性能提升的贡献及对于整个编码复杂度的 影响。 本文主要从运动估计与码流切换两个方面对当前的h 。2 6 4 进行了改进，从而 得到了编码效率的提升。 在对编码模块中最为耗时的运动估计部分的深入研究中，针对传统运动估计 算法的各种不足，提出了一种能够进行自适应运动搜索模板选择的快速算法，即 基于运动向量预测的h 2 6 4 运动搜索算法( m o t i o np r e d i c t i o nb a s e ds e a r c h a l g o r i t h m ， m p b s ) 。该算法在保证重建图像质量的前提下，较之于现有各种 快速算法，运动搜索时间都有较大地下降。 本文还对h 2 6 4 中不同码流相互切换的过程进行了深入研究。为了实现不同 码流的无缝切换，h 2 “增加了s p 帧( s w i t c h i n gp r e d i c t i v e f r a m e ) 和s i 帧 ( s w i t c h i n gi n t r a f r a m e ) 来代替i 帧( i n t r a f r a m e ) ，完成码流的简单切换功能。 其中，s p 帧的主要特点是：使用不同的编码参考帧可以解码出相同的重构帧。因 此，利用s p 帧技术生成的码流，能够在不同码率的码流之间进行无缝切换，从而 服务器能够根据用户的连接速度提供相应的最好质量的服务。本文首先分析了 h 2 6 4 提议的s p 帧编解码方案，然后针对编码方案较低效率的地方进行了改进。 改进的s p 帧编解码方案，实现了不同码流之间的无漂移切换。 关键词视频编码：h 2 6 4 ；运动估计； s p s i a b s t r a c t a b s t r a c t t h ev i d e oc o m p r e s s i o nc o d i n gt e c h n o l o g yh a sa c h i e v e dar a p i dd e v e l o p m e n t w i t ht h ec o m p u t e ri n f o r m a t i o nt e c h n o l o g ys i n c et h el a s tc e n t u r y8 0 s t h ef a m i l yo f m p e gv i d e oc o d i n gs t a n d a r dt h a ti si n s t i t u t e db yi s o i e ch a sp r o m o t e dt h ev i d e o c o m m u n i c a t i o n sa n ds t o r a g ea p p l i c a t i o n s ，a n dm p e g 2 ，o n eo ft h es t a n d a r d s ，h a s a c h i e v e dt h ew i d e s t i m p l e m e n t a t i o n a s t h e n e x t g e n e r a t i o nm o v i n gp i c t u r e c o m p r e s s i o ns t a n d a r di n2 1s tc e n t u r y ，h 2 6 4 ，a l s ok n o w na st h e14 4 9 6 10o rm p e g 4 p a r tl0 ，w a sr e l e a s e db yj v t ( j o i n tv i d e ot e a m ) i n2 0 0 3 ，w h i c hw a sc o n s t i t u t e db y m p e g ( m o v i n gp i c t u r ee x p e l sg r o u p ) f r o mi s o i e c ，a n dv c e g ( v i d e oc o d i n g e x p e r tg r o u p ) f r o mi t ui n2 0 0 3 i th a sb e e nw i d e l ya c c e p t e da n db e c o m ean e w i n t e r n a t i o n a lv i d e os t a n d a r d a l t h o u g hh 2 6 4h a sa c h i e v e dt h ei m p r o v e m e n to f c o m p r e s s i o np e r f o r m a n c e ，t h ec o s tf o rt h ei m p r o v e m e n ti st h ee n c o d i n gc o m p l e x i t y t h e r e f o r e , h 2 6 4c a n n o ta c h i e v eal a r g e s c a l ec o m m e r c i a l a p p l i c a t i o na n d p r o m o t i o n i nt h i s p a p e r i no r d e rt oi m p r o v et h ep e r f o r m a n c ef o rt h er e a l - t i m ev i d e o c o m p r e s s i o nc o d i n g ，t h ew h o l ea r c h i t e c t u r eo fh 2 6 4i ss t u d i e d ，t h ea l g o r i t h m sf o r h 2 6 4a r ea n a l y z e dm a t e r i a l l y ，a n df i n dt h ee f f e c t i v em e t h o dt oi m p r o v et h er e a l t i m e p e r f o r m a n c es i g n i f i c a n t l y i nf i r s tc h a p t e r ，w ei n t r o d u c et h eb a c k g r o u n do ft h er e s e a r c ha n dt h ep r a c t i c a l s i g n i f i c a n c e t h ev i d e oc o d i n gt h e o r yi sa l s oi n t r o d u c e d i ns e c o n dc h a p t e r ，t h e d e v e l o p m e n to fv i d e oc o d i n gs t a n d a r d s i sd e s c r i b e d t h ea p p l i c a t i o n so ft h e t e c h n o l o g i e s f o rh 2 6 4 a r ei n t r o d u c e di nd e t a i l ，t h e i m p r o v e m e n to ft h e s e t e c h n o l o g i e sf o rt h ee n c o d i n gp e r f o r m a n c ea n dt h ei m p a c to fc o d i n gc o m p l e x i t ya r e a n a l y z e d i nt h i sp a p e r ，t h ec o d i n ge f f i c i e n c yo fh 2 6 4h a sb e e ni m p r o v e df r o mt h em o t i o n e s t i m a t i o na n db i t s t r e a ms w i t c h i n g i nt h es t u d yo ft h em o t i o ne s t i m a t i o n ，w ep r o p o s e dan e wa l g o r i t h mw h i c hc a n r e d u c et h ec o d i n gc o m p l e x i t yw i t ha na d a p t i v em o t i o ns e a r c ht e m p l a t es e l e c t i o n t h i s a l g o r i t h mc a nr e d u c et h et i m ef o rt h em o t i o ne s t i m a t i o nw i t h o u tq u a l i t yd e g r a d a t i o n o ft h er e c o n s t r u c t i o np i c t u r e t h en e ws p f r a m ei sa d o p t e di nt h el a t e s tv i d e oc o d i n gs t a n d a r dh 2 6 4 a v c t h en e ws p f r a m e ，w h i c hc a nr e p l a c ei n t r a - f r a m e ，i su s e df o rb i t s t r e a ms w i t c h i n g t h ei m p o r t a n tc h a r a c t e r i s t i co fs p f r a m ei st h a tt h ef r a m ec a nb er e c o n s t r u c t e dw i t h d i f f e r e n tr e f e r e n c ef r a m e s t h e r e f o r e ，b i t s t r e a mw h i c hi sc o d e dw i t hs p f r a m ec a n a l l o wt h eb i t s t r e a ms w i t c h i n g w i t hb i t s t r e a ms w i t c h i n g ，t h es e r v e rc a np r o v i d et h e b e s tq u a l i t yo ft h ec o r r e s p o n d i n gs e r v i c eb a s e do nau s e r sn e t w o r kc o n n e c t i o ns p e e d i nt h i sp a p e r ，t h es p f r a m e sm a i na p p l i c a t i o n sa n dt h eo r i g i n a ls p f r a m ec o d i n g i i i 北京工业大学工学硕士学位论文 i p r o c e s sa r ei n t r o d u c e d ；a n dt h e nt h en e ws c h e m ei sp r o p o s e d ，w h i c ha l l o w sd r i f t f r e e b i t s t r e a ms w i t c h i n g t h ep r o p o s e ds c h e m ei sm o r ee f f i c i e n tf o rb i t s t r e a ms w i t c h i n g k e yw o r d sv i d e oc o m p r e s s i o n ；h 2 6 4 ；m o t i o ne s t i m a t i o n ；s p s i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名到勃扭嗍班 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 繇氇3 轨聊繇趔蹶巡乏? 第1 章绪论 暑鼍舅一i i i i ； 一一一 = | 一_ ；i ! 曼曼曼! 曼曼曼曼曼曼! 曼! 曼曼 1 1 课题研究的背景 第1 章绪论 2 0 世纪，电话网络的发展满足了人们语音信息交流的需要，已经成为人类社 会不可或缺的一种基本通讯设施，是人们信息交流的主要途径。但是，电话网络 所能提供的服务已经不能满足人们更深层次的需要。随着人类生存空间的逐渐扩 大，聚居的概念也被淡化，人们相互之间的关系并没有随着空间距离的增加而变 得疏远，反而更加紧密。当传统意义上的面对面的交流变得难以实施的时候，人 们要求通信工具不仅仅能传递语音信息，而且能传递更多媒体信息，而这对于传 统的电话网络是难以实现的。 人们对视觉信息的需求，多年来一直是社会科技进步的主要推动力之一：电 视录像节目的制作、数码技术已显示了其推动消费电子行业变革的强大动力；电 视信号的转播质量和范围大大促进了卫星通信、微波通信、有线传输技术的发展： 多媒体通信技术成为推动信息压缩技术和宽带传输技术的重要因素。自上个世纪 9 0 年代以来，多媒体通信业务的发展十分迅速，传统的话音业务比例逐渐下降， 多媒体业务的比例迅速上升。远程教育、远程医疗、视频点播、电视会议、移动 司视电话、家庭办公等各种多媒体服务逐渐成为人们关注的热点，也是一个国家 经济持续发展的新增长点，被认为是衡量国家发展水平的重要标志之一。 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是9 0 年代以 来随着i n t e m e t 和移动通信的迅猛发展，视频信息和多媒体信息在i n t e m e t 网络 和移动网络中的处理和传输成为了当前我国信息化中的热点技术。视频信息是 多媒体信息中一个重要部分，随着图像视频压缩技术的不断发展与成熟，视频 通信技术近年来也得到了迅速发展，如数字视频广播、流媒体、移动可视电话等 技术日趋成熟。数字视频通信正在逐步替代传统的模拟技术，能够提供多种模拟 技术所不能提供的服务内容。随着网络技术的发展、网络环境的改善，以及最终 用户接入网络的带宽较以前有了巨大的改善，宽带网络技术正逐渐成为主流技 术；另一方面，随着3 g 技术的成熟和无线通讯技术的发展，交互的个人视频 通讯和高质量的视频广播给当前的视频压缩技术带来了新的挑战。无论是有线网 络还是无线网络，都迫切需要一种新型的压缩算法，它不仅有高的压缩比，而且 可以根据不同的网络条件提供不同质量的视频服务。可以应用在较低带宽的信 道，也可以应用在高带宽的信道，同时还应该有一定的网络自适应功能。 随着应用需求的发展和提高，在尽可能低的存储情况下获得好的图像质量和 北京工业大学工学硕十学位论文 低带宽图像快速传输已成为视频压缩的两大难题。为了解决较大压缩比与较好视 频质量之间的矛盾，人们付出了巨大辛勤的努力。从1 9 8 4 年c c i t t 公布第一个视 频编码国际标准以来，i t u t 等国际标准化组织陆续颁布了接近十个视频编码国 际标准，大大推动了视频通信和数字电视广播的发展。i s 0 i e c 制定的m p e g x 和i t u - t 制定的h 2 6 x 两大系列视频编码国际标准相继推出，开创了视频通信和存 储应用的新纪元。从h 2 6 1 ( 1 9 9 0 年) 到h 2 6 3 ( 1 9 9 6 年) 、h 2 6 3 + ( 1 9 9 8 年) 、 h 2 6 3 + + ( 2 0 0 0 年) 以及从m p e g 1 ( 1 9 9 3 年) 到m p e g 2 ( 1 9 9 4 年) 、m p e g 4 ( 1 9 9 8 年) 等都有一个共同的不断追求的目标，即在尽可能低的码率( 或存储容 量) 下获得尽可能好的图像质量。 h 2 6 x 系列标准是专门用于低比特率视频通信的视频编码标准，具有较高的 压缩比，它们采用的基本技术包括：d c t 变换、运动补偿、量化、熵编码等。 h 2 6 3 + 和h 2 6 3 + + 中考虑了较为恶劣的无线环境，设计了多种增强码流鲁棒性的 方法，定义了分级编码的语法规则。 m p e g 1 和m p e g 2 使用的基本技术和h 2 6 x 相同。m p e g 1 和m p e g 2 针对的 应用主要是数字存储媒体，码率高，清晰度高。人们熟知的v c d 、d v d 是m p e g 1 、 m p e g 2 的典型应用。随后，m p e g 组织注意到低比特率应用潜在的巨大市场， 开始和i t u 进行竞争。在m p e g 4 的制定过程中，不仅考虑了高比特率应用，还 特别包含了适用于无线传输的低比特率应用。m p e g 4 标准的最大特点是基于视 频对象的编码技术。 随着市场对图像传输需求的增加，视频存储传输过程中高图像质量与低压缩 比之间的矛盾还是没有得到很好的解决，如何适应不同信道传输特性的问题也日 益显现出来。这促使i s o i e c 和i t u t 两大国际标准化组织联手制定新的视频标准 来解决面对的问题。i t u t 的视频编码专家组( v c e g ) 和i s o i e c 的活动图像编 码专家组( m p e g ) 的联合视频组( j v t ：j o i n tv i d e ot e a n l ) 于2 0 0 1 年1 2 月在泰国 p a p a y a 成立。它由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合 组成。j v t 的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、 高图像质量、良好的网络适应性等目标。2 0 0 3 年5 月，国际电信联盟( i t u ) 和 m p e g 标准组织i s o 共同发布了h 2 6 4 m p e g 4a v c ( 以下简称h 2 6 4 ) 视频压缩 标型1 1 。新标准公布后被业界普遍看好，业内人士誉之为“下一代视频压缩编码 标准”。它最主要的特点有两个：在同等图像质量条件下，视频压缩比是h 2 6 3 和m p e g 4 的2 倍1 2 一 ；对于各种网络环境，特别是i p 和无线网络具有良好的适应 性，同时h 2 6 4 具有广阔的应用前景，是迄今为止最新和最有效的编码标准之一。 h 2 6 4 具有广阔的应用前景，例如实时视频通讯、因特网视频传输、视频流媒体 服务、异构网上的多点通信、压缩视频存储、视频数据库等。 第1 帝绪论 1 2 课题研究的理论及其现实意义 h 2 6 4 是目前新一代的国际通用视频压缩标准，它在许多方面都有着较为广 泛的应用。为了获得较高的数据压缩率以及较好的网络适用性，h 2 6 4 采用了许 多复杂的压缩技术，这就使得它的复杂度大大地增加。一般来说，h 2 6 4 的复杂 度大概是m p e g 4 的2 1 4 倍【2 钏。因此，如何优化h 2 6 4 相关算法，使其获得较好 的实效性便成为了当下研究的一个热点。本论文将通过研究h 2 6 4 视频编解码过 程中的运动估计、运动补偿、离散余弦变换、量化、熵编码以及流媒体间切换等 技术的快速算法及优化策略，降低h 2 6 4 的复杂度，提高编编解码速度，以满足 视频传输对实时性的要求。 随着流媒体技术应用的普及和推广，视频压缩算法的研究速度也在不断加 快，其在各个行业中的应用也越来越普遍。现实世界中，计算机在硬件与软件方 面都存在着巨大的差异，因此视频传输也无法达到理想的标准。所以本论文的研 究在理论上有利于加快国内外视频压缩标准的研究，降低视频编码的复杂性，提 高编解码速度。在应用方面，可以加快h 。2 6 4 的产业化步伐，以适应社会对视频 信息传输的需求，同时也可以带动其它产业的发展。此外，本论文对于我国自主 知识产权的视频标准a v s 的发展和完善，也有一定的促进作用，并对a v s 视频标 准下一步的产业化发展打下坚实的基础。 1 3 本文结构 本文主要从理论和实践两个方面对h 2 6 4 视频标准进行了快速算法的研究优 化，从而达到了降低了算法复杂度，提高了编解码效率的目的。 本文正文部分总共分四章，主要结构和内容如下： 第1 章是绪论，提出问题。介绍了课题研究的背景和现实意义。 第2 章介绍了本文主要涉及的相关视频信息技术的基本理论知识。 第3 章介绍视频编码标准的发展状况和h 2 6 4 视频标准的相关技术，对视频的 编解码过程做了一个总体介绍，并对h 2 6 4 的国内外研究背景和现状进行了介绍 第4 章和第5 章主要是关于h 2 6 4 视频标准中运动估计快速算法的研究和s p 帧、s i 帧理论方面的研究。 第4 章介绍了运动估计的相关理论和技术，并对其中典型的基于块匹配的快 速运动估计算法进行了总结。在分析了对现有运动估计算法的基础上，提出了一 种新的快速运动搜索算法，即一种基于运动向量预测的h 2 6 4 运动搜索快速算法。 实验结果表明，该算法可以有效地降低传统运动搜索算法复杂度，从而提高了编 码器的整体编码效率。 北京t 业大学下学硕十学位论文 第5 章介绍了s p 帧s i 帧的应用和h 2 6 4 视频标准中s p 帧的编解码方案。通过 分析现有s p 帧的编解码方案，提出了自己的改进方案，解决了目前算法中存在的 一些问题，实现了不同质量码流间的无漂移切换。 最后是对整个论文以及研究生期间学习研究工作的总结，指出了本文的研究 内容和所取得的创造性成果以及创新点理论，对其应用前景和社会、经济价值进 行了预测和评价，并对在该研究方向将来的进一步研究工作的开展进行了展望。 第2 章视频编码理论介绍 第2 章视频编码理论介绍 2 1 视频压缩编码的必要性和要求 2 1 1 压缩编码的必要性 利用人的视觉获取的信息称为视频信息，视频信息的表示形式是视频信号， 通常为视频的电信号。视频电信号可以通过网络进行传输给各个用户，在用户的 终端上进行显示。 视频信号所包含的信息量大，其内容可以是活动的，也可以是静止的：可以 是彩色的，也可以是黑白的；有时变化多、细节多，有时十分平坦。因此，视频 信号呈现出了高带宽性的特点。一般而言，视频信号信息量大，传输网络所需要 的带宽相对较宽。例如，一路可视电话或会议电视信号，由于其活动内容较少， 所需带宽较窄，但要达到良好质量，不压缩约需若干m b p s ，压缩后需要3 8 4 k b p s ； 又如，一路高清晰度电视信号( h d t v ) ，由于其信息量相当巨大，不压缩需l g b p s ， 利用m p e g 2 压缩后，尚需2 0 m b p s 。可见，视频信息虽然具有直观性、确定性、 高效性等优越性能，但要传送包含视频信息的信号却需要较高的网络带宽。这就 是为获得视频信息所需付出的代价。 此外，由于视频信号所包含的巨大信息量，对于视频信息的保存也需要大容 量的存储空间。以前的研究表明，在视频信息的保存当中，存在大量的冗余信息， 这些冗余信息极大地浪费了有限的数字存储空间，并且冗余信息对于视频内容的 保存也是不必要的。因此，我们要通过视频编码压缩技术来尽可能的减少冗余信 息量，提高数字存储设备的有效利用率。 视频压缩编码技术对于视频信息的传播和保存是非常必要的。可以通过去除 冗余数据来减少原始视频的数据量，从而达到数据压缩以解决视频传输数据量巨 大的目的。视频数据表示主要存在以下形式的冗余1 5 j ： 1 ) 空间冗余：视频图像序列中某帧画面的某一取样点的亮度和色度信息， 与其在同一帧画面的相邻取样点之间存在极强的相关性。 2 ) 时间冗余：视频图像序列中某帧画面的某一取样点的亮度和色度信息， 与其在时间上相邻画面的相应位置的取样点之间存在极强的相关性。 3 ) 信息熵冗余：信息熵冗余也称为编码冗余，由信息论的有关原理可知， 它为表示图像数据的一个像素点，只要按其信息熵的大小分配相应的比特数即可。 然而对于实际图像的每个像素，很难得到他们的信息熵，在数字化一幅图像时， 北京t 业大学工学硕士学位论文 曼曼曼曼曼曼! 曼曼曼! ! ! 皇! 曼曼! 蔓曼i 一 i 曼! ! ! 曼曼曼! 曼曼曼皇曼曼! 皇曼! 曼曼! 曼曼曼曼! 皇舅 对每个像素是用相同的比特数表示，这样必然存在冗余。 4 ) 结构冗余：在有些图像的部分区域存在着非常强的纹理结构，或是图像 的各个部分之间存在有某种关系，例如自相关性等。 5 ) 知识冗余：在某些图像中包含的信息与某些先验的基础知识有关，这种 冗余称为知识冗余。 6 ) 视觉冗余：大多数情况下，重建图像的最终接收者是人的眼睛。为了达 到较高的压缩比，可以利用人类视觉系统的特点。因为人的视觉系统对图像的注 意是非均匀和非线性的，并不是对于图像中的任何变化都能感知。因此，如果编 码能利用人类视觉系统的一些特点，是可以提高压缩比的。 通过一定的编码方法减少表示某一图像序列的数据量，在保证一定重构质量 的前提下，以尽量少的比特率来表征视频信息的视频压缩技术对于信息的传播具 有非常重要的意义。首先，视频压缩编码技术使得在现有信息传输条件下对于大 信息量的视频信号进行数字化传输成为了可能( 当前的通信传输网络无法实现对 未经压缩的视频信息进行及时有效的传输，视频信息必须经过有效地压缩) ；其 次，视频压缩编码技术能够更加有效地利用传输和存储设备进行视频信息的传输 和保存。因此，在当前的信息化进程中，对于视频压缩编码理论的研究是必不可 少的。 2 1 2 压缩编码的要求 如上所述，视频信号由于信息量大，传输网络带宽要求高，就像一辆庞大的 货车只有在宽阔的马路上才能行驶一样。于是出现一个问题：能否将视频信号在 传送前先进行压缩编码，即进行视频源压缩编码，然后在网络上进行传送，以便 节省传送带宽和存储空间。有两个基本要求： 1 ) 必须压缩在一定的带宽内，即视频编码器应具有足够的压缩比； 2 ) 视频信号压缩之后，应保持一定的视频质量。这个视频质量有两个标准： 一个为主观质量，由人从视觉上进行评定：一个为客观质量，通常用信噪比( s n ) 表示。 。 如果不问质量，一味地压缩，虽然压缩比很高，但压缩后严重失真，显然达 不到要求：反之，如只讲质量，压缩比太小，也不符合要求。 当然，在以上两个要求下，视频编码器的实现应力求简单、易实现、成本低、 可靠性高，这也是基本的要求。 2 2 视频压缩编码的基本原理 2 2 1 预测编码 预测法是最简单和实用的视频压缩编码方法，它主要利用像素间的时空相关 第2 章视频编码理论介绍 众所周知，一幅图像由许多个所谓像素的点组成，如图2 1 中的“o ”表示一个 像素，大量的统计表明，同一幅图像中像素之间具有较强的相关性，两个像素之 间的距离越短，则其相关性越强，即两个像素的值越接近。换言之，两个相邻像 素的值发生突变的概率极小，“相等、相似或缓变”的概率则极大。 图2 - 1 像素间相关性解释图2 2 帧间相关性解释 f i g 2 - 1t h er e l a t i o nb e t w e e np i x e l sf i g 2 - 2t h er e l a t i o nb e t w e e nf r a m e s 于是，人们可利用这种像素间的相关性进行压缩编码。例如当前像素x ( 设 为立即传送的像素) 可用前一个像素a 或b 、c ，或三者的线性加权来预测。这些a ， b ，c 被称为参考像素。在实际传送时，把实际像素x ( 当前值) 和参考像素( 预 测值) 相减，简单起见传送x a ，到了接收端再把( x a ) + a = - x ，由于a 是已传送 的( 在接收端被存储) ，于是得到当前值。由于x 与a 相似，( x a ) 值很小，视 频信号被压缩，这种压缩方式称为帧内预测编码。 不仅如此，还可利用图2 2 所示的帧间相关性进行压缩编码。由于邻近帧之 间的相关性一般比帧内像素间的相关性更强，压缩比也更大。 由此可见，利用像素之间( 帧内) 的相关性和帧间的相关性，即找到相应的 参考像素或参考帧作为预测值，可以实现视频压缩编码。 统计表明，同一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。 邻近像素之间发生突变或“很不相似”概率很小。而且同帧图像中邻近行之间对应 位置的像素之间也有较强的相关性。人们可以利用这些性质进行视频压缩编码。 在预测编码方法中，最主要的方法是差分脉冲编码( d i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n d p c m ) 【9 1 。它的编码器和解码器的基本结构如下图所示： 口似田。r i n ) 跫 7 i 兰兰i、 l p ( n ) n 而n 。 图2 3 预测编码 f i g 2 - 3t h ep r e d i c t i o nc o d i n g ( b ) 其中，x ( n ) 为当前像素的实际值，p ( n ) 为其预测值，d ( n ) 为差值或残差值。该 北京工业大学t 学硕士学位论文 差值经量化后得到残差量化值q ( n ) 。预测值p c n ) 经预测器得到，预测器输入为已 存储在预测器内前面的各像素，和当前值，它们的加权和即为下一个预测器输出。 大量统计表明，由于相关性的存在，邻近像素值之差很小。其差值信号的概 率分布如图2 4 所示。可见该差值信号的方差是比较小的。由于图像的误差信号 d ( n ) 方差相对图像信号本身方差较小，其量化器的动态范围可以缩小，相应的量 化分层数目就可减少，每个像素的编码比特数也显著下降，而且不致视频质量明 显降低，达到视频压缩的目的。 0 7 o 5 0 3 f ll | 、 。i i 7、 2 2 2 变换编码 变换编码的方法是图像样本可以变换到另一个域( 或者表达方式) ，并且用 变换系数来表达。在“空间域 ( 也就是图像的原始形式) ，样本具有很高的空 间相关性，理想情况下可以产生小部分的很重要的变换系数( 它们对原始图像很 重要) 和大部分不重要的变换系数( 因为对图像的质量没有很大的影响，可以忽 略) 。大量统计表明，视频信号中包含着能量上占大部分的直流和低频成分，即 图像的平坦部分，也有少量的高频成分，即图像的细节。因此，可以用另一种方 法进行视频编码，将图像经过某种数学变换后，得到变换域中的图像( 如图2 5 所示) ，其中u ，v 分别是空间频率坐标。如图2 5 所示，用“o ”表示的低频和直 流占图像能量中的大部分，而高频成分( 用“ 表示) 则是少量的，于是可用较 少的码表示直流低频以及高频，而“0 ”则不必用码，结果完成了压缩编码。 图2 - 5 变换域图像 f i g 2 - 5t h ep i c t u r eo ft r a n s f o r md o m a i n 因为图像空间的样本用离散块的形式进行处理，所以对于图像的变换编码经 第2 章视频编码理论介绍 因为图像空间的样本用离散块的形式进行处理，所以对于图像的变换编码经 常采用以块为单位的变换，典型的块大小是4 x 4 或者8 x 8 的块。每一个块用一个二 维变换来产生一个变换系数的块。为图像压缩而进行的块变换的效果取决于去除 每一个块中信息的相关性的程度。 k l 变换( t h ek a r h u n e n l o e v et r a n s f o r m ，k l t ) 是任何基于块的图像变换中 效果最好的。k l 变换产生的系数被去相关并且块中的能量集中在最少数的系数 上。但是，k l 变换计算的效率很低，而且不实用，因为执行变换所需的方程( 基 本方程) 必须预先计算出来并且每幅图像都要将该方程传给解码器。由于其不存 在快速算法，所以不能用于实际，只是在理论上作为参考和比较。 离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) u o j 编码性能最接近于k l 变换，且具有快速算法，广泛应用于图像编码。 二维d c t 公式为： = 芝g 驴n 2 + 1 ) ，n m n - ig s 咎笋】 ( 2 1 ) i f 0 z d k = 0 - 1 其中，当i = 0 ，c i = 1 4 2 ；c ；= l ，i 为其它值 对于图像变换编码，最理想的变换操作应对整个图像进行，以便去除所有像 素间的相关性。但这样的操作计算量太大。实际上，往往把图像分为若干块，以 块为单位进, ；y d c t 变换。通常区1 6 x 1 6 或8 x 8 组成小块。 离散小波变换( d w td i s c r e t ew a v e l e tt r a n s f o r m ) j 是d c t 之后，图像压缩领 域研究的一大热点，人们普遍认为小波比d c t 更优秀。其中比较经典的是零树编 码算法1 1 2 j ，在此基础上的s p i h t 算法成为小波压缩一时的典范。s p i h t 算法不 断得到改进【1 4 】【1 5 1 ，并促成e b c o t 算法【1 6 1 的提出( j p e g 2 0 0 0 采用的算法) 和在实 际中的应用。s p i h t 在视频界也开始有不少研究1 7 l 【1 8 】。然而，根据文献【1 9 1 的分析 结果，静态图像领域d w t 和d c t 的差距小于l d b ，而在动态图像领域的应用中差 距更小。基于d c t 的时域和空域预测比较成熟，而小波在运动预测方面效果仍不 理想，这是d c t 在视频方面成为主流的原因之一。另一方面的原因是d c t 的快速 算法所需复杂度h ：d w t 快速算法要快。 。 2 2 3 熵编码 利用信源的统计特性进行码率压缩的编码就称为熵编码( e n t r o p yc o d i n g ) ，也 叫统计编码。视频编码常用的有三种：变长编码，也称哈夫曼编码1 2 0 j ( h u f f m a n c o d i n g ) 、算术编码1 2 1 】( a r i t h m e t i cc o d i n g ) 和游程编码( r l c ，r u n l e n g t hc o d i n g ) 。 当已被采样的图像视频数据拥有相同字节的序列时，可以采用更紧密的序列 来代替这些相同的字节序列。从而实现压缩。这就是游程编码。 哈夫曼编码用包含变比特数的码字来代替每个符号。这些码宇的分配基于符 号的统计分布，短的码字被分配给经常出现的符号，长的码字被分配给不经常出 北京：t = 业大掌1 二学硕_ 1 ：学位论文 现的符号。每一个码字被安排为“唯一可解的”，以便解码器可以毫无错误的提 取出一个序列的变长的码字。哈夫曼编码很适合实际情况并且很实用。 算术编码把一系列符号映射到分数，然后转换n - 迸制数并进行传输。算术 编码具有比哈夫曼编码更高的压缩率【2 2 1 。每一个符号可以用分数数目的比特数来 表示( 而不是只用整数数目的比特数) ，这意味为每个符合分配的比特可以更精 确，而且可以与编码数据的统计分布相吻合。 2 3 视频压缩编码的基本技术 2 3 1 视频编码系统的基本结构 视频编码系统的基本结构【9 】如图2 6 所示。 图2 - 6 视频编码系统 f i g 2 - 6t h es y s t e mo fv i d e oc o d e e 由图2 6 可见，视频编码方法与可采用的信源模型有关。如果采用“一幅图像 由许多像素构成”的信源模型，这种信源模型的参数就是每个像素的亮度和色度 的幅度值。对这些参数进行压缩编码技术称为基于波形的编码。如果采用一个分 量有几个物体构成的信源模型，这种信源模型的参数就是各个物体的形状、纹理 和运动。对这些参数进行压缩编码的技术被称为基于内容的编码。 由此可见，根据采用信源模型，视频编码可以分为两大类，基于波形的编码 和基于内容的编码。它们利用不同的压缩编码方法，得到相应的量化前的参数； 再对这些参数进行量化，用二进制码表示其量化值；最后，进行无损熵编码进一 步提高码率。解码则为编码的逆过程。 2 3 2 基于波形的编码 利用像素间的空间相关性和帧间的时间相关性，采用预测编码和变换编码技 术可大大减少视频信号的相关性，从而显著降低视频序列的码率，实现压缩编码 的目标。 基于波形的编码【9 1 采用了把预测编码和变换编码组合起来的基于块的混合编 第2 荦视易! 编码理论介绍 码方法。 为了减少编码的复杂性，使视频编码操作易于执行，采用混合编码方法时， 首先把一幅图像分成固定大小的块，例如块8 x 8 ( 即每块8 行，每行8 个像素) 、 块1 6 x 1 6 ( 每块1 6 行，每行1 6 个像素) 等等，然后对块进行压缩编码处理。 自1 9 8 9 年i t u t 发布第一个数字视频编码标准- h 2 6 1 以来，已陆续发布 了h 2 6 3 等视频编码标准及h 3 2 0 、h 3 2 3 等多媒体终端标准。i s o 下属的运动 图像专家组( m p e g ) 定义了m p e g 1 、m p e g 2 、m p e g - 4 等娱乐和数字电视压 缩编码国际标准。 2 0 0 3 年3 月份，i t u t 颁布了h 2 6 4 视频编码标准。它不仅使视频压缩比较 以往标准有明显提高，而且具有良好的网络亲和性，特别是对i p 互联网、无线 移动网等易误码、易阻塞、q o s 不易保证的网络视频传输性能有明显的改善。 所有这些视频编码都采用了基于块的混合编码法，都属于基于波形的编码。 2 3 3 基于内容的编码 基于块的编码易于操作，但由于人为地把一幅图像划分成许多固定大小的 块，当包含边界的块属于不同物体时，它们分别具有不同的运动，便不能用同一 个运动矢量表示该边界块的运动状态。如果强制划分成固定大小的块，这种边界 块必然会产生高的预测误差和失真，严重影响了压缩编码信号的质量。 于是产生了基于内容的编码技术【9 j 。这时先把视频帧分成对应于不同物体的 区域，然后对其编码。具体说来，即对不同物体的形状、运动和纹理进行编码。 在最简单情况下，利用二维轮廓描述物体的形状；利用运动矢量描述其运动状态； 而纹理则用颜色的波形进行描述。 当视频序列中的物体种类己知时，可采用基于知识或基于模型的编码。例如， 对人的脸部，已开发了一些预定义的线框对脸的特征进行编码，这时编码效率很 高，只需少数比特就能描述其特征。 对于人脸的表情( 如生气、高兴等) ，可能的行为可用语义编码，由于物体 可能的行为数目非常小，可获得非常高的编码效率。 m p e g 4 采用的编码方法就既基于块的混合编码，又有基于内容的编码方法。 2 3 4 三维( 立体) 视频编码 立体视频编码是视频编码的发展方向之一，其平面信息外增加了深度信息， 数据量非常庞大。 立体视频编码【9 1 也有两种类型的方法：第一种是基于波形的，它组合运动补 偿预测和位差补偿预测。所谓位差估计即在两幅不同图像中寻找对应的点。它对 预测残差图像、位差和运动矢量进行编码：第二种是基于物体的，它直接对成像 物体的三维结构和运动进行编码。当物体结构简单时，可获得非常高的压缩比。 北京工业大学工学硕士学位论文 其编码结构如图2 7 所示。 左 图2 7 三维物体序列编码系统 f i g 2 - 7t h es y s t e mo f 3 - d i m e n s i o ns e q u e n c ec o d i n g 2 4 视频压缩编码的评判标准 特 当前对图像质量的评估方法主要分成两类：主观质量评价和客观质量测量。 主观评价的方法是将待评价的图像序列播放给评论者观看，并记录他们的打 分，然后对所