（水声工程专业论文）h264中运动估计算法的改进与dsp实现.pdf

哈尔滨工程大学硕士学位论文 a b s t r a c t h 2 6 4 ，w h i c hi san e wg e n e r a t i o no f v i d e oc o m p r e s s i o ns t a n d a r d ，h a sg o o d c o m p r e s s i b i l i t y a n dc o m p l i c a t e da r i t h m e t i c t or e d u c et i m e c o s t ，t h i st h e s i s p r e s e n t san e wf a s ts e a r c h i n ga l g o r i t h mb a s e do nc l a s s i cr h o m b u sa l g o r i t h m t h e n e wf a s ts e a r c h i n ga l g o r i t h m ，w h i c hh a sh i g ha p p l i c a t e dv a l u e ，n o to n l ys h o r t e n s t h ea r i t h m e t i ct i m ec o s to fm o t i o ne s t i m a t i o n ，b u ta l s ok e e p sg o o dv i e w f i r s t l y , t h et h e s i sa n a l y s e st h es i t u a t i o no fc u r r e n ts t u d yo f v i d e oe n c o d e ra n d d e c o d e r ，i n t r o d u c e ss e v e r a lv i d e oc o m p r e s s i o ns t a n d a r d sb r i e f l y , a n ds t u d i e st h e t h e o r yo f v i d e oc o m p r e s s i o na l g o r i t h ma n dt h ek e yt e c h n o l o g i e so fh 2 6 4 s e c o n d l y , t h et h e s i si n t r o d u c e ss o m ec o m m o nu s e df a s ts e a r c h i n gm o d eo f m o t i o ne s t i m a t i o na l g o r i t h m ，a n a l y s e st h et r a d i t i o n a lr h o m b u ss e a r c h i n gm o d e a n dd e v e l o p san e ws c h e m ef o rt h et r a d i t i o n a lr h o m b u ss e a r c h i n gm o d e ，t h e n r e w r i t e sc o d et ot e s t f i n a l l y ，t h e t h e s i s t r a n s p l a n t st h e r e w r i t t e n c o d et od s pp l a t f o r mo f t m s 3 2 0 c 6 0 0 0s e r i e sm a d e b yt ic o m p a n y ，i m p r o v e sw h o l ea r i t h m e t i ce f f i c i e n c y u l t i l i z i n gt h ea d v a n t a g ea n dc h a r a c t e r i s t i co fd s pt om a k et h e h 2 6 4v i d e o c o m p r e s s i o ns t a n d a r ds e r v ew i d e l yf o re m b e d d e dt e r m i n a l s 。 k e yw o r d s ：h 2 6 4 ；v i d e oc o m p r e s s i o n ；m o t i o ne s t i m a t i o n ；d s p 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下， 由作者本人独立完成的。有关观点、方法、数据和文献等的 引用已在文中指出，并与参考文献相对应。除文中已经注明 引用的内容外，本论文不包含任何其他个人或集体已经公开 发表的作品成果。对本文的研究做出重要贡献的个人和集体， 均己在文中以明确方式标明。本人完全意识到本声明的法律 结果由本人承担。 作者( 签字) ：辫 、 日期：) 缈挥弓月矽日 哈尔滨工程大学硕+ 学位论文 第1 章绪论 随着互联网技术的飞速发展，人们对于互联网多媒体信息的迫切需求， 网络信息量空前庞大，尤其是多媒体信息中以视频信息最为庞大，选择一个 高效、高压缩比的压缩编码标准具有非常大的经济价值和研究价值。 1 1 视频编解码标准简介 目前视频流传输中最为重要的编解码标准有国际电联的h 2 6 1 、h 2 6 3 、 运动静止图像专家组的m j p e g 和国际标准化组织运动图像专家组的m p e g 系列标准，此外在互联网上被广泛应用的还有r e a l - n e t w o r k s 的r e a l v i d e o 、 微软公司的w m t ( w i n d o w sm e d i at e c h n o l o g y ) 及a p p l e 公司的q u i c k t i m e ， 以及我国自主研发的a v s 视频编码标准等。h 2 6 x 与m p e g 的发展如图1 1 所示。 ：? 。 、 ，_ ， ： ，i +一+ ，一? r、7 二 一| ，| ， ： 盯u t 标准 莴搿 j 二 零乏j ， 1 ， ：7 。 联合视频维一 h 2 8 2 ， h 2 6 4 ， 运动囝像专衷姐和视频编码专家缎 m p e g 2 m p e g - 4 - a v c ( 9 5 ) ( 缝缓发箍) 陋洲p e g 标准 m 器。 m p e g ，4 s 臀s p ) llili 、日tl ，l e ， i r li r ，l 1 9 8 4 驰61 81 9 1 9 鸵 9 9 i1 9 9 81 9 驰2 0 0 02 0 0 2 加0 42 6 图1 1h 2 6 x 与m p e g 系列的发展 1 1 1m p e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o r t sg r o u p ) 的缩写，于 1 9 8 8 年成立，是为数字视音频制定压缩标准的专家组，目前已拥有3 0 0 多名 成员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、a t & t 等世界知名公司。m p e g 哈尔滨1 ：程大学硕十学1 1 i ) = 论文 组织最初得到的授权是制定用于“活动图像”编码的各种标准，后来针对不 同的应用需求，解除了“用于数字存储媒体”的限制，成为现在制定“活动 图像和音频编码”标准的组织。m p e g 组织制定的各个标准都有不同的目标 和应用，目前已提出m p e g 1 、m p e g 2 、m p e g 4 、m p e g 7 和m p e g 2 1 标准。 1 m p e g 1 标准 m p e g 1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率的数字 存储媒体运动图像及其伴音的编码。可适用于不同的带宽的设备，他的目的 是把2 2 1 m b i t s 的n t s c 图像压缩到1 2 m b i t s ，压缩率为2 0 0 ：1 ，这也是工业 认可的标准，可以针对与c i f 标准分辨率的图像进行压缩，传输速率为 1 5 m b i t s ，每秒3 0 帧，具有c d 音质，图像质量与v h s 广播录影带相当。 该标准从颁布的那一刻起，m p e g 1 取得一连串的成功，如v c d 和m p 3 的大量使用、数字电话网络的视频传输、视频点播以及教育网络等。 2 m p e g 2 标准 m p e g 2 由m p e g 组织于1 9 9 4 年推出，是针对标准数字电视和高清晰 度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3 兆 比特1 0 0 兆比特，标准的正式规范在i s o i e c l 3 8 1 8 中。m p e g 一2 不是m p e g 一1 的简单升级，m p e g 2 在系统和传送方面作了更加详细的规定和进一步的完 善。m p e g 一2 特别适用于广播级的数字电视的编码和传送，被认定为标准清 晰度电视( s d t v ) 和高清晰度电视( h d t v ) 的编码标准。 m p e g 2 能够提供广播级的视像和c d 级的音质。m p e g - 2 的音频编码 可提供左、右、中及两个环绕声道，以及一个加重低音声道和多达七个伴音 声道。m p e g 2 另一特点是，可提供一个较广范围的可变压缩比，以适应不 同的画面质量、存储容量以及带宽的要求。 m p e g 2 技术除了应用于对数字电视广播( d v b ) 、高清晰度电视 ( h d t v ) 和数字视盘( d v d ) 外，还可用于为广播、有线电视网、电缆网 络以及卫星直播提供广播级的数字电视。 3 m p e g 4 标准 1 9 9 9 年2 月，运动图像专家组m p e g 正式公布了m p e g 一4 ( i s o i e c l 4 4 9 6 ) 标准第一版本，同年年底发布m p e g 4 第二版，且于2 0 0 0 2 哈尔滨工程大学硕十学位论文 年年初正式成为国际标准。 m p e g 4 与m p e g 1 和m p e g 2 有很大的不同。m p e g - 4 不只是具体压 缩算法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒 体( w w w 、资料撷取与分散) 等整合及压缩技术的需求而制定的国际标准。 m p e g 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体 通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、 存储、检索等应用领域普遍采用的统一数据格式。 m p e g 一4 具有如下特点：( 1 ) 基于内容的交互性；( 2 ) 高效的压缩性；( 3 ) 通用的访问性。 m p e g 4 标准同以前标准的最显著的差别在于它是采用基于对象的编码 理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频 对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解 码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不 同的编码方法和表示方法，又有利于不同数据类型间的融合，也可以方便的 实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实 的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的 实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。 这个标准对传输速率要求较低，在4 8 k b i l s 6 4 k b i t s 之间，主要应用于 视像电话、视像电子邮件等。m p e g 4 利用很窄的带宽，通过帧重建技术、 数据压缩，以求用最少的数据获得最佳的图像质量。最初m p e g - 4 的应用是 以高压缩率和高的图像质量来把d v d 里面的m p e g 2 视频文件转换为体积 更小的视频文件。经过这样处理，图像的视频质量下降不大但数据量却可缩 小几倍，可以很方便地用c d r o m 来保存d v d 上面的节目。另外，m p e g - 4 在家庭摄影录像、网络实时影像播放方面得到了广泛的应用。经过这些年的 发展，m p e g 4 主要应用在移动通信和公用电话交换网p s t n ( p u b l i cs w i t c h e d t e l e p h o n en e t w o r k ) 上，并支持可视电话( v i d e o p h o n e ) 、电视邮件( v i d e o m a i l ) 、电子报纸( e l e c t r o n i cn e w s p a p e r ) 和其他低数据传输速率场合下的 应用。 4 m p e g 7 标准 准确来说，m p e g 7 并不是一种压缩编码方法，而是一个多媒体内容描 3 哈尔滨工程大学硕士学位论文 述接口。继m p e g 一4 后，要解决的矛盾就是对日渐庞大的图像、声音信息的 管理和迅速搜索。m p e g 一7 就是针对这个矛盾的解决方案。m p e g 7 力求能 够快速且有效地搜索出用户所需的不同类型的多媒体资料。m p e g 7 将对各 种不同类型的多媒体信息进行标准化的描述，并将该描述与所描述的内容相 联系，以实现快速有效的搜索。该标准不包括对描述特征的自动提取，它也 没有规定利用描述进行搜索的工具或任何程序。其正式的称谓是“多媒体内 容描述接口 。 m p e g 一7 可独立于其他m p e g 标准使用，但m p e g 4 中所定义的音、视 频对象的描述适用于m p e g - 7 ，这种描述是分类的基础。另外我们可以利用 m p e g 7 的描述来增强其他m p e g 标准的功能。m p e g - 7 应用范围很广泛， 既可以用于存储( 在线或离线) ，也可以用于流式应用( 如广播、i n t e m e t 下载等) ，还可以用于实时或非实时环境，如数字图书馆( 图像目录、音乐 字典等) 、多媒体名录服务( 如黄页) 、广播媒体选择( 无线电信道，t v 信道等) 、多媒体编辑( 个人电子新闻业务，媒体写作) 等。另外，m p e g 7 在教育、新闻、导游信息、娱乐、研究、业务、地理信息系统、医学、购物、 建筑等各方面均有较大的应用潜力。 5 m p e g 2 1 标准 m p e g 一2 1 由m p e g - 7 发展而来，该标准的名称为多媒体框架( m u l t i m e d i a f r a m e w o r k ) ，其目标是定义一个能够包含各类媒体的框架，使各类媒体能 够有机地结合在一起，能够透明地和更强地适用跨越范围广泛的网络和设备 的多媒体资料。m p e g 2 1 主要规定数字节目的网上实时交换协议1 。 1 1 2h 2 6 x 系列标准 i t u 最初是由c c i r ( 国际无线电咨询委员会) 和c c i t t ( 国际电报电 话咨询委员会) 两个组织合并而成，后来c c i r 重新命名为i t u - r ，c c i t t 命 名为i t u t 。v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 是i t u t 中一个的研究 团队，主要制定在电信网络和计算机网络上的视频、语音压缩编码标准，如 h 2 6 1 、h 2 6 3 、h 2 6 4 等。2 0 0 1 年之后，v c e g 与m p e g 联合成立视频研究 小组( j v t ) 负责制定“a v c ”高级视频编码标准，又称为h 2 6 4 或m p e g 一4 p a r t 】0 。 4 哈尔滨t 程大学硕十学位论文 1 h 2 6 1 标准 h 2 6 1 标准于1 9 9 2 年公布，用于h 2 6 1 的编码算法基本上消除时域冗余 的运动补偿和消除空域冗余的变换编码的混合，h 2 6 1 奠定了混合编码框架 的雏形，其视频压缩算法的核心是运动估值预测和d c t 编码，许多技术( 包 括视频数据格式、运动估算与补偿、d c t 变换、量化和熵编码) 都被后来的 m p e g - 1 2 所借鉴和采用，这样的框架形成了所有后续开发的视频编码标准 的基础，因此，h 2 6 1 对其他的视频编码标准有着非常重要的影响。h 2 6 1 是第一个广泛投入应用的数字视频编码标准，它属于恒定码流可变质量编码 而非恒定质量可变码流编码，又称为p x 6 4 ，p 取值较小时，只能传清晰度不 太高的图像，适合于面对面的电视电话；p 取值较大时( 如p 6 ) ，则可以传 输清晰度较好的会议电视图像。h 2 6 1 最初是针对在i s d n 上实现电信会议， 特别是面对面的可视电话和视频会议而设计的，现在h 2 6 1 已经被包含在若 干个用于各种网络环境的i t u th 2 6 x 系列的终端标准中。 2 h 2 6 3 标准 1 9 9 6 年i t u t 公布了h 2 6 3 标准，h 2 6 3 是为低码率通信而设计的。但 实际上这个标准可用于很宽的码流范围，而非只用于低码率范围，它在许多 应用中可以被用来取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些 改善，以提高编码性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，例如在比特率低于3 0 k b i t s 的应用中，在同样的视频质量 前提下，h 2 6 3 的输出码率仅为h 2 6 1 的一半甚至更少。 3 h 2 6 3 + 标准 1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 的改进版，它在保证原h 2 6 3 标 准的核心句法和语义不变的基础上，增加了若干选项以提高压缩效率或某方 面的功能，它提供了1 2 个新的可协商模式和其他特征，进一步提高了压缩编 码性能。另一重要的改进是可扩展性，h 2 6 3 + 允许多显示率、多速率及多分 辨率，增强了视频信息在易误码、易丢包的异构网络环境下的传输。新增选 项可归纳为新的图像种类和新的编码模式两类。 2 0 0 0 年i t u t 又推出了h 2 6 3 + + ，对h 2 6 3 + 又做了一些新的扩展，增加 了一些新的特性从而适应于各种网络环境，并增强差错恢复的能力。h 2 6 3 抖 在h 2 6 3 + 的基础上又增加了3 个可选模式：增强型的参考帧选择；数据分片 哈尔滨_ t 程火学硕七学位论文 的模式；在h 2 6 3 + 的码流中增加了补充信息，保证增强型的反向兼容。这些 新的扩展不仅增强了码流在恶劣信道上的抗误码性能，同时也增强了编码效 率。 4 h 2 6 4 标准 19 9 9 年i t u t 以h 2 6 3 为基础，开始研究新一代的低码率视频压缩标准 h 2 6 l 。为了响应i s o i e cm p e g 对先进视频编码技术的需要，i s o i e c 与 i t u t 在2 0 0 1 年成立联合视频工作组j v t ( j o i n tv i d e ot e a m ) ；在h 2 6 l 的基础上开发新的标准，即t 标准。在i s o i e c 中，该标准的正式名称为 m p e g 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 标准，作为m p e g 4 标准的第十部 分，在i t u t 中的正式名称为h 2 6 4 标准。2 0 0 2 年1 2 月，t 形成最后的标 准草案。并于2 0 0 3 年3 月被正式确定为国际标准i s ( i n t e r n a t i o n a ls t a n d a r d ) 。 h 2 6 4 同样采用d p c m 加变换编码的混合编码模式，但它采用“回归基本 的简洁设计，不用众多的选项，但获得比h 2 6 3 + + 好得多的压缩性能；应用 目标范围较宽，以满足不同速率、不同分辨率以及不同传输( 存储) 场合的 需求。 技术特点包括： ( 1 ) 帧间编码，可变块的运动补偿预测技术； ( 2 ) 帧内编码，多方向的空间预测技术； ( 3 ) 环内滤波器，去除块效应； ( 4 ) 4 x 4 的整数正交变换及相应的量化策略； ( 5 ) 改进的运动向量预测编码； ( 6 ) 更加高效的熵编码器； ( 7 ) 基于信息率失真的编码优化技术。 这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量 下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 网络适应性强，增加了差错 恢复能力，能够很好地适应i p 和无线网络的应用。但h 2 6 4 性能的改进是以 增加复杂性为代价而获得的，其编码的计算复杂度大约相当于h 2 6 3 的3 倍， 解码复杂度大约相当于h 2 6 3 的2 倍。 h 2 6 4 的突出特点是特别有利于对视频信源的高比率压缩、对信道的高 效利用以及对视频传输瓶颈的缓解，并且能够产生不同等级的视频质量 6 哈尔滨工程大学硕十学位论文 ( h d t v 、s d t v 、p d t v ) 分别满足不同的应用需求。因此，h 2 6 4 在数字 电视广播与存储、互联网视频流信息服务和视频移动传输( 如3 g 移动通信) 等领域得到广泛的应用拉1 。 1 1 3 其他视频编码标准 h 2 6 x 和m p e o 两大系列标准分别属于i t u 和i s o i e c 组织，它们拥有 自主知识产权。为了摆脱昂贵的专利费的困扰，我国正在研究开发自己的数 字音视频编解码技术和标准a v s 标准，它在性能上与最新的国际标准相 同或更高，兼容国际标准基本功能，所包含的技术专利不受控于境外企业与 组织。a v s 视频当中具有特征性的核心技术包括：g x 8 整数变换、量化、帧 内预测、1 4 精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效 应环内滤波等。a v s 视频基本层分为4 个级别( 1 e v e l ) ，分别对应高清晰度 与标准清晰度应用。与h 2 6 4 的基本层相比，a v s 视频的压缩效率明显提高， 而与h 2 6 4 的m p 层( m a i np r o f i l e ) 相比，又减少了c a b a c 等实现难度大 的技术，从而增强了可实现性p 1 。 a v s 是一套适应面十分广阔的技术标准。与m p e g 2 等现有压缩标准相 比，在相同的视觉质量下，码率至少可以降低5 0 ，码率范围覆盖几十k b p s 的低带宽通信到数十m b p s 的高清晰度电视广播，可以支持低延迟模式的视 频会议应用，也支持高压缩效率的视频存储应用等。 其他的编码标准还有： 1 r e a l v i d e o r e a lv i d e o 是r e a ln e t w o r k s 公司开发的在窄带( 主要的互联网) 上进行 多媒体传输的压缩技术。 2 ：w m t w m t 是微软公司开发的在互联网上进行媒体传输的视频和音频编码压 缩技术，该技术已与w m t 服务器与客户机体系结构结合为一个整体，使用 m p e g 4 标准的一些原理。 3 q u i c k t i m e q u i c k t i m e 是一种存储、传输和播放多媒体文件的文件格式和传输体系 结构，所存储和传输的多媒体通过多重压缩模式压缩而成，传输是通过r t p 7 哈尔滨下程大学硕十学位论文 协议实现的。 标准化是产业化成功的前提，h 2 6 1 、h 2 6 3 推动了电视电话、视频会议 的发展。早期的视频服务器产品基本都采用m j p e g 标准，开创视频非线性 编辑时代。m p e g 1 成功地在中国推动了v c d 产业，m p e g 2 标准带动了 d v d 及数字电视等多种消费电子产业，其它m p e g 标准的应用也在实施或 开发中，r e a l - n e t w o r k s 的r e a lv i d e o 、微软公司的w m t 以及a p p l e 公司的 q u i c k t i m e 带动了网络流媒体的发展，视频压缩编解码标准紧扣应用发展的 脉搏，与工业和应用同步。未来是信息化的社会，各种多媒体数据的传输和 存储是信息处理的基本问题，因此，可以肯定视频压缩编码标准将发挥越来 越大的作用m 1 。 1 2 论文的研究背景及内容 1 2 1 论文的研究背景 近年来，各色各样的多媒体信息日益进入人们生活，人们不再满足在计 算机上浏览这些信息，个人终端设备技术的不断进步，终端产品逐渐向高速 度、小型化、便携化、接口通用化、功能多样化发展，对于嵌入式领域的应 用日益广泛。高速d s p 处理器的开发也越来越受开发者的青睐，d s p 技术发 展迅速，不但速度不断突破极限，运算能力、运算效率也不断提高，将视频 编码算法应用在d s p 嵌入式系统的研究也越来越广泛。以前视频编码标准总 是要在运算时间与压缩质量之间权衡，如果选择压缩质量好，就需要耗费大 量的运算时间：如果运算的快，压缩质量就要有所牺牲。现在d s p 速度不断 提高，成本越来越低，可以在相同的运算时间里用更快的器件来提高压缩质 量。h 2 6 4 作为新一代的视频压缩标准具有很高的压缩效率和网络接口，是 未来多媒体视频压缩编码技术的主流，围绕h 2 6 4 的研究也日趋广泛。然而 h 2 6 4 的组成庞杂，嵌入式系统一般是专用的系统，具有很强的专用性和针 对性，针对嵌入式系统的设计需要，通常要去除h 2 6 4 中一些不必要的内容 和功能，还要将算法针对d s p 高效率流水线运算的特点进行优化，才能将系 统性能提高到最优，这对于推动h 2 6 4 标准的应用，使其更广泛的服务于人 们的数字化生活具有重要的意义。 8 哈尔滨工程大学硕+ 学位论文 1 2 2 论文的研究内容 在整个h 2 6 4 视频编码过程中，运动估计部分的搜索算法占运算量的主 要部分，是视频编码的瓶颈。目前存在的大多数运动估计部分的搜索算法都 是基于块匹配的整像素搜索，成果也较为丰富，而针对模式选择和亚像素运 动估计还有较大的改进空间，有待进一步研究。由于h 2 6 4 采用多种预测模 式，多参考帧以及多种块类型，因此进行模式选择和运动快速搜索算法的研 究对视频编码的实际应用有一定意义。目前企业推出的h 2 6 4 的相关产品都 有自己独特的运动估计算法，在牺牲少量压缩质量的代价下，极大降低运算 的复杂度和硬件成本，实现最大化的商业利润，而且一般都利用d s p 运算速 度高的优势以高速实现其算法，论文的主要研究内容包括以下几方面： 1 深入理解h 2 6 4 标准的原理和编解码过程。介绍视频编码的基本原 理及h 2 6 4 标准中所使用关键技术。 2 比较目前各种流行的开源编解码器中常用的运动估计的快速搜索算 法，针对d s p 平台改进传统菱形算法，提出一种新的改进方案，并在计算机 上试验、比较算法改进前后的优劣。 3 把计算机上v c 开发环境下的h 2 6 4 代码移植到d s p 。因为开源编 码器所有的代码都是用c 语言编写的，并没有完全利用d s p 的各种性能，所 以必须结合d s p 本身的特点对其进行优化，通常的优化手段有三种：项目级 优化、算法级优化、指令级优化，由于h 2 6 4 代码量庞大，论文期间只能在 d s p 上实现h 2 6 4 的改进菱形搜索算法部分的编码算法，没有完成整体移植 过程。 9 哈尔滨丁程大学硕士学位论文 第2 章h 1 2 6 4 视频编码标准的研究 2 1 视频编码基本原理 众所周知，一个视频流的特点是相邻两幅图片数据具有很强的相关性， 编码压缩的基本目的是去除数据流的相关性，也就是说去除视频流的冗余信 息。压缩后的数据流相关性越低，说明去掉的冗余信息越多，实现的压缩比 也就越大。然而视频压缩一般都是有损压缩压缩，这是由人眼的特点决定的， 换句话说，如果压缩算法质量的差别人眼已经不能区分，就没有必要保留更 多的细节信息，这就可以在压缩过程中采用多种利于计算的量化方法和技巧， 大多数的视频压缩标准也都是各有侧重，但原理上使用的还是视频编码的基 本原理。 2 1 1 空间抽样原理 视频是为了给人观看，根据人眼的特点，可以将部分信息简化，人的眼 睛对于亮度信息比较敏感，对于色度信息不敏感，这种不敏感性随着色度信 息频率的上升而下降，所以一般的视频流没有必要全部抽样所有的亮度信息 和色度信息，而是以色差信号进行存储的，这样可以有效的降低原始码流中 的数据量。例如，色差信号4 ：2 ：2 格式中相对于4 ：4 ：4 信号，对c b 、c r 信号 水平方向进行2 ：1 降采样，数据量降低了3 3 ；而色差信号4 ：2 ：0 在水平和垂 直方向都进行2 ：1 降采样，数据量降低了5 0 。y u v 色差信号也是本课题主 要的输入信号形式p 。 2 1 2 预测编码 预测法是最简单和实用的视频压缩编码方法。压缩编码后传输的并不是 像素本身的取样幅值，而是该取样的预测值和实际值之差。 冗余信息分为时间冗余和空间冗余，时间冗余通过帧间预测去除，空间 冗余通过帧内预测消除，预测编码也就相应分为帧内预测与帧间预测。 帧内预测是利用帧内像素之间的相关性，计算相邻像素之间的差值，再 对差值进行编码，帧内预测可以有效地去除视频图像的空间冗余。 1 0 哈尔滨t 程大学硕十学位论文 帧间预测的手段以运动补偿为主。运动补偿能有效去除视频流中的时域 冗余。帧间预测又分为运动估计与运动补偿，运动估计是计算运动图像的运 动矢量并编码。而运动补偿与运动估计相反，是对编码帧进行解码重建，作 为下一帧的参考帧p 1 。 2 1 3 变换编码 变换编码不会进行数据压缩，但可以有效降低图像数据在变换域的相关 性。其原理是采用正交变换技术，通过多维坐标系适当作旋转变换，把散布 在各个坐标轴上的图像数据集中到少数的新坐标轴上，完成时域到空域的变 换，从而降低了相关性。 正交变换技术主要有：k - l 变换、离散余弦变换( d c t ) 、离散付立叶变 换( d f t ) 、沃尔什哈达玛( w a l s h h a d a m a r d ) 变换和哈尔( h a r r ) 变换。目 前最为实用的是d c t 快速算法，由于d c t 变换采用实数计算，加上有效的 快速算法出现，使得该算法应用于d s p 时具有非常大的优势，因此被广泛采 用。 d c t 变换后的系数，能量主要沿对角线分布，如果在左上角集中着绝大 部分能量，通常称顶左为直流系数( d c ) ，其他的为交流系数( a c ) ，反映 了图像数据块的变化不大，亮度相关性较强。量化时可以舍弃一些对视觉效 果影响不大的高频信息，进一步减小冗余。 变换编码除了正交变换编码外，还有子带编码和小波编码p 1 。 2 1 4 量化 图像在经过变换后会产生大量的浮点数信息，不利于压缩，并且为取得 更大的压缩比，同时又尽可能的保持图像质量，需要对图像进行量化。量化 又分为均匀量化和非均匀量化两类，均匀量化是指量化步长是一个恒定的常 数；非均匀量化是指量化步长不是一个恒定的常数，一般利用人眼的特点， 对在图像中占有较大能量的低频部分，可以采用较小的量化间隔和较多的比 特数，以便可以精细地表示原有图像的系数值，而对于图像中占有能量较小 的高频部分可以采用较大的量化间隔和较少的比特数。每个量化的输入被强 行归一到一个输出级上，所以量化处理是一个多对一的处理过程，是一个不 哈尔滨下程大学硕十学位论文 可逆的过程，量化过程会有信息丢失，引起量化误差。 编码图像经过空域到频域的变换编码以后，低频信息集中在频率坐轴原 点附近，将高频的信息部分量化为零，以便进行熵编码p 1 。 2 1 5 熵编码 利用信源的统计特性迸行码率压缩的编码就称为熵编码，分为算术编码 和统计编码。熵编码也称为统计编码，是纯粹基于信号统计特性的编码技术。 根据香农信息论的观点，信源冗余度来自信源本身的自相关性和信源内部时 间分布概率的不均匀性，对于出现概率较小的符号分配较长码字，对出现概 率较大的符号分配较短的码字j 从而使编码后的平均码长最小。 熵编码主要有霍夫曼编码、算术编码和游程编码三类p 1 。 2 2h 2 6 4 视频编码标准关键技术 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但 它采用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多 的压缩性能；加强了对各种信道的适应能力，采用“网络友好的结构和语 法，有利于对误码和丢包时处理；应用目标范围较宽，以满足不同速率、不 同解析度以及不同传输( 存储) 场合的需求。 技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。 与h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g 4 简单类( s i m p l ep r o f i l e ) 相比，h 2 6 4 在 使用与上述编码方法类似的最佳编码器时，在大多数码率下最多可节省5 0 的码率。h 2 6 4 在所有码率下都能持续提供较高的视频质量。h 2 6 4 能工作在 低延时模式以适应实时通信的应用( 如视频会议) ，同时又能很好地工作在没 有延时限制的应用，如视频存储和以服务器为基础的视频流式应用。h 2 6 4 提供在包传输网中处理包丢失所需的工具，以及在易误码的无线网中处理比 特误码的工具。 在系统层面上h 2 6 4 提出了一个新的概念在视频编码层( v i d e oc o d i n g l a y e r , v c l ) 和网络提取层( n e t w o r ka b s t r a c t i o nl a y e r , n a l ) 之间进行概念 性分割，前者是视频内容的核心压缩内容的表述，后者是通过特定类型网络 进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级控 1 2 哈尔滨工程大学硕+ 学位论文 制6 1 。 2 2 1h 2 6 4 标准的基本框架 1 编解码的系统框架如图2 1 所示。 图- 2 1 编解码器系统框架拉1 通常一个视频采集、回放系统都是由一个视频采集源提供数字或者模拟 的原始视频流，这一部分的视频信息通常比较庞大，数据率较高，通过编码 器将其编码压缩，经过传输或者存储后，在终端利用解码器将原始视频信息 还原出来，并使用显示设备重现视频影像。 2 编码器的基本框架 图2 2 编码器的基本框架嘲 如图2 2 所示，h 2 6 4 编码器的整个编码过程包括两条数据流通道，一条 “前向通道( 从左到右) ，一条“重建通道( 从右到左) 。 前向通道 哈尔滨t 程大学硕士学位论文 视频流中的宏块通过帧内和帧问方式进行预测编码，对于每个宏块中的 块，预测向量都是通过重建帧的采样点而形成。在帧内模式，预测向量从当 前片中已经编码过的采样点中形成。在帧间模式，预测向量从参考图像列表 0 或者列表l 的一帧或者多帧参考图像进行运动补偿预测得到。从当前编码 宏块中减去预测量产生的残差宏块d n ，d n 通过变换和量化产生一系列的转 换系数x ，这些系数将被重排序和熵编码。熵编码后的系数和一些在解码宏 块中每个块时要求的副信息( 预测模式，量化参数，运动向量信息等) 形成 压缩编码流，传输到网络提取层为视频传输或者存储做准备。 重建通道 在编码传输宏块中每个块的同时，编码器对它们进行解码( 重建) ，为以 后的预测提供参考。量化后的系数x 经过逆量化q 1 和反量化t 1 产生残差 块d n 。预测模块p 加上残差d n 产生重建块u f n ( 一个原始块解码后的版 本；u 表示没有滤波) 。滤波器用于减少解码时的块失真效应，重建的参考图 片从一系列f n 块中创建。 3 解码器的基本框架 图2 3 解码器的基本框架口1 如图2 3 所示，解码器从n a l 接收压缩比特流，然后熵编码数据得到量 化系数集x 。在经过反量化的反变换之后得到残差d n ( 与编码器中的d n 相同) 。用比特流中解码得到的头信息，解码器可以得到一个预测块p r e d ， 与编码器中最初得到的预测值p r e d 相等。p r e d 加上d n 得到，u f n 经过 滤波得到解码块f n 。 4 三个压缩档次( p r o f i l e sa n dl e v e l s ) h 2 6 4 定义了3 个压缩档次：b a s e l i n ep r o f l e 、m a i np r o f i l e 、e x t e n d e d p r o f i l e 。用户可以通过实际需要选择合适的压缩等级，不同的压缩等级对算 1 4 哈尔滨下程大学硕+ 学位论文 法和结构也有不同的要求。 基本档次( b a s e l i n ep r o f i l e ) 基本档次主要应用于视频会议、可视电话等低码率的压缩算法。它支持 的特性有： i 片p 片类型 夺去块效应滤波器 夺不支持宏块帧场自适应编码 令z i g z a g 扫描方式 夺1 4 亚像素运动估计 今三级运动分块 夺c a v c l 熵编码模式 令支持任意片顺序编码 支持灵活块编码方案 夺4 ：2 ：0 的色度抽样 夺支持冗余片r e d u n d a n ts l i c e 主要档次( m a i np r o f i l e ) 主要档次属于中高等压缩档次，主要应用在广播媒体领域，例如广播电 视、视频存储等。它支持的特性有： 支持b 片 夺c a b a c 熵编码 自适应双向预测 令支持b a s e l i n e 档次的所有特性除了以下几点 a s o 编码 f m o 编码 冗余s l i c e 支持场编码 令支持帧场自适庳编码 扩展档次( e x t e n d e dp r o f i l e ) 主要用于视频传输领域，增加了传输差错控制机制，提高在恶劣的传输 环境下的传输可靠性。它支持的特性有： 1 5 哈尔滨t 程大学硕十学位论文 夺b 片类型 s p 和s i 类型 令数据分层片 令自适应双向编码 支持b a s e l i n e 的所有特性 夺支持场编码 夺支持帧场自适应编码m 三个档次所支持技术的相互关系如图2 4 。 e x t e n d e dp r o f i l e 图2 4h 2 6 4b a s e l i n e 、m a i n 、e x t e n d e dp r o f i l e 关系图嘲 本课题主要是针对d s p 系统，选择b a s e l i n e 档次作为嵌入式应用，b a s e l i n e 档次是本文的主要研究目标，以下内容也是基于b a s e l i n e 档次的研究。 1 6 哈尔滨】m 1 人学面! 学忙论i ! ：! = 222 h2 6 4 的帧内预测编码 帧内编码州水缩减图像的空间冗余。为了提高h2 6 4 帧内编码的效率， 往给定帧中充分利_ l j 十日邻宏块的空间柏天性，斗h 邻的宏块通常含有相似的属 忡此，在对一一给定宏块进行编码州，片先可以根据周围的宏块预测( 兆 型的是根据，上角的宏块，凼为此宏块已经被编码处理) ，然后对预测值与实 际值的謦值进行编码，这样，辅j 对于d 接对该帧编码而等，可以人人减小码 苹。 赴帧内预测模式，h 预测块p 足基于己编码重建块和当前块形成的。列 亮度像索m 一，p 块j hj4 4 了块或者1 6 1 6 宏块的梢天操作。4 4 亮 度了块有9 种r 叮选预测模式如图25 ，包括1 种血流预测和8 种方向预测， 如i = | 2 6 所_ i 。柞图中，午h 邻块的a 剑i 共9 个像素均已经被编码，可以被 用以预测，如果我们选择模式4 ，那么，a 、b 、c 、d 4 个像素被预测为je 槲等的值，e 、f 、g 、h 4 个像素被预测为与f 相等的值。独预测每个4 4 亮度r 块，适_ l l j 于带有人量细节的幽像编码；1 6 1 6 亮度块_ j4 种预测 模，预测祭个1 6 x1 6 亮度块，适川于平j - r ! ：x l 域斟像编码：色度块也有4 种 预测模式，类似j1 6 x1 6 亮度块预测模式如图27 所示。编码器通常选择使 p 块驯编码块之0 一】差异垃小的预测模式。 ：咀 j l = 1 1 2 6 3 、m i ，e g 一4 等视频i 、缩编码标准中，帧内编码被引入变换 域。h2 6 4 帧内编码则参考预测块左方或者j ：3 - 的已编码块的邻近像素点， 微引入空f j 域。化是，如果参考预测块是帧例编码宏块，浚预测会参考块 的运动补偿日i 起鹾码扩敞。所以，参考块通常选取帧内编码的邻近块”。 萨萨萨谚器 萨慝驴 幽25l 帧内4 x 4 编码模式 哈尔滨t 程大学硕+ 学佛论文 蓄 图2 64 x 4 预测抽样编号 1 m o r i d ) 2 4 ) c 橱厦固厨 图271 6 1 6 的预测模式 2 2 3t - i 2 6 4 的帧间预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 帧间预测是利用已编码视频帧场和基于块的运动补偿的预测模式。与以往标 准帧间预测的区别在于块尺寸范围更广( 从1 6 1 6 到4 x 4 ) 、亚像素运动矢 量的使用( 亮度采用1 ，4 像素精度m v ) 及多参考帧的运用等等。h 2 6 4 的 运动补偿支持咀往的视频编码标准中的大部分关键特性，而且灵活地添加了 更多的功能，除了支持p 帧、b 帧外，h 2 6 4 还支持一种新的流问传送