（信号与信息处理专业论文）基于omap平台的avsm解码器设计.pdf

摘要 由于视频在多媒体通信中占有的重要地位，所以在智能手机等移动终端上实现 支持最新视频编码标准的解码功能就成为一项非常具有实际意义的工作本文的 主要内容在o m a p 平台上实现支持国产视频编码标准a v s m 的解码器正是 基于这个目的而作的一点尝试。a v s - m 是我国自主知识产权的第二代信源编码标 准信息技术先进音视频编码( 简称a v s ) 的第七部分，是专门面向移动视频 通信领域制定的。其编码效率达到了国际先进水平，而计算复杂度则更低。然而 现有的a v s m 参考程序仅是为了测试和学习，其结构松散，代码并没有进行优化。 并不合适实际工程应用。这严重影响了a v s m 标准的应用与推广。 本文的工作就是在分析、测试a v s - m 标准的基础上，设计了一个可用于通用 平台的解码程序，并将其移植到了硬件资源上，给出了在1 1 公司的开放式多媒体 应用平台0 m a p 上实现a v s m 解码器的一种方法。实验中使用的0 m a p 5 9 1 0 是一款 由a r m 9 和c 5 5 x 的d s p 构成的双核芯片，它很好的综合了a r m 的控制能力与d s p 的低功耗和强大的运算能力，可以实现原有的单一d s p 无法完成的更多更复杂的 服务 本文主要包括以下几部分内容： 介绍了视频编码的相关情况，简要回顾了编码标准的发展历程由于a v s m 是个新生的标准，因此文中详细介绍了其技术性能特点，并与h 2 6 4 的b a s e l i n e p r o f i l e 作了比较分析，通过试验测试对比了两种标准的编码性能。 通过分析解码器的复杂度，找到程序中比较耗时的部分，并针对这些影响解 码速度的瓶颈部分，利用算法上的改进和程序优化技巧在p c 端进行通用平台的程 序优化，新设计的解码器试验结果与原参考软件w m 2 a 相比，速度上有了明显的 提高 最后从p c 上移植c 程序到d s p 上，在0 m a p 平台上实现a v s - m 的解码方案 整个系统分三部分，首先利用p c 将编好的码流文件通过串口发送到o m a p 端， 由d s p 负责解码操作，a r m 端控制着数据的接收和图像显示移植过程中充分利 用d s p 的硬件结构如d m a 以及一些针对d s p 平台的优化手段来优化原有的算法， 最后得到了令人满意的实验结果。实验数据表明，这是一种在硬件平台上实现 a v s - m 解码器的有效方法 文章的最后一部分简要介绍了作者在硕士期间所做的另外一部分工作内容， 即提出了一种掌纹特征提取与识别的办法。掌纹识别作为一种重要的生物特征识 别方法，其中的一个重要环节就是掌纹特征的提取文中基于图像的多尺度分析 的思想，提出了一种利用平稳小波的局部极值点来提取掌纹线特征的方法并以 此为基础进行不同掌纹的匹配识别，方法简单而有效。 关键词：视频编码、a v s m ，解码器、优化、o m a p 、掌纹 当奎奎兰至圭主竺鲨茎 a b s t r a ( 、t a st h ev i d e ot a k e sa r ti m p o r t a n tp o s i t i o ni nt h em u l t i m e d i ac o m m u n i c a t i o n ，i th a s b e e naw o r kw i t hp r a c t i c a ls i g n i f i c a n c et or e a l i z et h ed e c o d i n gf u n c t i o nw h i c hs u p p o r t s t h en e w e s tv i d e oc o d i n gs t a n d a r d f o rt h i sp u r p o s ew em a d ea na t t e m p tt or e a l i z et h e d e c o d e rw h i c hs u p p o r t st h ed o m e s t i cv i d e oc o d i n gs t a n d a r do nt h eo m a p p l a t f o r ma s t h em a i nc o n t e n to ft h i st h e s i s a v s - mi st h es e v e n t hp a r to ft h es e c o n dg e n e r a t i o n s o u r c ec o d i n gs t a n d a r da v s ，a n dt h ei n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yo f w h i c hb e l o n g s t oo u rc o u n t r y t h i ss t a n d a r dw a sm a i n l ye s t a b l i s h e df o rt h em o b i l ev i d e o c o m m u n i c a t i o nf i e l d i t sc o d i n gp e r f o r m a n c eh a sa c h i e v e dt h ei n t e r n a t i o n a la d v a n c e d l e v e l ，w h i l et h ec o m p u t a t i o n a lc o m p l e x i t yi sm u c hl o w e r w i t hi t sl o o s es t r u c t u r ea n d n o n - o p t i m i z e dc o d e , t h en o wa v a i l a b l er e f e r e n c es o r w a r eo f a v s - mi s j u s tf o rt e s ta n d s t u d yp u r p o s ea n dn o ts u i t a b l ef o rp r a c t i c a lp r o j e c t t h i sp r e v e n t st h ea v s - m s t a n d a r d f r o mu s i n ga n ds p r e a d i n gs e r i o u s l y b a s e do nt h ea n a l y z i n ga n dt e s t i n ga b o u ta v s - ms t a n d a r d ，t h i st h e s i sm a i n l y e x p l o r e sad e c o d i n gp r o g r a ma d a p t a b l et o t h eg e n e r a lp l a t f o r m w h i c hc a nb e t r a n s p l a n t e dt ot h eh a r d w a r ep l a t f o r m ，a n dt h u si tm a k e st h ea v s - m d e c o d e ra v a i l a b l e o nt h eo p e l m u l t i m e d i aa p p l y i n gp l a t f o r m ( o m a p ) o ft ic o m p a n y t h eo m a p 5 9 1 0 u s e dh e r ei sak i n do f d u a lc o r ep r o c e s s o rw i t ht w oe o r e so f a r m 9a n dd s po f c 5 5 x i t s y n t h e s i z e dw e l lt h ec o n t r o l l i n ga b i l i t yo fa r ma sw e l l a sl o wp o w e rl o s sa n d c o m p u t i n ga b i l i t yo fd s em a n ym o r ec o m p l i c a t e ds e r v i c e sw h i c hc a n n o tb ea c h i e v e d b ys o l ed s p n o wc a nb ea c c o m p l i s h e d t h i st h e s i sm a i n l yi n c l u d e st h ef o l l o w i n g p a r t s ： t h ea u t h o ri n t r o d u c e st h er e l a t e di n f o r m a t i o no ft h ev i d e oc o d i n g , a sw e l la s “珀旧粥t h ed e v e l o p i n gc o u r s eo fc o d i n gs t a n d a r db r i e f l y f o rt h ea v s mi san e w s t a n d a r d ，t h et h e s i sg i v e s ad e t a i l e di n t r o d u c t i o no fi t st e c h n i c a lp e r f o r m a n c e c h a r a c t e r i s t i c s , a n dm a k e sac o m p a r e da n a l y s i sw i t ht h eh 2 6 4b a s o l i r mp r o f i l e , t h u s c o m p a r e st h ec o d i n gf u n c t i o no f t h nt w o s t a n d a r d st h r o u g ht h ee x p e r i m e n t a lt e s t s 山东大学硕士学位论文 f i n d i n gt h et i m e - c o n s u m i n gp a r tt h r o u g ht h ea n a l y s i so f c o m p l e x i t yo f t h ed e c o d e r , a n do p t i m i z et h ep r o g r a mo fg e n e r a lp l a t f o r ma tp ct e r m i n a li nv i e wo ft h eb o t t l e n e c k p a r tw h i c hi n f l u e n c e st h es p e e do fd e c o d i n g c o m p a r e dw i t ht h er e f e r e n c es o f t w a r e w m 2 4 ，t h e r ei sa l lo b v i o u se n h a n c ei ns p e e do f t h en e wd e s i g n e dd e c o d e r l a s t l yw ec a nt r a n s p l a n tcl a n g u a g ec o d ef r o mp ct od s p , a n dr e a l i z et h e d e c o d i n gp r o g r a mo f a v s mo nt h eo m a pp l a t f o r m t h ew h o l es y s t e mc 柚b ed i v i d e d i n t ot h r e ep a r t s f i r s tt h ee x i s t e dc o d es t r e a mf i l e sc a nb es e n tt oo m a pp o r tt h r o u g h s e r i a l - p o r to fp c ，d s pt a k e sc h a r g eo fd e c o d i n gp a r t , w h i l ea r m c o n t r o l st h et a s ko f r e c e i v i n gd a t aa n dd i s p l a y i n gp i c t u r e s d u r i n gt h ep r o c e s so ft r a n s p l a n t , t h ef o r m a l a l g o r i t h ma r eo p t i m i z e db yt h ef u l l yi 塔eo fd s p h a r d w a r es t r u c t u r es u c ha sd m a a q w e l la ss o m eo p t i m i z i n gw a y sb a s e d0 1 1d s p p l a t f o r m f i n a l l yas a t i s f y i n ge x p e r i m e n t r e s u l ti so b t a i n e d t h ee x p e r i m e n td a t aw eg o tr e v e a l e dt h a tt h i si sa ne f f e c t i v em e t h o d o f r e a l i z i n ga v s - m d e c o d e ro nt h eh a r d w a r ep l a t f o r m i nt h el a s tp a r to ft h et h e s i s ，t h ea u t h o ri a t r o d u c e sa n o t h e rw o r kw h i c hw a sd o n e d u r i n gt h em a s t e rs t a g e ：p r o p o s i n gaw a y t oe x t r a c ta n di d e n t i 毋t h ep a l m p r i n tf e a t u r e s p a l m p h n tr e c o g n i t i o n , a sa ni m p o r t a n tb i o m e t r i cm e t h o d o n eo ft h em o s ti m p o r t a n t p a r t so fi ti st h ef e a t u r ee x w a c t i o n h e r ean e wm e t h o dw a sp r o p o s e dt of x t r a c tt h e p a l m p r i n tl i n ef e a t u r eu s i n gt h el o c a le x t r c r n u w la f t e rt h es t a t i o n a r yw a v e l e tt r a n s f o r m o nt h eb a s i so f t h em u l t i - s c a l ea n a l y s i st h e o r yi nt h i st h e s i s f i n a l l yw em a k eaf e a t u r e m a t c hb a s e do nt h i s 1 1 1 i si sas i m p l eb u te f f e c t i v ew a y k e yw o r d s ：v i d e oc o d i n g , a v s - m ，d e c o d e r , o p t i m i z a t i o n ，o m a p , p a l m p r i n t 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：垒k 垫 e t 论文作者签名：耋巨型 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：弛导师签名：望俚聋一日 期：垄兰玺塑 目 山东大学硕士学位论文 第1 章绪论 1 1 引言 当今的时代是一个信息化的时代。在这个“信息爆炸”的时代里，科学技术 飞速发展，人们几乎时时刻刻都要接受、传递和处理着来自方方面面的信息。技 术的进步和社会的发展使得如电报、电话、电视等单一媒体提供的传统的单一服 务，已不满足现代社会中人们的需求。人们需要的是更大容量，更高速高效的信 息传播方式。因此，一种融合了文本、图像、音频、视频等多种内容的新的形式 多媒体信息便由于迎合了人们的这种需求而诞生并迅猛的发展起来。它的出 现和高速发展在相当大的程度上改变了人类的生活和工作方式，通信内容由以往 的文字通信、话音通信扩展到了当今的图像通信、数据通信；通信的对象也不仅 局限于人与人之间，而扩大到人与机器、机器与机器之间。多媒体技术己成为工 业界和学术界的一个研究热点。 视频是多媒体信息中一个非常重要的组成部分。与文字和听觉信息相比，视 觉信息具有以下优点： 确切性。同样的内容由听觉和视觉两种不同方式获取信息其效果是不同 的，后者显然比前者更容易确认，不易发生错误。这点在军事、工业指挥 等重要通信中具有重要意义； 直观性。同样内容信息通过图像获 取比声音或文字更为形象直观，印象深刻，易于理解； 高效性。由于视觉器官具有较高的图案识别能力，人们可在很短时间内， 通过视觉接受到比声音信息更丰富，超出文字描述能力的信息； 应用广泛。利用视觉得到的信息易于满足多种业务要求，如广播电视，视 频数据存储，宽带视频，实时通信，分组网络的多媒体业务等。 据统计，人类接受的信息大约7 0 来自视觉。由于视频信息具有如此众多的 优点。使得视频处理和通信得到了较快的发展，成为多媒体应用的主流，如视频 会议、可视图文、数字广播电视、视频点播系统、可视电话、远程监控等基于互 联网无线网宽带流媒体业务视频信息处理早期是模拟信号的处理，由于其数据 山东大学硕士学位论文 量大、效率低、传输不方便、不能压缩等等原因，最终被数字信号所代替。 1 2 视频编码基本原理 1 2 1 视频压缩的必要性 数字视频处理有很多的优点，为了取得高的分辨率，必须采用高的采样率， 这样造成原始信号的数据量非常大，需要占用庞大的资源进行存储处理和传输， 效率非常低【3 1 1 4 。而另一方面，现有的存储媒介和通信带宽都非常有限。这一巨大 矛盾的存在对视频压缩提出了很高的要求。以d v d 存储为例，假定输入视频格式 为d l ，大小3 5 2 x 2 8 8 ，采样格式为y u v 4 ：2 ：0 ，每采样点占用8 比特，帧率为3 0 f p s ， 则每秒钟视频数据大小为7 2 0 4 8 0 8 1 5 3 0 = 1 2 4 4 m b ，而每张d v d 容量为 4 7 g b ，仅能存储4 7 0 0 x 8 1 2 4 4 = 3 0 2 2 5 秒的视频文件。要存储2 小时的视频需要 进行 2 0 ：1 的压缩。可以看出，视频压缩是缓解网络带宽和存储空间限制，提高视 频信息存储和传输效率的重要手段，它的性能的优劣是制约多媒体技术发展的关 键问题之一。因此，如何在尽可能的保证图像质量的前提下最大限度的提高视频 图像的压缩率，就成为数字信号处理领域中一个非常重要的课题 1 2 2 视频压缩的可能性 多媒体视频信号可以压缩的主要根据为是原始视频数据当中存在大量的冗 余。所以减少视频信息中存在的相关性而保留相互独立的信息分量就成为视频压 缩的核心思想。研究视频信号中冗余消除方法，实现信息传输、存储和处理的有 效性和可靠性是视频编码的关键问题h 】。 原始视频数据中的冗余大体上可以分为以下几种： 空间冗余。在数字视频序列中，同一帧图像的临近象素的值( 亮度和色度) 在大 多数情况下差别不大。在对视频进行数字化采样的时候并没有利用这种现象，而 是原原本本的记录了每一个象素的值，这就造成了数据的冗余。利用象素的这种 相关性可以有效地减少数据的长度。例如游程编码( r u nl e n g t hc o d i n g ) ，各种变换 编码，以及帧内预测编码等都利用了象素的空间相关性。 时间冗余。视频序列是由连续的图像组成的，采样的帧速率一般为2 5 或3 0 帧每秒。在这么短的时间间隔内，图像的内容变化一般是不大的。在一帧的时间 2 山东大学硕士学位论文 间隔内，人们测得：对于变化较为剧烈的彩色电视图像序列，亮度信号( 2 5 6 级) 帧 间差值超过6 的象素数平均只有7 5 ，而色度信号平均只有o 7 5 。因此相邻两 帧图像的象素之间有较强的相关性。在原始数据中完整地记录了每一帧图像的每 一个象素的值，这就造成了数据的冗余。去除数据中的时间冗余一般采用帧间预 测加运动补偿的方法，也有一些三维变换方法。空间冗余和时问冗余由于都与图 像的统计性能有关，故也统称为统计冗余。 知觉冗余。知觉冗余是指原始数据中包含了一些人们感觉不到的信息。这主 要是由人类视觉系统特性决定的。首先在某些数字化过程中，出于高保真的要求， 保留了一些出于人类视觉分辨力以下的信号。再比如：人的眼睛对色度在空间、 时间、饱和度上的分辨力都要比亮度弱很多，这在视频序列采样时利用得并不彻 底，仍然存在大量的视觉冗余。视频最终是给人看的，因此超过视觉分辨能力的 高保真度要求就没有必要。 信息熵冗余又称为编码冗余。把原始数据看作由符号组成的序列，各个符 号在原始数中出现的频率是不同的。在原始数据中都是用相同的二进制位数来表 示各个符号，无形中增加了总体数据的长度。采用熵编码的方法，根据各个符号 出现的频率，用较少的二进制位数表示出现频率高的符号，用较多的位数表示出 现频率低的符号，可以有效地减少数据的总长度，去除信息熵冗余。 结构冗余。有些图像或者图像的一部分存在内在的结构，例如某些纹理图像 是由很小的单元不断重复构成的，还有些由山脉、海岸线、以及某些有分形特 征的图形组成的图像。利用这些图像的结构，可以达到很大的压缩比。利用图像 结构冗余的压缩方法最典型的是分形方法。 1 3a v s m 标准简介 a v s 标准是信息技术先进音视频编码系列标准的简称【1 3 ”6 1 ，是基于我国 创新技术和国际上部分公开技术研究制定的，是我国具备自主知识产权的第二代 信源编码标准。其中的第七部分称为a v s m ，是针对移动视频通信领域的标准。 a v s - m 是为了适应数字存储媒体、网络流媒体、多媒体通信等应用中对运动图像 压缩技术的需要而制定的，主要适用领域包括：交互存储媒体，宽带视频业务， 分组网络的多媒体业务，实时通信业务，远程视频监控等由于在这一领域对移 山东大学硕士学位论文 动性和实时性的特殊要求使得该标准在采用了一系列提高效率的技术基础上尽可 能的降低计算复杂度，与高清晰度电视等领域所要求的视频标准有所区别。由于 a v s m 标准的耳标针对性强，因此在这一领域它比h 2 6 4 编码复杂度低2 0 0 o - 3 0 。 另外，标准较好地满足了移动应用对功耗和内存不能太大等方面的需求，因此更 容易在实际角度上实现。对这一新标准的更详细介绍将在第二章中给出。 1 4 0 m a p 概述 随着人们生活水平的提高，移动通信要求宽带化、智能化和多媒体化，这些 给信号处理提出了更高的要求。由于数字信号处理技术与集成电路的发展， 数字信号处理器( d s p ) 在实时信号处理领域扮演着重要角色。虽然d s p 芯片在数据 处理方面具有得天独厚的优势，但其事务处理能力较弱，对于当今的移动通信设 备，一片d s p 难以达到系统处理能力的要求。比如现在使用的第二代数字移动手机， 一片d s p 只能进行信源和信道方面的处理，不能处理和控制高层信令。只有与另外 的c p u 相结合，才能完成整个处理任务。美国德州仪器( t e x a si n s t r u m e n t s ，简称 t i ) 公司根据市场需求，推出了适合第三代移动通信应用的开放式多媒体应用平台 ( o p e nm u l t i m e d i aa p p l i c a t i o n sp l a t f o r m ，简称o m a p ) ，它采用一种独特的双核 结构，把高性能低功耗的d s p 核与控制性能强的a r m 微处理器结合起来，成为一颗 高度整合性s o c ，是一种开放式的、可编程的基于d s p 的体系结构。o m a p 综合了a 跚 的控制能力与d s p 的运算能力，可以实现单一d s p 无法完成的更多更复杂的服务， 如实时视频交互等。总的说来，结构独特的o m a p 具有如下几个特点： 1 ) 节省硬件功耗。o i a p 在一个芯片内集成g p p 核与d s p 核，减少了额外的功耗， 且各部分可以独立地进行时钟管理，有效地控制功耗。 2 ) 具有可编程性。o m a p 的实现主要依赖于两个可编程的微处理器核，通过改 写程序就可以完全改变其功能。 3 ) 开放性好。o m a p 本身是一种具有标准接口的开放式体系结构，这个体系结 构可以使用第三方开发的新程序和新功能。其标准化的接口允许软件很容易地从 一个平台移植到另一平台，支持代码的重复使用。o i w a p 的这些优点使得它在移动 通信和多媒体信号处理方面具有明显优势，非常适合应用在小巧的移动通信终端 上面 山东大学硕士学位论文 1 5 论文选题背景及意义 近年来，移动通信在人们的生活中占据着越来越重要的位置。第三代移动通 信( 3 g ) 技术的逐步成熟使得无线网络能够提供更大的带宽，这使得在无线网络 上视频实时交互、电视直播和网络游戏等应用变的可能。同时，以微处理器为代 表的大规模集成电路技术的进步以及嵌入式技术的发展，推动了移动终端如智能 手机、p d a 等产品的革新。随着手机市场的不断发展，越来越多的用户已不仅仅 满足于单纯的语音应用，而是希望自己手中的手机是个多媒体终端，不仅能支 持数据、语音和图像服务以及丰富的软件应用，还可随时随地发彩信、进行多媒 体交互游戏、实时播放m p 3 音乐或流媒体以及高速上网浏览。而智能手机正是具 备所有特征的新型载体。智能手机集语音通讯、多媒体与电脑功能于一体，代表 三者融合的方向，随着第三代移动通信时代的到来，高端智能手机将在今后数年 内成为市场主流产品。目前已经有很多手持设备具有了原来p c 机才具有的功能。 通过对消费者在选择智能手机产品功能上的偏好性调查显示，视频功能已成为仅 次于上网浏览和收发邮件的第三大功能需求，而且这一功能随着网络的完善还会 不断增长。因此在手持设备上进行支持最新编码标准的视频编解码软件的开发也 成为研究的热点。 视频解码软件在视频产业链上占据特殊地位：它们是任何视频应用必需的， 是影响一个标准能否顺利推行的重要问题。在3 g 的手机播放器市场上，开发出自 主的播放软件和编解码软件对推动我国的3 g 产业，甚至整个音视频产业有着关键 的作用。国内运营商也表示要支持我国自主的音视频标准a v s ，但同时提出应该及 时提供产品。因此开发出相关的产品a v s 播放软件和编解码软件，成为推动 a v s 发展迫在眉捷的任务。本设计“a v s m 标准的手机实时解码软件算法优 化及o m a p 实现”即是在这个应用背景下产生的。本课题来源于山东大学与海信集 团合作项目。该项目的应用领域定位是未来3 g 时代的智能手机等移动终端。 1 6 本文结构安排 本文的主要内容是在分析a v s m 解码器各部分的复杂度的基础上重新设计了 通用平台上的解码程序，并最终给出了一种在o m a p 5 9 l o 平台上实现a v s m 解码 山东大学硕士学位论文 器的解决方案。全文共分六章 第一章为绪论，简要介绍了视频编码的相关背景知识，并对a v s - m 标准和 o m a p 平台作了简单描述。分析了本选题的研究意义和来源，指出全文研究内容。 第二章简单回顾了视频编码标准的发展历程，并对我国最新的a v s m 标准的 技术特点作了详细介绍，并与国际上最先进的h 2 6 4 作了性能比对分析。 第三章分析了解码器的复杂度，并在此基础上采用多种优化策略重新设计了 通用平台上的解码软件。 第四章给出了在0 1 4 a p 平台上实现a v s m 解码器的详细方案，包括在移植过程中 利用的各种优化措施等。 第五章介绍了作者另外一部分的工作内容，即提出了一种基于平稳小波变换 的掌纹图像特征提取与识别方法。 第六章总结了全文，并指出了本工作今后的改进方向。 6 第2 章视频编码标准简介与a v s m 技术说明 2 1 视频编码标准发展简介 标准化是产业化活动成功的前提f i - 7 同其它一些技术一样，视频编码若要得 到更广范围的认可和应用，实现不同厂商，不同类型产品之间的交互，就必须要 有被广泛认可的通用标准。视频压缩编码的标准从1 9 8 4 年c o t t ( 国际电报电话 咨询委员会) 成立专家组开始研究，至今己经有近2 0 年的历史了。当前的视频编码 领域有两大制定编码标准的国际组织：一个是国际标准化组织( i s o ) 和国际电子 技术委员会( i e c ) 旗下的运动图像专家组m p e g ；另一个组织是国际电信联盟的 电信标准分部( i t u - t ) 的视频编码专家组v c e g 。两个标准组织制定的一系列视 频标准的大体发展情况参见表图2 1 。 国口! 日习! | 鲎ie 习! 曰1 1 9 8 41 雠1 9 髓t 9 9 0l 9 9 2t 9 9 4l 9 9 6l 9 9 82 02 0 0 2 为o 图2 1 视频编码国际标准发展情况 其中h 2 6 l 即是目前的h 2 6 4 a v c 的前身。此外，在1 9 9 9 年1 月公布了 m e g 4 标准之后，m p e g 组织制定了m p e g 7 “多媒体内容描述接口”2 0 0 0 年 3 月成立的m p e g - 2 l 工作组还在酝酿制定m p e g - 2 1 标准，其核心目标是使数字 多媒体信息资源能被大范围的网络和设备透明和增值地使用。这两大组织的标准 分别针对不同应用需求：i t u - t 的h 2 6 x 系列标准主要面向低码率的实时视频通 信，如视频会议、视频电话或视频监控；i s o i e c 的m p e g 系列标准主要是面向 视频存储、视频广播和流媒体( s t r e a m i n gm e d i a ) 等对图像质量要求较高的应用领 域。下面就对这两大类标准作一个简单回顾 7 山东大学硕士学位论文 - - _ _ - _ _ - - _ _ - _ - _ - - _ - - ，_ _ _ _ e | _ _ 目e = | = _ e = - - - _ _ 一i - - - - - _ _ - _ _ _ - 日_ _ 2 i ih 2 6 x 系列标准视频简介 nh 2 6 1 h 2 6 1 于1 9 9 0 年制定，是第一个获得广泛应用的视频编码标准。是i s d n 视 频电话和视频会议系统的国际标准。它支持c i f 或者q c i f 格式图像，7 5 到3 0 h z 的帧率支持传输比特率为p 6 4 k b p s ( p = l ，3 0 ) ，典型应用是包括音频在内 1 2 8 k b p s ，该码率下运动较少的场景的图像质量可以接受。h 2 6 1 标准具有以下两 个方面的突出贡献： 1 统一了图像格式。h 2 6 1 采用了与电视制式无关的图像格式。无论哪种制式的 视频信号进入编解码器之后，都要转换成公共中间格式( c o m m o ni n t e r m e d i a t e f o r m a t , c i e 3 5 2 x 2 8 8 ) 或q o f ( q u a r t e r - c i f , 1 7 6 x1 4 4 ) 这两种图像格式进行处理， 每帧图像分成图像层、宏块组层、宏块( m b ) 层、块( b l o c k ) 层来处理。 2 解决了编码算法问题。h 2 6 1 是最早的运动图像压缩标准，采用两种编码方式： 帧间编码和帧内编码。它提出了混合编码方案，即分别采用运动补偿( m o t i o n c o m p e n s a t i o n ) 消除视频信号的时域冗余及采用离散余弦变换( d c t ) 消除视频信号 的空间冗余，并且详细制定了视频编码的各个部分。 h 2 6 1 编码的基本单元宏块的尺寸为1 6 1 6 ，图像采样格式为4 ：2 ：0 ，也就是 一个宏块包括4 个亮度块和2 个色度块。- 这种以块为单位的编码思想一直被以后 的编码标准所沿用。运动补偿为整数象素精度，运动矢量的搜索范围在1 6 到1 6 之间，运动矢量采用差分编码，预测残差块作8x8 d c t ，对水平和垂直块边缘采 用 1 4 ，1 2 ，i 4 的自适应滤波器去除方块效应。熵编码采用( r u n ，l e v e l ) 对的变长编 码。帧内预测、帧间预测、运动补偿、d c t 、变字长编码等技术都为后来的诸如 m p e g 1 2 等视频压缩标准提供了基础。 2 ) h 2 6 3 h 2 6 3 在1 9 9 6 年正式成为国际标准，主要日标对象是传输码率低于6 4 k b p s 的 窄带信道( 例如公共模拟电话网) 上的视频会议和可视电话等应用领域。模拟用户电 话线上传输可视电话的国际标准支持c i f 、q c f 、s u b - q c i f ( 1 2 8x 9 6 ) 格式图 像，帧率通常低于1 0 h z ，p s t n 上的典型应用是2 0 k b p s 试验证明：在相同的主 观质量下，h 2 6 3 编码后的码率仅为h 2 6 1 的一半h 2 6 3 的编码流程与h 2 6 1 非 山东大学硕士学位论文 常相似，但仍有很多改进之处：半象素的运动补偿精度更高，优化了熵编码时的 v l c 表，采用3 - d ( l a s t - r u n l e v e l ) 而不是2 - d ( r u n - l e v e l ) 游程编码，可选 的重复头信息以提高误码恢复能力，运动矢量编码中的2 d 中值预测等。在它的 附件中还支持一些强大的可选功能，包括不受限制的运动矢量，基于语法的算术 编码，更先进的预测模式( 如采用块重叠的运动补偿方法来消除边界效应；它允 许将一个宏块分成四个块分别进行运动估计和补偿) ，引进了m p e g 中的双向预测 的概念，即包括p 帧和b 帧。在h 2 6 3 + + 中支持更多的可选技术。 2 1 2m p e g 系列标准视频简介 1 ) m p e g - i 肝e g 一1 标准于1 9 9 1 年起草，1 9 9 2 年正式成为国际标准。它的目标码率为 0 8 k b p s l5 j 娜o p s ，支持c i f 格式的视频图像，不支持场图像，帧率在2 4 到3 0 f p s 。 m p e c - - 1 中按照图像组的机制( c o p ) 组织编码图像序列，方便随机读取一个c o p 中 包含一个i 帧，帧之间可以插入b 帧。对i 帧，m p e g - i 采用帧内编码模式；p 帧 采用基于运动补偿的预测技术；b 帧编码有两个相邻的预测参考帧。可以有一个前 向预测或一个后向预测或两个预测结果的平均。 设计的通用性和开发的灵活性使得m p e g 1 获得了成功。它广泛应用于从 c d r o m 上的交互系统到通信网络上的视频传输等各个领域。 2 ) m p e g 2 ( h 2 6 2 ) m p e g 0 2 标准是由i s o i e c 和删- t 联合制定的第一个国际标准。1 9 9 3 年1 1 月m e p g 提出m p e g - 2 建议草案，一年后成为国际标准。m e p g - 2 主要是针对码 率在3 - - 1 0 m b i f f s 的运动图像及其伴音的编码标准，其中视频编码部分即h 2 6 2 。 它能提供广播级的视频图像，在n t s c 制式下的分辨率可达7 2 0 x 4 8 0 相对于 m p e g 1 ，增加了对场图像的编码功能。通过采用不同的量化方式和v l c 表设计， 进一步提高编码性能，增加了多种可伸缩编码模式等。 对大多数应用来说，没有必要实现m p e g - 2 的所有语法为此，m p e g - 2 引 入了类( p r o f i l e ) 的l 概念定义功能，引入了级( 1 e v e l ) 概念限制码流参数。它们是通过 确定码流中相应的头信息( h e a d ) 及附加信息中的有关参数来给定的，其中一个主 要的组合是m p m l ( m a i np r o f i l e m a i nl e v e l ) 。因此m p e g - 2 可满足不同的图像分 9 山东大学硕士学位论文 _ _ _ _ - j _ | | = ，t j _ _ = _ | ! j 一i _ _ _ 辨率及相应的存储成本和处理速度的需要，并且为比特流交换、兼容性等提供了 可能性。因此，m p e g - 2 标准能广泛应用于存储媒体、会议电视，可视电话、数字 电视、高清晰度电视、广播、通信、网络等应用领域m p e g - 2 是d v d 的核心标 准，也是目前技术上最成熟，应用最广泛的工业标准。 3 1m p e g 4 1 9 9 8 年1 1 月m p e g 提出了低数码率视频，音频编码和多媒体通讯的m p e g - 4 建议草案。它的正式名称为i s o i e c l 4 4 9 6 ( 音视频对象通用编码) 。m p e g - 4 的目标 定义大致考虑两个方面：一是极低比特率下的多媒体通信；二是多媒体通信的融合， 主要有通信业、计算机业、消费类电子业和娱乐影视业。因而，一方面，m p e g - 4 要求有高效的压缩编码方法；另一方面，m p e g - 4 要求有独立于网络的基于视频和 音频对象( a ! v ) 的交互性 m p e g - 4 有两个重要特征：( 1 ) 它是一个通用标准，适用于很大码率范围内( 如 从5 k b p s 到l o m b p s ) ，不同图像格式( 隔行或逐行) 、图像分辨率( s q c i f 到超出t v 的大小) ，帧率( 静态图像和商帧率) ，通信网络( 有线或无线) 、输入素材( 人工或合 成) 等等。( 2 ) 它使用基于对象的表示方式，场景都按对象方式表示、编码、处理。 这是区别于已有基于块编码标准的重要特征。 m p e g - - 4 具有很强的可伸缩性和抗误码性，可广泛应用于实时监控、移动多媒 体通信，i n t c r n c t 上的视频流与可视游戏、演播室和电视的节目制作等各种多媒体 交互领域。 4 、m p e g - 7 由于视频和音频等多媒体数据数据量庞大，又不具有天然结构特征，因此要 快速方便地搜索信息，传统的基于关键字或者文件名的检索方法显然是不合适的。 m p e g 7 正是一种新的支持多媒体信息基于内容的描述和检索的编码方案。它并不 兼容以前的编码标准，而是以前标准的扩展和延伸，正式名称为“多媒体内容描 述接口”。m p e g 7 可快速且有效地搜索出用户所需的不同类型的多媒体资料。它 的应用很广泛，既可以用于存储( 在线或离线) ，也可以用于流式应用( 如广播、将 模型加入i n t e m e t 等) 。 i o 山东大学硕士学位论文 2 1 3h 2 “，m p e g - 4p a r t l 0 h 2 6 4 是当前视频编码领域里最新的国际标准睁12 1 。它是由i s o f l e c 的m p e g 与i t u - t 在2 0 0 1 年成立联合视频工作簦 ( j o i n t v i d e o t e a m ，j v r ) 制定的，2 0 0 3 年发 布。其前身是1 9 9 9 年i t u t 以h 2 6 3 为基础开始研究的低码率视频压缩标准 h 2 6 l 。在i s o i e c 中，该标准的正式名称为m p e g - 4 a v c ( a d v a n c e x tv i d e oc o d i r i 曲 标准，作为m p e g - 4 标准的第十部分；在i t u t 中的正式名称为h 2 6 4 标准。h 2 6 4 是目前技术最先进，编码效率最高的一个视频压缩标准。从整个框架上来看，h 2 6 4 和先前的标准没有太大差别，都包含预测、变换、量化和熵编码这几个功能单元。 而且把之前的标准中一些已经被证明行之有效的可选模式继承了下来，比如算术 编码，双向预测等，但在每个功能单元的细节