（电路与系统专业论文）基于adi+bf533的mpeg4+sp视频解码系统的研究.pdf

硕+ 学位论文 摘要 近年来m p e g 一4 以低码率、基于对象的交互性等优点在多媒体领域表现出 巨大的应用潜力。它在基于内容的视频对象甚低比特率视频核的基础上，引入 大量的新技术，从而具有比m p e g 1 2 明显优越的压缩性能。基于简单框架的 m p e g 4 视频标准兼顾了码率与视频质量的要求，能在低码率、高压缩比的情 况下获得较高的图像质量，并且其计算复杂度较其他框架低，因此己经成为 m p e g 4 应用的主流。 本文通过对m p e g 一4 视频解码算法的仔细研究，以及基于当前视频解码系 统各种设计方案的分析和比较，设计开发了一种基于a d id s pb f 5 3 3 的嵌入 式m p e g 4s p 解码系统。 首先，本文系统地研究了视频压缩理论、m p e g 一4 视频部分的关键技术以 及层次化的视频数据结构，重点研究了m p e g 4s p 视频流解码的算法；其次， 设计开发了基于a d ib 1 a c k f i nd s pb f 5 3 3 的m p e g 4s p 视频解码系统的硬件 总体框架，详细说明了各个模块的设计方法，给出了各模块的硬件原理图：再 次，根据m p e g 一4 视频解码的流程，对软件的总体结构进行了设计，选取了适 合本系统的v l d 、i d c t 算法。最后，根据b f 5 3 3 的存储结构特点，详细规划 数据、代码的存储空间分配以及数据流的组织，并根据a d s p b f 5 3 3 系统的硬 件及编译系统特点，对m p e g 一4 解码关键模块进行了优化，满足视频解码的实 时性要求。 经过测试，本系统的解码速度己经达到人眼视觉系统可以接受的连续图像 速率2 5 帧秒。本系统达到了基于b f 5 3 3 开发设计视频解码系统的要求。 关艇词：m p e g 一4 ：视频解谒：简单框架：b ia c k f ind s p i i 基予a d ib f 5 3 3 的m p e g 。4s p 税频解码系统的研究 a b s t r a c t b yu s i n gal a r g en u m b e ro fn e wt e c h n o l o g i e s ，m p e g 一4h a sm o r es u p e “o r c o m p r e s s i o np e r f o r m a n c et h a nm p e g l 2 t h e s m p l ep r o 蠡l eo f 豫em p e g 4 v i d e os t a n d a r dh a sg i v e nd l l a la t t e n t i o nt ot h ec o d er a t ea n dt h ev i d 。oq u a l i t y r e q u e s t ，i tc a no b t a i n st h eh i g hq u a i i t yi nt h es i t u a t i o no ft h ol o wc o d er a t ea n dt h e h i 曲c o m p r e s s i o n ，a n di t sc o m p u t a t i o ni sl o w e rt h a no t h e rp r o f i l e s ，t h e r e f o r ei t b e c o m e st h em a i na p p l i c a t i o no fm p e g 4 t h ee m b e d d e dv i d e od e c o d e rn o to n l y e a nb ea p p l i e dt ot h ef h m i l ym u l t 主】_ n e d i at e r m i n a ld e v i c e st h a ta l s oa p p l i e dt ot 圭l e i n d e p e n d e n tv i s u a lt e l e p h o n es y s t e m s ，s m a l lh a n d h o l dd e v i c e s 。l o wc o s t ，p o r t a b l e ， h i g h e f 珏c i e n te m b e d d e dv i d e od e c o d ep l a t f o r mh a v em a r k e t t h r o u g hr e s e a r e ha n da n a l y s i sd e e o d ea l g o f i t l l m s ，c o m p a r i s o nt h ed e s i g no f p r e s e n t v i d e od e c o d e ss y s t e mo fm p e g 一4v i d e o ，t h i sa r t i c l e d e s i g n e da n d d e v e l o p e dak i n do fe l n b o d d e dm p e g 一4s pv i d e od e c o d e rs y s t e mb a s e do na d i d s pb f 5 3 3 f i r s t l y ，t h i sa r t i c l e h a ss t u d i e dt h ev i d e oc o m p r e s s i o nt h e o r y ，t h em p e g 一4 v i d e oe s s e n t i a lt e c h n o l o g i e sa sw e l la st h ec o 硅s t f u c t i o no fd a t a ，s t u d i e dm p e g 一4 s pd e c o d i n ga l g o f i t h m s e c o n d l y ，d e v e l o p e dt h eh a r d w a r eo ft h em p e g 一4s p v i d e od e c o d i n gs y s t e mb a s e do na d lb l a c k 蠡nd s pb f 5 3 3 ，h a sp r o d u c e dv a r i o u s h a r d w a r es c h e m a t i c d i a g r a m t h i r d l y ，a c c o r d i n g t 0t h em p e g 一4v i d e o d e c o d i n g ，h a sd e s i g n e dt h es o f t w a r es t r u c t u r e ，s e l e c t e ds u i l e dv l d ，t h el d c t a l g o r i t h m f i n a l l y ，a c c o r d i n gt ot h eb f 5 3 3m e m o r yu n i q u ef c a t u r e ，p l a n st h od a t a ， t h ec o d es t o r a g es p a c ea s s i g n m e n t 最sw e l la st 圭l ed a t as t r e a mo r g a n i z a t i o n ，a n d a c c o r d i n g t ot 量l ea d s p b f 5 3 3 s y s t e m h 鑫r d w a f ea n dt h e c o m p i l i n gs y s t e m c h a r a c t e r i s t i c ，o p t i m i z e d e c o d e dt h eo s s e n t i a l m p e g - 4 ， s a t i s 是e dt h ev i d e o d e c od i n gs y s t e mi nt h et i m e l yr e q u e s t a f t e rt h et e s t ，t h i se m b e d d e dv i d e od e c o d i n gs y s t e mb a s e do nb f 5 3 3h a s m a n a g e dt od e c o d et h ev i d e oi nr e a lt i m e ， 薹( e y w o r d s ：m p e g 一4 ；v i d e od e c o d e r ；s i m p l ep f o 嚣l e ；8 l a c k 基nd s p i i i 湖南大学 学位论文原创性声明 本人郑重声明：所莹交雏论文是本人在导师的指导下独立进行磷究所 驭得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出藿要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：彳雕l 日期：知年，月 f 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使耀学位论文的规定，圄意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可数采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l 、保密口，在3年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“_ ”) 作者签名：嗍广 国期：域年f 冀 目 聊签名缘坤鸪醐：脚，月f 日 1 1 研究背景与意义 第1 章绪论 伴随人类社会的发展，多媒体信息己经成为人类生活不可缺少的部分。在 多媒体信息处理过程中，人们的基本需求是能够动态实时的获取、处理、传输 和回放图形、图像、动画、视频及声音等多种媒体信息。其中，人们对视频信 息的需求更是日益增长，尤其是在视频通信、消费类娱乐电子和互联网视频领 域，然而对于这些数字化后的信息，尤其是视频信息，数据量十分庞大。例如， 一秒钟的“电视质量”的数字视频信息需要2 1 6 m b 的存储或传输容量，一部2 小时的电影( 未经压缩) 要占用1 9 4 g b 的空间，相当于4 2 张d v d 光盘或3 0 6 张c d 光盘。如此海量的数据信息给系统的存储能力、处理速度以及通信网络 的传输带宽带来了相当大的困难，因此为了实际的应用，必须对视频信号进行 大幅度的压缩，在保证图像质量的前提下，最大限度地降低图像数据量，以利 于视频的存储和传输。m p e g 【1 l 组织制订的一系列标准做出了巨大贡献( m p e g 标准不仅包括视频标准，还包括音频、系统等标准) 。 近年来m p e g 4 以其低码率、基于对象的交互性等优点在多媒体领域表现 出巨大的应用潜力。m p e g 4 视频的特点是低码率和可交互性，在提出基于内 容的视频对象v l b v ( v e r yl o wb i t r a t ev i d e o ，甚低比特率视频) 核的基础上， m p e g 4 引入大量的新技术，从而具有比m p e g 1 ，2 明显优越的压缩性能，并 且第一次具备对具体的视频对象进行交互式访问和操作的能力，同时具有更强 的抗错能力。 m p e g 4 视频标准中的简单框架( s i m p l ep r o f i l e ，s p ) 兼顾了码率与视频质量 的要求，能在低码率、高压缩比的情况下获得较高的图像质量，并且其计算复 杂度较其他框架低，因此已经成为m p e g 4 应用的主流。 在2 0 0 3 年开始微软和英特尔力推的p m p ( 便携式媒体播放器) 计划中， m p e g 4 视频播放更是其中的关键技术之一。虽然p c 平台的m p e g 一4 播放软 件己有不少，但是嵌入式产品的m p e g 4 视频播放器仍处于起步阶段。随着数 字信号处理器d s p 的高速发展，为实现高效的视频信号处理提供了可能性。 将m p e g 4 算法在高速d s p 平台上实时实现是目前多媒体信号处理研究领域 的一个热点问题。 嵌入式视频播放器不但可以应用于家庭多媒体终端设备中，还可以应用于 独立的可视电话系统、小巧的手持设备中。设计低成本、便携、高效的嵌入式 视频解码平台有重要的意义，并有很好的市场应用潜力。 基于a d lb f 5 3 3 的m p e g - 4s p 视频解码系统的研究 1 2 研究现状 ，2 1 视频技术的发展状况 1 9 4 8 年，0 l i v e 提出了第一个编码理论一一脉冲编码调制( p u l s ec o d i n g m o d u ia l i o n ，衡称p c m 。同年，s l l a n n o n 的经典论文“通信的数学原理”酋次提出 并建立了傣惑搴失真函数檄念。1 9 5 9 年，s h a n 魏o n 避一步确立了信患率失真理 论，以上工作奠定了信息编码的理论基础。 “第一代”褫频编码技术主要以颈测编码、交换缡码和统计缡妈三大经翅编 码方法为基础。它们都是非常优秀的纹理编码方案，能够在中等压缩攀的j | 辇况 下，提供非常好的图像质量，但在非常高的匿缩率情况下，无法为一般的序列 提供令人满意的质量。八十年代初期，“第一代”编蜗技术已经达到了顶峰，这 类技术去除客观和视觉冗余信息的能力已接近极限。究其原因是由于这些技术 都没鸯利焉图像的结构特点，因诧它们氇就只能毅象素或块作为编码的对象， 另外，这然技术在设计编码器时也没有考虑人类视擞系统的特性。 “第二代”撬频鳊秘技术是k u n t 等人于1 9 8 5 年键戳，主妥是为了克服“第一 代”视频愿缩编码技术的局限性。“第一代”编硝技术只是以信息论和数字信号 处理技术为理论基础，旨在去除图像数据中的线性相关性的一类编码技术，其 压缩比不离，大约在1 0 ：l 左右。而“第二代”编码技术不局限于信息论的框架， 要充分利辩j 入的视觉袅理、心理和图像信源的各种特征，实现从“波形”编码到 “模型”编码的转变，以便获得更黉压缩比。其压缩比多在3 0 ：l 歪7 0 ：1 之间，有 的菇至高达1 0 0 ：l 。“第二代”编码方法主要有：基于分形的编码、基于模型的编 稻、基于区域分割的编秘积基于神经隧络豹编羁等。“第二代”编码方法充分零j 用了计算机图形学、计算机视觉、人工智能与模式识别等相关学科的研究成果， 为视频图像压缩编码开拓出了广阔的前景。 由于“第二代”编碣方法增加了分 柝的难度，从箍大大增加了实现的复杂性，因此在视频压缩编娼中的应用磷究 进震缓慢，目前多与其值方法结合使搦。但因为巨大压缩性能的潜力，人们都 在致力于这些耨方法豹研究之中。 近年来，出现了一类充分利用人类视觉特性的“多分辨率编码”方法，如子 带编码、塔形缡码霸基于小波变换的编玛。这类方法使用不同类型的维或二 维线性数字滤波器，对视频图像进行熬体的分解，然后根据人类视觉特性对不 同频段的数据进行粗细不同的量化处理，以达到更好的压缩效果。这类方法原 理e 仍属于线性处理，属于“波形”编码，可归入经典编码方法，但它们又充分 利用了人类视觉系统的特性，因此可以被看作是“第一代”编码技术向“第二代” 编码技术过渡豹桥梁。 视频压缩编码标准的制定工作主要是由国际标准化组织( i n t e r n a t i o n a l s t a n d a r d i z a t i o n 0 f g a n i z a t i o n ，l s o )和 t e l e c o m m u n i c a t i o nu n i o n ，i t u ) 完成的。 国际电信联盟f i n t e r n a t i o n a l 由i t u 组织制定的标准主要是针对实时 视频通讯的应用，如视频会议葙可视电诿等，它们以 王2 6 x 命名：蔼由i s o 和i e c ( i n t e r n a t i o n a le l o c t r ot e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的莛同委员会中 的m p e g 组织( m o v i n gp i c t u r ee x p e r tg r o u p ) 制定的标准主要针对视频数据的存 储( 如v c d 和d v d ) 、广播电视和视频流的网络传输等应用，它们以m e p g x 命 名。 ( 1 ) m p e g 1 2 l m p e g l 制定于1 9 9 2 年，是为工业级标准而设计，可适用于不同带宽的 设备，如c d r o m 、v i d e o - c d 、c d r 等。主要针对1 5 m b p s 以下的数字存储 媒质运动图像及墓伴音编码的国际标准，它用于在c d r o m 。t 存储同步和彩 色运动视频信号，传输速率为1 5 m b p s ，每秒能够播放3 0 帧，具宥c d ( 指激光 唱盘) 音质，可以优化为中等分辨率，质繁级别基本与v h s 相当。 ( 2 ) m p e g 2 【3 1 m p e g 一2 标准的制定从1 9 9 0 年7 月开始，经过四年半到1 9 9 4 年1 1 月完 成标准。它的结构与m p e g 1 相似，增加了新的补充部分。 m p e g 一2 标准的设计耳标是毫级工业标准豹图象质量以及更高的传输率。 因为m p e g 2 可以提供一个较广的范围改变压缩比，以适应不同酒面质量、存 储容精以及带宽的要求，所以除了作为d v d 的指定标准外，m p e g 2 还可用 于为广播、有线电视网、电缆网络以及卫星直播( d i r e c tb f o a d c a s ts a t e l l i t e ) 提 供广播级豹数字视频。 f 31m p e g 4 【4 】【5 】 6 l m p e g 组织在1 9 9 3 年7 月开始了m p e g 4 “视脊频对象编码”的研究，并 子1 9 9 9 年5 月形成国嚣标壤。它是一种基于对象的视、音频编码撅准。m p e g 4 的本意是制定甚低比特率的视音频压缩编码标准，如在电话线上传输视频和港 频数据。为了满足现在越来越多的视听材料要以数字形式进行相互交换而产生 的各种需求，它所包含的内容和将要起的作用己经远远超出了最初豹设计思 怒。m p e g 4 不褥是一个单纯的褫音频编解码标准，它更多定义的是一种格式、 框架，而不是具体算法，为多媒体数据压缩提供了一个更为广阔的平台，允许 在系统中加入新的算法，为用计算机软件编解码提供了更大的方便。 f 4 1h 。2 6 4 i 7 j 瞵j 2 0 0 1 年7 月，m p e g 对a d v a n c e dv i d e oc o d i n g 进行招标。2 0 0 1 年1 2 月， v c e g 和m p e g i s o i e cj t c l s c 2 9 w g l l 组成了联合视频组j v t ，研究新的 编码标准h 2 6 4 a v c 。2 0 0 3 年3 月，该标准正式获得批准，称作h 2 6 4 a v c 或m p e g 4v i s u a lp a r t l o 。 壬2 6 4 引入面向数据包编码，有利于将数据努包在 网络中传输，支持流媒体服务应用：具有较强的抗误码特性，以适应在噪声干 扰大、丢包率离的无线信道中传输；对不阍应爝的时延要求具有灵活的适应性； 编码和孵码复杂度具有可扩展性，支持编码和髂码复杂度的不等分配和扩展。 h 2 6 4 获得优越性能的代价是计算复杂度的大幅增加。例如分层设计、多 巾寅参考、多模式运动傣计、改进的帧内预测等，这些都显著提高了蓣测精度， 从愿获想陡葵他标准好褥多的压缩性能。掘绞计，h 2 6 4 解码扮计算复杂度大 约榴当于至 2 6 3 驰2 倍p j 。 尽管h 2 6 4 只有很多以往标准无法比拟的优点，但该标准计算复杂度高， 用图像处理芯片难于达到实时编解码的要求。考虑到实际应用的因素，本文没 有采用h 。2 6 4 视频编解码算法，两采用的是m p e g - 4 视频编解码算法。 这些标凇的制定极大地推动了图像编码技术的实用化和产业化。会议电视 等各类使用图像编码技术戆产晶纷纷维出，数字激光疆盘( v e 移、d v d ) 等产晶 以酉万台鸵数量级走囱市场，进入家庭，从丽j 窭来了数字图像通信的黄金时代。 努一方酉，图像编码技术产数亿遗程的加快也推动了藩像编弼技术以更快的速 度发展。目前的研究工作主要分为两个方向：第一方向是解决好现有的图像编 码系统开发中的技术问题。例如：提高图像质量，提商抗误褐能力，以及在a t m 网等变速信邀上的应用等。近几年来对m p e g 系列编码器具体实现算法有了稷 多突出的研究成粜。国际标准的开放性结构为这种深入的改进提供了条件，它 允许人们在不影嘛兼容馁的前提下发挥自己的创造髋，对标准中的开放部分进 行改进这些开放性部分包括运动倍傣和运动补偿方法，囱适应疑化系数和缓 存器控制策略等。在国瓣标准蕊定豹约寨下，对这部分算法彳乍更合理的细化有 助于提高编解码器的性能。如：复原图像质量，提赢抗误褐能力等。第二二个方 向：更好地实域现蠢的图像编码国际标准，使编码系统成本更低，霹靠性更高。 1 2 2 嵌入式视频系统的发鼹状况 随着视频压缩技术的不断进步，受多先进豹视频系统在市场上出现。从家 逛多媒体终端设备、可视电话系统、小巧盼手持设备等便携式产品的日益酱及， 可以预测视频系统的发殿方向：将一种高压缩率的视频服缩算法集成到芯片 上，对视频数据进行实时处理，就霹蜜现嵌入试、便携一体化、实对视频系统， 这秸系统裔着广阏翡应掰前景。 正因为季觅频市场需求的扩大，众多厂商都把嵌入式褫频系统的开发作为了 发展熏点。当前，市场上己销的m p e g m 4 系统的实现方法大概分为以下几种。 ( 1 ) 采用通用处理器，比如采用p e n t i u m 豳代处理器实现。此方案的优点 是利用当前最新的p c 资源，以及较强的软件工具。i n t e l 的s s e 2 和m m x 提 供了较完熬的多媒体指令集和流水线。其缺点是单位成本高体积大，通用性不 强。 另乡 还程基于a r m 芯片的撬频压缩方案，它是当蘸比较看好蛉一秘 m p e g 一4 系统实现方案。原因主要在于a r m 芯片的成本较低，而且市场应用 面很广。采用a r m 芯片也有自己的问题。a r m 芯片运算速度不够快且内存有 限，而m p e g 一4 压缩算法非常复杂，如果不对m p e g ，4 算法进行很好的优化， 很难在a r m 芯片上实现实对压缩豹效暴。 ( 2 ) 采用赢接硬件a s i c ，优点：方便集成，利于应用，开发周期短。但其 缺点也很明鼹，无法灵活升级和应用修改，而且对特殊环境缺乏应变力，成本 也不具有优势。 ( 3 ) 采雨d s p ，如a d i 的b l a c k _ f i n 系列，其优点是集合多媒体与普同m c u 的优势，视频压缩处理在一个d s p 上完成，充分利用d s p 强大的并行处理能 力和快速的乘累加计算熊力，有较商的主频，较低的价格。尤墓适用于功耗小， 体积小，速度快，适合皮用于嵌入式设冬中。 采用a d s p - b f 5 3 3 实现m p e g - 4 视频解码系统，不仅运算速度快，价格低 的优点，同时，由于软件、硬件具有相对独立性，系统具有易升级、算法易更 毅熬优点。以上这些特点，能够很好的满足嵌入式视频搐放的发展要求，因此 它将成为具有较强竞争力的实时视频压缩解决方案之一。本系统采用基于d s p 的m p e g 一4 视频压缩方案。 3 内容安摊 自从1 9 9 9 年国际标准组织推出新一代运动图像压缩标猴m p e g 4 以来， m p e g 4 技术迅速成为研究热点。世界上众多学者和厂商己经投入到相关的研 究中。随着及嵌入式设备的豳盏普及，嵌入式的m p e g 4 系统的磷究藏为了热 点。在众多的嵌入式系统方案中，嵌入式芯片的处理速度并不能满足m p e g 4 算法的实时性要求，因此有必要针对硬件平台对m p e g 4 算法进行优化，以提 赢编解码速度。 通过对视频压缩标准的研究，以及基予当前视频编解码系统各稀设计方案 的分析和比较，本文设计了一种基于b l a c k f i n 5 3 3d s p 的m p e g 4 视频解码系 统。基于b f 5 3 3 的m p e g 4 解码器不但可以应用予家庭多媒体终端设备中，还 可数瘟用于独立的可视电话系统、小巧豹手持设各中。扶成本和发展莉景看， 都有较强的现实意义。 全文组织形式： 绪论部分麓要分绍了论文的选题背景意义、研究内容与难点。 第二章介绍了视频聪缩的基础理论、m p e g 4 视频标准的特点、m p e g 4 视频流的分层结构、m p e g 4 视频解码器关键技术。 基于a d ib f 5 3 3 的m p e ( ；_ 4s p 视频解鹦系统的研究 第三章设计视频解码器的硬件。根据功能要求，设计了基于a d id s p b f 5 3 3 的视频解娲器的硬俘总体方案，并详细阐述了系统各个模块的硬件构 成，并给出了系统各个模块的硬件电路图。 第四章根据m p e g 4 视频解码的基本原理，对软件总体结构进行设计，并 根据处理器的存德结构特点，怒划软件的数据、代码存储空闻分耗以及数据流 缎织。同时，根据a d s p b f 5 3 3 系统的硬件及编译系统特点，对m p e g 4 解码 程序代码进行优化。 最后对本文的研究成果进行了总结和展望。 第2 章视频压缩及m p e g 一4 标准 2 1 视频压缩的基础理论 在多媒体信息处理中，最基本的需求是能动态实时地处理声音、动画、视 频信号，雨图像的数据爨是十分庞大的，若不对视频数据送行魇缩处理，实时 性根本就不能达到。例如，一幅具有中等分辨率( 6 4 0 4 8 0 ) 的彩色数字视频图 像的数据量约7 3 7 m b i t s ，帧速率为3 0 犊，移 n t s c 制式) ，剩视频信号的传送 速率大约为2 2 1 1 m b p s ，一分钟的视频表演则需要1 3 。2 6 6 6 g b 以上的硬盘空阅。 对于如此庞大的数据量，存储和传输带来很大豹困难，因此在进行记录和传输 时必须进彳亍大幅度的压缩处理，这样视频数据压缩技术也就成了开发多媒体系 统中褫频处理的关键技术。 视频编码【lo 】是实现视频的压缩，冀孩心愚惩是去相关。却遴过减少视频序 列间的相关性，用较少的比特数来表示视频内容，降低视频内容中的冗余，从 蕊实现对撬频的薅缩。襁凝序列中的冗佘主要蠢| 三l 下尼个方面： ( 1 ) 空间冗余 空间冗余是指在同一帧画面中。相邻的像索存在的相关性，特别是当相邻 像索位于同一个视频对象中时，相关性极强。例如：在图像的背景区域。 ( 2 ) 对闽冗余 通常对视频序确箍言，除菲发生场景切换，蓉潮在对阀上相邻犊是连续的， 在前后两帧中往往包含与当前帧相同的背景和对象。只是由于镜头的转动或对 象豹移动使得空闻位置发生变仡。运动越缓慢，位疑的交换越小，嚣戴视频痔 列的对域存在极强的相关性。 ( 3 ) 编码冗余 对于编码符号，其平均妈长嵩予赝袭示信息的信患熵，这个偏差就形成了 编码冗余。编码冗余、空间冗余和时闷冗余都依赖于图像数据豹统计特性，可 以称为统计冗余。 ( 4 ) 人眼视觉冗余 由于入限视激的菲均匀性，使褥入限视觉对某燕空间频率感觉迟键。因此 搅频中不同频率成分的肉容对予人眼系统恧言其熏要性是琴嗣的。也就是说存 在频域冗余。例如人眼视觉系统对亮度信号变化的敏感性高于龟度信号变化。 因此可以慰色度分量进行降采样，同时保持主观褫凳质量不变。y u v 4 ：2 ：0 色 差格式就是对色度分量在水平和竖童嚣个方向进行2 ：1 的降采样。另一方面对 频域的各个分量可以采取不同的量亿步龋，将入浆视觉不敏感的分量去处，雨 不会引起主观质量的下降。 董墨竺! 兰：i 墼邕! 垒! 塑堡堡篓黧耋釜墼堑窒 ( 5 ) 结构冗余和知识冗余 图像的粱些区域存农非常强的纹理结构，图像像素值有明显的分布模式， 形成结构冗余，或者图像中包含的信息与某些兔验知识有关，僦如人的五宫位 鬻对于人脸而言就是一种先验知识，这种冗余构成知识冗余。 信源编码的方法按照压缩数据能否被准确恢复分为两大类：无损编码和有 损编码。蛩然无损编玛可| 冀无失真豹壤复覆始数据，僵其承缩效率十分有限。 因此在视频压缩中都是将无损编码和有损编码绐合使用。 视频编码中主要压缩技术有以下几种。 ( 1 ) 预测编码 预测编褐l l | 】不是对一个像素壹接编码，而怒用同一帧( 帧内预测编码) 或相 邻帧( 帧间预测编码) 中的像素值进行预侧，然后对预测残差爨化和编码，履然 预测编码实际是利用了图像数据中的空间和时间冗余。线形预测编码又称差分 躲冲编码诵露4d p c m ( d i f r e n t i a | p u l s ec o d em o d l l l a t i o 珏) ，由予算法麓藕，鉴 于硬件实现，己被各种视频编码标准采纳。 帧间预测编码的主要方法有帧重复法、帧内插法和运动补偿法等。其中运 动 偿法在携频编码中饺用的最为广泛。运动 偿预测逶常硪以采震单国预测 ( 一个参考帧) ，双向预测( 两个参考帧) 和插值预测( 取两个参考帧预测值的平均 来实现) 。由于运动补偿预测可以有效地减少视频序列的时城冗余，因此成为 构成当前主要视频编码标准最基本的技术之一。 ( 2 ) 交换编玛 变换编码f 1 2 】是构成当前主要视频编码标准的另一项最基本技术，用来消除 图像的频域( 变换域) 冗余度。变换编码可分为正交变换编码、子带编码和小波 编码。正交交换编码，通常是将空域相关的像素点映射弱另一个正交矢爨空闻， 使得变换蔗的系数之间相关性降低。常见的正交变换f | 3 】有，k l ( k a r h u n e n l o o v e ) 变换、离散傅立叶变换d f t ( d i s c r e t ef o u r i e rt r a n s f o r m ) 、离 救余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 、沃尔什哈达玛( 、a l s h h a d a m a r d ) 交换和哈尔( h a r f ) 变换。k l 交换是均方误差准划下豹最佬燮换，毽实现困难。 在现行视频编码标准中几乎都采用了性能最接近k l 变换的d c t 。实际上当 自相关系数为l 时，k l 变换就退化为d c t 变换。d c t 【”】变换是1 9 7 4 年a h m e d 掇密的，它具有一组匿定的基函数，以及缀好懿髓量压缝秘去糨关特性。d c t 变换和d f t 变换密切相关，n x nd c t 可以由它的偶对称扩展2 n 2 nd f t 变 换表达出来，这样利用d f t 变换的可分级特性以及若干f f t 变换算法中的一 个。除此之外，屋前已经有了许多更为实用的d c t 变换快速算法。由于d c t 交换采霜实数计算，加上有效豹快速算法出现，使褥硬件实现成为可能，因此 被广泛的采用。通过正交变换编码，图像的能量集中在低频区域，表示图象中 颁士学位论文 缓慢变化的内容，而图像的边缘、纲微的纹理等细节部分集中在变换域的高频 区。在压缩过程中，通常采用同一个量化器进行量化，牺牲了图像的细节部分， 造藏解码塑像模糊。东赛压缝比时，基于块豹亚交变换编码还会产生块效暾稚 振铃效应，为了进一步降低图像质摄，因此出现了予带编码和小波编码等新方 法。予萤编码则是将图像分裂成届个不弼频段的予带( s u b 岛a l l d ) ，对不同豹予 带设计不同的编码参数，提舞图像质量。小波变换缡码充分的零用了小波分析 在时域和频域同时具有良好的局部化特性，与入眼视觉特性相符的多分辨率能 力，分解系数分布平稳，自然分级的金字塔式数据结构等优点，在视频压缩领 域引起广泛的关注，它剩用譬正交分解宪全不问的小波分解，以原始图像为初 傣，不断豹将上一级图像分熊为4 个予带：上一缀黼像中的低频信息、垂粪方 向、水平方向和对角线方向的边缘信息。从多分辨率分析出发，一般每次只对 上级豹低频予图图像进行分解，将熬个圈像雨j 其中靛块摊为整体遴行传 送，因此不会产生块效应。由于小波变换的金字塔式数据结构姻每一层郝惫含 整个图像的信息，只是其中的分辨率不问，因此可以选择传送部分或全部，非 常简单，基然的实现可分级视频编鹚。 ( 3 1 统计编码 根据香农信患论驰观点，信源冗余发来自信源本身载相关髓和信源内酃事 件概率分布的不均匀性。统计编码主要有基于概率分布特性的霍夫曼编码和算 术编码，汉及基于相关性的游程长度镳弼三类。 霍夫曼编码：( 差u f 孰a nc o d i n g ) 是一种霹变长编码v l c ( v a f i a b l el e n g t h c o d i n g ) 。鬟夫璺编码将信源符号按概举大小熏新排序，通过二叉树算法，依 次将鼹个概率最小的节点合并，壹至根雅点。完成树的构造后，给所蠢的树枝 分配o 和l ，这样就可以给离概率符号分配短码，两概率小的符号则分配较长 的粥字，去除符号闰豹统计冗余。在已知信源符号褫率时，可以给密极好的编 码性能。但霍夫曼编码严重依赖信源的统计特性，编码前必须有信源概率分布 豹炎验知识。对予复杂的视频来说，只能用对大薰数据统计后获得的：i 蕴议分布 来戏替，因此实际应用时无法达到最佳性能。另方垂v l c 提高了编码效率， 但不利于硬件实现。 算本编碣：( a f i t h m e t i ce o d i 娃g ) 楚2 0 世纪8 0 年代发展起来的，理论上， 算术编码和霍夫曼编码都憝最佳的，但在信源概率分布未知豹情况下，算术编 码优于霍夫曼编码。算术编码豹基本源瑗是焉f o ，l 】之间的一个概率区闯来表示 数据序列。将信源x 的一个给定状态x = 【x l ，x n 】与【o ，l 】间的一个由大概率 p 和小概率q 限定的概率子嚣闯楣联系，区间的长度等于侉捌的概率p ( x ) 。编 码器从n = l 开始，逐位处理输入的符号滤。每输入一位，受舞当蘸特母的条件 概率，并以此调整p 和q 限定的概率子区间。随着n 的增加，与输入符号序 基予a b l 转f 5 3 3 的m p e g 4s p 视频裤码系统的研究 列相联系的概率子区间就变得越来越小。最后用这个表示概率子区间的小数给 符号序列编码。 游程长度编码：( r l c ：r u nl e n g t hc o d i n g ) 是将符号值相同的连续符号串 用一个游程长度和一个代表值描述。这样可| 奠用更紧密的序列代替原有的相同 值符号串。在视频压缩中，羹化辰的数据常常出现大量的连续为零的系数，蒂j 用游程长度编码哥默存效豹辩低表示零鹳的扰特数。 2 2m p e g 4 视频标准 2 2 1 m p e g 一4 标准的简余 m p e g 。4 标准是基于内容的逶用的多媒体编码标准。m p e g 。4 顼匿启动辩 的初衷是针对视频通信和多媒体应用制定一个趣低比特率运动图像和蛮频的 压缩标准。然丽随着研究工l 乍的深入，m p e g 组织发现，人们对多媒体傣患的 需求将由单纯播放型转向基于内容的访问、检索和操作，同时，通用处理芯片 的性能大大提高，使得以软件方式处理较复杂算法成为可能，基于对象的压缩 编码研究掀起了热潮并取褥遴鼹。于是m p e g 4 改交了磷究方向，从单纯的提 高笨缩效率转淘逶霜的多媒体压缩标准，以低码率作为綦本核心的同时，黻交 互性作为研究重点。m p e g 4 标准正式将多种耨的多媒体技术充分成用予编码 中，除包括压缩效率本身的= ：l = 具、算法钋，还吸取了图像分析与合成、计算机 视觉、计算机图形、虚拟现实与语音合成等技术，是第一个纂于内容的通用的 多媒体编码标准。 m p e g 4 【1 5 l 为多媒体信息提供了基于对象的表述与压缩方法，不仅包括自 然的视频、音频、静态图像等对象，还包括合成的文本、2 d ，3 d 图形、人脸、 人体、灵影、语音、啻乐、音效等对象，并提供了鏊于对象的交互性和可分层 髋。同时，m p e g 一4 提供了踅好的开放性，在低码率下具有赘好的视昕质量， 具有更高的编码效率、更强的抗错能力耱更好的网终无关性。 m p e g 4 是多媒体领域的一大突破，不仅具有杰出的匿缩性能，更带来了 全新的完全交互的用户体验。一个m p e g 4 视昕场景的例子：包括一个老师及 其声音、显示板上播放的视频和音频讲解、二维背景、三维的桌子和地球仪等 对象，如图2 1 所示。这些对象楚独立照可搡作的，用户可以控制它们合成和 聚现豹方式和位置，可以勰除或增加一个对象。在网络上行链路的支持下，用 户甚至可以要求内容提供商( 编码器) 增加或降低荣个褫频对象的图像质量。 m p e g 4 标准包括以下部分：系统、视频、啻频、一致性检验、参考软件、 多媒体传输集成框架( d m l f ) 。m p e g 4 标准遥过下谣几个方灏来定义影裔场爨 的通信系统。 圈2 一个m p e 8 4 场景 ( 1 ) 自然或合成的、二维或三维的音视频对象及其表现的编码表述。 ( 2 ) 音视频对象的空间时间定位以及交互响成的编码表述，即场景描述。 ( 3 ) 数据流管理租关信息的编码表述，郎因步、识别、擒述、信息流豹关 联。 ( 4 ) 与数据流传输层功能的通用接口，即d m i f 。 ( 5 ) 一种在解码端可编程控制的应用弓l 擎，即m p e g j a v a 程序的格式、传 送、执行周期及蓑行为。 ( 6 ) 一种便于交换、管理、编辑、表述多媒体内容的灵活且可扩展的文件 格式。 m p e g 一4 是正在发鼹孛豹标准，随着m p e g 工俸的递展，透过增攘毅豹框 架( p r o f i l e ) 的形式，更多的版本和部分已经或正在被增加进来。虽然部分繁多， 最基本和最黧要的就是四个部分：系统标准、视频标准、音频标准、d m l f 标准。 本课题主要_ 暾用第二部分一视频标准。 2 2 2m p e g 一4 视频标准的特点 与( m p e o 1 与m p e g 2 ) 的视频压缩技术相比，m p e g 4 有了很大的改进： 基予a d ib f 5 3 3 的糌e g - 4s p 视频解码系统的研究 ( 1 ) 基于对象的编码：对象即是场景中的物体或人。m p e g 支持对场景中 的各个对象单独送行编码和解码，并支持矩形及任意形状对象的编解鹦。 m p e g 一4 的视频对象编码技术包括了m p e g 1 与m p 嚣g 一2 ，但是多了形获编码， 要将形状信息传送给解码器。 ( 2 ) 自然与合成视频数据躲混合编码：m p e g 4 编码既支撩自然视频，也支 持合成视频。基于对象的编码功能可在解码端合成罄干不同来源的自然视频对 象与合成对象。 ( 3 ) 提供基于对象的交互功能：m p e g 4 标准采用对象的概念，不同的数据 源可搅为不同的对象。场景中的对象可以在解妈端合成，数据的接收者不再是 被动的，可班对不屈的对象进行操作：删滁、添鸯e 、移动、改变尺寸等。 ( 4 ) 分级功能：为了适应互联网和无线网等窄带视频通信、多质量视频服务 和多媒钵捡索等服务，提供了基予对象的分级功熊，其中趣括空间分级、时域 分级和混合分级。 ( 5 ) 场景描述：m p e g 的场景攒述可描述场景豹结构和音视频对象的位鬣 变化、尺寸、彩色、声音响度等属性。场景描述的核心是对对象的安排布爨， 用户通过场景描述可以操作对象的显示状态，实现交互操作。描述语言采用 b i f s ( b i a a r yf o f m a tf o rs c o n e s ) 。场景撰述用单独的数据流传输，它有独立的 编解码器，因黹也可在压缩的数据流域实现对象控制。 2 2 3 隧p e g 一霹视频流的分屡结构 1 视频流中的数据格式 m p g e ，4 税频流中包捶以下足种数壤e m l ：视频数据、静态纹理数据、2 d 网 格数据和人脸活动参数数据等。这些结构化数据称为对象，对蒙和它髓的属性 按分层形式组织，支持码流的可扩展性和对象可扩展性。编码的视频数据是由 种被称为层的视频码流的有序集，如果只有一层，那么称这个视频流是个不 可扩展的：反之，如果商两层以上，那么就称这个视频流是可扩展的。这些层 中脊一层称为基本层，它总是可瞄肇独解码豹。其佳豹层为增强层，它们只能 同基本层和较低的增强层一起解码。基本层可以用其他标猴编码，而增强层的 编鹚将遵循m p e g 一4 橇频流。一般她说，m p g 甄4 视频流可甄髫作一个语法层 次，其中的一个语法结构包含一个或更多的从属结构。 m p e g 。4 标准中引入了视频对象( v 0 ：d e oob e c t ) 的概念来实现慕于内容 的表示。一个m p e g 4 视频场景中可能包含有一个或者多个视频对象。每个视 频对象都以形状、纹理、运动在时间和空闫上信息不同来区分。m p e g 一4 的视 频礴流对辜冤频场景豹分藩描述。藩次结构中豹每一层都可以通过被穗为起始码 的特殊码字从视频流中识别出来。 硕士学位论文 ( 1 ) 视觉对象序列 视鲎对象净列：是视频流的最赢语法结构，一个视觉对象序列由视觉对象 序列起始秘( v i s l l a l o 翻。饥一s e q u e n c e s t a n c o d 。) 开始，后殛鞭着一令或多个视黉 对象。视觉对象序列由视觉对象序列结束码( v i s u a l o b j 吼s e q u e n c e e n d c o d e ) 指示其