（信号与信息处理专业论文）mpeg4视频编码优化.pdf

摘要 摘要 随着社会的进步和信息技术的快速发展，人们对多媒体信息的需求程度越来 越高，希望随时随地都可以获得多媒体信息资源。第一代视频压缩算法，如 m p e g 1 、h 2 6 3 等，无法满足这种要求。m p e g 4 是基于对象的第二代压缩编码 技术，它主要致力于为广泛的多媒体应用提供一个通用的平台。目前，国际上很 多大公司都加入到了m f e g 4 技术及标准的竞争中，最主要的是微软、r e a l 和 a p p l e 三家公司。国内在这方面的研究相对较少，主要应用在数字监控系统中。因 此，研究m p e g 一4 视频编码标准并实现实时编解码具有重要意义，特别是在图像 质量和实时性方面要求都很高的场合，例如电视会议、视频电话和i p t v 等。 本文结合这种需求和趋势，研究了m p e g 一4s p 编码原理，改进了d s 算法。 通过内存优化、结构优化和汇编级优化，最终实现了编码器在a d s p ，b l a c k f i n 5 3 5 评估板上的实时编码。主要内容有： 首先，从m p e g 4 视频编码的核心模块运动估计入手，对常用的四种搜索算 法进行了仿真，从搜索准确度和计算复杂度两方面给出对比结果。优化了菱形搜 索算法的搜索流程，避免了重复计算。s a d 计算时采用提前退出策略，减小了计 算量而没有损失搜索准确度。 接着，以i t u 组织提供的部分源码为基础，参考已有的校验模型，实现了 个w i n d o w 平台下c 版本的视频编码器原型。然后对代码进行移植、整合和简化， 并根据编译器特点在c 语言级别对对结构进行调整，代码进行优化。 最后，结合b l a c k f i n 5 3 5 处理器的存储结构特点，设计了m p e g - 4 编码的内存 分配方案，利用d m a 机制完成存储器间的数据搬移，加快了数据的读取速度。通 过算法优化和结构调整，借助各种s i m d 操作以及并行化汇编指令，在保证流水 线畅通的情况下，完成编码器频繁调用模块d c t i d c t 、量化逆量化、s a d 计算 和半象素插值的优化。 经过测试，在b l a c k f m 5 3 5e v m 评估板上，对c i f 格式的f o r e m a n 测试序列， 可以达到3 8 帧秒的实时压缩速度。 关键词：m p e g 4 ，b l a c k f i n ，s p ，视频压缩 a b s t r a c t a b s t r a c t a l o n gw i t ht h ea d v a n e e r n e n to fs o c i e t ya n dt h er a p i dd e v e l o p m e n to ft h e i n f o r m a t i o nt e c h n o l o g y , p e o p l ea r er e q u i r e dt oh a v et h er e s o u r c e so fm u l t i m e d i a i n f o r m a t i o na v a i l a b l ea n y w h e r ea ta n y t i m e u n f o r t u n a t e l y , v i d e oc o m p r e s sa l g o r i t h mo f t h ef i r s tg e n e r a t i o nc a n tm e e tt h er e q u i r e m e n t ，t h e r e f o r e ，i t ss e c o n dg e n e r a t i o n ，t h e m p e g - 4s t a n d a r dc 0 1 t i e si n t oe x i s t e n c e ，w h i c hi sb a s e do i lt h eo b j e c t sa n da i m st o p r o v i d eag e n e r a lp l a t f o r mf o rt h ea p p l i c a t i o no fm u l t i m e d i a n o wm a n yc o m p a n i e s h a v et a k e np a r ti nt h er e s e a r c hc o m p e t i t i o no fm p e g 一4i nt h ew o r l d t h em o s t i m p o r t a n tt h r e ec o m p a n i e so ft h e ma r em i c r o s o f t ，r e a la n da p p l e b u ti ts e e m st h a tt h e m p e g 一4i sn o ts op o p u l a ra th o m e ，a n di ti sm a i n l ya p p l i e di nd i g i t a lm o n i t o ra n d c o n t r o ls y s t e m s oi th a si m p o r ts i g n i f i e a u c et or e s e a r c ht h em p e g - 4s t a n d a r da r i dt h e m e t h o do fr e a l t i m ec o m p r e s s i o n ，e s p e c i a l l yi nt h ed o m a i n sl i k ev i d e o t e l e c o n f e r e n c e ， v i s u a lt e l e p h o n e i p t va n ds oo n c o n s i d e r i n gt h ed e v e l o p m e n t a lt r e n do f t h ev i d e oc o m p r e s sa n dt h ed e m a n d so f t h e p e o p l e ，t h i sp a p e rm a k e sr e s e a r c h e so nt h ev i s u a ls e c t i o no ft h em p e g 一4s t a n d a r d ， p r e s e n ta na m e n d m e n tt ot h ed ss e a r c ha l g o r i t h m ，a n dd o e ss o m eo p t i m i z a t i o nt ot h e m o d u l eo fc o m p r e s sw h i c hi su t i l i z e df i ：e q u e n t l yb yt h ee n c o d e rs ot h a tt h ee n c o d e rc a n a c c o m p l i s hr e a l t i m ec o m p r e s s i o no na d s p b l a e k f i n 5 3 5e v m b o a r dt ot h ec i fp i c t u r e ， t h es i z eo fw h i c hi s3 5 2 b y2 8 8 t h em a i nc o n t e n t sa r ea sf o l l o w s f i r s t l y , t h em o v e m e n te s t i m a t i o ns h o u l db ew a t c h e dc a r e f u l l y , w h i c hi st h ec o r e m o d e lo ft h ev i d e oc o m p r e s s a f t e r w a r d s ，t h es i m u l a t i o no ft h ef r e q u e n t l y - u s e ds e a r c h a l g o r i t h m sw i l lb eu n d e r t a k e n ，f o ri n s t a n c e ，t h r e es t e ps e a r c ha l g o r i t h m ，f o u rs t e ps e a r c h a l g o r i t h m ，n e wt h r e es t e ps e a r c ha l g o r i t h m ，d i a m o n ds e a r c ha l g o r i t h me t c a f t e rt h e c o m p a r i s o nb e t w e e nt h o s es e a r c ha l g o r i t h m si nt e r m so fa c c u r a t e n e s so fs e a r c ha n d c o m p l e x i t ym e t r i c so fc a l c u l a t i o n ，i ti ss h o w nt h a tt h ed i a m o n ds e a r c ha l g o r i t h mh a st h e b e s tp e r f o r m a n c e t h e nw h a tw i l lb ed o n ei sj l a s tt oo p t i m i z et h es e a r c hp r o c e s so ft h e d i a m o n da l g o r i t h m i nt h i s ，c a s e ，r e d u p l i c a t ec a l c u l a t i o n sc a nb ea v o i d e d s t r a t e g yo f j u m p o u t a h e a d o f - t i m ei sa p p l i e di nt h ep r o c e s so fs a dc a l c u l a t i o n a sar e s u l t ，t h e c o m p l e x i t yi sr e d u c e d ；i nt h em e a n t i m e ，t h es e a r c ha c c u r a t e n e s si sn o ta f f e c t e d i i a b s t r a c t s e c o n d l y , t h ep r o t o t y p eo ft h ee n c o d e rm a k i n gu s eo fcl a n g u a g ei sr e a l i z e db a s e d o nt h es o u r c ec o d e so fi t uu n d e rw i n d o w sp l a t f o r m d u r i n gt h ed e v e l o p m e n to ft h e e n c o d e r , m p e g 4v i d e ov e r i f i c a t i o nm o d e li sr e f e r r e dt o t h e nt h ec o d e sa r em o v e dt o t h eb l a c k f i n 5 3 5e v mb o a r d a tt h es a m et i m e ，i n t e g r a t i o n ，s i m p l i f i c a t i o na n d o p t i m i z a f i o no f t h ea l g o r i t h mt ot h ec o d e sw i l lb ed o n e l a s t l y , a l l o c a t i o ns c h e m eo ft h em e m o r yi sd e s i g n e da c c o r d i n gt ot h ea r c h i t e c t u r e o fb l a c k f i n5 3 5s t o r a g eu n i t i no r d e rt oa c c e l e r a t et h es p e e do fd a t at r a n s p o r t a t i o n b e t w e e ns d r a ma n ds r a mo nc h i p ，m e c h a n i s mo fd m ai sa d o p t e d s i m d o p e r a t i o n s ，s u c ha sv i d e op i x e io p e r a t i o n sa n d v e c t o ro p e r a t i o n s ，8 r eu s e di nt h ep r o c e s s o fo p t i m i z a t i o no fd c t i d c t ，q u a n f f d e q u a n t ，c a l c u l a t i o no fs a d ，a n ds u b - p i x e l i n t e r p o l a t i o n i m p r o v e m e n to na l g o r i t h ma n da d j u s t m e n tt os t r u c t u r ea l s op l a yap a r t d u r i n gt h eo p t i m i z a t i o np r o c e s s m o r e o v e r , a l lo ft h ew o r kd u r i n gt h eo p t i m i z a t i o n p r o c e s si sd o n eo nc o n d i t i o nt h a tt h ep i p e l i n ei su n b l o c k e d b e c a u s eo ft h eo p t i m i z a t i o no p e r a t i o n sm e n t i o n e da b o v e ，t h em p e g - 4s pe n c o d e r c a l lc o m p r e s st h ev i d e oo f f o r e m a n b a s e do nc i ff o r m a ta n do dt h eb l a c k f m 5 3 5 e v mb o a r da tt h es p e e do f 3 8f l a m e sp e rs e e a ) n d k e yw o r d s ：m p e g - 4 ，s p , b l a c k f m ，v i d e oc o m p r e s s i o n i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：套伽翩弥型 日期：沙。年? 月哆日 第一章绪论 第一童绪论 随着信息技术的发展和社会的不断进步，人们对多媒体信息的需求程度越来 越高，内容也越来越丰富，多媒体信息已成为人们获取信息的主要手段，人们希 望随时随地都可以获得多媒体信息资源。这也使得第一代视频压缩算法比如 m p e g 1 、m p e g 一2 、h 2 6 3 等面临新的挑战。单纯的语音电话己不能满足要求， 人们对视频电话的呼声越来越高，而现有的因特网带宽是有限的，要在上面传输 视频流，第一代压缩算法显然不能胜任，必须采用具有高压缩比的算法；一些重 要的仓库和办公楼需要实时监控，为了得到较高的图像质量并节省传输带宽，也 需要新的压缩技术，来完成对场景的实时压缩和传输；互联网检索方面，人们不 在满足于只能够检索到文字信息，而是希望视频和音频的内容也能够检索出来。 第一代压缩技术不能支持基于内容的访问、检索。手机电视即将问世，视频节目 的实时压缩并在带宽有限的无线信道实时传输也是一大难题。 m p e g 一4 是基于对象的第二代压缩编码技术，它充分利用了人眼的视觉特性， 抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互 功能，适应了多媒体信息的应用由播放型向基于内容蛊q 访问、检索及操作的发展 趋势。m p e g - 4 的压缩率可以超过1 0 0 倍，并且仍然保持较高的音质与画质。可以 用最少的码流得到最好的图像质量，从丽满足了低码率应用的要求。另外，m p e g 4 还把提高多媒体系统的交互性和灵活性作为一个重要的目标，因此它更适合于交 互式a v 服务以及远程监控。为了满足各种应用的需求，m p e g - 4 标准实际上相当 庞大，具有广泛的适应性和可扩展性。 m p e g 一4 不但能支持码率低于6 4 k b p s 的多媒体通信，也能支持广播级的视频 应用。m p e g - 4 的标准将广泛运用于数字电视、动态图像、万维网、实时多媒体监 控、基于内容的存储和检索的多媒体系统、互联网上的视频流与可视游戏、基于 面部表情模拟的虚拟会议、d v d 上的交互多媒体应用、基于计算机网络的可视化 合作实验室场景应用、演播电视等，它将推动电信、计算机、广播电视三大网络 的最终融合，从而成为今后一段时间压缩标准的主流。它可以达到两个目标：一 是低比特率下的多媒体通信，二是工业的多媒体综合应用。 电子科技大学硕士学位论文 1 1 图像压缩国际标准 图像编码技术的发展和广泛应用促进了许多相关国际标准的制定。这方面的 工作主要由国际标准化组织( i n t e m e ts t a n d a r do r g a n i z a t i o n ，简称为i s o ) 、国际电子 学委员会( i n t e m e te l e c t r o n i cc o m m i t t e e ，简称为i e c ) 和国际电信联n ( i n t e m a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，简称i t u ) 进行的。这三个组织于2 0 世纪9 0 年代指定了 三个有关视频图像压缩编码的国际标准，即j p e g 标准、h 2 6 1 标准和m p e g 标准。 1 2j p e g 和j p e g 2 0 0 0 j p e g 是联合图像专家d , ! j t ( j o i n t p h o t o g r a p h i ce x p e r t sg r o u p ) 的英文缩写，联合 指的是国际电信电报咨询委员会( c c i t t ) 和国际标准化组织( i s o ) 联合组成的图像 专家小组。该小组一赢致力于标准化工作，他们开发出的连续色调、多级灰度、 静止图像的压缩编码方法被成为j p e g 算法，并被确定为j p e g 国际标准 ( i s o 一1 0 9 1 8 - 1 ) 。它不仅适合于静止图像的压缩，也适用于运动图像序列的帧内图 像的压缩。 然而，随着多媒体应用领域的扩大，传统j p e g 压缩技术已经无法满足人们对 多媒体图像资料的要求，因此，更高压缩率以及更多新功能的新一代静态图像压 缩技术j p e g 2 0 0 0 就诞生了。 j p e g 2 0 0 0 的正式名称为“i s o1 5 4 4 4 ”，其原始提案最早出现于1 9 9 6 年瑞士曰 内瓦会议上，目标是建立一个能够适用于不同类型、不同性质以及不同成像模型 的统一图像编码系统。该编码系统在保持失真率低和主观图像质量优于现有标准 的条件下，能提供对图形低码率的压缩，并且在速率畸变的情况下，主观图像质 量也要优于j p e g 标准。尽管j p e g 2 0 0 0 有如此优越的性能，但它和j p e g 标准是 兼容的关系，而不是取而代之。j p e g 压缩技术基于8 8 块的离散余弦变换c t ) ， 主要应用在数码相机、p c 和网站的图像存储；j p e g 2 0 0 0 系统放弃了以离散余弦 变化为基础的块编码方式，改用基于小波变换的多解析编码方法，主要在高端应 用和成像设备上发挥作用“。 1 2 1h 2 6 1 、h 2 6 3 和h 2 6 4 h 2 6 1 是i t u 建议的一种视频压缩标准，用于在综合业务数字g g ( i s d n ) 上以p 6 4 k b p s ，p = l ，3 0 的速率开展视频会议和可视电话业务，它于1 9 9 0 年1 2 月完成 2 第一章绪论 并被批准，即允许“采用p 6 4 k b i t s s 的图像业务的图像编解码”，因而h 2 6 l 又 简称为p 6 4 。 h 2 6 1 标准是用于电视电话和电视会议，所以图像编码算法必须是实时处理 的，并且要求最小的时间延迟，因为图像必须和语音密切配合，否则就要延迟语 音时间。当p 取1 或2 时，位率只能达到1 2 8 k b i t s s ，而位率较低只能传清晰度不 太高的图像，所以适合于面对面的电视电话。当p 值大于6 时，位率大于3 8 4 k b i “s ， 而位率高适合传输清晰度高的图像，所以使用于电视会议。 h 2 6 1 标准是后来出现的视频压缩标准。它是视频压缩算法m p e g 一1 和 m p e g - 2 形成的基础，并且提供了两个重要特征。第一，由于h 2 6 1 主要用于双向 视频通信，因此它规定最大编码延迟位1 5 0 m s 。已经证明，如果延迟超过1 5 0 m s ， 就不能给观看者在视觉上产生直接回传的效果；第二，h 2 6 1 可以用低成本的v l s i 实现，这点对大批量生产可是电话、电视会议设备来说尤其重要。 为了提高h 2 6 1 的压缩性能，i t u t 工作组开发了h 2 6 3 。和h 2 6 1 相比，在 压缩技术上傲了四个方面的改进： 具有1 2 象素精度的运动估计，消除了对循环滤波的要求； 重叠的运动补偿，采用较复杂的计算换取较密集的运动场； 在宏块( 1 6 1 6 ) 级运动估计和块( 8 8 ) 级运动估计间采取自动切换； 支持二次q c i f ( s u b q c i f ) 比, 特流。 h 2 6 3 十和h 2 6 3 + + 用来描述支持部分或全部的h 。2 6 3 编解码器的可选功能，它 们包括： f 1 ) 为了在误码率、丢包率较大的网络、或异构网络上改善视频信号的传输质 量，增加了1 种具有时间可伸缩性和2 种具有信噪比或空间可伸缩性的编码； ( 2 ) 改进的p 、b 帧模式，增强了频繁使用p 、b 帧时的鲁棒性( r o b u s t n e s s ) ； ( 3 ) 为了适应更广泛的应用，允许使用用户自定义的图像格式； f 4 ) 提供了9 种新的编码模式，使编码效率更高。 ( 5 ) 支持在码流中增添新的辅助信息。 h 2 6 4 是一种视频高压缩技术，全称是m p e g 4 a v c ，又称为m p e g 4p a r t l 0 。 它是由国际电信标准化部门i t u t 和规定m p e g 的国际标准化组织i s o 国际电工 协会i e c 共同制订的一种活动图像编码方式的国际标准格式。 国际电信标准化部门从1 9 9 8 年开始就有h 2 6 l 的h 2 6 s 两个分组，前者研制 节目时间较长的高压缩编码技术，后者则指短节目标准制订部门。h 2 6 s 标准化技 术的名称为h 2 6 3 。2 0 0 1 年后，国际电信标准化部门i t u t 和m p e g 的上级国际 电子科技大学硕士学位论文 标准化组织i s o 成立了联合视频组t ，在h 2 6 l 基础进行h 2 6 4 的标准化。为 了不引起误解，i t u t 推荐使用h 2 6 4 作为这一标准的正式名称。 h2 6 4 可用于手机电视广播，打开手机就可以收看数字电视节目。美国高等电 视系统会议和日本无线电工业和事务协会都准备把h ，2 6 4 作为地面便携式数字电 视厂一播的编码方式。欧洲数字电视广播标准化团体也正在将h 2 6 4 作为数字电视 的一种编码方式来采用【2 jp j 。 11 2 2m p e g 系列 m p e g ( 运动图形专家组) 成立于1 9 8 8 年，是专门指定音视频压缩标准的组织， 目前有3 0 0 多名成员。m p e g 组织指定的各个不同标准都有着不同的目标，目前 已经提出了m p e g 1 、m p e g 一2 、m p e g - 4 、m p e g 7 和m p e g 2 1 等视频压缩标准。 m p e g 1 是个i s o 标准，于1 9 9 2 被批准为国际标准，用于c i f 格式的视频 和音频在速率约为1 5 m b p s 的各种数字存储介质( 如c d r o m 、d a t 、光驱等) 上的 编码表示，主要应用在交互式多媒体系统中。它和h 2 6 1 的算法类似，但也有自 己的一些特点。m p e g 1 在1 2 m b p s ( 视频信号速率) 速率下压缩解压c i f 格式视频 的图像质量可以和用v h s 记录的模拟视频的质量相媲美。m p e g 1 没有定义产生 合法数据流的详细算法，也没有对运动估计算法和压缩模式选择准则做统一规定， 在编码器的设计中提供了很大的灵活性。此外，定义的已编码位流和解码器的一 些参数都含在位流当中，该特点使得算法可以应用于不同大小和宽高比的图像， 也可以工作在动态范围较大的信道和设备上。 同h 2 6 1 相比，m p e g 1 提高了三个专用特点：第一，m p e g 1 支持随机存取。 随机存取要求在有限的时间内能够对任一帧图像进行解码；第二，快速的正向，反 向搜索。它指的是对压缩后的位率迸行扫描，并且只显示选中的图像，从而达到 快速的正向反向搜索；第三，合理的编解码延迟。在单向视频存取中，大约1 秒 的延迟可以出现交淡的效果。 然而，大多数的娱乐应用中，m p e g - 1 以1 2 m b p s 的速率压缩出的视频图像质 量是不可接受的。在这种情况下，m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准， 主要针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细 规定，编码码率从2 m b p s 2 0 m b p s 。m p e g 。2 不是m p e g 一1 的简单升级，它第一次 提出了规定编码工具的p r o f i l e 和编码嚣参数的l e v e l 的概念，并在系统层和传输层 方面都做了更加详细的规定和进一步的完善。m p e g 一2 特别适用于广播级的数字电 4 电子科技大学硕士学位论文 标准化组织i s o 成立了联合视频组t ，在h 2 6 l 基础进行h 2 6 4 的标准化。为 r 不引起误解i t u t 推荐使用h 2 6 4 作为这一标准的正式名称。 i i2 6 4 可用于手机电视广播，打开手机就可以收看数字电视节目。美国高等电 视系统会议和日本无线电工业和事务协会都准各把h 2 6 4 作为地面便携式数宁电 视广播的编码方式。欧洲数字电视广播标准化团体也正在将h2 6 4 作为数字电视 的一种编码方式来采用f 儿。 1 2 2m p e g 系列 m p e g ( 运动图形专家组1 成立于1 9 8 8 年，是专门指定音视频压缩标准的组织， 目前有3 0 0 多名成员。m p e l 3 组织指定的各个不同标准都有着不同的目标，目前 已经提出了m p e g l 、m p e g 一2 、m p e g 4 、m p e g 7 和m p e g - 2 1 等视频压缩标准。 m p e g 1 是一个i s o 标准，于1 9 9 2 被批准为国际标准，用于c i f 格式的视频 和音频在速率约为15 m b p s 的各种数字存储介质( 如c d - r o m 、d a t 、光驱等) 上的 编码表示，主要应用在交互式多媒体系统中。它和h 2 6 1 的算法类似，但也有自 己的一些特点。m p e g 1 在l2 m b p s ( 视频信号速率) 速率下压缩解压c i f 格式视频 的图像质量可以和用v h s 记录的模拟视频的质量相媲美。m p e g - 1 投有定义产生 台法数据流的详细算法，也没有对运动估计算法和压缩模式选择准则做统一规定， 在编码器的设计中提供了很大的灵活性。此外，定义的已编码位流和解码器的1 衅参数都含在位流当中，该特点使得算法可以应用于不同大小和宽高比的图像， 也可以工作在动态范围较大的信道和设备上。 同h 2 6 l 相比，m p e g 1 提高了三个专用特点：第，m p e g 1 支持随机存取。 随机存取要求在有限的时间内能够对任一帧图像进行解码；第二，快速的正向反 向搜索。它指的是对压缩后的位率进行扫描，并且只显示选中的图像，从而达到 快速的正向反向搜索；第三，合理的编解码延迟。在单向视频存取中，大约1 秒 的延迟可以出现交淡的效果。 然而，大多数的娱乐应用中，m p e g 1 以12 m b p s 的速率压缩出的视频图像质 量是不可接受的。在这种情况下，m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准， 主要针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细 规定，编码码率从2 m b p s 2 0 m b p s 。m p e g 。2 不是m p e g l 的简单升级，它第一次 提出了规定编码工具的p r o f i l e 和编码器参数的l e v e l 的概念，并在系统层和传输层 方面都做了更加详细的规定和进一步的完善。m p e g - 2 特别适用于广播级的数字电 方面都做了更加详细的规定和进一步的完善。m p e g - 2 特别适用于广播级的数字电 第一誊绪论 视的编码和传送，被指定为s d t v 和h d t v 的编码标准。 m p e g 一4 是在m p e g 1 、m p e g 2 进入广泛的实际应用之时m p e g 小组发布的 一个新标准。m p e g 。4 设计初衷是对视频电话、可视电话的超低比特率编码，原定 的标准名称是甚低速率视听编码( v e r y - l o wb i tr a t ea u d i o v i s u a lc o d i n 曲，但在调查过 程中，m p e g 组织感到了物质基础和市场需求的变化，并据此立即修改计划，制 定了现在意义上的m p e g 一4 ，并重新命名为“视听对象编码( c o d i n go f a u d i o v i s u a l o b j e c t s ) ”。 m p e g 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通 信及应用环境提供标准的算法及工具，从而建立一种能为多媒体传输、存储、检 索等应用领域普遍采用的统一数据格式，它主要致力于为广泛的多媒体应用提供 一个通用的平台。标准的制定工作开始于1 9 9 3 年，并在1 9 9 8 年产生了第一版的 国际标准。m p e g 4 中一个重要的概念就是对象。一个m p e g 4 场景包含一系列 的视频和声音对象，他们通过场景描述文件组织起来。以视频对象为例，它就包 含了时空域上的形状、运动和纹理信息。这种基于对象的编解码方法非常适合交 互式的多媒体应用环境。m p e g 4 的另一个特点是它同时支持对自然的和合成的视 觉、声音对象的编码，并可以将两者结合到同一个场景中去。m p e g 4 有着广泛的 应用前景，例如数字电视、低比特率下的移动多媒体通信、视频电话、电视电影 制作、i n t e m e t i n t r a n e t 上的视频流传输、基于面部表情模拟的虚拟会议室、交互式 多媒体应用等口j 【4 】。 m p e g 4 和以前的视频标准m p e g 一1 、m p e g 一2 及h 2 6 x 系列相比，最重要的特 征有： f l 、编码是基于对象的，这样就使得操作、控制对象成为可能，而传统的编码 都是基于帧的，显然无法对对象进行操作。另外由于传输带宽的限制，必须对压 缩比特进行控制，这会影响图像质量。过去的编码标准在比特率低时，整帧图像 都受影响，而m p e g 4 的编码是基于对象的，可以控制对象的比特率，即在带宽 低时，可以根据对象的重要性进行比特率的科学分配，从而使图像的主观质量得 到保证。 ( 2 1m p e g 4 在时域和空域有灵活的可扩展性，可根据现场带宽和误码率的客 观条件在时域和空域进行扩展，时域扩展是在带宽允许时在基本层上的增强层中 增加帧率，在带宽窄时在基本层中减少帧率。空域扩展是指对基本层中的图像进 行插值，增加，减少空间分辨率，以达到充分利用带宽，使图像质量更好。 继m p e g - 4 之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和 电子科技大学硕士学位论文 迅速搜索。针对这个矛盾，m p e g 专家组提出了解决方案m p e g 一7 ，力求能够快速 且有效地搜索出用户所需的不同类型的多媒体资料。该工作于1 9 9 8 年l o 月提出， 2 0 0 1 年初最终完成并公布。它的目标是支持多种音频和视觉的描述，包括自由文 本、n 维时空结构、统计信息、客观属性、主观属性和组合信息。对于视觉信息 的描述包括颜色、视觉对象、纹理、草图、形状、体积、空间关系、运动及变形 等。该标准不包括对描述特征的自动提取，它也没有规定利用描述进行搜索的工 具或任何程序。其正式的称谓是“多媒体内容描述接口”。 m p e g 一7 可独立于其它m p e g 标准使用，但m p e g 4 中所定义的对音、视频 对象的描述同样适用于m p e g 一7 ，这种描述是分类的基础。另外我们可以利用 m p e g 一7 的描述来增强其它m p e g 标准的功能。 m p e g 一7 的应用范围很广泛，既可应用于存储( 在线或离线) ，也可用于流式应 用( 如数字广播) 。它可以在实时或非实时环境下应用。例如数字图书馆、多媒体名 录服务、广播媒体选择( 无线电信道，t v 信道等) ；多媒体编辑( 个人电子新闻业务， 媒体写作) 等。另外，m p e g 一7 在教育，新闻、导游信息、娱乐、研究业务、地理 信息系统、医学、购物、建筑等各方面均有较深的应用潜力。与同样是音频压缩 标准的杜比公司的a c 系列标准相比，m p e g 标准系列由于存在专利权的问题，所 以更适合于我国国情。 正在制定的m p e g - 2 1 则是一些关键技术的集成，通过这种集成环境就对全球 数字媒体资源进行透明的和增强的管理，实现内容描述、创建、发布、使用、识 别、收费管理、产权保护、用户隐私权保护、终端和网络资源抽取、事件报告等 功能。 1 3 主要工作 本文介绍了图像编码的各种国际标准，研究了m p e g 一4s p 实现视频压缩编码 的原理，对常用的几种搜索算法做了仿真，比较了它们的搜索精确度和计算复杂 度，并改进了菱形搜索算法。结合a d s p b l a c k f i n 5 3 5 硬件结构，给出了m p e g 一4 编码中各主要模块的优化方法最后达到了实时编码的要求，编码器中采用在c 语言中调用汇编函数的模式，即使用标准c 来控制程序结构，b l a c k f i n 5 3 5 汇编来 实现调用频繁的编码模块。所做的主要工作有： 研究了视频压缩国际标准m p e g 一4s p 视频部分，在v c 6 0 环境下实现软件编 码器模型和解码器模型。 第一章绪论 深入学习了a d s p b l a c k f m 5 3 5 芯片结构及性能特点，把m p e g 一4 编码器移植 到v i s u a ld s p + + 环境并进行了性能分析。 对常用的四种搜索算法做了仿真，对比、分析了它们的计算复杂度和搜索准 确度，对菱形搜索算法做了改进。 对m p e g 一4s p 编码中各模块的占时比做了统计，在c 语言级别调整了程序结 构，对耗时大的d c t i d c t 、量化逆量化、插值和运动估计等模块做了底层汇编 级优化和存储结构优化。在保证图像质量的情况下，有效提高了编码效率，最后 实现在b l a c k f i n 5 3 5 评估板上的实时编码。 1 4 结构安排 第一章绪论部分，分析视频压缩标准m p e g - 4 研究的必要性和意义，详细介绍了 目前流行的各种图像压缩标准并做了性能对比，介绍了文章的研究内容和 章节安排。 第二章分析对比了b l a c k f i n 系列的几种处理器，针对b l a c k f i n 5 3 5 评估板的结构特 点，列出了适合图像处理的新性能。最后结合流水线机制，给出了在评估 板上开发工程时要注意的问题。 第三章为m p e g 4s p 编码原理部分，对编码中的各个模块，d c t 、量化、z i g z i g 扫描、变长编码、运动估计等都做了原理介绍并给出编解码流程图，最后 给出了评价图像质量好坏的主观和客观方法。 第四章为搜索算法的仿真部分，介绍了常用的四种搜索算法，对它们的计算复杂 度和搜索准确度做了m a t l a b 仿真，对文章中采用的菱形搜索算法做了 改进。 第五章为具体实现部分，介绍了如何一步步把原始的x v i d 代码移植到评估板并 做优化，总结出在b l a c k f i n 5 3 5 评估板上c 语言上优化应遵循的原则，对编 码中各个模块都做了相应的优化，提高了编码效率。 第六章全文的总结和展望。 7 电子科技大学硕士学位论文 第二章b l a c k f i n 5 3 5 简介 自1 9 8 2 年t i 公司推出第一片可编程d s p 芯片以来，d s p 技术以其独特的优 势取得了突飞猛进的发展，该技术已在航空航天、遥测遥感、生物医学、自动控 制、振动工程、通信雷达、水文科学等许多领域有着广泛的应用。它们之所以这 么流行，是因为它们具有可编程的优点，从而使得产品易于升级和维护。其成本 和风险也比定制的i c 产品要低，特别是对于批量生产比较低的产品，如果用i c 来实现开发成本高的将难以忍受。同其他类型的微处理器相比，d s p 在速度、成 本和功耗方面有着不可取代的优势。从市场趋势看，根据美国f o r w a r dc o n c e p t s 调查显示，美国t i ( t e x a si n s t r u m e n t s ) 公司和美国a d i ( a n a l o gd e v i c e st n c ) 公司在市 场占有率方面，以双强局面赢得全球排名之冠。成长最快的是a d 公司，论文中 采用的是a d i 公司b l a c k f i n 系列处理器。 2 1b l a c k f i n 系列d s p 介绍 美国模拟器件公司a d i 是全世界领先的高性能信号处理集成电路制造商，是 全球主要的可编程d s p 芯片供应商之一。在通用d s p 市场上，a d i 公司占有约 4 0 的市场份额。b l n k f i n _ d s p 是1 6 位产品的一个太系列，是a d i 和i n t e l 联合开 发的体现高性能体系结构的首款第四代d s p 产品。这款产品是专门为通信和互网 络应用设计的通用d s p 芯片，能高效处理互联网上大量的图像、声音、文本和数 据流，适应于电信和各种互联网设备，比如可视电话、网络电视和智能手持设备 等。 2 。1 1 b l a c k f i nd s p 结构综述 作为一种尖端的信号处理技术，b l a c k f i nd s p 的体系结构不仅特别适合于完成 视频、图像、语音和数据通信的数字信号处理，同时还提供了综合的控制能力。 和其他d s p 相比，其主要优点有f s 】： 微信号结构。b l a c k f i nd s p 体系结构是a d i 公司和i n t e l 公式联合开发的微 信号结构( m s a ) 的基础上实现的。这种统一的编程模式由于采用了综合的信号处理 第二章b l a e k f i n 5 3 5 简介 和控制指令集，消除了传统的多个不同处理器之间互相通信的复杂健。 q l , 动态电源管理。这项功能使得b l a c k f i nd s p 可以动态的改变电压和工作频 率，从而使得整体功耗最小。b l a c k f i nd s p 允许电压和工作频率独立调整，使得性 能提高了4 倍，而功耗却降低了近l 3 。 高度并行的计算单元。该体系结构使得计算单元在相同的周期内能执行的 算术运算的次数最大化。b l a c k f i nd s p 体系结构的核心使数据运算单元( a l u ) ，在 每个周期内，每个乘加器( m a c ) 能在两组数据上同时执行1 6 位的乘法操作。为获 得最大效率，可利用这种体系结构完成8 位、1