（检测技术与自动化装置专业论文）基于dsp的低码率视频编码研究与实现.pdf

武汉理工大学硕士学位论文 摘要 甚低码率视频图像编解码技术是近年来视频处理领域中的一个研究热点。 本课题采周的h2 6 3 据议是l t i 一t 关于比特率低于6 4 k b p s 的窄带通道视频编 码建议。其信源编码算法的核心是h2 6 1 建议中采用的混合编码器。h2 6 3 提 供了四个可选工作模式用来提高图像编码的性能。由于视额压缩编码本质是数 字信号处理，在诸多视频编码的实现方法中，除了已广泛应用的纯软件方法外， 基于d s p 芯片的实现方法具有显著的忧势。 本课题依托网络视频服务器的开发，对h2 6 3 标准进行了研究，并在基于 d s p 的图像处理甲台 二进行了实现。系统的硬件平台是t i 公司的e v m 6 4 2 图 像齄理平台，它以d m 6 4 2d s p 为捩心处理芯片，并集成了视频的模数、数模 转换芯片，f p g a 逻辑控制芯片等，从而大大简化了系统的硬件结构设计。系 统舱软件设计是基予b s p b i o s 内核和参考架构蓝本的，前青具有同步功能的多 线程操作以及抢占式的实时内核，后者则提供r 一个包舍多通道和多算法的应 潮软件框黎，借助这豫静工具有效降低了软件开发的难度= 在软件实现过程中，根据d s p 骞片结构特点，运用了设置编译器参数、内 联函数、乒乓算洼、使用字、教字访问短型数糖等方法对编码器进行了优化 提高了代码在d s p 上的运行效率。此外，课题针对h2 6 3 核心算法模块：d c t 、 1 d c t 和运动估计模块，运用预先判断全零技术和钻石搜索法，对原有尊法进 行了优化尝试。 出于减小开发难度的考虑，本课题没有将h 2 6 4 建议作为视频编码的标准。 不过h2 6 4 建议作为i t u _ t 郓m p e g 两大组织共同制定的视频编码标准，其应 用前景应是不言i n j 喻的。因此在实现h2 6 3 视频编码后，下一步的工作将是实 现h 2 6 4 标准的税频编码。 关键字：视频编码，h2 6 3 ，d s p 武汉理工大学硕士学位论文 a b s t r a c t t e c h n o l o g yo f v i d e oc o d i n gf o ri o wb i tr a t ec o m m u n i c a t i o nh a sb e e naf o c u s o fa t t e n t i o ni nt h ed o m a i no fv i d e op r o c e s s i n g i t u tr e c o m m e n d a t i o nh 2 6 3 w h i c hc a nb eu s e df o rc o m p r e s s i n gt h em o v i n gp i c t u r ec o m p o n e n to fa u d i o v i s u a l s e r v i c e sa tl o wb i tr a t el e s st h a n6 4 k b si sa d o p t e di nm ya r t i c l e t h eb a s i cc o d i n g a l g o r i t h m o ft h ev i d e os o u r c ei sa h y b r i d o fe n c o d e rb a s e do ni t u t r e c o m m e n d a t i o nh2 61i na d d i t i o nt ot h ec o r eh2 6 3a l g o r i t h m ，f o u rn e g o t i a b l e c o d i n go p t i o n s a r eu s e dt o i m p r o v et h ep e r f o r m a n c eo fc o d e ra n d d e c o d e r a l t h o u g ht h e r ea r em a n ym e t h o d st h a ti m p l e m e n tv i d e oc o d i n g ，t h em e t h o db a s e d o nd s p c h i ph a sr e m a r k a b l ea d v a n t a g eb e s i d e sp u r es o f t w a r em e t h o ds i n c ev i d e o c o d i n gi se s s e n t i a l l yad i g i t a ls i g n a lp r o c e s s i n g t h ep r o j e c ti sb a s e do nd e s i g no fn e t w o r kv i d e os e r v e ra n dh a si m p l e m e n t e d h2 6 3r e c o m m e n d a t i o no nav i d e o p r o c e s s i n gp l a t f o r m b a s e do nd s p t i s e v m 6 4 2i m a g e & v i d e o p r o c e s s i n gp l a t f o r m i su s e da st h e s y s t e m h a r d w a r e f o u n d a t i o n c o m i n gw i t h ac o r ep r o c e s s o r - d m 6 4 2 i tp r o v i d e sa da n dd a t r a n s f o r m i n gc h i p sf o rv i d e op r o c e s s i n g f p g al o g i c c o n t r 0 1c h i pa n do t h e ro n b o a r dd e v i c e s u s i n go f t h ep l a t f o r mm a g n i 石c e n t i vr e d u c e sh a r d w a r ed e s i g nw o r k t h e s y s t e m s o f t w a r e d e s i g n i sb a s e do nd s p ，b i o sk e m e la n dr e f e ：r e n c e f r a m e w o r kb l u e p r i n tt h ef o r m e r p r o v i d e sm u l t i p l e t h r e a d s o p e r a t i o n w i t h s v n c h r o n i z a t i o na n da p r e e m p t i v e r e a l t i m ek e r n e lt h el a t t e rc o n s t r u c t s a p p l i c a t i o ns o f t w a r ef o u n d a t i o nw i t hm a n yc h a n n e l sa n da l g o r i t h m s w i t bh e l po f t h e s et w ot o o l s 赶, t h e s ow a r ed e s i g nh a sb e c a m em u c he a s i e r a c c o r d i n gt o s t r u c t u r ef e a t u r e so fd sp m u l t i p l em e t h o d si n c l u d i n gc o m p i l e r p a r a m e t e r ss e t t i n g ，i n t f i n s i c s ，p i n g p o n ga l g o r i t h ma n dw o r do rd o u b l e w o r dd a t a a c c e s s i n ga r eu s e dt oo p t i m i z ev i d e oc o d i n gp r o c e s s a n dh i g h e rc o d ep e r f o r m a n c e h a sb e e na r c h i v e d b e s i d e s ，f u r t h e ro p t i m i z a t i o nh a sb e e na t t e m p t e df o rh2 6 3c o r e a l g o r i t h mm o d u l e s ：d c t id c ta n dm o t i o ne s t i m a t i o nm o d u l et h eo p t i m i z a t i o n u s e se a r l yd e t e c t i o nm e t h o do fa l lz e r oc o e f f i c i e n t st e c h n o l o g ya n dd i a m o n ds e a r c h a l g o r i t h mr e s p e c t i v e l y f o rc o n s i d e r a t i o no fr e d u c i n g d e s i g nd i f f i c u l t y , p r o j e c t d i d n tu s eh2 6 4 r e c o m m e n d a t i o na sv i d e oc o d i n gs t a n d a r d h o w e v e ra st h en e w e s tv i d e oc o d i n g s t a n d a r do ft h ei t u tv i d e oc o d i n ge x p e r t sg r o u p ( v c e g ) a n dt h ei s o c m o v i n g p i c t u r ee x p e r t sg r o u p ( m p e g ) ，h 2 6 4r e c o m m e n d a t i o nh a sab 曲tf u t u r e ， s ot h eb e x tg o a lo fo u rr e s e a r c hw o r ki st oi m p l e m e n th2 6 4r e c o m m e n d a t i o na f t e r w eh a v ew e l li m p l e m e n t e dh 2 6 3r e c o m m e n d a t i o n k e yw o r d ：v i d e oc o d i n g ，h 2 6 3 ，d s p 武汉理工大学硕士学位论文 第1 章绪论 1 1 引言 现代社会中人们工作方式的特点是具有群体性、交互性、分布性和协作性。 传统的电话、传真等通信方式已不能满足社会的需要，人们对数字视频业务如 可视电话、视频会议、视频监控、远程教育、视频点播系统( v o d ) 等产生了越 来越浓厚的兴趣。而这些业务的关键技术就是视频信号的实时编解码和传输， 因而对数字视频的研究具有极大的现实意义。 数字化视频在未经压缩之前数据量是相当大的。比如一幅5 1 2 5 1 2 像素， 2 4 位真彩色的图像数据量为0 7 5 m ，按3 0 帧秒来计算，那么1 秒钟视频信号 的数据量就达到了2 2 5 m 。如此大的数据量无论是存储还是传输都是难于实现 的，因此必须采用视频编码技术将视频信息的数据量进行压缩，从而节省存储 空间，提高视频的传输效率，使数字视频业务成为可能并得到普及。所以视频 信号压缩编码成为视频传输系统研究的核心。 1 2 视频编码标准综述 上个世纪8 0 年代以来，i s o i e c 制定的m p e g x 和i t u t 制定的h 2 6 x 两大系列视频编码国际标准的推出，开创了视频通信和存储应用的新纪元。从 h 2 6 1 视频编码建议，到h 2 6 2 3 、m p e g - 1 2 4 等都有一个共同的不断追求的 目标，即在尽可能低的码率下获得尽可能好的图像质量f 2 l 3 】 4 1 5 1 。 1 2 1 m p e g 系列运动图像压缩标准 ( 1 ) m p e g - l 于1 9 9 2 年为工业级标准而设计，可适用于不同带宽的设备，如c d r o m 、 v i d e oc d ，它的目的是把2 2 1 m b p s 的n t s c 图像压缩到1 _ 2 m b p s 。压缩比为 2 0 0 ：l ，传输速率为1 5 m b p s ，编码速率最高可达4 - 5 m b p s ，但随着速率的提高， 其解码后的图像质量有所下降。m p e g - 1 主要是针对数字存储媒体，但它也可 被用于数字电话网络上的视频传输，如非对称数字用户线路( a d s l ) ，视频点 武汉理工大学硕士学位论文 播和教育网络等。 ( 2 ) m 咿e ( 2 m p e g - 2 制定于1 9 9 4 年，其目标是为了保证高级工业标准的图像质量以及 更高的传输速率，它是继m p e g 一1 之后，m p e g 推出的又一个视频压缩标准。 其设计的出发点是保持通用性，适用于广泛的应用领域、比特率、分辨率、质 量和服务。它所提供的传输速率在3 - 1 0 m b p s ，是实现d v d 的标准技术，现在 d v d 播放器已经在家庭中普及起来了。除了用于d v d 外，还可以为广播、有 线电视网、电缆网络以及卫星直播提供广播级的数字视频。 ( 3 ) 咿e g 一4 m p e g 4 是1 9 9 8 年公布的标准，旨在将众多的多媒体应用集于一个完整的 框架内，为不同性质的视频、音频数据制定通用的编码方案，提出基于内容的 视频对象的编码标准。它不仅针对一定比特率下( 4 8 0 0 - 6 4 0 0 b p s ) 的视频、音频 编码，更加注重于多媒体系统的交互性和灵活性。为了达到这个目标，m p e g 一4 引入了基于对象表达的概念，用来表达视听对象；i v l p e g 4 扩充了编码的数据 类型，由自然数据对象扩展到计算机生成的合成数据对象，采用合成对象自然 对象混合编码算法；基于内容的压缩编码是m p e g 研究的热点。m p e g 一4 的编 码系统是开放的，为各种多媒体应用提供一个灵活的框架和套开放的编码工 具，不同的应用可选取不同的算法。 ( 4 ) 毋e ( 孓7 m p e g 7 的正式名称叫做多媒体内容描述接口( m u l t i m e d i ac o n t e n t d e s c r i p t i o ni n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型的多媒 体信息及它们之间的关系，以便更快更有效地检索信息。这些媒体材料可包括 静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它们之间的 组合关系。m p e g - 7 的应用领域包括：数字图书馆，例如图像目录、音乐词典 等；广播媒体的选择，例如无线电频道，t v 频道等；多媒体编辑，例如个人 电子新闻服务，多媒体创作等等。 1 2 2h 2 6 l 系列标准 ( 1 ) h 2 6 1 标准 h 2 6 1 是由i t u t 第1 5 研究小组为在窄带综合业务数字网( n i s d n ) 上开 2 武汉理工大学硕士学位论文 展p x 6 4 k b s 的双向声像业务( 可视电话，会议电视) 而制定的，其中，p = l 一3 0 。 因此，h 2 6 1 也称为p 6 4 标准。用于可视电话时，p = 2 ，速率只有1 2 8 k b p s ， 当用于会议电视时，建议p 6 ，速率3 8 4 k b p s ，最高可达2 0 4 8 k b p s 。h 2 6 1 只对 c l f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 和q c i f 两种图像格式进行处理。在信道速 率较低时，帧率可以降至1 0 帧秒左右。 ( 2 ) h 2 6 3 标准 h 2 6 3 标准是在h 2 6 1 的基础上加以改进而形成的，其基本编码结构基于 h2 6 1 标准。h 2 6 3 相对于a 2 6 1 的主要区别为：以半象素精度的运动估计取代 整象素运动估计；对变换系数使用v l c 熵编码( r u n ，l e v e l ，l a s t ) ；用于边信息 的比特数减少，宏块层采用不同于h 2 6 l 的v l c 表；增加了四个可选编码模式： 无限制运动矢量模式、基于语法的算术编码、p b 帧模式、先进预测模式。h 2 6 3 + 及h 2 6 3 十+ 则在h 2 6 3 的基础上的总结和提高，支持更多的帧类型和图像分辨 率，包含了更多的可选模式来提高压缩效率和增强差错健壮性，已成为一个成 熟而完善的低码率运动图像编解码方案。有关h 2 6 3 系列标准的详细内容将在 第二章介绍。 ( 3 ) h 2 6 4 标准 h2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动 图像编码专家组) 的联合视频组( j ：i o i n tv i d e ot e a m ) 开发的一个新的数字 视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第l o 部 分。h 2 6 4 和以前的标准一样，也是d p e m 加变换编码的混合编码模式。但它采 用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩 性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利 于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以 及不同传输( 存储) 场合的需求。 由此看来，h 2 6 l 系列标准的视频更加适合网络传输的应用，而h 2 6 3 作 为目前比较流行的压缩标准，不仅使编码后视频具有较强的网络传输适应能力， 而且其结构设计简洁，所采用的算法容易实现，并可以根据需要对算法进行裁 减，此外从国内外视频编码网站上可以获得丰富的相关资料，因此综合考虑各 种因素后，本课题选择h 2 6 3 协议作为视频编码的标准。 武汉避工大学硕士学位论文 1 3 褫频编码的实现方法 视频编码从实现途径上可分为以下几种： ( 1 ) 在通用的微计算机上用纯软件方法实现 这糖方案具有嚣发费惩低，开发鼹矮糖黠铰短等往点，露显，亦可搜麓现 成的软件包，因此嶷受到开发卷的青磉。但魑软件的实现脱离不了计群机， 计算机的性能优劣对其影响很大，而且计算机甑括在了用户成本中。 ( 2 ) 基于特殊用途的数字信号处理器芯片的实现 瑷在国际上己掩趱了不少专门孺子f f t 、f i r 滤波、卷辍等豹专建芯片。如 美国i n i m o s 公司推比的i m s a l 0 0 芯片，可以完成f i r 、f f t 、相关、卷积等运算。 其他的，如m o t o r o l a 公司的d s p 5 6 2 0 0 、z o r o n 公司的z r3 4 8 8 l ，以及针对h 2 6l ， l i p e g ，j p e g 标准戆苍垮也都属予专媛型熬d s p 蕊片。杰这登d s p 芯片中，其羹 法是由硬件实现。使搦者给出输入数据，经过邋辑组合即可在输出端得到缩聚。 这种方案适用于对速度要求很高的场合。其特点是灵活性差，而且开发工具尚 不完善。 ( 3 ) 藜于通焉可缡程d s p 芯片的实现 视频编码从本质上来说也是数字信号处理，而d s p 有着比通用微处理器更 适合数字信号处理的优点。如采用改进的哈佛总线结构，内部有硬件乘法器、 累麴嚣，及浚隶线缝棱，具有蹇好豹并行特瞧，著有专f j 设谤懿逶台信警处理 的指令系统等。对予视频处理系统而言，一块内嵌的d s p 芯片及其外围电路就 能完成憋个系统的压缩编码。这种方案的好处鼹系统灵活，硬件系统设计宪成 后，整个系统的升级仅仅是修改软 牛即可完成。 ( ) 基于a s i c 蕊片静实现 由于f p g a 产品的迅速发展，可以利用a 1 t e r a 公司、x i l i n x 等公司提供的 产品，通过软件编程用硬件实现特定的视频编码冀法如d c t 簿。这一方法啦于 具有遴越瞧豹特点冀霹戳实瑗算法鹣著嚣运算，茏论是 睾凳猿立兹数字蕊号楚 理器，逐是作为d s p 芯片的协处理器目前这都是比较活跃的研究领域。如果 能和d s p 有机的结含超来，充分利用它们各自的优点，它们将会相得益彰，发 挥出更大的 乍用1 6 。 比较上述各释方案的优缺点可见： 第一种方案由于是基于纯软件的低复杂度解决方案，易于升级，比较成熟， 4 武汉理工大学硕士举位论文 虽然它依赖微计算机，但是随着微计算机处理搽性能的不断提高，价格不断降 磊，这秘方法爨然大蠢可为。磐秘疆 共一个窝拣麓懿较斧编褥器仍是嚣蘩瓣一 个热点研究方向。 第二种方案将是图像处理研究的一个分支方向。 第三耱方寨j # 鬻适合于援频缡鹳跌及逯爰傣号楚理，蠢曩这一方案爨有缝 髓上的优势和通用瞧的特点，使蔟成为真正搜d s p 技术实蠲他的方法。努一方 面，随瀚d s p 芯片价格的下降，通用d s p 的应用领域也在不断扩展。 第四种方案专用憔过强。在批量应用中，幽于较好的性价比也在近几年褥 委了广泛瘟爱。 1 4 本课题的意义和主要任务 视频监控系统愚大型企韭诸弼集翟纯公黉魄力、部电、镶行、交道、商场 等信息广泛交流企业的生产与管遐的必备系统。早期的模拟视频监控系统由于 在传输的实时性、确丽的清晰度以及存储等方砸都存在种种不足，逐渐不能满 是工鼗熬控戆嚣要。上壁纪9 0 年代东，蓝控系绫开始罴用数字讫毒雯频援拳，数 字视频淑善了回放的厕质、方便了存储，并提供了检索、查询等处理功能，但 由于从般控点到监控中心为模拟方式传输，无法实现远程监控的需要。因此， 能够实现数字视频实时网络传输的灏一代监控系统诞生了，蕊其核心部分就是 集筷_ 毅橇频数字纯、i p 封包缝瑾繇弼络传输等功麓子一身熬瘸络瓷频驻务器。 因此本课题作为网络视频服务器的前期研究部分，还是具有很现实意义。 另一方面，目前国内基于低确率( 如h 2 6 3 协议) 的硬件产品还不多，市场 上大部分都是国外公镯的产品，磷基图像质量一般，徐捂却不斐。一些嵩校程 辩研院所瞧正在研究褫颓编码静蜜瑗帮优纯技术，僵多数是穰p e 上进 亍的，丽 基于d s p 硬件平台的还不多。针对这种现状，本课题对h 2 6 3 标准进行研究， 并且在d s p 开发板上实现实时的编码，为今后搿发具备网络传输功能的数字频 整控设鍪蠢下墓爨，羧累嚣发经验。 系统的硬件平台选择的是t i 公司的e v m 6 4 2 开发板。由于开发板集成了d s p 外围芯片和视频采集、播放芯片，因此课题所完成的主要工作就是将p c 上调试 通过的豫2 6 3 标准c 代码程序移檬到d m 6 4 2 中，并结合d m 6 4 2 的硬件结构选择 饶纯方法对c 代羁俊佬捷筏码豹 熏穗达至l 系统甏求。 武汉理工大学硕士学位论文 1 5 论文的结构 本论文主要部分的结构安排如下： 第1 章绪论。简要的介绍了视频压缩编码的理论依据、实现方法、课题的 研究意义及课题要完成的主要任务。 第2 章视频编码原理和h 2 6 3 建议。本章将从帧内编码和帧问编码两个角 度阐述视频图像压缩编码方法。帧内编码主要采用变换编码，帧间编码主要采 用预测编码。本章同时还介绍了h 2 6 3 建议的主要内容。 第3 章e v m 6 4 2 开发板的硬件结构。本章简要地介绍了d m 6 4 2d s p 的特性 和e v m 6 4 2 开发板的硬件结构。 第4 章h 2 6 3 编码的软件实现。本章首先对d s p b i o s 进行了介绍，然后 描述了编码器框架的构建，最后具体说明了软件代码的实现。 第5 章总结与展望。 总结本课题所做的工作，并指出了下一步研究的重 点。 6 ；。一。；墼蝥耋三：呈墼圭耋丝兰奎。；一。 第2 章视频编码原理及h 。2 6 3 建议 2 数字视频压缎编码鲍必要性 信息时代的重骤特征是信息的数字化，数字化丁的信息带来了“信息爆 炸”。多媒体计算机系统技术是面向二维图形、立体声和彩色垒屏幕运行画诼 鲢处理技术。鼗字浮算撬瑟簸的怒数值、文字、语言、音乐、图形、动菰、静 圈像、电视视频图像等多种媒体承载的由模拟撵转化成数字嚣信息的存储和传 输的问题。数字化了的视频和单频信号的数据掇之大是非常惊人的。f 而列举 几个未经匿缩的数字他信息的例子： 一幅分# 率为3 5 2 x2 8 8 像素的彩色雕像，以全色影深度( 翔l lc o l o r d e p t h ) 采集，每像絮需要2 4 b i t 数据，包括8 位红，8 位绿，8 位蓝。则共需 3 0 4 1 2 8 字节数据。 “v h s 利秉缘”标准质量：每移2 5 赣蕊蕊，每赖3 5 2 2 8 8 檬素，每像 素用1 2 位数宁量表达。则每秒总共是3 0 4 i t 8 的数据流璺。 “电视”标凇质量：每秒2 5 帧画面，7 0 4 5 7 6 像素每帧，每像豢用1 2 位数字量表述。总共是1 2 。7 始i t s 每秒钟的涟壤。 从上面的所举的例子可以看出，数字他信恩拘数据量是何等庞大，这样太 的数据鼹，无疑是给存储器的存储容量、通信干线的信道传输以及计算机的速 度都增加了极大的压力。这个问题是多媒体技术发展中的一个非常棘手的黼题， 解决这一运蘧的办法，单纯霆扩大存耱嚣容量、增加逶信干线的传输率瓣办法 是不现实的。数据艇缩技术是个彳亍之有效的方法，通过数据压缩手段把信息数 据量压下来，以压缩形式存储和传输，既紧缩带约了存储空间，又提高了通信 干线的谊辕效率，霹时也使 算规实时处理音频、视频，以探涯搔放出商臻量 的视频、音频节目成为可能。 2 2 视频压缩的理论依据 多媒体数据压缩不仅是必要的而且也是可能的。 7 武汉理工大学硕士学位论文 从信息论的角度出发，离散无记忆信源的冗余度寓于信源服从的非等概布 之中。因此，数据压缩的基本途径之一，就是设法改变信源的概率分布，使其 尽可能的非均匀，再用晟佳编码方法使平均码长逼近信源的熵。联合信源的冗余 度也寓于信源间的相关性之中，因而去除它们之间的相关性，使之成为( 或羞不 多成为) 不相关的信源，这是数据压缩的又一条途径。 视频图像信息源，其信息冗余度很高，图像数据中存在着多种冗余度包 括： ( 1 ) 空间冗余 这是静态图像存在的最主要的一种数据冗余。例如一幅图像中有一块表丽 颜色均匀的区域，在此区域中所有点的光强和色彩以及饱和度都是相同的，这 种空间连贯性就称为空间相关或空间冗余。 ( 2 ) 时间冗余 这是序列图像( 电视图像，运动图像) 中经常包含的冗余。序列图像中的相 邻帧往往包含相同的背景和运动物体，只不过运动物体所在的空间位置略有不 同。这种相邻帧间数据的高度相关性就称为时间冗余。 ( 3 ) 信息熵冗余 也称为编码冗余。由信息论的有关原理可知，为表示图像数据的一一个像素 点，只要按其信息熵的大小分配相应比特数即可。而对于实际图像数据的每个 像素，很难得到它的信息熵，因此一般是对每个像素采用相同的比特数来表示， 这样就必然存在冗余，这种冗余就称信息熵冗余。 由于空间、时间冗余和信息熵冗余都决定于图像数据的统计特性，因此把 它们统称为统计冗余。 ( 4 ) 结构冗余 在有些图像的部分区域内存在着非常强的纹理结构，或是图像的各个部分 之间存在有某种关系，例如自相似性等，就称此为结构冗余。 ( 5 ) 知识冗余 有些图像的理解和某些知识有相当大的相关性，例如：人脸的图像有固定的 结构，五官间的相互位置信息就是一些常识。这种冗余就称为知识冗余。 ( 6 ) 心理视觉冗余 事实表明，人类的视觉系统对图像场的敏感性是非均匀和非线性的。例如， 由图像系数的量化误差引起的图像变化在一定范围内就不能为人眼所觉察。而 武汉理工大学硕士学位论文 在记录艇始的图像数据时，通常假定视觉系统是线性的和均匀的，对视髓敏感 帮不城感的部分司等对待，这群麟产生了比理想编码更多鲍数据，这就是视觉 冗余州。 正是由于以上原因，视频图像数据的压缩是可行的。视频压缩就是将庞大 盼数旗中豁趸塞信患去掉( 去除数据之润鲍楗关性) ，保蟹耀互独立静信惫分 量，以静态图像为铡，图像像素点在空域中的亮度值和色度傻，除了边界轮廓 外，都是缓巨变化，比如一幅头肩人像图、背景、人脸、头发等处的灰度、颜 色都是平缓改变的。相邻像素的亮度和色度傻e e 较接近，具有较强的相关性， 壹接熙浓撑鼗据表罨亮褒和琶度，信息有较多翁冗余。先摊躲这些空间冗余信 息，再进行编码，使檄示每像素的平均比特数下降，这就是通常所说的帧内编 码。视绷信号是沿着时间轴方向的一个帧序列，其帧问图像的相关性也很强， 运常用减少帧闻传送赖的数星朝降低犊率，以减少时域的凭余信息，采耀运穹亍 估计和惩行补偿的方法以满足解弼图像质量耍求。 总的来说，帧内编码仅利用空间相关性对一帧图像编码去除的是图像的 空闻冗佘度。帧间编码则是利用时闻檩关性对一个图像序列礁行编码，去除的 是匿像翡时润冗余。垂贲内编玛主耍莲雳变换编褥方弦；赖辆犏鹃主要焉殒测编 码。， 2 。3 铙频编码的基本骧理 2 3 1 帧内编码 视频强像在单髌中的蕊g 壤体彝援到背景豹表西物理特髓阈具有相荚靛， 耶存在游空闻冗余艘。利用帧内空间相关性做圈像编码器的编码方案如图2 ，l 所示。 ，( 嘎，毪) 弓缟，屯： 一 至丑匹互卜 三譬- 鼙2 i 搂肉编褐过程 图中“变换”、“量化”和“码字分配”三个环节都是为了减少图像源的 武汉理工大学硕士学位论文 冗余度。在发送端，对图做变换，并对变换后的系数弓( t ，k 2 ) 做量化，然后 对量化的t ( i 。，i ：) 编码，做码宇分配。下面将从“变换”、“量化”和“码 字分配”三个环节对帧内编码进行阐述。 2 3 1 1 变换编码 ( 1 ) 变换编码的原理 变换编码不是直接对空域图像信号编码，而是首先将空域图像信号映射变 换到另一个正交矢量空间，产生一批变换系数，然后对这些变换系数进行编码 处理。变换编码能够消除图像数据空间相关性，使图像数据在变换域上最大限 度地不相关。尽管图像变换本身并不带来数据压缩，但由于变换后系数之间相 关性明显降低，图像的大部分能量只集中到少数几个变换系数上，采用适当的 量化和熵编码可以有效地压缩图像的数据量。而且图像经某些变换后，系数的 空间分布和频率特性有可能与人眼的视觉特性匹配，因此可以利用人类视觉系 统的生理和心理特点来得到较好的编码效果。 ( 2 ) 变换编码的类型选择 正交变换种类很多，如k l ( k a r h u n e n l o e v e ) 变换、离散傅立叶变换、小 波变换、离散余弦变换等。在常用的数据压缩变换编码中，除了所选择的变换 方法能很好的与图像信号的特性匹配外，还应从失真要求、实现的复杂皮以及 编码比特率等多方面来综合考虑。 k - l ( k a r h u n e n - l o e v e ) 变换是最佳线性变换方案，它是用数据本身的相关矩 阵对角化后构成的。这种变换将产生完全不相关的变换系数。如果图像数据是 高度相关的，经过k l 变换，变换后的系数将出现多个零值；同时，某些系数 的值将会很小。k - l 变换的变换矩阵是由图像数据本身求得的，不同的图像数 据有不同的变换矩阵。如此造成反变换矩阵的不唯一性：加之k l 变换矩阵的 构造计算量很大，因而它不是一种实用的变换方法。尽管如此，k l 变换毕竟 是线性变换压缩编码方法的最佳方案之一，通常成为一个可以让其他线性变换 用来比较的基准【9 】。 离散傅立叶变换( d f t ，d i s c r e t ef o u r i e rt r a n s f o r m ) 曾被认为是一种适合 的变换，因为它有固定的基函数组，可以用f f t 算法对它做快速运算，包括正 向和反向运算。尤其重要的是，普通图像经d f t 变换能量的主要部分集中于低 频区域。 小波变换由于可以描述非平稳图像信号和适应人的视觉系统特性的特点， l o 武汉理工大学硕士学位论文 受到了图像视频编码领域的不断关注。基于小波变换的数据压缩方法充分利用 了这些特性，具有快速算法，获得了较高的数据压缩率，近年来已经成为数据压 缩编码方法中的热点。小波变换的最大特点是能多分辨率地描述图像，并可以 将图像分解成一组不同频带的子图像，对各个子图像采取合适的编码方法，从 而获得较高的压缩效率。但是由于小波变换不具有空间不变性，使得小波域内 无法达到精确的估计而导致大量的补偿误差1 0 1 。 离散余弦变换( d c t ，d i s c r e t ec o s i n et r a n s f o r m ) 与d f t 比较则具有能量 更加集中的优点，而且不会牺牲其他方面的质量，具有快速算法。所以在实际 编码工作中，人们更常采用d c t 变换。对大多数图像信源来说，在诸多变换编 码方法中，d c t 变换是最接近k l 变换的方法，故称之为次最优变换方法。 总的来说，d c t 变换对变换信号的紧缩有效性和独立于信号本身的变换基 以及变换后的系数游程编码独具优势，并且d c t 经过长期理论与实践的丰富与 发展，已在图像压缩上在保证有较高的编码性能同时，从有损发展到无损；功 能上也突破原来j p e g 压缩编码，实现图像处理、分析、理解及技术应用等： 形式上也从单纯的d c t 走向与其他先进变换编码的融合。因此目前的诸多图 像编码的国际标准中正是采用d c t 作为其编码的主要环节之- - “1 。 ( 3 ) 离散余弦变换( d c t ) 1 ) 一维d c t 的定义 以( x ( m ，n ) ) 表示m 个值有限的一维实数信号序列的集合， m = o ，l ，m 1 ，则其一维d c t 定义为： m ) = 居( 后摧獭) c o s ( 2 m + 2 1 ) k z 删，m 一1 ( 2 1 ) 一维反变换( i d c t ) 定义为： 咖) = 信m 壤c o s , 1 ( 2 m + r 1 ) k z m - o ，1 ，m 一1( 2 2 ) 其中 ，l c ( k ) ： 万 k = 0 ( 2 3 ) l lk = l ，2 ，卜1 2 ) 二维d c t 定义及计算 数字图像x ( m ，n ) 是具有m 行n 列的一个矩阵。为了同时减弱或去除图像数 武汉理工大学硕士学位论文 据的空间相关性，可以运行二维d c t ，将图像从空间域( 即m n 平面) 转换到d c t 变换域。则以求和式表达的二维d c t 为： m ，耻嘉哪坝嚷篓细s 鱼葛竽c o s 坚篆竿 眨。、 k 2 0 ，1 ，- ，m 一1 ：1 = 0 ，1 ，n - 1 其中函数c ( ) 的定义见式( 2 3 ) 。在式( 2 4 ) 中变换为： 咖，州) _ c ( 删) c o s ( 2 m 蝴+ 1 ) k n - c o s 芝笋 它是可分离的，即满足：g ( m ，n ，k ，1 ) = u ( m ，k ) v ( n ，1 ) 故式( 2 4 ) 可进一步改写为： m ，胪居哪，m 荟- i t 艉，萋m ，咖。s 净c o s 竽 、 k = 0 ，1 ，一，m 一1 ；l = 0 ，1 ，一，n - 1 这时的二维d c t 实际上己分解为双重的一维d c t ；即先以n 为变量，对图 像x ( m ，n ) 逐行进行一维d c t 得到一个中间结果x ( m ，1 ) ：再对中间结果以m 为变量，逐列进行第二个一维d c t ，得到最终的变换结果y ( k ，1 ) 。 与式( 2 4 ) 相对应的二维i d c t 标量表达形式为： 抛，咖压篓荟n - k 叫肌 细s 产c o s 警 ， m = 0 ，1 ，- ，m 一1 ；n = 0 ，1 ，n - i 显而易见，二维d c t 的变换核也是可分离的。 因此，二维d c t 、i d c t 的计算可以转换为行列分离法来解决：它们均可先 逐行( 列) ，再逐列( 行) 直接用一维d c t 、i d c t 进行变换。 3 ) 图像编码中的d c t 在实际的图像编码中，二维变换子图像通常选为m x m 的方阵，即式( 2 5 ) 中m = n ，变换矩阵阶数m 的选取，其原则一般有两条： m 小便小自适应、计算速度快、实现简单，但“方块效应”严重( 就是 由于相邻子图像在边界处的不连续而造成的所谓吉布斯g i b s s 效应，显著时呈 现一些“波纹”) ； 1 2 武汉理工大学硕士学位论文 m 大时相关效果好( 因为d c t 具有渐近最佳性，即当变换点数m o o 时， 其去相关性能趋于k - l 变换，可把图像等数据的协方差阵对角化) ，但渐趋饱 和。换言之，m 越大，所计入的相关数据样本就越多，有利于改善性能：但当 数据块足够大后，若再加大m ，新加入的样本与中心附近的数据样本之间的相 关性很小。过分加大m 对数据压缩的好处并不明显，而计算复杂度将增加不少。 并且块的尺寸太大会丢失数据的平稳性，从而引入误差，包括失去高频细节、 引入沿边界的噪声和可见的d c t 图块边界。 因此，折衷考虑d c t 的运行速度和去相关性能与平稳性，一般取m = 8 ，即 变换子图像的大小为8 8 的方块。这样，式( 2 5 ) 和( 2 6 ) 即变为： f d c t ： y ( j ，) = 百1c ( 七) c ( ，) 荟7 薹；( 厅l ”) c 。s ，! ! ! ! ! ；：迎c 。s 。! ：! ! 。；2 生里 r ，、2 un 2 u 1 ”1 。 f ，】 i d c t ： 地班去妻驴7k k = o 删细s 学c o s 学也。， ，= o 1 ul ” f 殳) 231 2 量化处理 令f 代表一个连续的标量，它可以是一个像素的幅值，也可以是变换系数。 要用有限的比特数来表示f ，那就只能用有限的量化电平或者说是有限的重建 电平。对一个具体的f 指定l 个电平中的一个电平，这个过程就叫量化。 令，代表量化后的f ，那么 = q ( ，) = 砖一， 3 ，才有数据压缩效益。于是编码时要先判断r l 值，再决定是否作 r l c ：而译码时则需要根据紧跟每一x 后的码字是否为s c ，再决定其下一个字 的含义。游程编码的数据压缩效能取决于整个数据流中重复字符出现次数、平 均游程长度及所采用的编码结构。它对于灰度值少，特别是二值图像编码，效 率较高，二维压缩比可达l o ：l ，在应用时常常和其它编码方法混合使用，如 h u f f m a n 编码、d c t 编码等。 1 6 2 3 2 帧间编码 图2 2r l c 数据结构 序列图像中的相邻帧往往包含相同的背景和运动物体，只不过运动物体所 在的空间位置略有不同。这种相邻帧问数据的高度相关性就称为时间冗余。在 视频压缩中普遍采用预测编码方法来去除时间冗余。预测编码( p r e d i c t i v e c o d i n g ) 又称差值编码( d i f f e r e n t i a lp c m ) ，是根据己编码的过去像素来预测当 前像素，并对其差值进行编码。这种编码方法利用了图像的相关性和视觉的差 值灵敏度。 2321d p c m 的基本原理 一个一维随机信号，设第n 个采样点的值为f ( n ) ，f ( n ) 是根据以前采样点 的值对该点的预测值。实际值和预测值之间的差值以下式表示： e ( n ) = ，( 行) 一，( 刀) 将此差值定义为预测误差，由于信号的相关性，所以这个误差是很小的。 编码时，不是对采样值f ( n ) 进行编码，而是对预测误差信号e ( ”) 进行量化、编 码、发送，由此而得名为差值脉冲编码调制法，简写d p c m 。 232l 帧间预测编码 ( 1 ) 运动补偿预测 帧间预测编码利用前一帧来估计当前帧。如果要用n 个过去帧，那就要存 储n 个帧，这样需要存储器的容量太大了，所以在帧问预测编码中只考虑上一 帧而不考虑n 个过去帧。对于运动图像为了使预测误差尽可能小，从而达到减 少码率的目的，就定要采用适当的预测方法，这个方法就是运动补偿预测。 运动补偿预测有两个过程。第一个过程是对运动物体的位移作出估计，即 运动物体从上一帧到当前帧位移的方向和像素数要作出估计，也就是要求出运 动矢量。这个过程叫做运动估计( m o t i o ne s t i m a t i o n ) 。第二个过程是按照运动 1 7 武汉理工大学硕士学位论文 矢量，将上一帧作位移，求出对当前帧的估计，这个过程称之为运幼补偿( m o t i o n c o m p e n s u t i o n ) 。图2 3 熄运动於偿预测的原理框熙。 强2 3 运动 偿蓣溺兹瓢臻罐强 帮萁它鞭溺编码一样，输入蓟预测器的数据也黉爝到重建图像的数据，e p 原始输入为山，预测值为。o ，二者之蔑e o 经过量化后为“，重建图像的数据为 3 3 0 + ，其与原始数撰枢比含有攫化误差吼一一岛。把重建图像的数摄 经行、l 滚存锫嚣存髓后，羚为蘸一蔽黥数据。把 ；辇簇数据蠢当虢数据送遂运 动参数估值器后就得到透渤位移的估德。有了运动位移参数和前帧重建图像的 数据，就可做出当前像索的