（计算机应用技术专业论文）基于3ddct的多描述视频编码.pdf

摘要 人们利用便携终端通过i p 网络传输视频信息的需求越来越多，为了实现这个 目标，有两个问题需要解决：l 编码方法要简单高效。方法简单，容易用硬件实现， 且功耗低；方法高效，可以有效的利用网络带宽实时传输视频；2 编码要有好的鲁 棒性，以适应i p 网络的传输特性，在出现丢包的情况下，能够实时恢复出较好的 图像质量。 针对上述两个问题，本文提出基于3 d d c t 的多描述编码方案，它由分块、 3 d d c t 变换、量化、m d s q 编码、r l e 编码和熵编码等部分组成。3 d d c t 变换 编码，没有运动补偿，运算复杂度低。通过优化量化表和扫描顺序，使3 d d c t 达到了令人满意的压缩比和图像质量。多描述编码把信源变成多个描述，每个描 述都可以恢复出一定质量的信源。降低了某个描述丢失所带来的损失，提高了编 码的鲁棒性。 实验仿真表明3 d d c t 和多描述相结合的视频编码方案，在简单高效的同时 具有很强的抗误码能力，很好的解决了视频传输在便携终端上应用的问题。 关键词：视频编码多描述编码3 d d c tm d s 0 a b s t r a c t t h en e e do ft r a n s m i s s i o no fv i d e ov i ai pn e t w o r k sb e c o m e sm o r ea n dm o r e i no r d e rt o a c h i e v et h i sg o a l ，t w op r o b l e m ss h o u l db es o l v e d f i r s t l y , t h ec o d i n gm e t h o ds h o u l db e s i m p l ea n dh i g he f f i c i e n c y s i m p l em e t h o d c a nb ei m p l e m e n t e db yh a r d w a r ee a s i l y , a n d r e q u i r e sl o w e rp o w e r h i g he f f i c i e n c yc a nd e c r e a s en e t w o r kb a n d w i d t hn e e d e df o r c o m m u n i c a t i o n s e c o n d l y , t h ec o d i n gi sr o b u s t ，i e ，i t i sf i tf o rt r a n s m i s s i o nv i ai p n e t w o r k s e v e nw h e ns o m ep a c k e t sa r el o s td u r i n gt r a n s m i s s i o n a c c e p t a b l eq u a l i t yo f v i d e oc a ns t i l lb er e c o n s t r u c t e d t os o l v et h ea b o v e m e n t i o n e dt w op r o b l e m s ，t h i s p a p e rp r o p o s e s a m u l t i p l e d e s c r i p t i o nv i d e oc o d i n gm e t h o db a s e do n3 d d c ta n dm d s o t h es y s t e mc o n s i s t so f s e v e r a l p a r t s ：v i d e o v o l u m ef o r m a t i o n ，3 d d c t ，m d s q ，r l ec o d i n ga n de n t r o p y c o d i n ga n ds oo n 3 d d c ti sas y m m e t r i c a lt r a n s f o r ms ot h ee n c o d e ra n dt h ed e c o d e r h a ss i m i l a rc o m p u t a t i o n a lc o m p l e x i t y t h e r ei sn om o t i o nc o m p e n s a t i o ni nt h ep r o p o s e d s c h e m e s ot h em e t h o di ss i m p l ea n dc a nb ee a s i l yi m p l e m e n t e di nh a r d w a r e t h r o u g h t h eo p t i m i z a t i o no ft h eq u a n t i z a t i o nv o l u m ea n ds c a n n i n go r d e r , t h e3 d d c tb a s e d v i d e oc o d i n gs c h e m ec a no b t a i ns a t i s f a c t o r yr e s u l t sb o t hi nc o m p r e s s i o nr a t i oa n di n p s n r m u l t i p l ed e s c r i p t i o nc o d i n g d i v i d e st h es o u r c ei n f o r m a t i o ni n t os e v e r a l d e s e r i p t i o n s ，e a c hd e s c r i p t i o nc o u l dr e c o n s t r u c ta c c e p t a b l e s o u r c ei n f o r m a t i o n ，a n d r e d u c e dt h el o s sc a u s e db yt h el o s to fs o m ed e s e r i p t i o n s ，a n di m p r o v et h er e l i a b i l i t yo f t h ev i d e o c o d i n g m e t h o d e x p e r i m e n t r e s u l t ss h o wt h a tt h e3 d d c tb a s e d m u l t i p l ed e s c r i p t i o nc o d i n g s c h e m eh a saf i n e rr o b u s t n e s sw h i l eb e i n gs i m p l ea n dh i 曲l ye f f i c i e n t t h es c h e m ei s s u i t a b l ef o rv i d e ot r a n s m i s s i o no n p o r t a b l et e r m i n a l k e y w o r d ：v i d e oc o d i n g m u l t i p l ed e s c r i p t i o nc o d i n g 3 d - d c t m d s q y 5 8 3 3 9 0 创新性声明 本人声明所呈交的沦文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名焦! 虱盗f i 期渔芏= f = 主 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名 氆雪冶 2 k 奠刚胡三! 望9l f 。6 第一章引言 第一章引言 1 1 研究背景 随着多媒体技术、网络技术、无线通信和集成电路技术的发展，促使可以在 各种便携终端上实现视频的采集、传输和显示，人们这种通过i p 网络传输视频的 需求越来越多。 为了实现利用便携终端在i p 网络传输视频，有两个问题需要解决：i 编码方 法要简单高效。方法要简单，能够容易的用硬件实现，同时使电路功耗要小。编 码要高效，以便有效的利用网络带宽实时传输视频；2 编码要有好的鲁棒性，以适 应i p 网络的传输特性，在出现丢包的情况下，能够实时恢复出较好的图像质量。 针对上述两个问题，我们分别研究了视频压缩编码和抗误码编码技术，提出 了3 d d c t 变换编码与多描述编码结合的视频编码方案。 i 2 视频编码的发展现状 高压缩率、低失真和高的抗误码能力是视频编码的主要要求。视频应用系统和 其他的信息应用系统一样可以分为信号源及其编码、信道传输、解码和接收三部 分。人眼是视频信源最后的接收者。根据在编码时对这三部分的考虑可以把视频 编码技术划分为三代。 第一代的视频编码以香农信息论为出发点，用统计概率模型来描述信源。编码 实体是像素或像索块，以显示器件为图像视频系统的最后环节。这种基于数据统 计、以消除视频数据相关冗余为目的的编码技术获得了巨大的成功。j p e g 、m e p g - i 、 m p e g - 2 、h 2 6 1 以及h 2 6 3 等压缩编码国际标准的制定及其对多媒体产业的巨大影 响就是有力的证明。这些国际标准主要采用的技术是熵编码、变换编码、预测编 码以及运动补偿等。 第二代视频编码的特点是基于内容的编码。在第一代视频编码技术中并未考虑 信息接收者的主管特性、视频信息的具体台义和重要程度等，只是力图去除数据 冗余，是一种低层次的编码技术。在第二代视频编码技术中所关心的是如何去除 视频内容的冗余，它认为人眼是视频信号的最终接收者，视频编码时应充分考虑 人眼视觉特性的影响，这仍然是目前视频编码的一个热点。 前两代编码技术的追求目标主要是高压缩率和符合人眼主观特性的低失真率， 并不考虑信道传输问题。它们认为在编码和解码之间有一个可靠的、没有干扰的 基于3 d d c t 的多描述视频编码 信道，为了达到高压缩率，编码后的码流非常脆弱。其中某一位的错误会导致其 后的数据面目全非。当视频数据开始在网络中大量传输时，编码的脆弱性受到人 们越来越多的重视( 由于视频的实时性和在一定程度上能容忍失真，通常并不通 过网络协议重发机制来纠错) ，各种抗误码技术先后被提了出来，如r v l c 、e c 和 多描述编码( m d c ) 技术等。第三代视频编码技术的特点就是考虑特定的传输信道干 扰特性而采取相应的抗误码技术。随着视频信息在i n t e r n e t 和无线网上传输的需 求迅速发展，对于第三代视频编码技术的研究正在兴起。 1 3 图像编码技术“1 ” 图像压缩编码的原理是尽量去掉图像数据中的冗余，这些冗余可以分成如下几 类： 空间冗余( s p a t i a lr e d u n d a n c y ) ：一幅图像中，像素之间存在的相关性表现 为空间冗余。 时间冗余( t e m p o r a lr e d u n d a n c y ) ：序列图像中相邻图像之间有较强的相关性， 这反映为时间冗余。 信息熵冗余( e n t r o p yr e d u n d a n c y ) ：信息熵是指数据所携带的信息量，其定 k x n - - 般n ：e = 一c l o g ：c ，k 为码元个数，只是石s y n c ，的发生概率a 为了使 单位数据量d 等于熵e ，设d = 只6 ( e ) ， - = 0 该6 ( c j ) = - l o g ：只。但是在实际应用中t 6 ( c ) 是分配给g 的比特数。理论上应 我们很难预先知道只，因此总是取 6 ( c o ) = b ( c ) a = b ( c 。) ，例如图像量化时灰度为8 b i t 量化。由此所带来的冗余 成为信息熵冗余。 视觉冗余：人类的视觉系统对于图像场的注意是非均匀和非线性的。特别是视 觉系统并不是对于图像场的任何变化都能感知。例如：视觉对变化平缓区域的误 差较变化剧烈区域的误差敏感。因此，我们可以对图像中的高频成分作较粗的量 化，而对低频成分作较细的量化。 其他冗余：如结构冗余、知识冗余等。 针对以上冗余人们提出了各种去除冗余度的方法，表1 1 按冗余的类型列出一 些常用的行之有效的压缩方法。 第一章引言 表11 常用压缩方法 空间冗余时间冗余信息熵冗余视觉冗余 d p c m ，6 0 p c m帧间预测 压缩方法 抽样与内插运动估值h u f f m a n 编码 视赏加权重化 d c t d f t运动补偿苒术编码 视觉掩盖效应 w a v e l e t条件帻间补偿矢置编码 帧亚抽样内插 1 3 1 图像压缩编码分类 图像压缩编码基本上可以分为两大类： ( 1 ) 无失真压缩 无失真压缩又称为无噪声编码( n o i s e l e s sc o d i n g ) 、冗余度压减( r e d u n d a n c y r e d u c t i o n ) 、熵编码( e n t r o p yc o d i n g ) 、数据紧缩( d a t ac o m p a c t i o n ) 、无损压 缩( l o s sl e s sc o m p r e s s i o n ) ，等等。c e s h a n n o n 在创立信息论时，提出把 数据看成是信息和冗余度的组合，无失真压缩的工作原理是去除( 至少是减少) 数据中的冗余，而不损失数据所包含的信息，因而是一个可逆过程。 这类编码方法包括h u f f m a n 编码、游程长度编码、算术编码等，主要用于对数 据质量要求较高、不允许产生失真的应用环境。如电报报文编码、计算机文件压 缩等等。 ( 2 ) 有失真压缩： 有失真( l o s s ) 压缩又称熵压缩( e n t r o p yc o d i n g ) 、有损压缩( l o s s c o m p r e s s i o n ) 。这种方法允许解压后的数据与原数据相比有一定的失真，以获取 比无失真压缩更高的压缩比。熵压缩主要有两大类型：特征抽取和量化方法，特 征抽取的典型例子如指纹、汉字的模式识别，一旦抽取出足以有效表征与区分不 同模式的特征参数，便可用它取代原始的图像数据，这一类方法一般是用于特定 的环境。量化则是更为通用的熵压缩技术，除了直接对无记忆信源的单个样本做 所谓的零记忆量化外，还可以对有记忆信源的多个相关样本映射到不同的空间， 去除了原始数据中相关性后再做量化处理，由此又引出了预测编码和变换编码。 另外，在特征抽取与量化相结合的基础上又发展出一类高效的分析一综合编码技 术。 在实际应用中，一种高效的编码算法往往是综合利用各类编码技术长处的混 合编码方法。在我们后面所要讨论的3 d d c t 视频压缩编码中，既要用到无失真压 缩方法又要用到有失真压缩方法。 基于3 d d c t 的多描述m 频编码 1 i3 2 常用的图像压缩方法 常用的图像数据压缩方法可分为三大类：统计编码、变换编码和较新的各种分 析一综合编码方法。第一类属于无失真压缩，后两类属于有失真压缩。 ( 1 ) 统计编码 统计编码是根据信源的统计概率分布特性来编码，以去除冗余，降低平均码 字长度。统计编码包括霍夫曼( h u f f m a n ) 编码、香农( s h a n n o n ) 编码、算术 ( a r i t h m e t i c ) 编码、游程长度编码( r l c ) ： 霍夫曼编码和香农编码依赖于原始数据的统计特性，编码前必须已知原始数 据概率分布。但实际应用中通常并不知道原始数据的准确概率分布，为此，往往 根据经验，按照近似的概率分布确定一个原始数据和码字之间以某种数学方法建 立对应关系，编译码时查表即可，但不同的码表对压缩效率的一定的影响，所以可 采用动态调整码表或者预先定义多个码表，编码过程中对不同数据选择不同的码 表等提高压缩比的方法。 算术编码给信源中多个符号赋一个单独的变长码，在信源概率分布比较均匀情 况下，它的编码效率高于霍夫曼编码。算术编码计算量大，实现比霍夫曼编码复 杂。 游程长度编码是一种利用信源中多个符号之间的相关性来编码的，它将在数 据流中重复出现各个码字用一个码字值和长度表示。它的压缩比取决于平均游程 长度和所用的编码结构。 ( 2 ) 变换编码 变换编码是近几十年发展起来的一种在图像处理领域应用非常广泛的编码方 法。其发送端的正变换将原始信号中的各个样值从一个域变换到另外一个域，然 后对变换后的系数进行量化和编码，使得对这些系数编码所需的总比特数少于对 原始数据进行编码所需的总比特数，如图1 1 中对y l 和y 2 编码所用的比特数将 少于直接对x 1 和x 2 编码；在接收端，首先对收到的信号进行解码、反量化，获 得原来的变换后的系数，再进行逆变换，恢复原来的信号。 第一章引言 一 圈11 正交燹授的几1 可熏义 映射变换的方法很多，最常用的是正交变换，如f o u r i e r 变换、离散余弦变换 ( d c t ) 、w a ls h - h a d a m a r dt r a n s f o r m 、k a r h u n e n l o e v e 变换( k l t ) 等等。 ( 3 ) 分析一综合编码 分析一综合编码是一类较新的编码方法，又称为第二代编码方法。这些方法在 本质上都是通过对信源的“分析”，将其分解成一系列更宜于表示的基元或从中提 取出若干具有更本质意义的参数，编码仅对这些基本单元或特征参数进行。接收 端借助一定的规则或模型，按一定的算法将这些基元或参数再“综合”成原信源 的一个近似。 典型分析一综合编码方法有子带编码( s u b b a n dc o d i n g ) 、小波变换( w a v e l e t t r a n s f o r m ) 编码、分形图像编码( f r a c t a lc o d i n g ) 、模型基图像编码( m o d e l - b a s e d c o d i n g ) 等等。虽然这此方法在图像压缩领域的应用时间还不长，其中有些方法还 不很成熟，但它们己展示出了巨大的压缩潜力，越来越受到人们的重视。 1 4 视频编码中的抗误码技术 由于信道带宽的限制，视频通信的数据往往是压缩编码以后的数据，而压缩以 后的数据对误码非常敏感，造成误码环境下恢复图像质量严重下降。另外，如果 视频码流在传送时出现了误码，但编码端并不知道解码端检测到无法纠正的误码， 它还会继续使用这些宏块做运动估值，而解码端也使用这些发生误码的宏块做运 动补偿，这就引起误码扩散( e r r o rp r o p a g a t i o no re r r o rs p r e a d ) 。误码扩散 不仅使出错帧的恢复图像质量下降，而且可能会给后续帧造成不可恢复的损失。 因此在误码环境( 有时甚至是高误码环境) 下，要保证解码端恢复视频的质量， 就要综合采用多种视频抗误码方法。视频通信的抗误码研究也成为目前视频通信 需要解决的关键技术n ”，。 基十3 d - d c t 的多描述抛频编码 1 4 1 误码的分类1 传输信道产生的误码可分为三类： 1 不可靠的有线无线信道将在传输比特流中引入随机误码； 2 由于网络阻塞，i p 网络中的“尽力而为”( b e s te f f o r t ) 传输将引入包 丢失： 3 在无线通信中，多径传播会导致突发误码。 针对这三类误码，要采用不同的抗误码策略。视频抗误码可以在视频编码、码 流传输和解码恢复的不同环节采用相应的抗误码技术，以及多个环节综合的抗误 码技术。 1 4 2 结合信源特点的前向差错控制技术 在视频通信中，引起解码端恢复图像失真的原因有两个：信源编码引入的量化 噪声和传输误码引入的失真，为了降低这两种噪声的影响，都需要增加比特开销， 增加量化级数和增强前向纠错能力。因此，在给定信道带宽和信道误码特性的情 况下，为了最小化误码和量化引起的图像总的失真，应结合信源的特点进行前向 差错控制。这里重点讨论的是根据信源特点将信源信道编码结合在起的前向差 错控制技术，它与一般的f e c 有所不同。 1 联合信源信道编码 将信源信道编码联合在一起抗误码是非常有效的前向差错控制技术，同时， 这也是一个重要的研究方向。目前，视频通信的联合信源信道编码研究还处于初 期阶段：信源、信道独立编码，联合优化重要参数。s t u h l m u l l e r ”等用两状态 马尔可夫模型描述误码，对视频编解码和差错控制信道的三个重要参数：信源编 码的失真、信道编码后的码率和帧内块的刷新率联合优化，力图最小化恢复图像 的失真。另外，在低延时信道中，使用r s 码和简单的交织技术来减小突发误码的 影响。其中，在无记忆信道中，f e c 技术比帧内块刷新重要，而在有记忆信道中， 帧内块刷新技术更为有效。 2 自适应改变调制方式 可以采用自适应改变调制方式与信道编码相结合来提高系统的抗误码性能。在 低移动速度和交换延时不重要的情况下，c h e r r i m a 等给出突发自适应调制方 式：当信道质量良好时，采用高阶调制模式，否则，采用较为顽健的低阶调制。 另外，在信道编码中使用了t u r b o 码”“。它与传统的b c h 码比较，可以减少视频 的丢包率、提高有效吞吐量和改善视频质量，但也引入了较大的延时。 第一章弓i 言 3 多描述编码 在不可靠的多传输信道的视频通信中，使用多描述编码( m d c ) 来增强码流的 抗误码能力。g o y a l 等。”假设两个独立的信道a 、b 可用，视频编码器把信源使用 多描述编码成为两个独立的编码，发送到信道a 和信道b ，只要其中接收其中任何 一个编码信息，就可重建出一定质量的信息。两个都接收到的话，就可以完全重 建出信源信息。 4 解码端的误码掩盖 误码掩盖技术不需要使用任何附加信息，只是利用视频信号中的冗余信息和人 类视觉系统特性来掩盖出错的图像数据。误码掩盖可分为时域误码掩盖和空域误 码掩盖两类。 5 防误码扩散技术 由前面的讨论可知，在误码环境下，误码扩散不仅使出错帧的恢复图像质量下 降，而且可能会给后续帧造成不可恢复的损失。即使解码端使用了误码掩盖技术， 也不能避免恢复图像质量的下降。另外，由于视频通信的实时性要求强，通常不 采用a r q ( 自动请求重发) 方式重传发生错误的数据1 ，而使用交互式防误码扩散 的方法来保证恢复图像的质量。 1 5 本文内容安排 第二章，研究了 1 c l e e 。”等3 d - d c t 变换的量化方法和扫描顺序，实现了 3 d - d c t 编码器。 第三章，研究了i n t e r n e t 网络传输特性，介绍了多描述编码的起源、方法和 特点。 第四章，研究了多描述标量量化m d s q 的实现和优化方法。 第五章，提出了基于3 d d c t 的多描述视频编码方案，进行实验仿真测试了该 方案的性能。 皋千3 d d c t 的多描述龇频编码 第二章基于3 d - d c t 的x y z 视频压缩编码 一幅连续色调的图像可以表示成空域的一个二维像素阵列。正向离散余弦变换 ( f d c t ) 把二维图像从空域映射到频域。在空域像素能量的分布式均匀的，而在 射频能量集中到少数低频系数。 我们沿时间轴来观察图像序列对应同一个位置的各个点时，会发现他们的其实 构成了一个一维信号序列，因此一个很自然的想法就是将f d c t 作用于这个一维信 号上，由此来提取信号序列沿时间轴的主要信息。图像序列的像素在时域是高度 相关的，f d c t 也能把时域的能量集中，就像在空域中一样。从而利用d c t 来直接 完成序列图像的帧间编码，而不借助于运动补偿，x y z 视频编码“7 1 正是基于这一特 性。 01234567 8 图2 1 组成x v z 编码的8 x 8 x 8 视频块 基于3 d d c t 的x y z 视频编码，把图像序列分成图像组，考虑到系统延时的要 求，以8 帧作为一组。将每组的8 帧看成一个三维图像，图像中的每一帧分为8 x 8 的方块，形成8 x 8 x 8 的立方体，如图2 1 所示，每个8 x 8 x 8 的立方体单独进行变 换编码。基于3 d - d c t 的x y z 视频编码的编解码系统如图2 2 和图2 3 所示。 圈囤 l 视8 x 嫩s x 8l 广 图22 基于3 d d c t 的x y z 编码系统 第二章基于3 d d c t 的x y z 视频编码 9 囤囤 l 压缩后的视频i d 蔓( 纠c t 卜i 序列广 l l 图2 3 基于3 d - d c t 的x y 商 码系统 本章详细研究了3 d - d c t 变换的原理及统计特性，根据变换后系数的特点，采 用了m c l e e 。4 1 提出的量化方法和扫描顺序。 。 2 1 1d c t 变换 2 1 d c t 变换及其快速算法抬8 删 砌)=掣砉m)co地lthdj0l 1 肛0 l 7 叶 j ( 工) = 奎u - o c ( 材) f ( “) c 。s l ：! 丛；! ；二! 堕i ，z = o ，l ，7 ( 2 1 ) l ” j 对二维信号序列f ( x ，y ) ，x ，y = o ，1 ，7 ，其二维d c t 变换和逆变换为： 删7 1 心，蛙x = oy = o 雕c 。s 些斜c 。s 签篆斗胪，j 脚，= 丢砉扣砸胤小。s 警h 巫等料一，一弦z ， 对三维信号序列f ( x ，y ，z ) ，x ，y 。z = o ，1 ，7 ，其三维d u r 变换与逆变换为： 舷怫；俐嘞r - - o廊。p 学 c 。产l 号抖。憋l1 爿o20：柚l l u j i u j d l “，v ，w = 0 , 1 ，7 f(x,y,z，=菇扣删慨吣。伴h堑铲h积2z，+。1)wwo1 o 脚脚 l 1 u jl l u ll u l x ，y ，= = 0 ，1 ，7 ( 2 - 3 ) 二维、三维d c t 变换与一维d c t 变换是紧密联系的，二维d c t 变换可以看成对二 摹十3 d d c t 的多描述观频编码 维信号的行和列依次施加一维d c t 变换，三维d c t 变换可以看作对三维信号x ，y ，z ( 行、列、帧) 三个方向依次施加一维d c t 变换。 2 1 2d c t 的快速算法 d c t 快速算法的研究已经有许多年了，人们研究出了很多快速算法，下面我们 以b g l e e 快速算法为例说明一维d c t 快速算法的实现。 设f ( j ) ，j = o ，1 ，n - 1 为原始信号序列，f ( k ) ，k = o ，1 ，n - 1 为d c t 变换序列， 则d c t 及i d c t 为： 厂( ) = e 蒸c ( k ) f ( k ) c 。s 警j = o ，1 ，n 一1 厂( ) = c o s ! 三兰j - ；竺! j = o ，1 ， 一 = 0 f ( 七) = 专c ( t ) 丢a - i 厂( ) c 。s 至! ；，t = 。，l ，j v 一1 ( 2 4 ) 其中：c ( 耻击 = 0 【o ，其它 考虑i d c t s s * 星，令：c ；”c o s 掣，声- c ( 妒，贝l j ( 2 - 4 ) 式改写为： 厂( ，) = f ( 女) c 冲，j = 0 , 1 ，n - 1 ( 2 5 将，( ) 分解成关于k ( 设n 为偶数) 为奇数和偶数项的表示形式，则( 2 5 ) 式 可写成： f ( j ) = g ( _ ，) + ( j ) ( 2 - 6 a ) f ( n 一1 一，) = g ( _ ，) 一h ( _ ，) ，= 0 , 1 ，q 彳一1 ( 2 6 b ) 其中， 可以推证g ( - ，) 和 ( ) 均是点i d c t ( 1 ) g ( j ) ：因为c i “= c 竽川。= c 筹裂；，故 厂( j ) ：鳌1 p ( 2 ) c ：( 。2 州j + ：1 ) ，k ，j ：0 , 1 ，一1 为点的i d c t厂( j ) = f ( 2 ) c ：州：) ，j =，一为点的 “ 贮 玎 c d +七2 f 猛乞 = ， o ct2 f 猛乞 i i ，(g 第二章基于3 d - d c t 的x y z 视频编码 ( 2 ) ( ，) ：考察c “科“，将其乘以2 f 。, ：( 2 。j “，则有 2 础嘴+ l x 2 + 1 ) ：2c o s 警螂掣 于是 2 c 。1 2 j “h ( ，) ：。兰堡生堡兰! 望+ 。兰堡! 竺三生 2 2 = c 野喇。哪+ c 霈哪赫 ( 2 7 ) ( 2 8 ) 若定义：f ( 2 k 一1 ) 1 。；0 。又由于c ：? + ”2 蟛“”：c ( 2 j + 1 ) w ：c 2 川) ：0 故： 警“枷：，：鳌1(23f(2k+1)c器j f ( 2 k - 1 ) c 箝j 州z t ( 2 _ 9 ) + 1 2 + 1 ：= + 1 2 ( 2 9 所以( 2 7 ) 式为： 2 c 憎( 七) ：鳌1 ( 盒( 2 + 1 ) + 务( 2 七- 1 ) ) c 2 ( 2 j + ”z t ( 2 - 1 0 ) 为解出 ( _ ，) ，令 g ( 女) = ，( 2 七) ，h ( t ) = f ( 2 k + 1 ) + f ( 2 k 一1 ) ，k = o ，一1 ( 2 1 1 ) 则有： 刚，= 黔f 2 ( n 2 ) ( 2 j + 1 ) k , j - - - - 0 , 1 , , n 2 一( 2 - 1 2 a ) 以一1 w ) 。喜聊) c 嬲小o l ，”，一l ( 2 1 2 b ) 推出( _ ，) = ( 夏扣6 ( ，) ，从而( 业) 是点的i d c t 变换，这样： 彤) 叫卅南螂) ，_ 0 l 一l ( 2 - 1 3 ) f ( n 一1 一- ，) = g ( ，) 一而南 ( ，) ，j = o ，1 ，一1 ( 2 1 4 ) - u 2 从而将n 点i d c t 分解成两个以点i d c t 的和，将此过程重复，则可进行进一 “+ 玎 c d +，托2 ( f 猛乙 + 强+ 玎n c d +女2 ( f 猛乞 l | 基于3 d - d c t 的多描述 见频编码 步分解。 此算法中乘法数量：n 2 1 。g ；，加法数量：! 笋l 。g ? 一n + i 。 2 2d c t 变换特性分析 d c t 变换是正交交换，正交变换的重要性质是：在对随机向量x 进行正交变换 的同时，对x 的协方差矩阵也进行了同样的变换。在最小均方误差准则下，最佳 的正交变换是k l 变换。这是因为k l 变换所采用的变换矩阵是随机向量协方差 矩阵的特征向量矩阵，x 经过k - l 变换后所得y 的协方差矩阵是对角矩阵，这说明 k l 矩阵已把各交换系数间的互相关完全解除，所以它是最佳变换。但k - l 变换一 般没有快速算法，从而限制了他在实时处理场合的应用。 自然图像在统计特性上，可近似为m a r k o v 过程，其协方差矩阵近似为t o e p li t z 矩阵的形式。 1 p p “一1 p 1 p 一2 p 2 p ， p 一3 p “一1 p ”一2 l ( 2 1 5 ) 其中0 c “ 通过调照不同的参数，可以获得不同形状的平移渐进双i t t l 体，来达到不同量化 效果。 2 43 d - d c t 系数的扫描顺序 选择合适的扫描顺序，可以使其后的游程编码得到更长的游程，大大提高压缩 比，因此正确选择扫描顺序非常重要。根据产生量化体的思路显然是应该先扫描 平移渐进双曲体内的系数，然后扫描之外的系数；先扫描靠近u 轴、v 轴和w 轴的 系数，最后扫描顶点的系数。前述所生成的基化体的增序排列正好满足此特性， 因此本文采用它排序后的下标的作为扫描顺序。 2 5 熵编码 将按照扫描顺序排列的5 1 2 个系数作为一个单位进行熵编码：d c 分量减去前 一个单位的d c 分量，对差值进行h u f f m a n 编码；a c 分量先进行r l e 编码，再进行 h u f f m a n 编码。 ，、，、【 基十3 d - d c t 的多描述视频编码 2 5 1d c 编码 每个d c 系数减去前一个d c 系数，再以所得到的差值进行压缩编码。取得差 值后，必须将差值左边值为0 的比特删除，只保留部分内容。例如：差值为3 ，只 要保留1 l 两个比特，其余1 4 个比特全部删除。如果差值为一2 ，则是先改为正 整数2 ，同样只保留最后两个比特值1 0 ，再将1 0 转换为1 的补数即可。删除差值 前端值为o 的比特之后，还得在差值前端另外加一些比特作为识别码，来表示后 续差值的码长。这些识别码就是h u f f m a n 码，此时所用的h u f f m a n 表是专为d c 差 值设计的。如表2 1 所示： 表2 1 差值b i t 数编码b i t 数编码内容 020 0 130 1 0 230 1 1 33l o o 431 0 l 531 1 0 641 1 1 0 751 1 1 1 0 861 1 1 1 1 0 971 1 1 1 “0 1 081 1 1 1 1 1 1 0 1 191 1 1 1 1 1 l l o 1 21 01 1 1 1 1 1 1 1 1 0 1 3l l1 1 1 1 1 1 1 1 1 1 0 1 41 21 1 1 1 l l l l l l l 0 2 5 2a c 的编码 a c 的编码方式与d c 略有不同，在a c 编码过程中多加了一项r l e 压缩编码。 在进行r l e 编码之前，首先得将5 1 1 个a c 值按前述的扫描顺序方法串联起来。a c 值排列好后，对5 1 1 个整数值进行r l e 编码。所产生的r l e 编码是以两个整数值 为一个单元，例如：在 m ，n 这一组r l e 编码中，n 通常代表值不为0 的a c 数据； 而m 表示再a c 数据值n 值前有几个整数值为o ，m 最多只能为1 5 。因此，若是a c 第二章基于3 d d c t 的x y z 视频编码 数值n 之前有1 7 个值为o 的整数，则先以 1 5 ，0 代表有1 6 个值为0 的数据，在 以 1 ，n 代表n 的前面有一个值为o 的整数。如果，在某个a c 数据值( 这个整数 不为0 ) 之后，所有的整数皆为0 ，则这串数据可以 0 ，o 来代替，即结束符( e o f ) 。 完成r l e 编码工作，在进行h u f f m a n 编码。每一组r l e 编码的第二个整数( 原 始a c 数据) 与d c 差值一样，都必须删除整数前端多余的比特( 值皆为0 ) 。所剩 下的a c 值前端也同样的加上一些比特，以作为这组r l e 编码的识别码。这时将r l e 编码的第一个整数( 命名为r u n ) 和第二个整数剩下的比特数当作索引值，从对应 的a c 值的h u f f m a n 编码表中找出适当的识别码，在与剩余白勺a c 值相连即可。 2 6 i 参数的确定 2 6 实验测试结果 为了确定合适的c 值大小，我们首先设b = o 0 0 0 0 1 ，b o = 1 0 ，来消除b 的影响， 只对包含在c 内的数据进行编码压缩。c 从4 变化到2 0 ，c l a i r e q c i f 视频序列的 压缩比和峰值信噪比变化如下： 图2 5 压缩比随c 值变化示意图图2 6 峰值信嗓比随c 值的变化示意图 从图2 5 和图2 6 可以着出。随着c 的增加，峰值信嗓比越高。压缩比越小， 因此在他们变化中选择一个都可以满足要求的j c 值= 1 0 。为了选择b i ，我们让c = i o ， b o = i o ，来观察b i 变化时c l a i r e q c i f 视频序列编码的变化如下： 幽2 7 压缩比随b 值变化示意图 图2 8 峰值信噪比随b 值的变化示意图 基十3 d d c t 的多描述税频编码 从图2 7 和图2 - 8 可以看出，随着b 的增加，压缩比增加而峰值信噪比下降。 从他们中选择b ，值为0 6 。下面令c = l o ，b i = 0 6 来确定b 。的值： 图2 9 压缩比随b 。值的变化示意图图2 1 0 峰值信噪比随b 。，值的变化示意圈 现在有了第一次优化的c 、b 。和b 。，然后再重复进行得到下一次优化的值，一 直重复找到最优的c 、b 和b 。值。最后得到的优化值为：c = 8 ，b = o 0 5 5 ，b 。，= 0 0 l 。 2 6 2 最终测试结果 我们对c l a i r e 和f o r e m a n 序列( 亮度信号) 进行了实验，参数选值：c = 8 ，a i = 2 5 5 a o = 2 5 5 ，b = 0 0 5 5 ，b 。= o 0 1 。压缩比和p s n r 值如表所示 c l a i r e 序列f o r e m a n 序列 压缩比： 7 1 7 92 4 5 8 p s r n ( t i n ) ： 3 9 0 83 1 2 0 表2 2c l a i r e ( 1 7 6 x1 4 4 ) 和f o r e m a n ( 1 7 6 x1 4 4 ) 序列前9 6 帧实验结果 c l a i r e 原始图像( 第1 帧)c l a i r e 重建图像( 第l 帧) 第二章基于3 d d c t 的x y z 视频编码 f o r e m a n 原始图像( 第l 帧) f o r e m a n 重建图像( 第1 帧) 图2 1 1 测试序列重建圈像 通过实验可以看出。3 d d c t 视频编码系统具有较好的峰值信噪比，当视频序 列出现较大变动时，压缩比会下降。这是因为它不具有运动预测和补偿能力，视 频出现大的变化时，会导致3 d b e t 变换块中高频成分增加影响压缩比。对于便携 终端中的视频应用主要是运动幅度不大的人肩序列，3 d d c t 视频编码还是有很好 的压缩比与峰值信噪比的。 基于3 d d c t 的多描述桃频编l i ；5 第三章适合ln t e r n e t 网络传输的多描述编码 在本章我们首先研究了i n t e m e t 网作为传输信道时的传输特性，介绍了适合网 络传输的多描述编码的起源、原理和方法，并总结了多描述编码的应用特点。 3 1i n t e r n e t 传输特性研究 i n t e r n e t 是不可靠、尽力而为的网络，因而在其上传输分组有可能丢失、重复、 乱序、延时而且分组延时会发生变化。为了设计出能够适应i n t e r n e t 网络传输的 视频编码，必须首先了解i n t e r n e t 网的丢包率、包连续丢失的长度、延时、延时 抖动的情况以及它们之间的关系。 对于i n t e m e t 性能测试试验，参照文献p 5 j 中的设计，以教育网中一台装有 w i n d o w s 2 0 0 0 的p c 机向测试对象发送数据包，为了简单其间测试采用的是p i n g 命 令。这里把p i n g 命令返回的r t t ( r o u n d - t r i pt i m e ) 延时值除以2 得到单向传输延时 值，由于p i n g 分组的往返延时可能不对称，从而可能造成单向传输延时值不准确。 图3 1 中线段不连续处是因为此处p i n g 发出的分组延时超时。为了得到比较客观的 结果，选取几个较为典型的主机由于教育网的条件所限，没有测试国外的主机作 为测试对象。我们选取首都在线( 1 】l r w w 2 6 3 n e t ) 作为国内门户的典型代表，把黑 龙江数码港作为教育网外的音视频服务器的典型代表，把西南财大的光华影院作 为教育网内音视频服务器的典型代表。我们做了如下测试： 竺 弘 器 1 ： u l n 删u 删v u v l 儿f u o - l -lj 1 、 r 、p 删i n 讥o w