多媒体信息处理技术

1、北京交通大学电子信息学院北京交通大学电子信息学院1第第5章：多媒体信息传输中章：多媒体信息传输中的差错控制技术的差错控制技术卢燕飞卢燕飞北京交通大学电子信息学院北京交通大学电子信息学院2第第1节：差错控制概述节：差错控制概述n多媒体应用中错误的类型多媒体应用中错误的类型ApplicationError CharacteristicsVideophone over PSTNFew bit errors and packet lossVideoconferencing over ISDNPractically error free (BER 10-8)Digital TelevisionAlmos

2、t error free (after FEC)Video streaming over the InternetPacket loss of 0-30%Wireless video (cell phone)BER up to 10-3, Burst errorsn(The above are very rough numbers. BER = bit error rate)北京交通大学电子信息学院北京交通大学电子信息学院3 n目的:q克服由于分组交换网络中丢包或者无线链路中突发错误对业务造成的影响n 差错控制的方法:q重传：Retransmissionq前向纠错：Forward Error

3、Correction (FEC)q错误掩盖：Error concealmentq容错视频编码：Error-resilient video coding信道编码信道编码信源编码信源编码北京交通大学电子信息学院北京交通大学电子信息学院41. 重传重传n要求：发端和收端之间必须有反馈信道n 方法：qReceiver tells sender which packets were received/lost and sender resends lost packetsn 优点：q只重传丢失的包，有效利用带宽；q 容易适应信道条件的变化；n 缺点：q对于实时业务有 容忍限制（Extra latency

4、） ，大致等于round-trip-time (RTT)q 对于没有反馈信道的应用不可用，比如e.g. broadcast, multicast；q 随着RTT的增加，传输效率降低；北京交通大学电子信息学院北京交通大学电子信息学院5重传（续）重传（续）n其它特点:q重传的延迟限制:p重传的数据包必须及时达到；q基于优先策略的重传:p Retransmit important packets before unimportant packetspExamples of coded video data with different importance:p Different frame typ

5、es:n I-frame: Most importantn P-frame: Medium importancen B-frame: Minimum importance (can be discarded)p Different layers in a scalable coder:n Base layer: Most importantn Enhancement layer 1: Medium importancen Enhancement layer 2: Minimum importance北京交通大学电子信息学院北京交通大学电子信息学院6重传的时间限制重传的时间限制重传的数据包不能超

6、过此延时重传的数据包不能超过此延时北京交通大学电子信息学院北京交通大学电子信息学院72. Forward Error Correction (FEC)nFEC的目的:q 利用增加的冗余，来实现对错误的恢复。q常用的方法：各种差错控制编码n Reed-Solomon Code: RS(N, K) code with s-bit symbolsq Invented in 1960 at MIT Lincoln Labq Input: K s-bit symbolsq Output: N s-bit symbols (i.e., N-K s-bit parity symbols)q Error co

7、rrection capability:p If error locations are unknown: Up to (N-K) / 2 symbol errors.p If errors locations are known (erasure): Up to (N-K) symbol errors.n (One symbol error: One or more bits of a symbol have errors).q Very suitable for burst errors: storage (CD, DVD), satellite commq Example: RS(255

8、, 223) with 8-bit symbolsp N = 255, K = 223p N K = 32p Correction capability: up to 16 symbol errors or 32 erasure errors北京交通大学电子信息学院北京交通大学电子信息学院8FEC技术的发展技术的发展n不等差错防护：Unequal error protection (UEP):qMore (Less) protections for more (less) important data.北京交通大学电子信息学院北京交通大学电子信息学院9FEC技术的特点技术的特点n优点：q直接进

9、行纠错nFEC的问题:qLoss of compression efficiencyqDelay:p解码的时候：必须一次差错编码的所有数据包都到达后，才能开始使用；p 编码时，必须完成一次完整的差错控制编码后，数据包才可以发送；北京交通大学电子信息学院北京交通大学电子信息学院103 . 错误掩盖技术的实例错误掩盖技术的实例有时也称为：有时也称为：0冗余技术冗余技术北京交通大学电子信息学院北京交通大学电子信息学院114. 容错视频编码技术容错视频编码技术n目的： q设计相应视频压缩算法和压缩比特流，可以实现对错误适应；q也就是在错误存在的情况下解码，使得影响最小；n压缩视频中易受差错影响的主要是

10、以下两方面：qVLCqPrediction北京交通大学电子信息学院北京交通大学电子信息学院12第第2节：错误掩盖技术（节：错误掩盖技术（Error Concealment）n1.错误掩盖技术的基本特征q目的：p对错误信息进行估计，一般掩盖错误发生的事实；q错误掩盖技术在Decoder上使用，不会降低系统有效性；q实现依据：p视频的表现是其空间和时间特性的一个综合体现；p人的视听系统对某些错误不是很敏感；q实现方法：p利 用 正 确 接 受 到 的 数 据 ， 进 行 一 些 时 间 / 空 间 上 的 内 插（spatial/temporal interpolation） ，来对丢失数据进行估

11、计；北京交通大学电子信息学院北京交通大学电子信息学院132.错误掩盖技术中的内插技术错误掩盖技术中的内插技术n分析前提：q假设发生一个宏块 (16x16 block of pixels)数据的 错误。n三 种 类 型 的 内 插 技 术 来 实 现 e r r o r concealment:q空间内插：Spatial interpolationq时间内插：Temporal interpolation (freeze frame)q基 于 运 动 补 偿 的 时 间 内 插 ： M o t i o n -compensated temporal interpolation北京交通大学电子信息学

12、院北京交通大学电子信息学院14空间内插空间内插:n根据周围的像素值（正确）来推断出错误的像素数据；n完全正确的估计很困难，但是可以正确的估计出它的平均值，这也是非常有帮助的。北京交通大学电子信息学院北京交通大学电子信息学院15时间内插时间内插n把前帧图像相同位置的像素拷贝过来作为恢复数据，也就是对帧的冻结；n当这部分内容不动时有效，当运动时会出现一些问题；北京交通大学电子信息学院北京交通大学电子信息学院16加入运动估计的时间内插加入运动估计的时间内插n利用之前的帧采用运动估计的技术来估计出丢失的块n运动估计的过程中可以利用 相邻的MV，或者通过计算得到的新的MV北京交通大学电子信息学院北京交通

13、大学电子信息学院17讨论讨论n通常数据的丢失会超过一个macroblockq例如： lose a row of macroblocksor an entire framen通常的应用会是一种综合的应用：空间/时间内插同时使用；n基于MC的时间内插技术可以获得较好的效果，前提是有准确的MVn有许多经典的算法存在nError concealment技术用在 decoderq一些新的错误掩盖算法可以作为与标准兼容的增强部分，加入到解码器中；北京交通大学电子信息学院北京交通大学电子信息学院18第第3节：容错视频编码技术节：容错视频编码技术n1. 容错编码概述：n目标：q设计一种视频压缩算法和压缩后的比

14、特流结构使得它具有更好的容错特性。n原因：压缩视频容易受到错误的攻击n举例：qError in VLCqError in prediction 通过修改图像文件数据实例说明容错的概念通过修改图像文件数据实例说明容错的概念北京交通大学电子信息学院北京交通大学电子信息学院19n针对容错编码技术的讨论，主要从一下两个方面展开：q错误导致的基本问题是什么？q解决这些问题的方法是什么？北京交通大学电子信息学院北京交通大学电子信息学院202. 差错导致的问题差错导致的问题n前提：q对于传统的MPEG-like视频编码系统使用MC-prediction, Block-DCT, runlength and H

15、uffman codingn两种主要的问题：qLoss of bitstream synchronization：解码器不知道比特对应的什么参数p例如：error in Huffman codewordqIncorrect state and error propagation： Decoders state is different from encoders, leading to incorrect predictions and error propagationp例如：error in MC-prediction or DC-coefficient prediction北京交通大学电

16、子信息学院北京交通大学电子信息学院213. Basic Error-Induced Problems:Loss of Bitstream Synchronizationn失去比特流同步的错误：导致解码器不能识别数据的对应参数qExample: Error in Huffman codeword or other variable length code (VLC)pSingle bit error can lead to significant subsequent lossnNotes:q定长编码(FLC)不会出现这样的问题，因为码字的开始和结束是已知的p数据的丢失只是限制在单个码字；q但是

17、FLC不能提供好的压缩性能；qVLC可以提供很好的熵编码效果，广泛使用；北京交通大学电子信息学院北京交通大学电子信息学院22方法方法1：加入重新同步标记：加入重新同步标记nBitstream 同步的问题n目的：建立一种可以恢复同步的机制n方法：Use resyncmarkersqa) 设计一个与其它码字不同的标记，用它把码字串联起来，而不引起混乱；qb)信息丢失后，遇到新标记之后又可以恢复同步，重新解码北京交通大学电子信息学院北京交通大学电子信息学院23问题讨论问题讨论n同步标记放在哪里？q1.放置在比特流的一些重要位置（strategic locations）例如：beginning of

18、frame, slice, etc. (MPEG-1/2, H.261/3)p标记的位置针对与编码块相对固定，而相对与比特是可变的；p运动性强的区域出现错误的概率会增加；q2.周期性的放置resyncmarkers (MPEG-4)pResyncevery fixed # of bits, variable # of blockspAdvantages:n Active areas less likely to be corruptedn Simplifies search for resyncmarkersn Supports network packetization北京交通大学电子信息学

19、院北京交通大学电子信息学院24方法方法2：Reversible variable length codes (RVLC):n传统的VLC解码只能按照前向来完成；nRVLC这种方法可以从backward direction来实现解码；n实现方法：q如果检查到错误，跳到下一个resync标记，然后开始反向解码，这样可以部分的恢复失步的数据（否则这部分数据都将被遗弃）北京交通大学电子信息学院北京交通大学电子信息学院25方法方法3：Data partitioningn依据依据：离resync标记越近的比特的准确度要比远离标记的比特高n实现思路实现思路: 把重要的信息(MVs, shape info,

20、DC coeffs)紧跟在resync标记之后，而重要性其次的信息(AC coeffs)放在后面n效果效果：与常规的方法相比，这时的数据以MB为基础交织，有利于容错；北京交通大学电子信息学院北京交通大学电子信息学院26总结：总结：Overcoming Loss of Bitstream Synchronizationn方法的种类：qResyncmarkers at strategic locationsqResyncmarkers at periodic locationsqReversible VLCs(RVLCs)qData partitioningn基本思路q隔离错误信息q实现快速的 r

21、esynchronization 北京交通大学电子信息学院北京交通大学电子信息学院274. Incorrect State and Error Propagation n解码器端的错误状态和差错扩散q错误会导致在解码器端重构的帧状态错误；q由于解码帧和编码帧的差异，会导致不正确的预测，从而导致误差的扩散；北京交通大学电子信息学院北京交通大学电子信息学院28主要解决方法主要解决方法n目的：限制误差扩散的影响q例如：reinitialize prediction loopnApproaches:q全部采用 I-framep可以消除误差扩散，但是压缩效果大大降低q周期性的采用 I-frames, 比

22、如： MPEG GOP结构p例如：: I-frame every 15 framesp可以把差错扩散限制在1个 GOP范围p会对视频压缩效率产生影响 (inappropriate for very low bit rate video, e.g. wireless video or video over the Internet)北京交通大学电子信息学院北京交通大学电子信息学院29方法方法1：在帧中采用部分的：在帧中采用部分的intra-coding n部分的含义：在帧中某些单个的MB采用intra-codingn实现q1.Periodic intra-coding of all MBsp 1

23、/N of the MBs in each frame are intra-coded in a predefined order; after N frames all MBs have been intra-codedq2.Preemptive intra-coding based on estimated vulnerability to errorspOptimize intra/inter mode decisions based on a channel loss model北京交通大学电子信息学院北京交通大学电子信息学院30n采用intra-coding方法的优点：q有效的限制错

24、误的扩散q编码器不增加复杂度，解码器更简单；n缺点：qintra coding 需要更高的比特率，限制了它的使用；q进一步优化需要准确地了解信道地特性；北京交通大学电子信息学院北京交通大学电子信息学院31方法方法2：Point-to-point with back-channeln应用前提：Point-to-point communication with a back-channelq例如： video phone, video conferencingnDecoder 检测到错误后通知编码器:q重新初始预测 (使用 I-frame)p特点：简单、直接p代价： intra coding需要更

25、高 bit rate q选择一个合适的帧作为下次预测的参考pEncoder & decoder store multiple previously coded framespEncoder chooses which previously coded frame to use as reference for prediction (only use correctly received frames)pTwo basic modes of operations: ACK, NACK 北京交通大学电子信息学院北京交通大学电子信息学院32ACK moden特点：Encoder 只使用ac

26、k确认的帧作为预测参考帧q优点：可以最小化差错扩散；q缺点：可能会使用一些 “ o l d ” frames 导致不好的压缩性能；北京交通大学电子信息学院北京交通大学电子信息学院33小结：小结：Point-to-point with back-channeln优点：q利用反馈特性可以达到很好的容错效果qNewPred in MPEG-4, Reference Picture Selection in H.263n缺点：需要有可靠的反馈信道，同时要求有更小的RTD (round trip delay )q随着RTD时间的增加，效果会降低；q对于广播、组播、没有反向信道的点对点业务不适用；北京交通

27、大学电子信息学院北京交通大学电子信息学院345.其他容错编码技术其他容错编码技术nScalable video coding:q视频编码分成： （a base layer）+ （one or more enhancement layers）pExamples: Temporal, spatial, SNR (quality) scalabilityq视频数据具有了优先级别；q不同的优先级有利于实现可靠的视频传输；例如：p unequal error protectionp prioritized retransmissionqScalable coding对于支持差异服务的网络具有很好的适应；

28、北京交通大学电子信息学院北京交通大学电子信息学院35n伸缩编码用于容错的问题q目前的互联网是 best-effort:p不支持 QoSp所有的包具有相同的丢失概率；q另外，base layer的重要性也限制了应用的推广p如果基本层出现错误，整个视频都可能出现问题；伸缩编码和 best-effort Internet的不匹配之处:伸缩编码产生的多层比特流具有不同的重要性；Best-effort Internet 对这些比特流相同应对；北京交通大学电子信息学院北京交通大学电子信息学院366. 多描述视频编码n多描述视频编码：Multiple description (MD) video codin

29、gqCode video into a number of descriptions, each of roughly equal importancenMD编码的属性:qReceiving either bitstream leads to good quality videoqReceiving both bitstreams leads to highest quality video北京交通大学电子信息学院北京交通大学电子信息学院37传统的单描述编码和多描述编码比较n当多个错误出现时，MD属性还是不够；q只要不同描述不是同时出错，状态可以根据不同的描述进行恢复；北京交通大学电子信息学院北京交通大学电子信息学院38MD编码的错误恢复编码的错误恢复n特点：提高对错误的恢复能力q其他