（信号与信息处理专业论文）基于传输模式的无线视频差错控制技术研究与实现.pdf

南京邮电：弋学硕士研究生学位论文摘要 摘要 近年来，随着无线移动业务的不断推广，人们对无线多媒体信息服务的需求也在逐年 增加。针对无线网络的视频传输各种技术的研究正日益成为人们关注的热点。 本文首先简单回顾了无线视频技术的发展及无线网络中视频传输的问题，然后按分类 重点介绍了在m 网络中视频传输的差错控制技术，最后结合课题组研制的无线数字视频传 输系统( m m d w v t s ) 自身的特点，针对w l a n 和c d m a 两种主要传输模式中存在的问题 提出相应的差错控制方案并且通过实验进行了性能测试和分析。 在w l a n 模式下，接收端的数据包的乱序是主要的差错类型，通过基于对数据包的 分析发现，原因是由于发送端底层硬件缓存控制方式造成数据包顺序发送失败，形成了终 端数据包周期性乱序。考虑到系统中局域网传输速度快、延时小，不适合使用交互式差错 控制，而且编码端硬件处理能力有限的特性，本文采用了基于终端的数据包重排方法来克 服这种现象。在c d m a 模式下，带宽资源有限，网络丢包是造成视频质量下降的主要原 因，考虑系统单向传输可以承受一定的延迟，所以在往返时间( r 1 陌) 的测量结果之上， 本文提出并实现了端到端的数据包重传差错控制。即由接收端向发送端发起重传请求，在 一定时间门限值内，等待重传数据包，如果超时则放弃等待，直接利用终端原有的误码掩 盖技术进行恢复。最终系统实验测试表明，针对该系统提出的两种差错控制技术的确能在 一定程度上可靠地提高图像的显示质量。 论文最后对所作的工作进行了总结，并提出未来进一步的工作方向。 关键词：无线视频传输、差错控制、w l a n 、c d m a 、排序、重传 南京邮电大学硕士研究生学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fm o b i l ec o m m u n i c a t i o n ，t h ed e m a n d so ft h ew i r e l e s sm u l t i m e d i a i n f o r m a t i o ns e r v i c e sa r ei n c r e a s i n ga sw e l la n dt h e r e f o r e ，t h er e s e a r c h e so nt h et e c h n o l o g yo f r e a l - t i m ev i d e ot r a n s m i s s i o no v e rw i r e l e s sn e t w o r ka r ea t t r a c t i n gm o r ea n dm o r ei n t e r e s t sb o t h f r o mt h ei n d u s t r i a l sa n da c a d e m i a t h et h e s i sb r i e f l yr e v i e w st h ed e v e l o p m e n ta n dp r o b l e m so fw i r e l e s sv i d e ot r a n s m i s s i o n t e c h n o l o g ya tf i r s t t h e ni tm a i n l yd i s c u s s e sd i f f e r e n tt y p e so fe r r o rc o n t r o lt e c h n o l o g yf o rv i d e o t r a n s m i s s i o no v e ri pn e t w o r k s a f t e r w a r d s ，i tc o n c e n t r a t e so nt h ee r r o rc o n t r o lt e c h n i q u e sf o ra p r o t o t y p em u l t i m o d ed i g i t a l w i r e l e s st r a n s m i s s i o ns y s t e m ( m m d w v t s ) c o n s i d e r i n gt h e c h a r a c t e r i s t i c so ft h em m d w v t s ，t h et h e s i sp r e s e n t st w od i f f e r e n te r r o rc o n t r o lm e t h o d sf o r w l a na n dc d m at r a n s m i s s i o nm o d e s i nw l a nm o d e ，b e c a u s eo ft h ed e s i g no fw l a nn i c c a c h em a n a g e m e n ti nv i d e oc o l l e c t i o nt e r m i n a l ，t h e r ee x i s tp e r i o d i c i t yd i s o r d e rp a c k e t si n d i s p l a yt e r m i n a l o na c c o u n to ft h el i m i t e dp r o c e s s i n gc a p a b i l i t yi nv i d e oc o l l e c t i o nt e r m i n a lt o s o l v et h ep r o b l e ma n dt h er a p i dt r a n s m i s s i o nr a t ei nw l a nm o d e ，as i m p l em e t h o dt or e o r d e r p a c k e t si nr e c e i v i n gt e r m i n a li sa d o p t e d i nc d m am o d e ，c o n s i d e r i n gt h ed e l a yt h a ts y s t e m c o u l db ew i t h s t a n d ，a n dt h e ns u r v e y i n gt h ei 册o ft h es y s t e m ，ae f f e c t i v em e t h o di sp r e s e n t e d t h a tc o m b i n e sp a c k e t sr e t r a n s m i s s i o nw i t l le r r o rc o n c e a l m e n tt e c h n o l o g y t h ep r a c t i c a lt e s t s r e s u l t ss h o wt h a tt h e s et w oe r r o rc o n t r o lm e t h o d sc a nb r i n go u ts a t i s f a c t o r yv i d e oq u a l i t yi n d i s p l a y f i n a l l y , t h et h e s i sm a k e sab r i e fs u m m a r yo nt h ew o r kt h a th a sb e e nd o n e ，a n dg i v e st h e p o s s i b l ed i r e c t i o nf o rf u r t h e rr e s e a r c h k e y w o r d s ：w i r e l e s sv i d e ot r a n s m i s s i o n ，e r r o rc o n t r o l ，c d m a ，w l a n ，r e o r d e r i n g ， r e t r a n s m i s s i o n l i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 竭螫日期：! 耻 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：j 选导师签名：二钫氇菇争日期：喇 南京邮电；弋学硕士研究生学位论文 第一章绪论 1 1 无线视频传输 第一章绪论 自上世纪八十年代以来，视频编码在近二十年间取得了长足的发展，随着一系列视频 编码国际标准的颁布【l 】 9 1 ，以及计算机、d s p 等支撑技术的发展，视频通信逐步走向人们 的日常生活和生产实践。无线传输技术的快速增长以及人们对于多媒体信息的广泛需求促 进了无线视频通信的发展与普及。1 9 9 1 年，“全球移动通信系统”( g s m ) 开始商用，但它 仅能对每个信道提供1 2 k b p s 的电路交换数据业务，支持有限长度的文本和文字传输，因而 大规模的视频服务根本无从谈起。然而，用户对于多媒体信息的需求是不可忽视的，在最 近的十多年间，这样的需求促进着无线传输技术的蓬勃发展。尤其在近年来，移动通信技 术的发展进入了空前活跃的阶段，第三代移动通信一种致力于实现随时随地的宽带语 音和数据通信的技术在中国酝酿数年后即将被投入商业应用。3 g 的三种国际标准， c d m a 2 0 0 0 、w c d m a ，以及中国提出的、具有自主知识产权的t d s c d m a 标准都已近 成熟，并且各大运营商对三种标准的商用网络都已经建成。3 g 网络技术和移动终端的不断 发展，为无线视频业务的出现和推广提供了必要的条件，而市场的需求也为无线视频业务 的发展提供了广阔的空间。同样，无线视频传输技术也将是通信行业未来发展的主要推动 力量以及通信市场的增长点，并且将在某种程度上改变人们的生活方式，进一步开拓获取 信息和休闲娱乐的途径。 与有线传输相比，当信息数据在无线信道中传输时，对于信道的噪声干扰非常的敏感， 极易受到各种噪声的影响而发生错误，并且随着基站和终端位置以及天线方向的改变而产 生很大改变。如果传输错误发生在码流中的一些比较关键的部位，即使是很小的错误，也 可能造成接收端恢复的图像质量大幅度的下降。因此，通过对无线信道的传输差错进行有 效的控制，提高图像的观赏质量具有十分重要的研究和应用价值，是目前视频通信领域研 究的热点之一【1 0 1 【1 2 1 。 从信息传输的角度来说，视频业务庞大的数据量和无线信道有限的带宽资源形成了一 对突出的矛盾。一方面，原始容量很大的视频数据必须经过压缩才能在有限的低比特速率 业务的无线系统中传输，但是经过压缩的图像数据对于误码是相当的敏感的，这是因为各 视频编码标准中都采用了帧间预测，误码会在空间和时间上同时扩散，从而带来图象质量 的急剧下降。因此无线视频传输系统必须充分考虑容错和纠错技术。另一方面，考虑到实 南京邮电：赶学硕士研究生学位论文第一章绪论 际系统的硬件实现，可用的硬件资源有限，因此算法实现必须尽量简单而且能保证一定性 能。另外对于无线视频系统的终端，因为无线视频系统往往是便携式的系统，容量的限制 就是需要低的功率消耗，也就是说在满足q o s 需要的同时必须使功率的消耗最小化，如此 才能保证整个系统的正常工作。 由此可以看出，作为一个刚刚起步的崭新领域，移动无线视频传输面临着很多的问题 和挑战，包括网络带宽的限制、视频标准的统一、移动终端水平的提高等。随着网络技术 的不断进步，视频编码技术的不断改进，相信在不久的将来，基于i p 的无线视频传输技术 必将让我们充分享受到网络化信息时代的全新生活。 1 2 课题背景及系统组成 随着无线通信技术的飞速发展，各种新的技术趋向融合，无线视频通信业务的开展呈 现出无限的生机和可能性。继g p r s ( g e n e r a lp a c k e tr a d i os e r v i c e ，通用分组无线业务) 和c d m a l x ( c o d ed i v i s i o nm u l t i p l ea c c e s s ，码分多址) 等2 5 代移动通信系统在我国成 功商用之后，第三代( 3 g ) 移动通信系统也呼之欲出，与此同时，下一代移动通信一g 的研制也取得了令人瞩目的进展。在公共移动通信技术和业务取得巨大发展的同时， m ，a n ( w i r e l e s sl o c a la r e an e t w o r k ，无线局域网) 标准化已经相继完成了i e e e8 0 2 1 1 a ， b ，g 等规范，可提供速率从1 m b p s 到5 4 m b p s ，成为无线接入的另外一个重要的手段。这 些都为无线视频流的传输提供了必要的网络通信基础。由上述技术产生的无线i p 和无线视 频业务必将成为未来移动通信业务新的增长点。在此种情况下，将视频技术与移动通信技 术相结合，成为追求自由通信的必然手段。 目前的无线视频传输系统基本都是基于某种单一的无线网络接入方式。在现有的几种 无线接入口网络中，无线局域网w l a n 虽然传输速率高但覆盖区域小，而公共移动网络 c d m a 和g p r s 虽然覆盖范围广，但传输速率有限。因此单一网络模式的无线视频传输系 统在应用中受到很大的限制。针对上述无线视频传输系统存在的问题，南京邮电大学图像 处理与图像通信江苏省重点实验室的无线视频传输系统课题组研制出一种无线视频传输 原型系统多模式无线数字视频传输系统( m m d 姗s ) ，该系统设计成集多种无线通 信接口于一体、能适应各种不同无线网络、并且能在多种无线网络间智能切换的实时无线 视频通信系统，通过综合w l a n 网络的高速传输以及公共移动网络c d m a 和g p r s 等覆 盖范围广的优点，提供在不同网络条件下的最佳视频传输效果。当无线视频终端位于无线 局域网范围内时，利用w l a n 无线接入实现高速视频传输：而当无线终端超出无线局域 2 南京邮电：k 学硕士研究生学位论文第一章绪论 网范围时，则再用公共无线移动网络作为补充，以c d m a 或g p r s 方式无线接入，提供 中低速率的视频传输。 如图1 1 所示为m m d w v t s 系统的框架结构，其中包括四个主要部分：( 1 ) 无线视 频终端；( 2 ) 无线接入和传输网络( w l a n 、c d m a 、g p r s 以及内网、i n t e m e t ) ，传输基 于t c p i p 协议：( 3 ) 视频服务器，包括公网( i n t e m e t ) 视频转发服务器和内网( i n t r a n e t ) 视频代理服务器；( 4 ) 视频显示终端。其中： 蝈 图1 - l 多模式无线视频传输系统框架结构 无线终端：以高性能多媒体数字信号处理器t m l 3 0 0 为中心构建核心处理板，外接彩 色p a l 制摄像机，完成实时视频采集、编码、任务调度和通信控制、视频流和控制流打包 发送，公共无线网络接入和w l a n 接入等功能，可以工作于g p r s 、c d m a l x 和w l a n 网络的任一、二者或三者的组合，通过软件的控制，根据所处位置的网络状况在多种无线 网络中进行自动切换，选择当前可用高带宽网络进行视频传输。 公网视频转发服务器：设立在具有公网i p 地址的p c 机上，提供无线视频终端自公共 无线网络，经i n t e m e t ，到达内网视频代理服务器的视频流和控制流转发功能。服务器保存 着在线无线视频终端和显示终端的网络维护信息，包括无线视频终端i d 、i p 地址、端口号， 以及内网视频代理服务器i p 地址和端口号等。基于这些信息，服务器为视频流和指令信息 提供转发通道。 内网视频代理服务器：设立于内网且可以连接到公网的一台p c 机上，提供公网视频 转发服务器到显示终端的视频流和控制流转发功能，并且作为所有显示终端与公网连接的 代理。服务器保存着无线视频终端i d 、i p 地址、端口号，以及所有请求的显示终端d 地 址和端口号等。基于这些信息，服务器为视频流和指令信息提供转发通道。 显示终端：内网上任何一台p c 机，主要完成视频流的解码显示功能，并可以实现硬 盘存储与回放。具有管理员权限的p c 机通过人机接口接收用户的指令，控制无线视频终 端的图像尺寸和量化步长等质量参数。 系统的基本工作过程是：无线视频终端将摄像机的模拟视频信号经过实时采集、压缩 南京邮电：赶学硕士研究生学位论文第一章绪论 编码后，经无线接入、网络传输，最终到达内网( 如校园网、企业网等) 的显示终端，经 解码后显示。 鉴于无线i p 网络的信道特性，为了实现实时视频流传输，系统采用r t p r t c p 协议进 行控制，即采用r t p u d p i p 的方式来实现连续视频流的q o s 保证，并且引入了一些差错 控制机制改善视频传输的效果。 1 3 本文的主要工作以及内容安排 本文以m m d w v t s 系统为基础，研究进一步降低传输差错、提高视频传输质量的方 法。研究思路是针对不同无线网络模式，对于网络丢包、乱序等差错，在现有r t c p 的传 输控制和误码掩盖技术上，从多个角度进行更深入的传输质量保证的研究，通过基于端到 端的重传排序、基于终端的乱序包排序等处理，以得到更好的图像显示效果。本文的内容 安排如下： 第一章本文的课题背景和内容安排。 第二章介绍无线i p 网络视频传输存在的问题并对现在主流的差错控制技术进行了分 类比较，最后结合m m d w v t s 系统的特性提出相应的差错控制策略。 第三章详细描述m m d w v t s 系统在w l a n 模式下的排序差错控制方法，首先分析 了乱序的原因，然后阐述了排序差错控制思路的提出及实现过程。 第四章主要分析了m m d w v t s 系统在c d m a 模式下针对丢包的重传差错控制策略。 包括重传控制的可行性分析、实现过程以及结果的优劣分析。 第五章实验测试部分，对实际系统的参数测试分析以及图像主观质量性能分析。 第六章总结与展望。 4 南京邮电大学硕士研究生学位论文第二章i p 网络视频传输差错控制技术及系统差错控制设计概述 第二章i p 网络视频传输差错控制技术及 系统差错控制设计概述 2 1 无线i p 网络视频传输存在的问题 无线视频传输对实时性要求很高，对网络的传输延迟和抖动也很敏感，要保证良好的 传输质量就必须以优良的q o s 做保证。由于i p 协议是无连接协议，网络抖动、包序的混 乱、网络拥塞等问题都严重影响视频传输的顺利进行和视频传输的质量。i p 网络传输视频 面临着诸多挑战，主要表现在以下几个方面： 2 1 1 带宽限制 视频业务本身具有较大的数据量，以通用的中间格式c i f 为例，每幅图像y 分量由 2 8 8 行组成、每行有3 5 2 个样点，色差分量u 、v 均由1 4 4 行组成、每行有1 7 6 个样点， 每个样点精度均为8 比特，帧频为2 5 帧秒，则c i f 格式的码率为： ( 3 5 2 x 2 8 8 + 2 x1 7 6 x1 4 4 ) x 8 x 2 5 3 0 m b p s 可见，视频的数据量非常庞大，不利于网络传输。 另一方面，为了得到可接受的视频质量，实时视频传输对网络带宽有最低的要求。然 而，目前的i p 网络使用的是口v 4 ，只能提供尽力而为( b e s te f f o r t ) 的服务，并不能为每 一个视频服务器预留带宽资源，因此还不能保证每个视频服务都能满足对带宽的要求。同 时，近年来i p 网络用户急剧增加，网络上传输的视频数量猛增，网络资源越显缺乏，网络 拥塞的状态加剧，使得本来就非常有限的网络资源带宽变得更加的紧张。 2 1 2 时延和抖动 端到端的时延是指从发送端发送一个数据包到接收端完成接收所需的总时间。主要由 转发时延、传输时延、网络时延和接口时延几部分组成。 转发时延一般指网络上的主机或路由器进行路由选择和数据转发产生的时延。该时延 与路由算法的类型和复杂度有关；传输时延是指数据包在网络节点之间传送产生的时延， 与途径节点的数目和传输的路径有关；网络时延是由转发时延和传输时延组成；接1 2 1 时延 南京邮电大学硕士研究生学位论文第二章i p 网络视频传输差错控制技术及系统差错控制设计概述 是指发送方开始准备发送数据包和网络准备传输该数据包这段时间内出现的时延。图2 1 给出了端到端的延迟组成。 图2 1 端到端的延迟组成示意图 与数据业务不同，实时视频传输对延迟和抖动具有严格的要求，依赖于时间关系的视 频数据包必须在它规定的时间间隙之间到达接收端，当超出规定的时间时效果等同于包丢 失，同样将导致视频播放的停滞，影响视频播放的主观感受质量。 2 1 3 网络丢包现象 在网络传输中，大量的突发业务会造成网络数据量在短时间内急剧增加，从而导致网 络拥塞现象的发生。对于p 网络，拥塞现象的直接后果是造成数据包的丢失，而且拥塞的 持续时间和严重程度决定了数据包的丢失率。对于视频业务来说，数据包的大量丢失会影 响重建质量，造成人眼的主观感受质量下降。然而，网络拥塞的发生与很多因素有关，不 可能完全避免，也就是说，网络的包丢失现象虽然可以通过一些机制加以缓解但是不可能 完全消除。 2 1 4 异构性 在视频通信中，单播和组播是两个重要的应用模式，单播是指点到点的视频传输，通 信中仅仅涉及一个发送者和一个接收者。与单播相比，组播是点对多点的视频传输，通信 中涉及一个发送者和多个接收者，可提高带宽的利用率，而单播则不能充分利用网络带宽。 图2 2 给出了单播和组播的分布图。对于单播，链路l 要占用5 个相同的传输带宽，链路 2 要占用3 个相同的传输带宽：而对于组播，链路1 和链路2 都只需要占用1 个传输带宽， 大大的节省了带宽，提高了带宽利用率。 6 南京邮电：长学硕士研究生学位论文第二章i p 网络视频传输差错控制技术及系统差错控制设计概述 a ) 多个点对点的单播系统b ) 点对多点的组播系统 图2 - 2 单播与组播系统传输示意图 然而，网络和终端的异构性限制了视频组播的这一优势。网络异构性是指视频传输所 途经的不同子网具有不同的链路带宽、存储能力、拥塞控制策略等分布式资源。网络的异 构性使不同的用户具有不相同的延迟和丢包特性：终端异构性是指不同的用户终端对时 延、丢包、视频质量的要求不尽相同，其终端的处理速度、分辨率、存储能力也可能不同。 显然，视频通信应该能够适应这种异构特性，为用户提供个性化服务。 为了解决网络中视频传输所面临的挑战，许多研究学者提出了不少的解决方案，网络 视频通信中的抗差错技术是其中的一项关键技术【1 0 】- 【1 6 1 。 2 2 差错控制技术的研究 无线信道的固有的不可靠的传输特性，给视频流的传输带来了许多的问题，最主要的 就是信息的丢失和改变，信息的丢失和改变会导致视频重建质量的严重下降。所以关于控 制传输差错的差错控制技术的研究是极有意义的。 一般来说传输的差错大体可以分为两类【1 2 】：一类是随机比特错误，这主要是由于信道 的物理缺陷而致。如比特位反转( b i ti n v e r s i o n ) 、比特位插入( b i ti n s e r t i o n ) 、比特位删除 ( b i td e l e t i o n ) 等。因编码方法或者信息内容不同，这种随机错误的影响也不同，某些随 机错误可以忽略不计，某些可能非常严重。当采用定长编码时，一个随机比特位的错误只 影响一个码字，所造成的信息失真一般是可以接受的；而当采用可变长编码( v l c ，如哈 夫曼编码) 时，它会导致v l c 解码器同步丢失，同时产生两种明显的错误码字：一种是 错误码字直接使得某码字映射为一非法码字，这种情况解码器可以立即检测到该错误码 字，另一种错误码字使得码字映射为另一个合法码字，或者映射为某合法的码字序列，那 么解码器就很难立即检测出错误码字的存在，但由于误码扩散的缘故，解码器可以在随后 的某个位置发现错误码字。一个随机比特位的错误会使比特流失同步，使得该错误发生位 置到下一个同步码之间的所有码字都变成为无效码字，甚至因为解码得到的信息无法和空 间位置对应起来使得同步码以后的码字都变为无用信息。因此在可变长编码中，这种误码 7 堕室堡皇奎堂婴主堕窒竺堂垡笙奎丝三童! 塑塑望堡堡塑茎堡丝型垫查垄墨竺茎堡丝型堡生塑垄 对重建质量的影响很大。另一类是突发错误，比如分组交换网络中的包丢失( p a c k e tl o s s ) 、 存储媒体的物理损伤等。有时候，随机比特错误也会导致突发错误，由于突发错误会导致 连续的数据包的丢失，它可能比随机比特错误带来更加严重的影响。目前视频编码大多都 采用可变长编码，因此这两种差错都会导致重建质量严重下降。 由于目前绝大多数视频编码标准都采用了运动补偿技术以及可变长编码技术，因此， 误码不仅影响该误码数据的恢复，还会影响与之相关的其他数据的恢复，造成误码扩散。 如果误比特发生在码流的重要部分，将导致恢复出来的信号面目全非，这是可变长编码本 身无法克服的弊端造成的。 视频通信中的差错控制技术长期以来一直沿着两个发展方向：一个方向是把数据通信 中的差错控制技术扩展到视频通信中，这些技术的目标都是无损恢复。另一个方向旨在恢 复近似原始信息或者根据人类生理特性的差错掩盖技术受到人们越来越多的重视。 目前提高视频传输的抗差错能力有很多的方法，有在应用层直接控制，也有在传输层 进行处理的，从传输的不同角度来说可以概括成以下几个方面：一是信源编码差错控制， 它是前向型的差错控制技术，这种技术从编码器端进行考虑，通过在编码输出码流中加入 一些额外的冗余信息，使得码流不需要解码器做更多的处理就能够降低传输差错的影响； 第二种是差错后处理，该技术对于已经发生的错误，利用已接收到的信息来估计发生错误 的信息，使其尽量不被人眼察觉出来，而不需要从编码器得到额外的信息，即误码掩盖技 术，它是利用人眼视觉的特性，用视频序列的空间、时间相关性来掩盖误码带来的不良影 响，这一技术可以分别在空域、时域、频域内进行；第三种是交互式抗差错控制技术，该 技术是通过编解码两端交互信息进行数据恢复，编码器根据解码端反馈信息自适应地调整 编码参数和编码模式等。这种方法要依赖反馈信道，并且大多数交互式技术都会带来一定 的延迟，这在实时应用中将受到限制。前向型差错控制和后向型差错控制基本都是在应用 层进行处理，而交互式地抗差错处理则是应用层和传输层结合起来联合控制，所以复杂度 更高。下面详细阐述这三个方向的具体内容【1 3 】【1 5 】： 2 2 1 信源编码差错控制 信源编码差错控制主要包括：错误隔离( e r r o ri s o l a t i o n ) 、鲁棒性熵编码( r o b u s te n t r o p y c o d i n g ) 、容错预测( e r r o rr e s i l i e n tp r e d i c t i o n ) 、多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ) 等。 1 ) 错误隔离( e r r o ri s o l a t i o n ) 8 塑室堡皇奎兰婴主婴窒生堂垡堡奎兰三童里塑垡望堡堡塑茎堡丝型塾查墨墨竺茎堕丝型堡生塑堕 压缩数据流对传输错误敏感的一个主要原因是编码使用可变长编码( v l c ) 。一个码 字中的任何一个比特错误不仅会使这个码字无法解码而且会使后续码字即使在正确接收 的情况下也无法解码或者错误地解码。错误隔离技术试图把错误限制在有限区域内，可以 在压缩比特流中加入重同步标记( r e s y n c h r o n i z a t i o nm a r k e r ) ，或者使用数据分组( d a t a p a r t i t i o n i n g ) 来进行错误隔离，这两项技术都被纳入m p e g - 4 和h 2 6 3 标准中。 a 插入重同步标记( r e s y n c h r o n i z a t i o nm a r k e r ) 周期性地插入重同步标记是一个简单而有效地增强抗误码能力的方法。这些标记可以 轻易地和所有其它码字以及近似的码字区分开来。通常可以把一些头信息( 包括时间和空 间位置信息及其它后续解码所需要的信息) 紧跟在重同步信息之后，这样只要检测到重同 步标记解码器就能正确解码。插入重同步标记会降低解码效率。原因之一是标记越长，插 入的频率越高，需要的比特数就越多。其次是使用重同步标记通常会中断帧内预测如运动 矢量( m v ) 和直流系数( d c ) 的预测，从而导致码率增大。但是更长的和更频繁的标记 也会使解码器更快获得重同步，从而使一个传输错误只影响更小的区域。因此，在实际的 编码系统中通常使用较长的同步码。 b 数据分割( d a t ap a r t i t i o n i n g ) 在不使用其它抗误码技术的情况下，出错的码字和下一个重同步标记之间的数据只能 被丢弃。为了取得更好的错误隔离效果，两个同步码之间的数据可以进一步分成更小的逻 辑单元，并插入辅助同步码。这样，在误码之前的逻辑单元仍能被正确解码。这些同步码 可以比主同步码短，因为它们只需要在它们之前的逻辑单元中的数据不同。m p e g - 4 与 h 2 6 3 标准的容错模式中就使用了这个技术，同一个分片( s l i c e ) 或块组( g o b ) 的所有 宏块的宏块头、运动矢量和d c t 系数分别放在不同的逻辑单元中。如果在含有d c t 系数 的逻辑单元中出现误码，前面包含头信息和运动信息的逻辑单元仍然可以解码。 2 ) 鲁棒性熵编码( r o b u s te n t r o p yc o d i n g ) 这种方法通过直接修改熵编码使视频流具有抗误码能力。常有的有两种技术： a 可逆变长编码( r e v e r s i b l ee n t r o p yc o d i n g ) 1 0 】【1 6 1 - 幢剩熨结诱腱剁譬个壁酵步标记 【二 蒸河i f 瓣碱溅r 蔫囊甏瓣； 国i 沁蝌峨 错促定位和孟舁 盾i 卸镐鼬 图2 3 可逆变长编码组成示意图 9 南京邮电大学硕士研究生学位论文第二章i p 网络视频传输差错控制技术及系统差错控制设计概述 可逆变长编码的原理如图2 3 所示。解码器不仅能使用解码重同步码以后的比特，而 且能反向解码重同步码以前的比特。因此，使用r v l c 可以减少被舍弃的比特数，从而减 受传输误码影响的图像面积。通过检测正向解码器和反向解码器的输出，r v l c 还能够帮 助解码器检测出使用非可逆变长编码度不能检测出的误码，或者提供更多有关误码位置的 信息，从而减少被舍弃的比特数。与插入同步码和数据分区技术一样，可逆变长编码 ( r v l c ) 也被纳入m p e g - 4 和h 2 6 3 标准中。 b 容错熵编码( e r r o r - r e s i l i e n te n t r o p yc o d i n g e r e c ) e r e c 方法i 墙】通过重新排列已编码比特使得解码器在每一块的开始获得重同步。具体 地说，来自图像块的变长比特流被分配到相同尺寸的槽( s l o t ) 中。首先，将每个图像块的 已编码数据放入相应的s l o t 中，不论是否填满。然后，根据一个事先定义的偏移序列寻找 空的s l o t 来放置图像块中剩余的比特。重复这个过程知道所有比特都被放入s l o t 中。由于 每个s l o t 的大小固定，所以解码器能够在每个块的开始获得重同步。这种方法同时也使得 每块的开始比结尾抗误码能力更强。e r e c 没有为了同步而插入任何比特，所以几乎没有 引入冗余，但是增强了编码复杂度。 3 ) 容错预测( e r r o rr e s i l i e n tp r e d i c t i o n ) 导致压缩数据流对传输错误敏感的原因，除了前面介绍的变长编码以外，就是时间预 测。一旦发生了一个误码，使得解码器的重建图像与编码器的不同，那么从此以后解码器 的参考图像就与编码器的参考图像不同，因此所有的后续重建图像都含有错误，此外d c 系数和运动矢量的空间预测也会导致错误在同一帧图像内扩散。容错预测是指限制预测环 路从而使错误只扩散较短时间的技术。 a 插入帧内编码块或者帧内帧( i n s e r t i o no f i n t r a - - b l o c k s0 1 f r a m e s ) 周期性地插入帧内帧或者帧内编码宏块是一种阻止错误时间扩散的方法。使用帧内帧 会导致输出比特率急剧增加，由于延迟的限制，这对于交互式业务来说是不可接受的。对 于这类业务，使用足够多的帧内编码宏块是一个非常有效的抗误码方法。 当使用帧内编码宏块来抗误码时，需要确定这些宏块的数量和位置，需要的宏块数量 取决于信道的质量和传输层的差错控制机制。目前关于解码器失真和编码器帧内编码块比 例、信道编码率和信道误码特性之间的关系已有了很多研究。在此基础上，对于给定信道 特性，可以找到最佳帧内编码宏块比例和信道编码率。确定帧内编码宏块位置的方法可以 分为探索式方法和率失真优化方法。探索式方法包括随机刷新和刷新高活动性区域。这些 方法简单而有效。率失真化方法能够进一步提高性能，同时也增加了编码复杂度。在不考 虑传输误码的条件下，宏块编码模式取决于不同模式的率失真关系。理想情况下，可以选 1 0 南京邮电大学硕士研究生学位论文第二覃i p 网络视频传输差错控制技术及系统差错控制设计概述 择平均每比特失真最小的编码模式。 b 独立分段预测( i n d e p e n d e n ts e g m e n tp r e d i c t i o n ) 另一个限制错误扩散程度的方法是将图像数据分割成多段只在同一段内进行时间和 空间预测。这样，某一段中的错误就不会影响到另一段。在h 2 6 3 中这种方法被独立称为 独立分段编码( i n d e p e n d e n ts e g m e n td e c o d i n g - i s d ) 。 4 ) 多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g m d c ) 近年来，多描述编码m d c 技术已被证明是克服信道错误的有效方法。该编码方法能 够较好地抗突发干扰和重建丢失分组，具有广泛的适用范围，正受到图像处理界越来越多 的关注。这种编码方案中，同一个信源产生多个比特流( 称为描述) 并且在不同的信道上 传输。每个信道都可能暂时中断或者遭遇长时间的突发性错误。在接收端，根据收到的不 同描述采用不同的解码方案( 解码器) 。适当设计多描述编码器和解码器使得收到任何一 个描述都可能获得较好的重建质量，并且收到的描述越多，重建质量越好。 2 2 2 解码端差错控制 解码端差错控制主要方法是误码掩盖。误码掩盖技术是检测到丢包或者误码后对其进 行掩盖的种技术。该技术并不真正消除传输中的错误，而是尽可能弥补差错带来的视觉 损伤，属于一种后处理技术。 1 ) 基于运动补偿的时间预测( m o t i o n c o m p e n s a t e dt e m p o r a lp r e d i c t i o n ) 基于时间相关性的最简单的方法是，把前一帧中相应空间位置的图像块直接拿来填补 当前帧中受到损伤的图像块。显然，当画面存在较大运动时，会出现非常明显的马赛克 ( m o s a i c ) 块。当运动向量被正确传输时，使用运动补偿块代替同样位置的图像块，可以 有效弥补上述缺点。 事实上，在m p e g 2 标准中，即使是采用帧内编码模式的图像块，也允许传输相应的 运动向量，其目的就是为了有效恢复受损图像块。据研究表明【1 7 1 ，在误码率达1 0 q 时， 使用基于运动补偿的误码掩盖技术，m p e g 2 重建图像的质量大约可以提高l d b 。这种方 法的局限性在于必须保证运动向量的正确传输。如果运动向量也受损了，则要使用运动向 量的恢复技术。 2 ) 凸集投影法( p r o j e c t i o n o n t oc o n v e xs e t s ) 凸集投影法利用了视频信号的光滑特性，该方法需要如下假设前提：重建图像块的 带宽有限。对于光滑区域中的图像块意味着各向带宽有限；对于包含明显边缘的图像块， l l 南京邮电大学硕士研究生学位论文第二章i p 网络视频传输差错控制技术及系统差错控制设计概述 意味着沿边缘方向的带宽有限。由受损图像块和八个相邻块形成一个组合块。首先，利用 图2 - 4 凸集投影法示意图 s o b e l 算子对组合块进行边缘检测，将其归为平滑块( 不存在边缘) 或者边缘块。边缘块 的方位被均匀量化为0 0 1 8 0 0 中八个方向之一。然后，定义两个投影算子，它们将反复作 用到组合块上如图2 _ 4 所示。第一个投影算子实现带通滤波。平滑块使用各向同性带通滤 波器，由一个低通滤波器实现，边缘块则使用沿边缘方向的带通滤波器。滤波操作在傅立 叶变换域中实现。第2 个投影算子对第1 个投影算子的输出结果做截断操作，使其落在 【o , 2 5 5 的范围内，边缘块中被正确接收的像素不会受到影响。这两个投影操作不断交替进 行，直到重建图像块稳定为止。如果能较好估计出初值，该迭代过程一般只需要5 1 0 次。 凸集投影技术仅利用了图像的空间信息，因此它适用于受损的i n t r a 类型的图像块以及 静止图像。处理受损i n t e r 类型的图像块时，重建图像块的初始值可以取作前一帧的运动补 偿块，然后利用凸集投影迭代过程提高重建图像的质量。 3 ) 空域、频域插值法( s p a t i a la n df r e q u e n c y d o m a i ni n t e r p o l a t i o n ) 视频信号的平滑特征还意味着受损图像块中的系数与相邻图像块中的对应系数比较 接近。如果受损块只是损失了个别系数，可以利用四个相邻块系数的插值估计这些受损系 数。如果受损块的所有系数都已丢失，频域插值的方法相当于用相邻块对应像素的插值估 计受损块的像素值，而不是利用空间距离最近的像素做插值。由于四个方向上用来做插值 的像素点与被插值的像素点相距8 个点，它们之间的相关性较小，因此估计精度较差。为 此，人们提出了一种新的插值方法：利用受损块周围四条1 像素宽的边界线做插值。有两 种具体实现方法：一是使用距离最近的两条边界上的像素做插值。有两种具体实现方法： 一是使用距离最近的两条边界上的像素做插值，一是使用四条边界上的对应像素做插值。 与凸集投影方法相似，上述方案只利用了空间平滑属性，主要针对的是静止图像或者视频 信号中的帧内编码图像块。对于帧间编码的视频帧，因为预测误差的d c t 系数相关性不 强，频域插值方法并不适合。当然，可以用空域插值直接估计像素原始值。 自然图像的平滑特征仅表现在低频系数部分，高频系数的相关性不强，因此频域的插 值往往只需要对低频部分有限的几个系数进行，其余高频系数往往强制设为零。 1 2 塑室塑皇奎兰堡圭型窒皇兰垡笙壅笙三童! ! 堕竺望塑堡塑茎箜笙型垫查垦至竺茎堂堡型堡生塑堕 总之，所有的差错掩盖技术都是利用了若干关于图像和视频的先验知识，如时域和空 域中的平滑特征等，以平滑特征为最优目标的恢复技术强化了这一性质。进一步，以接收 到的系数为基础，并以估计的边缘方向为平滑约束条件够成一个凸集，凸集投影法利用迭 代的方法将重构图像投影到该凸集上。凸集投影法可以取得更精确的结果，但是运算量过 大。如果仅仅是使空间误差最小化，那么插值法可以被认为是能量最小化的一种特例。直 接利用空间插值法的缺陷在于完全忽略了受损块中完好的系数。凸集投影法和插值法都是 只利用图像的空间相关性。另一方面，在以平滑特征为最优目标的能量最小化框架下，空 间域和时间域的相关性都被利用了。 2 2 3 编码器和解码器交互差错控制 如果在编码端和解码端之间存在一条反馈信道，则编码端能够根据解码端反馈信息针 对当前信道的特征调整其控制策略抵抗包丢失的影响，此类方法比单独依靠编码端或者解 码端的方法更有效。但是缺点在于二者之间必须有额外的信道用于反馈，而且反馈信息必 须及时。此类方法比较适合点到点的视频通信的场合，对于多点通信，由于编码端会收到 多个解码端的反馈信息，需要采用复杂的调整策略，这样会加大编码端的处理负担；另外， 过多的重传请求将会更多地占用本来就有限的带宽资源，造成恶性循环，因此点到多点的 通信中一般不使用此类方法。 编码器和解码器交互式差错控制方法主要包括：自适应编码参数调节、基于反馈信息 的参考帧选择、基于反馈的错误跟踪、数据包重传等。 1 ) 自适应编码参数调节( c o d i n gp a r a m e t e ra d a p t a t i o nb a s e do nc h a n n e lc o n d i t o n s ) 当信道带宽和误码特性随时间变化时，使编码码率与信道带宽匹配以及采取适当的抗 误码措施是非常重要的。当信源编码码率大于底层信道带宽时，网络层不得不舍弃一些数 据，通常这样导致的失真比降低信源编码码率导致的失真更为严重。而且当信道噪声很强 时，降低编码图像质量把更多的带宽留给其他抗误码措施更为可取。 这种方法需要解决两个问题：首先传输控制器必须能够根据反馈信息估计和周期性地 更新信道服务质量参数( 如带宽，延迟，包丢失率等) ：其