（通信与信息系统专业论文）基于cdma+1x的无线视频传输系统及其差错控制技术研究.pdf

捅矍 随着现代通信技术的发展，通信业务的需求已经由单一语旨需求转变为对视 频和音频的需求，以传送语音、数据、视频为一体的通信业务成为通信领域发展 的热点。同时，近几年无线通信技术飞速发展，人们已经不满足于仅仅在传统的 局域网中享受视频服务，无线和移动性的要求为视频通信提出了更高的技术指标。 本文设计并实现了基于c d m ai x 的无线视频传输系统。首先介绍了视频通信 的理论基础，并且重点分析了视频传输的相关技术。然后，本文给出了系统的具体 实现方法，包括采集模块、编码模块、传输模块和解码模块，详细论述了传输模块 中p p p 连接、r t p 封装和s o c k e t 通信的设计过程，列举了系统中几个关键的数据结 构和函数原型。 为了解决传输中的误码，本文研究了无线视频传输的差错控制技术。首先介绍 了几种常用的抗误码方法。然后结合c d m ai x 的信道特点，提出了基于反馈的帧 内刷新，插入重同步标识和利用r t p 协议s e q u e n c en u m b e r 域进行差错控制的方法， 并测得实验结果。 最后是整个系统的性能测试，对传输比特率、端到端的延迟、图像质量、编解 码速度等参数，给出了不同差错控制策略情况下的测试结果。 关键词：h 2 6 3视频传输差错控制c d m al x a b s t r a c t w i t ht h ed e v e l o p m e n to fm o d e mc o m m u n i c a t i o nt e c h n o l o g y , t h er e q u i r e m e n t so f c o m m u n i c a t i o ns e r v i c e sh a v et u r n e df r o ms i n g l es o u n dt ov i d e oa n da u d i o ，t h e m u l t i m e d i ac o m m u n i c a t i o n sb e c o m eo n eo ft h eh o t s p o t si nt h ec o m m u n i c a t i o nf i e l d s m e a n w h i l e ，a sw i r e l e s sc o m m u n i c a t i o nt e c h n o l o g yp r o g r e s s e si n c r e a s i n g l yi n r e c e n t y e a r s ，p e o p l ea f c n ts a t i s f i e dw i t he n j o y i n gv i d e os e r v i c em e r e l yi nt h ec o n v e n t i o n a l l a n w i r e l e s sa n dm o b i l er e q u i r e m e n t sp u tf o r w a r dh i g h e rd e m a n df o rt h ev i d e o c o m m u n i c a t i o n t h i sp a p e rd e s i g n sa n dr e a l i z e saw i r e l e s sv i d e ot r a n s m i s s i o ns y s t e mb a s e do n c d m a1 x f i r s t l y , i ti n t r o d u c e st h eb a s i so fv i d e oc o m m u n i c a t i o n ，p l a c e se m p h a s i so n t h er e l a t i v et e c h n i q u e so fv i d e ot r a n s m i s s i o n a f t e r w a r d s ，i tp r e s e n t sc o n c r e t ei m p l e m e n t m e t h o d so ft h es y s t e m ，i n c l u d i n gc a p t u r i n gm o d u l e ，c o d i n gm o d u l e ，t r a n s m i s s i o nm o d u l e a n dd e c o d i n gm o d u l e ，t a k e sad e t a i l e dd i s c u s s i o no nt h ed e s i g no fp p pc o n n e c t i o n ，r t p e n c a p s u l a t i o n ，s o c k e tc o m m u n i c a t i o ni nt h et r a n s m i s s i o nm o d u l e ，e n u m e r a t e ss o m ek e y d a t as t r u c t u r e sa n df u n c t i o np r o t o t y p e so ft h es y s t e m i no r d e rt os o l v et h et r a n s m i t t i n ge r r o r s ，t h i sp a p e rs t u d i e st h ee f f o rc o n t r o l t e c h n i q u e so fw i r e l e s sv i d e ot r a n s m i s s i o nb a s e do nt h ec d m ai x f i r s t l y , t h i sp a p e r i n t r o d u c e ss o m eg e n e r a lm e t h o d s a n dt h e n ，i tp r e s e n t si n t r ar e f r e s hb a s e do n f e e d b a c k ，i n s e r t i n gr e s y n c h r o n o u sm a r k e r s ，u s i n gs e q u e n c en u m b e r f i e l do fr t p , w h i c h a r es u i t a b l et ot h ec h a n n e lc h a r a c t e ro fc d m a 1 x e x p e r i m e n tr e s u l t so ft h em e t h o da r e p r e s e n t e d f i n a l l y , t h i sp a p e rg i v e saw h o l es y s t e m a t i ct e s to ns o m ei m p o r t a n tp a r a m e t e r si n t h ec o n d i t i o n so fd i f f e r e n te r r o rc o n t r o ls t r a t e g i e s ，i n c l u d i n gt r a n s m i s s i o nb i tr a t e ， e n d t o e n dd e l a y , p i c t u r eq u a l i t ya n dc o d e cs p e e d k e y w o r d ：h 2 6 3 v i d e ot r a n s m i s s i o ne r r o rc o n t r o lc d m ai x 创新性声明 y85 8 6 2 9 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：高蜂 日期 趁五：厶2 f 关于论文使用授权的说明 本人完全了解匿安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技太学。本人保证毕 业离校后，发表论文和使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复印手段保存论文( 保密的论文 在解密后遵循此规定) 。 本人签名： 导师签名： 日期碰：。可 第一章绪论 第一章绪论 1 1 课题背景 随着现代通信技术和业务的发展，人们对通信的需求已经由最初的单一语音 需求转变为对视频和音频的通信需求，以传送语音、数据、视频为一体的视频通 信业务成为通信领域发展的热点，以点对点或多点视音频通信为主要形式的视频 会议、远程医疗、远程教育等服务得到了广泛的应用。可以说，以视频为代表的 多媒体通信业务将成为电信运营商未来的重点业务之一。 视频业务是流特性的业务，数据量极大。按c c 瓜6 0 1 建议，普通质量的数字 电视视频信号的码率约为2 1 6 m b p s ，而高清晰度电视( h d t v ) 则在1 2 g b p s 以上 f “。显然，这样大的数据量超出了计算机的存储和处理能力，未经压缩的视频在 i n t e r n e t 上传输，不仅效果无法容忍，而且会很容易地将i n t e m e t 资源吞没，造成网 络拥塞甚至崩溃，这样使视频应用失去了实用价值。为了存储、处理和传输流媒 体数据，必须对其进行压缩。视频压缩编码是视频实用化的前提。上世纪9 0 年代 以来，国际上先后制定了一系列用于图像及视频的压缩编码标准，如用于静止图 像的压缩编码标准j p e g 和j p e g 2 0 0 0 ，用于视频会议和可视电话的h 2 6 1 1 2 。， h 2 6 3 1 3 , 4 1 等，用于视频存储和传输的m p e g 1 ，m p e g 2 和m p e g 一4 5 j 等。这些视 频压缩标准的制定，推动了其所针对应用的发展，同时也极大地促进了视频压缩 编码技术和多媒体通信技术的发展。 近年来，无线通信技术不断发展，人们已经不满足于仅仅在有线网络中享受 视频服务。无线和移动性的要求为视频通信提出了更高的技术指标。因为相对于 有线网络来说，无线信道具有易错、时变、带限的特点，以及因多径而导致的衰 落现象，这使得无线信道的误码率要比有线环境大得多。同时由于带宽的限制， 视频信息在传输前必须进行高效的压缩编码，去掉大量的时间和空问相关性，这 一点也使视频码流对信道误码十分敏感。因此，在无线视频通信中，对视频流必 须采取各种抗误码和纠错技术，以保证恢复图像的视觉质量。 当前，视频传输系统大多采用h 2 6 3 或m p e g 一4 编码标准，因为相对于h 2 6 1 和m p e g 1 2 来说，前者拥有更低的输出比特率和更好的差错控制机制。同时，各 个厂商也大规模的推出媒体处理器( m e d i ap r o c e s s o r ) ，与基于p c 机的c p u 技术、 基于专用芯片组技术相比较，媒体处理器因为具备特有的数字视音频输入输出接 口、多媒体协处理器等使应用变得更加简单，而且设备厂商可以根据市场变化随 时进行软件应用的调整，及时地适应市场需求，而不会受制于专用芯片组本身。 媒体处理器支持的嵌入式操作系统以及软件优化，可以使视频传输系统更高效、 稳定、可靠。从差错控制技术的发展来看，经典的周期性帧内刷新、差错隐蔽等 基丁c d m a1 x 的无线视频传输系统及其差错控制技术研究 技术已经广泛应用于各种基于有线网络的视频传输系统中，有线信道误码率较低、 带宽相对恒定，可以根据相应的信道模型，来设计差错控制策略。但是在无线网 络中，很难得到信源、信道的统汁模型来设计最优的方案，完全基于编码端或者 解码端的差错控制策略往往效果不佳，这就需要编码端和解码端经常交互一些信 息，根据信道的实时变化，适当调整差错控制方案。从传输手段的角度来说，根 据实时性、交互性的要求，u d p f r t p q p 成为绝大多数视频传输系统的选择。u d p 突出了实时性的要求；r t p 保证了音视频信息同步，编码端和解码端通过发送 r t c p 包来实现信息交互；i p 为各种异构网络互联提供了可能，从而真正实现远程 的视频传输。 在这种背景下，本文设计和实现了基于h 2 6 3 编解码的无线视频传输系统1 6 j ， 并针对c d m a1 x 信道的特点，重点进行了视频差错控制技术方面的研究，在改善 图像视觉质量方面获得了良好的效果。 1 2 系统组成 整个视频传输系统包括了摄像头、视频编码设备、无线发送设备和视频解码 设备，其连接示意图如图1 1 所示。 摄视频无线 像编码发送 头设备设备 视频 解码 设备 图1 1 视频传输系统连接示意图 该系统是一个点对点的实时通信系统。视频编码设备从摄像头获得图像帧， 按照h 2 6 3 标准对其进行编码，然后通过无线发送设备将编码后所形成的码流发 送出去；在接收端，视频解码设备获得经过网络传输的视频数据，解码并显示图 像序列。 根据模块化的思想，将视频传输系统分为：视频发送端系统、视频接收端系 统。再进一步，视频发送端系统包括视频采集、视频编码、视频发送；视频接收 端系统包括视频接收、视频解码、视频回显。整个无线视频传输系统框图如图1 2 所示。 在整个系统中，作者的工作重点在视频发送一网络传输一视频接收单元，并 加入相应的差错控制策略。 第一章绪论 视频发送端系统视频接收端系统 视视 视 网 频频频 络 视 视 视 采编发 传 频频频 输 接 解回 集 码送 收 码显 图1 2 无线视频传输系统框图 1 3 论文结构 论文共分六章： 第一章绪论：介绍了课题背景，系统的总体结构及论文的安排。 第二章视频通信的理论基础：介绍了视频编码的标准，h 2 6 3 的基本技术， 视频传输的相关技术。 第三章基于c d m a1 x 的无线视频传输系统：给出了采集模块、编码模块、 传输模块、解码模块的具体设计与实现方法，并根据作者的工作重点，对传输模 块进行了详细阐述。 第四章无线视频差错控制技术研究：结合常用的差错控制方法，并根据无线 信道的特点，提出了几种适用于无线实时传输的差错控制技术。经过c d m a1 x 网 络的测试，在不同程度上恢复了视频质量。 第五章系统性能测试：在系统实现的基础上，对传输比特率、端到端的延迟、 图像质量和编解码速度等一系列的重要参数进行了测试，并给出无任何差错控制 策略和加入差错控制策略之后的几组测试结果。 第六章总结与展望：论文总结，对已完成的工作、存在的不足和今后的改进 方向作了论述。 基tc d m a1 x 的无线视频传输系统及其筹错控制技术研究 第二章视频通信的理论基础 个完整的视频通信系统，编码和传输是两个最基本的单元。采用不同的编 码方式和不同的传输手段，整个系统的各项性能也会有很大的差异。可以说，编 码和传输在很大程度上决定了一个视频通信系统的质量。 2 1 视频编码的意义 要在通信网络上传输视频，数字视频数据量的大小就成为非常重要的问题。 由于原始模拟视频信号需要很大的带宽，如果视频帧以未压缩的格式传输，不论 何种网络平台，视频应用都会使通信媒体的带宽资源紧张。例如，假定视频帧量 化为离散的像素，每行1 7 6 个像素，每幅图像1 4 4 行，如果图像颜色用两个色度 帧来表示，每个色度帧的分辨率是亮度图像的一半，那么，当每个亮度或色度分 量用8 b i t 的精度，每个视频帧都需要大约3 8 k b 来表示其内容。若视频帧不经过 压缩以2 5 帧秒传送，那么原始的视频序列数据率约为7 6 m b p s ，带宽占用量极大。 因此，数字视频数据在传输前必须经过压缩，以优化多媒体业务所需的带宽。 2 2 视频编码中的几个基本概念 1 、y u v 色彩空间 图像一般是用r g b 色彩空间来表示的。这是因为绝大部分的颜色都可以用红 ( r ) 、绿( g ) 和蓝( b ) 三基色按照适当的比例混合而成。 实验表明人眼视觉系统对颜色的敏感程度低于对亮度的敏感程度，因此为了便 于对彩色视频进行压缩，国际上通常把r g b 彩色空间转化到一个亮度信号( y ) 和 两个色差信号( u 、v ) 的y u v 空间进行处理n r g b 空间和y u v 空间是线性变换的关系，即从r g b 空间到y u v 空间变换关 系为： y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b u = 一0 1 4 8 r 0 2 8 9 g + 0 4 3 7 b v ：0 6 1 5 r 一0 5 1 5 g 0 1 0 0 b式2 1 2 、采样格式 既然人眼对色差信号不敏感，可利用这点对y u v 图像进行压缩，例如，对人 眼敏感的亮度信号在每个像素都进行采样，而对色差信号则进行隔行隔列取样，即 每4 个像素采样一次，其过程如图2 1 ，这样得到的y u v 图像称作y u v ( 4 ：1 ：1 ) 图像。也可根据其他的采样方法，得到的其他格式的y u v 图像，这里就不再一一 第二章视频通信的理论基础 叙述。在本文中，如无特殊说明， xxxx oo xxxx xx xx oo xx xx y u v 图像指的都是y u v ( 4 ：l ：1 ) 图像。 x o xx x ：兜瞧鬣弹止 xx x o xo ：也嬗装样点 xx xxx x oon xxxxx x 图2 1 图像采样点示意图 假设有个( 4 x 4 1 图像，那么其y u v 数据流是这样的，先是全分辨率的亮度信 号y 数据流，然后是1 4 分辨率的色度信号u 数据流，最后是1 4 分辨率的色度信 号v 数据流，如图2 2 所示。 y u v y 1y 2y 3y 4y 5y 6y 7 y 8y 9y i oy 1 1y 1 2y 1 3y 1 4y 1 5y 1 6 u lu 2u 3u 4v lv 2v 3 w 图2 2y u v 图像数据流示意图 图2 3 是用图2 2 中的y u v 数据进行表示的4 x 4 图像。各像素点都有y 、u 、 v 值，因此，从图2 3 可知只要使用4 ：1 ：1 的数据量，就可以表示4 ：4 ：4 的原 始资料，这样，采用y u v ( 4 ：1 ：1 ) 图像，没有对图像进行任何的数学运算，就使 图像的大小降低了5 0 ，而人的肉眼对这样的改变是不敏感的。 y 1 u 1 v 1y 2 u 1 v 1y 3u 2 v 2y 4u 2v 2 y 5 u 1 v 1y 6 u 1 v 1y 7 u 2v 2y 8 u 2v 2 y 9 u 3 v 3y 1 0 u 3 v 3y 1 1 u 4 v 4y 1 2 u 4v 4 y 1 3 u 3 v 3y 1 4 u 3 v 3y 1 5 u 4v 4y 1 6 u 4 v 4 图2 3 用y u v ( 4 ：1 ：1 ) 数据表示4 x 4 图像示意图 3 、图像格式 图像格式指图像宽高比和每帧图像的大小。常用的五种标准的图像格式为 基于c d m ai x 的无线视频传输系统及其差错控制技术研究 s u b q c i f , q c l f , c i f , 4 c i f 和1 6 c i f 。假设图像大小为m n ，对于这几种图像格式， 亮度都是进行全分辨率采样，即每行n 个像素，每幅图像m 行。两个色差信号进行 1 4 分辨率采样，即每行n 2 个像素，每幅图像m 2 行。针对这几种格式的m ，n ， m 2 和n 2 值如表2 1 所示。 表2 1 几种常见图像格式 图像格式每行亮度采样亮度采样的 每行色度采样的色度采样的 的像素个数( )行数( m )像素个数( n 2 )行数( m 2 1 s u b o c i f 1 2 89 66 44 8 o c i f 1 7 61 4 48 8 7 2 c l f3 5 22 8 8 1 7 61 4 4 4 c i f7 0 4 5 7 63 5 22 8 8 1 6 c i f 1 4 0 81 1 5 27 0 45 7 6 4 、图像分块 在基于像块的视频编码标准中，图像都是分块来进行处理的。以h 2 6 3 标准为 倒来描述图像分块。一帧图像分成多个1 6 1 6 大小的小图像，将这样的1 6 1 6 大 小的图像称之为宏块( m a c r ob l o c k ，m b ) 。根据前面提到的图像格式，可知一个宏 块中的图像信息包括1 6 1 6 的亮度信号y 信息，8 8 的色差信号u 信息，8 8 的色差信号v 信息。通常将8 8 的信号信息称之为块( b l o c k ) ，这样一个宏块就包 括了4 个亮度块，2 个色差块。如图2 4 所示。 将k 个宏块行称之为一个块组( c o b ) ，k 值根据图像格式确定，对s u b q c i f , q c i f 和c i f 格式而言k = l ，对4 c i f 而言k = 2 ，对1 6 c i f 而言k = 4 。图2 5 表示的 是一帧q c i f 图像的结构。 1 6 1 6 大小的宏块 + 豳+ 圈 8 8 大小的色差块u 8 8 大小的色差块v 4 + 8 + 8 大小的亮度块 图2 4 宏块的组成结构示意图 第一二章视频通信的理论基础 7 6 x1 4 4 走套熵匐c 仟嬲饽 图2 5q c i f 图像分块结构图 2 3 视频编码标准 从1 9 8 8 年开始，国际标准化组织( i s o ) 和国际电信联盟( i t u ) 标准化部门 针对不同的应用制定了一系列视频编码国际标准。i t u t 的有h 2 6 1 、h 2 6 3 、 h 2 6 3 + h 2 6 3 + + 以及h 2 6 4 标准。m p e g 的有m p e g 1 、m p e g 一2 和m p e g - 4 标准。 2 0 0 1 年1 2 月，i s o 和r r u t 正式成立联合视频小组( j v t ) 共同制定新的h 2 6 4 编码标准，其目标是设计尽量简单的编码技术，并有效提高编码效率。通常情况 下，h 2 6 x 系列标准侧重于视频信息的数据压缩效率，以调整该系统在特定码率下 的传输，而m p e g x 标准则倾向于控制视频编码质量。 2 3 1h 2 6 x 系列标准 1 9 9 0 年，c c r l t 提出了其第一部视频编码标准，该标准在1 9 9 3 年由r r u t 以i t u t h 2 6 1 发表，用p + 6 4 k b p s 低速率实现在i s d n 网上通信。1 9 9 6 年的第一 版新视频编码标准i t u th 2 6 3 ，适用于p s t n 网上6 4 k b p s 以下的低速率通信。 此后，又通过了一系列的附件来完成对标准的改进，这些附件有更新更全面的标 准化版本，如1 9 9 8 年的h 2 6 3 + 和1 9 9 9 年的h 2 6 3 + + 。h 2 6 4 是目前大力发展研究 的、适应于低码率传输的新一代压缩视频标准。2 0 0 3 年3 月由j v t 公布了这一压 缩视频标准的最终草案，此标准被称为i t u t 的h 2 6 4 标准或i s o e c 的m p e g 一4 基予c d m a1 x 的无线视频传输系统及其差错控制技术研究 的高级视频编码部分1 8 】( 第l o 部分) 。 2 3 2m p e g 系列标准 m p e g 一1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b i t s 数据传输率的数字存储 媒体运动图像及其伴音的编码。该标准的制定使得基于c d r o m 的数字视频产品 成为可能。1 9 9 4 年发布的m p e g 2 ，传输速率为4 9 m b p s ，特别适用于广播级的 数字电视的编码和传送，被认定为s d t v 和h d t v 的编码标准。m p e g 组织于1 9 9 9 年2 月正式公布了m p e g 4 标准第一版本，同年年底推出了第二版。m p e g 一4 已 不再是一个单纯的视音频编码标准，它更多定义的是一种格式和框架，而不是具 体的算法一1 。 2 4h 2 6 3 编码的基本技术 h 2 6 3 视频编码算法结构如图2 6 所示。 图2 6 视频编码算法结构示意图 h 2 6 3 有两种编码模式，帧内编码( i 舸t a ) 和帧间编码( i n t e r ) 。帧内编 码的处理过程为：编码控制器检测到需要进行帧内编码，则直接进行d c t 变换， 对d c t 变换系数进行量化，然后对量化系数进行重排及v l c 编码以形成最终的 码流。其中将量化后得到的信息经过反量化器，i d c t 后形成恢复图像，然后将其 直接存入帧存储器，以供将来的帧间预测使用。帧间编码的处理过程与帧内基本 相同，只是在d c t 变换前多一个帧间预测模块，进行d c t 变换的是原始图像数 据与经运动估计后的预测图像相减所产生的残差图像，同时存入帧存储器的也是 经过反量化、i d c t 后的残差恢复图像与参考图像相加后形成的恢复图像f l 。 第二章视频通信的理论基础 根据以上过程，h 2 6 3 编码标准涉及到了以下的儿个基本技术： 1 、d c t 变换 视频编码通常不直接对图像数据编码，而是首先将图像数据进行某种线性变 换，得到一组变换系数，然后对这些系数实现量化、编码、传输。在接收端，对 收到的变换系数进行相应的逆变换，再恢复成图像信号。这样做的理由是对变换 系数进行压缩编码，往往比直接对图像数据本身进行压缩更容易获得高的效率。 其原因在于图像信号在空间上存在很强的相关性。 d c t 就是线性变换的一种，它具有以下优点： ( 1 ) 具有固定的接近于最佳变换的变换函数及变换矩阵。 f 2 1 变换后系数的相关性明显下降，信号的能量主要集中在少数几个变换系数 上，采用量化、游程编码和变长编码可有效地压缩其数据。 f 3 1 有快速算法，有利于软件和硬件实王见【”j 。 2 、量化 d c t 变换后的系数将作为输入被送入量化器。量化就是降低整数精度以减少 存储整数所需要位数而达到数据压缩目的的过程。量化过程是编码过程的唯一有 损环节，由于人眼对低频分量部分比较敏感，而对高频分量不太敏感；且一个块 经过d c t 变换后，大幅度系数都集中在低频区域，而高频系数都比较小；所以 如果量化值取的适当，如对低频分量量化步长取小一些，而对高频分量量化步长 取大些，量化后许多高频系数被化为零，大大提高了后续熵编码的效率| l “。一般 来说，量化因子越小画面质量越好，但产生的码字也越多。 3 、z 形扫描和游程编码 d c t 系数量化后，读出量化系数和表示量化系数的方式也是减少码率的一个 重要因素。读出的方式可以有多种选择，其中z 形读出是最常用也是最适合d c t 系数的一种，这是由于经过d c t 以后，幅值大的系数集中在左上角，即低频分量 区，而z 形读出实际上就是按照二维频率的高低顺序读出的。 将d c t 量化系数经过z 形扫描后排列成的一维数组，再用游程编码表示。所 渭游程编码是指用一个游程码同时表示编码系数的值和此系数前面的几个零，游程 码数据结构用( l a s t , r u n ，u ! v e l ) 的组合表示【1 3 】。其中l a s t 是表示此量化系数 是否为最后一个非零系数，若此系数为此块中的最后一个非零系数，则l a s t 为“l ”； 若此系数后边还有更多的非零系数，则l a s t 为“0 ”，游程长度r u n 是指本非零量 化系数之前的连续0 的个数。l e v e l 表示量化系数的大小。 因此，采用z 形扫描和游程编码可以去掉一些冗余的零系数，大大减少需要编 码的数据量，从而提高了压缩率。 4 、熵编码 熵编码是将输入的一串信息流编码成压缩的数据流便于保存和传输。它是种 l o 基于c d m a1 x 的无线视频传输系统及其差错控制技术研究 完全基于信源统计特性的无损编码方法，即解码后能无失真地恢复编码前的信息。 熵编码的基本原理是为出现概率大的符号分配一个短码字，而为出现概率小的符号 分配长码字。其输出的平均码长的下限接近信源的熵1 1 4 l 。 常用的熵编码是哈夫曼编码，它是一种变长编码( v l c ) ，对游程编码而言， 就是对出现概率高的( l a s t , r u n ，l e v e u 组合用短的码字表示，对出现概率低的 ( l a st r u n , l e v e l ) 组合用长的码字表示。 5 、运动估计 在视频序列中，相邻各帧有着很强的相关性，例如，在新闻节目中，很多时候 播音员在播报新闻时，其身后的背景此时基本是相同的。对这种相邻帧间的重复的 信息称之为时间冗余。去除这种时域相关性可以获得更高的压缩率，这可通过仅对 当前帧与参考帧的差值编码来实现。在大多数情况下，以序列中前一帧作为预测用 的参考帧，所得到的差值图像被称为残留图像或预测差值图像，这种编码模式就是 前面所提到的帧问编码。 帧间编码模式使用像块匹配运动估计过程，当前处理帧的每个宏块与先前重构 帧的宏块在用户定义大小的搜索窗口中进行比较以得出最匹配的宏块，窗口大小必 须加以限制，使得所有参考像素在参考图像区域内1 1 5 】。匹配准则可采用任何误差度 量方法，且只使用亮度信号。先前重构帧中所得误差最小的宏块认为与当前宏块匹 配最佳。如图2 7 所示。 然劫托蕊彀 队雕块 磐謦懒“瓣慨 图2 7 运动估计过程示意图 可以说，运动估计是帧间编码的核心，搜索窗的大小、搜索算法、匹配准则的 选取，都对运动估计乃至整个视频编码过程至关重要。 2 5 视频传输的相关技术 视频序列在经过编码器之后，接下来的工作就是要把编码生成的h 2 6 3 码流发 第二章视频通信的理论基础 往接收端，这里就涉及到了视频传输的有关技术。 2 5 1 实时视频传输的特点 视频流传输具有连续性强、数据量大的特点，尤其是实时的视频传输，和普通 数据传输在技术要求方面有较大区别： 第一，视频数据量大，延续时间长，必须要求最小带宽保证； 第二，要求实时性，包的延迟和抖动会对其造成不良影响； 第三，对差错控制要求低，个别包的错误对于多媒体播放几乎没有影响，一般 不进行错误重发，可以在接收端对于特定媒体类型进行错误恢复【l 。 根据以上的特点，使得我们设计传输方案的时候，在兼顾可靠性的同时，一定 要尽可能突出实时性的要求。 2 5 2 r t p 协议 r t p 协议是由i e t f 的a v t 工作组开发的用于音频、视频等多媒体数据实时传 输的协议，它包括r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 和r t c p ( r e a l t i m et r a n s p o r t c o n t r o lp r o t o c 0 1 ) 两个关系十分密切的子协议：r t p 用于实时数据的端到端传输， r t c p 用于服务质量监控和网络状况诊断【r 丌。r t p 一般运行在u d p 之上，其上层 为应用层，主要有音频、视频数据等，如图2 8 所示。r t p 从应用层接收多媒体信 息码流( 如h 2 6 3 视频) ，组装成r t p 数据包，然后发送给下层的u d p 。 应用层 r t p r t c p 降输层f j u d p i p 数据链路层 物理层 图2 8r t p r t c p 在t c p i p 模型中的位置 r t p 本身并不能为按顺序传送r t p 包提供可靠的传送机制，也不提供流量控制 或拥塞控制，它依靠配套使用的r t c p 提供这些服务。发送端可以利用r t c p 提供 的信息动态地改变传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用， 起提供流量控制和拥塞控制服务，能以有效的反馈和最小的丌销使传输效率最佳 化，因而特别适合网上实时数据的传送。如图2 9 所示。 1 2 基于c d m a1 x 的无线视频传输系统及其差错控制技术研究 翻2 9 参与者发送r t p r t c p 示意图 r t p 的设计有以下特点：轻型的传输协议。r t p 提供端对端的实时媒体传输 功能，但并不提供确保实时传输和服务质量的保证机制，没有如t c p d p 那样完整 的体系框架，协议本身相对轻型、快捷，主要与具体应用结合一起来实现。灵活 性。体现在把协议机制与控制策略的具体算法分开，协议本身只提供完成实时传输 的机制，对控制算法的策略不作具体规定，开发者自己根据应用的实际情况，设计 合适的算法和控制策略来保证传输的实时性。 1 、r t p 报文格式i l 卅 r t p 的下层协议需要提供传输地址和端口以标识一个会话，下层协议通常是 u d p 。每种媒体使用一个r t p 会话，使用自己的r t c p 报文。r t p 报文由两部分 组成：报头和有效载荷。r t p 报文头格式如图2 1 0 所示。 0l23 0 1 23 4 s678 9012 3 4567890 1 2345 6789 0 1 + 一十一+ 一+ 一+ 一十一+ 一+ 一十一+ 一+ 一+ 一+ 一十一十一十一+ 一+ 一十一十一+ 一十一+ 一+ 一+ 一十一十一+ 一十一十一+ - + 一十 i v = 2 川x l c c l m l p t l s e q u e n c en u m b e r + 一十一+ 一+ 一十一十一+ 一+ 一十一+ 一十一十一十一+ + - 十- + 一+ 一+ - + 一十一+ 一十一+ 一+ 一十- 十一+ 一+ 一十一+ 一+ 一十 t i m e a t a m p 十一十一+ 一十一+ 一+ 一十一+ 一十一+ 一+ - + + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一十一+ 一+ 一+ 一十一十一十一十一十一+ 一+ 一十 s y n c h r o n i z a t i o ns o u r c e ( 8 8 r c ) i d e n t i f i e r + 。十= + = + = + ；+ 2 十= 4 m 4 m + = + 暑+ = + = + = + j + = + = + = + = + = + = + = + 。十；+ = + = + = + = + = + ；+ = + = + c o n t r i b u t i n gs o u r c e c s r c ) i d e n t i f i e r s 。 + 一+ 一+ - + 一+ 一十一+ 一+ 一+ 一+ 一+ 一十一十一十一十一+ 一4 一十一+ 一+ 一+ 一+ 一十一十一十一+ 一+ 一十一十一+ 一十一+ 一+ 图2 1 0 r t p 报文头格式 各部分的含义如下： v ：r t p 协议的版本号，占2 位，当前协议版本号为2 。 p ：填充标志，占1 位，如果p = i ，则在该报文的尾部将填充一个或多个额外 的八位组，它们不是有效载荷的一部分。之所以有填充位，是因为有些加密算法 第二章视频通信的理论基础 需要报文长度对齐。 x ：扩展标志，占1 位，如果x = i ，则在r t p 报头后跟有一个扩展报头。某 些使用模式需对r t p 协议进行扩展。 c c ：c s r c 计数器，占4 位，指示c s r c 标识符的个数。 m ：标记字段，占1 位。具体含义由应用定义，通常表明一系列数据包中某个 包是边界，如视频帧中多个数据包的最后一个，或者音频从无声到有声等。 p t ：有效载荷类型，占7 位。用于说明r t p 报文中有效载荷的类型，具体格 式由不同领域、不同媒体类型定义。如h 2 6 3 中定义了标准视频和g s m 音频；i e t f 音视频传送工作组a v t 已经定义了h 2 6 1 ，h 2 6 3 ，m p e g 1 视频、m p e g 2 视频等。 序列号：占1 6 位。用于标识发送者所发送r t p 报文的序列号，其初始值随机 产生，每发送一个报文，序列号加1 。接收者通过序列号来检测报文的丢失情况， 重新排序报文，恢复数据。 时间戳：占3 2 位。时间戳反映了该r t p 报文的第一个八位组的采样时刻，它 与序列号一起为报文丢失检查、媒体时间同步等提供必要的参数。时问戳的值和 数据流的类型有关，一个视频帧可能由几个数据包组成，这些包的时间戳是相同 的。数据分组的时间戳应从采样时钟获得，而不是读取系统时间。 同步源标识符( s s r c ) ：占3 2 位，用于标识同步信源。同步信源是指产生媒 体流的信源，它通过r t c p 报头中的一个3 2 位数字s s r c 标识符来标识，而不依 赖于网络地址，接收者将根据s s r c 标识符来区分不同的信源，进行r t p 报文的 分组。该标识符是随机选择的，一个应用不能有两个发送者具有相同的s s r c 。 作用标识符( c s r c ) ：每个c s r c 标识符占3 2 位，可以有0 1 5 个。每个c s r c 标识了包含在该r t p 报文有效载荷中的所有贡献源。贡献源是指当混合器接收到 一个或多个同步源的r t p 报文后，经过混合处理产生一个新的组合r t p 报文，并 把混合器作为组合r t p 报文的s s r c ，而将原来所有的s s r c 都作为c s r c 传送 给接收者，使接收者知道组成组合报文的各个s s r c 。 2 、r t c p 报文格式 r t c p 的主要功能是：服务质量监控、拥塞控制、媒体间的同步( 如音视频同步) 以及多播组中成员的标识。r t c p 的功能是通过不同的r t c p 包实现的，r t c p 定义 了5 种不同类型的r t c p 包：发送端报告包( s r ) ，用来使发送端周期性地向所有 接收端用多播方式进行报告：接收端报告包( r r ) ，用来使接收端周期性地向所有 的点用多播方式进行报告；源描述包( s o e s ) ，用于描述媒体会话成员的有关标识 信息；离开包( b y e ) ，指示本站点离开了系统：特定应用包( a p p ) ，使应用程序 能够定义新的包类型，用于试验新开发的应用或特征。其报文格式如图2 1 1 所示。 1 4 基于c d m a1 x 的无线视频传输系统及其差错控制技术研究 0103 0 1 2345 78 9 0 l 23 56 7 8 9 0i2 3 4 5 6 7 8 9 0 1 * 十+ - 十。+ 一+ 一- + - 一+ 一+ 一十一十* * + 一十+ * + 一- f 一 * + 一十。* 4 一，* 十一+ 十- + 一+ - + - + | v - 2 r c i”il e n g t h| - + 一 一+ + - * + * + - + - + - + + - - + + + m + + * + * 一 * 十一+ - + * + - + 一+ 一+ - + * + - + 。 i p a y l o a d i 口+ - + t 十- + ，+ + m - + m + - + - + o + t + - ，+ t + t + t _ + t + l + + # + + # - 卡t + - + - - i + 图2 1 1r t c p 报文头格式 各部分的含义如下： v ：版本号，占2 位，标识协议版本信息。 p ：填充位，占1 位，为1 时，表示在该r t c p 包的术尾含有非有效负载数据 的填充位。 r c ：报告数，占5 位，数据报中所含有的报告数目。 p t ：负载类型，占7 位，数据报的类型( 发送端报告或接收端报告等) 。 l e n g t h ：报文长度，占1 6 位，标明数据报的长度。 3 、r t p 的控制功能 r t _ p 的控制功能通过周期性发送r t c p 报文实现。r t c p 的控制功能是每个 r t p 系统必须实现的，并由内部功能模块定期自动执行。它主要提供一种基于接 收者反馈的网络传输o o s 监测机制，在r t c p 的接收报告中包含了当前网络传输 q o s 有关信息，如报文丢失率、报文丢失累计、接收到的最高序列号、平均延迟 抖动以及用于计算发布接收报告往返所需时间的时间标签等。通过这些信息可以 监测和评价网络传输d o s 状况，并可采取适当的策略实施同步控制。s r 报告中包 含有实际时间和相应的r t p 时间戳，可用于不同媒体问的同步1 2 ”。 r t c p 的接收报告不仅对发送者有用。而且对其他接收者和第三方监控都有 用。发送者可以通过反馈改变发送的速度；接收者可以知道问题出现在本地、区 域或者是全局：网络管理员或第三方可以仅接收独立的r t c p 包来估计网络组播 的性能。 r t p 协议允许应用从几个人的小规模系统扩展成上千人的大规模系统。如果 每个参加者发出的报告分组是速率恒定的，随着系统规模的增加，控制分组的数 量就会线性增长。由于网络带宽的限制，相应的数据分组就要减少，从而直接影 响媒体数据的传输。所以控制信息分组应该限制在整个系统带宽的某个比例之内， r t c p 建议以整个会话可用带宽的5 为上限。 2 5 3 u d p 协议 t c p 和u d p l 2 2 1 是t c p i p 协议中的两个传输层西议，它们使用i p 路由功能把 第二章视频通信的理论