（通信与信息系统专业论文）基于嵌入式的无线视频传输系统关键技术研究.pdf

摘要 本课题属于江苏省高技术研究项目“个人信息终端在智能化信息家电中应用低功耗、低 成本研究”( 项目编号：b g 2 0 0 6 0 0 2 ) 的研究内容之一。本文作者参与设计了嵌入式无线视频传 输系统的总体方案，详细设计了系统中的各个功能模块，研制完成了嵌入式无线视频传输系统的 软硬件，初步实现了视频数据的无线传输，达到了家电设备无线互联的目的。针对视频信号的无 线传输，本文研究了应用于嵌入式无线视频传输系统的t u r b o 码，分析了其译码改进算法 l o g m a p ，并在8 0 2 1 1 9 无线局域网环境下对t u r b o 码的性能进行了仿真研究。 全文分为五章。第一章介绍了无线视频传输的背景知识、研究现状以及本文的主要贡献和章 节安排。第二章设计了嵌入式无线视频传输系统的整体方案，详细分析并设计了面向传输的视频 采集、视频编解码以及传输控制和协议处理模块。第三章构建了嵌入式无线视频传输系统的硬件 平台，重点设计与实现了视频采集与编码电路，并对设计与调试过程中遇到的问题进行了分析。 第四章设计了嵌入式无线视频传输系统软件的总体构架，在研制完成的硬件平台上实现了嵌入式 l i n u x 操作系统的移植以及i m e 6 4 0 0 编码芯片的驱动，与课题组其他成员一起对研制的系统进行 了整体测试，测试结果表明系统达到了设计要求。第五章针对视频信号的无线传输，论文研究了 应用于嵌入式无线视频传输系统的t u r b o 码，分析了其译码改进算法l o g m a p ，利用m a t l a b 仿真研究了t u r b o 码在8 0 2 1 l g 无线局域网环境下的性能。 关键词：无线视频传输、m p e g - 4 、嵌入式系统、t u r b o 码 a b s t r a c t t h er e s e a r c hw o r kr e l e v a n tt ot h i st h e s i si si n c l u d e di nt h ep r o j e c t so ft h eh i ：g ht e c h n o l o g y r e s e a r c ha n dd e v e l o p m e n tp r o g r a mo fj i a n g s up r o v i n c e ( n o b g 2 0 0 6 0 0 2 ) e n t i t l e da p p l i c a t i o n so f i n d i v i d u a li n f o r m a t i o nt e r m i n a li ns m a r th o u s e h o l de l e c t r i c a la p p l i a n c e sa n dr e s e a r c ho fl o wp o w e r a n dl o wc o s t t h ea u t h o rh a sp a r t i c i p a t e di nd e s i g n i n gt h eg e n e r a ls c h e m eo ft h ee m b e d d e dw i r e l e s s v i d e ot r a n s m i s s i o ns y s t e m ，d e v i s e dk e yf u n c t i o nm o d u l e sa n d a c c o m p l i s h e dt h ed e s i g nw o r ko f h a r d w a r ea n ds o f t w a r ef o rt h ee m b e d d e dv i d e ot r a n s m i s s i o ns y s t e m i nt h i st h e s i s ，t h ew i r e l e s sv i d e o t r a n s m i s s i o ni s i m p l e m e n t e da n dt h ep r e l i m i n a r yo b j e c to fw i r e l e s si n t e r c o n n e c t i o no fh o u s e h o u l d e q u i p m e n t si sr e a c h e d o nt h eb a s i so fw i r e l e s sv i d e os i g n a lt r a n s m i s s i o np r i n c i p l e s ，w ea l s oc a r r yo u t i n - d e p t hr e s e a r c hi n t ot u r b oc o d e su s e di nt h ee m b e d d e dw i r e l e s sv i d e ot r a n s m i s s i o ns y s t e m , a n a l y z e t h ee n h a n c e da l g o r i t h ml o g m a pa n dt h ep e r f o r m a n c eo ft u r b oc o d e sb a s e do n8 0 2 1lgw l a n e n v i r o n m e n t t h ed i s s e r t a t i o n1 sd i v i d e di n t of i v ec h a p t e r sa sf o l l o w s c h a p t e r1d i s c u s s e st h er e s e a r c hb a c k g r o u n da n dt h ea u t h o r sc h i e fc o n t r i b u t i o n ；i na d d i t i o n ，i t p r e s e n t st h ea r c h i t e c t u r eo ft h ed i s s e r t a t i o n c h a p t e r2i n t r o d u c e st h eo v e r a l ld e s i g ns c h e m eo ft h ee m b e d d e dv i d e ot r a n s m i s s i o ns y s t e m ，v i d e o c a p t u r e ，v i d e oe n d e c o d e ra sw e l la st r a n s m i s s i o nc o n t r o la n dp r o t o c o lp r o c e s s i n gm o d u l ea r ed e s i g n e d c h a p t e r3e s t a b l i s h e st h eh a r d w a r ep l a t f o r m ，a n dg i v e sd e t a i l e dd e s c r i p t i o no ft h ed e s i g na n d r e a l i z a t i o no fv i d e oc a p t u r ea n de n c o d e rc i r c u i t ，d i s c u s s i n gt h ea v a i l a b l es o l u t i o n st op r o b l e m sw eh a v e e n c o u n t e r e di nd e s i g na n dd e b u g c h a p t e r4d e s i g n st h eo v e r a l ls t r u c t u r eo ft h es o f t w a r e ，i n t r o d u c e st h et r a n s p l a n t a t i o no fe m b e d d e d l i n u xo sa sw e l la sd e s i g na n dd e b u go ft h ed r i v e ro fi m e 6 4 0 0b a s e do nt h er e a l i z a t i o no ft h eh a r d w a r e w i t ht h ec o i l a b o r a t i o no fo t h e rt e a mm e m b e r s ，t h ea u t h o rh a sa c h i e v e da no v e r a l lt e s to ft h ew h o l e s y s t e mi nl a b o r a t o r ye n v i r o n m e n t ，t h er e s u l t s o fw h i c hi n d i c a t et h a tt h i s s y s t e m m e e t st h eb a s i c r e q u i r e m e n t so ft h es c h e m e c h a p t e r5s t u d i e st u r b oc o d e sw h i c hi su s e di nt h ee m b e d d e dw i r e l e s sv i d e ot r a n s m i s s i o ns y s t e m a c c o r d i n gt o t h ep r i n c i p l e so fw i r e l e s sv i d e os i g n a lt r a n s m i s s i o n ，a n a l y z e st h ee n h a n c e da l g o r i t h m l o g m a pa n dt h ep e r f o r m a n c e so ft u r b oc o d e sb a s e do n8 0 2 1lgw l a ne n v i r o n m e n t i nt h ee n d ， r e l e v a n ta n a l y s i ss i m u l a t i o ni sc a r r i e do u tb ym e a n so fm a t l a b k e y w o r d s ：w i r e l e s sv i d e ot r a n s m i s s i o n ，m p e g - 4 ，e m b e d d e ds y s t e m ，t u r b oc o d e s 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名：鑫至垦、 日 期：2 幽昭纩 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档 的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借 阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东 南大学研究生院办理。 研究生签名：金主壁导师签名： 期： 第1 章绪论 1 1 引言 第1 章绪论 近年来，信息技术经历了突飞猛进的发展，表现在四个方面，首先是传输介质的发展从双 绞线，同轴电缆到光缆，微波，红外等；其次是通信技术的发展，例如t u r b o 码、低密度校验码 ( l d p c ，l o wd e n s i t yp a r i t yc o d e ) 等信道编码方法的提出以及各种新的调制技术的出现等：第 三表现在各种通信新协议、新标准的提出与推广应用，例如第三代无线通信系统( 3 g ) ，w - c i ) m a ， c d m a 2 0 0 0 ，t d s c d m a 等；最后是传输网络的更新换代，从有线电话网，有线电视闷到因特 网，无线蜂窝网，无线局域网，a d h o c 网等。随着通信技术的发展，人们对通信服务提出了越来 越高的要求，单一的电话和低速数据通信已经不能适应和满足社会进步对通信服务的需求，集声 音、文本、图形图像和视频于一体的具有交互能力的多媒体通信成了当今的发展趋势。面向无线 通信的视频图像编码和传输技术已经成为当今信息与通信工程学科的前沿课题。 目前无线视频传输面临的三个主要问题包括：带宽有限、可靠性差和功耗受限i i 。视频数据 具有海量性质但是一般无线信道带宽要远低于有线信道，因而视频数据的压缩成为无线视频传输 中需要优先考虑的问题。同时，由于无线信道的可靠性比有线信道差，误码率高，因而差甓 控制 也是无线视频传输中一个非常重要的问题。此外，由于移动设备的便携特性，对传输和处理的功 耗有要求，因而如何降低功耗是无线视频传输中的又一个重要问题。 1 2 无线视频传输技术的研究现状 1 2 1 无线视频压缩编码技术 视频信息的数据量十分惊人，要在带宽有限的无线网络上传送，必须经过压缩编码目前， 国际上存在两大标准化组织( i t i u t 和m e p g ) 专门研究视频编码方法，负责制定统一的标准，方 便各种视频产品间的互通性。这些协议集中了学术界最优秀的成果。除各种基于国际标准的编码 技术外，还有许多新技术的发展也十分引人注卧2 1 。 1 2 1 1 基于协议的无线视频压缩编码技术 国际电信联盟( i t u - t ) 已经制定的视频编码标准包括h 2 6 1 、h 2 6 3 、h 2 6 3 + 。h 2 6 x 系列标准 是专门用于低比特率视频通信的视频编码标准，具有较高的压缩比，因此特别适合于无线视频传 输的需要。它们采用的基本技术包括：d t c 变换、运动补偿、量化、熵编码等。h 2 6 3 + q b 考虑了 较为恶劣的无线环境，设计了多种增强码流鲁棒性的方法，定义了分级编码的语法规则m p e g 制定的视频编码标准有m p e g 1 、m p e g 一2 、m p e g - 4 。其中m p e g 1 、m p e g 2 使用的基本技术 和h 2 6 x 相同。m p e g 1 、m p e g 一2 的特点在于针对的应用主要是数字存储媒体，码率高，它们 并不适于无线视频传输。人们熟知的v c d 、d v d 是m p e g 1 、m p e g 2 的典型应用。随后，m p e g 组织注意到了低比特率应用潜在的巨大市场，开始和i t u - t 进行竞争。在m p e g - 4 的制定中，不 仅考虑了高比特率应用，还特别包含了适于无线传输的低比特率应用。m p e g - 4 标准的最大特点 东南大学硕士学位论文 是基于视频对象的编码方法【3 】。 无线通信终端是多种多样的，其所处的网络结构、规模也是互异的。视频码流的精细可分级 性( m s ，f i n eg r a n u l a r i t ys c a l a b i l i t y ) j 舌应了传输环境的多样性。编码协议并不提供完全齐备的解 决方案。一般来说，协议内容主要包括码流的语法结构、技术路线、解码方法等，而并未严格规 定其中一些关键算法，如：运动估计算法、码率控制算法等。 1 2 1 2 其他无线视频压缩编码技术 除上述基于协议的视频标准之外，还有一些优秀的算法由于商业的原因，暂时没有被国际标 准完全接纳。典型的例子是d t c 变换和小波变换之争。虽然利用小波变换可以取得更好的图像恢 复质量，但是因为d t c 变换使用较早，有很多商业产品的支持，因此，小波变换很难在一夜之间 取代d t c 变换现有的地位。其他编码方法如，分形编码、基于模型的编码方法、感兴趣区优先编 码方法等也都取得了一定的成果，具有更强的压缩能力。但是，算法实现过于复杂，达到完全实 用尚有一段距离。 在基于小波的低比特率图像压缩算法的研究中【4 l ，根据小波图像系数的空间分布特性，以及 小波多分辨率的视频特点，人们引入矢量量化以充分利用小波图像系数的相关性。根据传统的运 动补偿难以与小波变换相结合这一情况，人们还提出了将空间二维帧内小波变换与时间轴一维小 波变换相结合的三维小波变换方法。 人类的视觉是一种积极的感受行为，不仅与生理因素有关，还取决于心理因素。人们观察与 理解图像时常常会不自觉地对某些区域产生兴趣。整幅图像的视觉质量往往取决于感兴趣区限o i ， r e g i o no fi n t e r e s t ) 的图像质量。在保障r o i 区部分图像质量的前提下，其他部分可以进行更高的 压缩。这样在大大压缩数据量的同时，仍有满意的图像恢复质量。这就是感兴趣区优先编码策略 i s 】。 1 2 1 3 。无线视频压缩编码的实时性 由于视频数据的特殊性，视频传输系统对实时性要求很高。下面介绍基于视频编码协议算法 的实时性问题。 ( 1 ) 运动估计 预测编码可以有效去除时间域i ：的冗余信息，运动估计则是预测编码的重要环节。运动估计 是要在参考帧中找到一个和当前帧图像块最相似的图像块，即最佳匹配块。估计结果用运动向量 来表示，研究运动估计算法就是要研究匹配块搜索算法。 研究分析表示，原始运动估计算法在编码器运行中消耗了编码器7 0 左右的执行时间。因此， 为了提高编码器执行速度必须首先提高运动估计算法的效率。穷尽搜索法是最原始的运动估计算 法，它能得到全局最优结果，但是由于运算量大，不宜在实现应用中使用。快速运动估计算法通 过减小搜索空间，加快了搜索过程。虽然快速运动估计算法得到的运动向量没有穷尽搜索法的结 果那样精确，但是由于它可以显著减少运算时间，精度也能满足很多应用的需要，因而它的应用 十分广泛。典型的快速搜索算法有：共轭方向搜索法、二维对数法、三步搜索法和交叉搜索法等。 ( 2 ) 算法结构的并行化 2 第1 章绪论 并行化处理的体系结构十分有利于提高系统处理能力，加之视频编码算法有很强的并行处理 潜力，因此，人们研究了编码算法的并行运算能力，进一步保障了编码算法的实时实现。例如， 如果有两个并行处理器，就可以同时进行两个图像块的运行估计或者d c t 变换，这样就把运动估 计和d t c 变换环节的运算时间缩短了一倍。 ( 3 ) 高速d s p 芯片和专用d s p 设计 微电子技术的发展，也使近年来d s p 芯片有了很大的进步。每秒几十或上百b o p s 次的运算 速度( 1 个b o p s 为每秒1 0 亿次) d s p 芯片已经出现，这为系统实时处理提供了硬件保证。通用高 速d s p 芯片在视频编码算法的研究开发中扮演了重要角色，许多d s p 生产厂商能够提供实现某 种编码协议的专用芯片。 1 2 1 4 无线视频压缩编码的码率控制 编码策略是编码器中重要环节。码率控制技术是视频通信应用中的关键技术之一，它负责编 码器各个环节与传输信道和解码器之间的协调，在编码器中具有重要地位。因为码率控制策略需 要由具体应用场合决定，所以，像h 2 6 3 + 、m p e g - 4 等视频编码协议都没有规定具体码率控制方 法。由于视频码流结构具有分层的特点，因而，码率控制方案的研究一般分成了两个层次，图像 层码率控制、宏块层码率控制。图像层码率控制的主要任务是，根据系统对编码器输出码率的期 望、系统传输延迟的限制、传送缓冲区的满溢程度等。在一帧图像编码前，确定该帧图像的输出 期望比特数。宏块层码率控制的主要任务是，根据图像层码率控制确定的该帧图像的输出期望比 特数，给图像各部分选择合适的量化步长。宏块层码率控制的主要依据是率失真模型。 t m n 8 码率控制方案是一套优秀的码率控制方案【6 】，它被h 2 6 3 + 的t m n 8 模型和m p e g - 4 的 v m 8 模型所采纳。该方案的精华部分在于宏块层码率控制部分，它采用了一种十分有效的率失真 模型，使宏块层码率控制的误差很小；在图像层码率控制方面，主要考虑了编码时延、缓冲区满 溢程度等因素，并且要求编码器的工作帧频恒定。但是，在很多情况下，视频编码的帧频不可能 保持恒定，或者不“应该”恒定。考虑到视频编码器工作点的变化，以及现有率失真模型可能存 在的误差，人们将现代控制理论引入到图像层码率控制中，设计了更稳定的码率控制方案。由于 宏块层码率控制环节直接决定图像各宏块使用的量化步长，因此，利用宏块层码率控制方法，可 以轻易实现图像感兴趣区优先编码策略。使用感兴趣区优先编码策略时，虽然对整幅图像而言仍 属低码率编码范畴，但对于感兴趣区域而言却存在局部高码率编码。现有低码率控制算法( 包括 t m n 8 方案) 都没有考虑到这一现象，它们将整幅图像所有部分都作为低码率编码对象，并以此 建立码率控制模型。因此，当现有的码率控制方案直接与感兴趣区优先编码策略相结合时，会导 致不应有的码率控制误差。 1 2 1 5 无线视频压缩码流的鲁棒传输 无线信道干扰因素多，误码率高，因此，无线视频的鲁棒传输研究对于无线视频传输的实用 化十分重要1 7 1 。 ( 1 ) 鲁棒的压缩编码 视频压缩编码的晟后一个环节是熵编码。熵编码的特点决定了视频码流对误比特高度敏感。 3 东南大学硕士学位论文 于是，人们设计了多种技术用于在视频编码环节进行差错复原，提高码流鲁棒性。m p e g - 4 中定 义的主要差错控制技术有：重同步、数据分割、可逆变长编码。h 2 6 3 + q b 用于差错复原的技术主 要包括前向纠错编码、条带模式、独立分段解码和参考图像选择等。此外，在信源解码端，人们 又设计了数据恢复和差错掩盖等技术，以便尽量减少码流中错误比特的负面影响。 ( 2 ) 鲁棒的复用 多媒体通信中，复用是紧随编码环节的一个环节。以i t u 定义的h 3 2 4 标准为例，该标准由 若干协议组成，包括音频编码协议g 7 2 3 、视频编码协议h 2 6 x 、控制协议h 2 4 5 和复用协议h 2 2 3 。 h 2 2 3 是一个面向连接的复用器，负责把多媒体终端的多个数据源( 音频、视频、数据等) 复合为一 个码流。 ( 3 ) 鲁棒的信道编码 信道编码也称差错控制编码。与信源编码的目的不同，信源编码是尽量压缩数据，用尽量少 的比特描述原始视频图像；信道编码是利用附加比特来保障原始比特能正确无误地到达目的地。 信道传输中的纠错方法包括：前向误码纠错、自动重发和混合纠错。s h a n n o n 从理论上给出了信 道传输能力的上限。信道编码方法的研究设计目标有二，一是尽量利用信道容量，二是抗干扰性 能更强。 t u r b o 码是近年来纠错编码领域的活跃分支，是由法国学者c b e r r o u 等人在1 9 9 3 年提出的， 其性能接近s h a n n o n 理论极限的性能。但是，t u r b o 码的译码算法十分复杂，关于t u r b o 码译码 的实时实现是当前研究热点之一。 ( 4 ) 鲁棒的信源信道组合编码 不同的信道编码策略对信元的保护能力也不同。根据信元的重要程度，合理地予以差错控制 编码就是不平等的保护策略，这将有效地提高传输系统的效率。信元的重要程度，可以有多种划 分方法，如按照信元对解码所起作用，或者按照对人眼感知所起作用等等。 还有许多学者研究了信道模型在信源信道组合编码中的应用。c h a n gw e nc h e n 等在研究这些 信道模型的基础上，研究了新的率失真( r d ，r a t e d i s t o r t i o n ) 模型，该模型不仅描述了量化引入的 误差，而且将信道噪声考虑在内。在一定的信道传输速率要求下，利用这样的率失真模型，不仅 可以在子信源之间合理分配比特，而且可以更好地平衡信源编码精度与信道编码保护两者对码率 的需要。 1 2 2 无线视频传输优化与管理技术 在前面小结的讨论中，主要目标是解决无线视频传输的基础问题：视频数据的压缩问题、编 码的实时实现和视频码流的鲁棒传输。事实上，除了上述问题，还有许多与无线视频传输密切相 关的领域，它们对无线视频传输的实现和推广有着举足轻重的影响。 1 2 2 1 通信协议 中国公众多媒体通信网是一个基于i p 协议的通信网，它的通信协议是基于t c p i p 的。i p 协 议和t c p 协议仪是核心协议，为保证实时视频通信业务能很蚶地运行，需要使用实时传输协议 4 第l 章绪论 偎t p ，r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 和实时传输控制协议( r t c p ，r t pc o n t r o lp r o t o c 0 1 ) 蚋。为了给 实时业务或其它特定业务的传送留有足够宽的通道，还必须使用资源预留协议( r s v p ，r e s o u r c e r e s e r v a t i o ns e t u pp r o t o c 0 1 ) 。上述五个通信协议是口网的主要通信协议。i p v 6 作为i n t e r n e tp r o t o c o l 的新版本，将继承和取代传统i p ( i p v 4 ) 。从i p v 4 到i p v 6 的改变将为下一代因特网奠定更坚实的基 础，如，l p v 6 力求使网络管理变得更加简单，考虑到不同用户对服务质量的不同需要，其中若干 技术十分有利于实时多媒体业务的实现。 1 2 2 2 接入控制 类似有线网络，无线网络要决定是否允许新连接接入：此外，无线网络还要决定是否允许切 换连接，并要在二者之间谋求最优解决方案。n a g h s h i n e h 在1 9 9 6 年提出虚拟连接树的新概念，设 计了基于虚拟连接树的高速移动异步传输模式( a t m ，a s y n c h r o n o u st r a n s f e rm o d e ) n 络体系，并 研究了在该体系结构下的接入控制方案 9 1 。简单地说，就是用一个虚拟树来描述位于一定距离内 小区的移动用户，一旦移动用户的呼叫被允许，他就可以在虚拟树内的所有小区间自由切换，而 无须重新请求。在高速无线多媒体网络中，o l i v c r i r a 等提出了基于带宽预留的接入控制方案，即 在建立呼n t t d , 区附近的小区中，进行带宽预留，以保障服务质量。当用户进入一个新的小区，被 预留的带宽将被利用。 1 2 2 3 q o s 业务模型 无线多媒体服务质量( q o s ，q u a l i t yo f s e r v i c e ) 支持的基本目标是，在带宽有限情况下，提 供和用户支付费用相当的服务质量，建立合适的业务模型是首先要解决的问题。所谓业务模型， 就是要根据各种具体应用的特点，将其划分成不同类型。例如，在支持q o s 和a t m 中定义了几 种业务模型：恒定比特率业务、实时可变比特率业务、非实时可变比特率业务、可用比特率业务 和不定比特率业务。恒定比特率业务对带宽的要求最为严格，其他类型对带宽的要求依次放松。 现有的大量多媒体业务是在基于i p 的网络上开展的，而设计d 协议的初衷是传输数据，是 一种“尽力而为”的网络，并不支持q o s 。为此，i p 网络上的实时业务模型被分为两类：有保障 业务和无保障业务。在无线多媒体环境下，建立起合理的业务模型对保障q o s 至关重要。在这一 领域，人们始终在做出努力。如较旱时候，o l i v e i r a 等只用实时业务与非实时业务加以区分；1 9 9 9 年，t a l u k d a r 等提出三类业务模型；2 0 0 0 年，l e ih u a n g 等不仅考虑带宽和延迟需要，还考虑了移 动用户的运动特性，提出多达七类业务模型i l 。 1 2 2 4 图像质量评价准则 恰当的图像质黄评价方法是无线多媒体通信的基本需要。由于无线环境带宽有限，不可能为 所有用户都提供相同质量的服务，所以只能提供和用户支付费用相当的服务质量，因此，必须有 一套能准确反映用户接受服务的客观质量标准。除了某些特殊场合，纯粹客观评价( 如基于均方误 差的评价方法) 已经被普遍认为不是真正“客观”的图像质量评价，越来越多的入认为，人眼视觉 系统( h v s ，h u m a nv i s u a ls y s t e m ) 的特性应该考虑在内。w e s t e n 等人在1 9 9 5 年提出了基于多通道 的h v s 模型，用来评价图像的感受质量。宋坚信等人最近又提出一种压缩视频感觉质量的计算方 法，其核心思想是，利j j 视觉掩蔽特性，分析与压缩视频质量有关的视觉特性及视频图像内容特 性，提出视觉掩蔽计算结构及用模糊学方法进行视觉阎值提升的计算方法。 5 东南大学硕士学位论文 总之，目前恶劣环境下的无线视频传输技术的研究仍不成熟，面向大众应用的无线视频传输 技术也尚未成熟，加强在这个领域的研究是很有意义也很有潜力的。 1 3 课题的研究出发点及主要贡献 1 3 1 课题的研究出发点 视频图像的获取是由前端的视频采集部分来完成的，采集到的视频图像为模拟视频图像，包 括通过c c d 摄像头采集的视频图像以及家用d v d 录像机输出的视频图像。 视频通信按照所使用的链路性质可以分为有线通信和无线通信；按照通信的方式可以分为单 工通信、半双工通信和全双工通信；按照对链路的使用方式可以分为基于点到点的独立链路通信 和基于通信网络的网络通信两个范畴。目前，在视频通信研究领域，主要集中在对有线网络通信 技术和无线网络通信技术的研究上，它催生的典型应用有高清数字电视、视频会议、移动视频服 务等等。 计算机技术是视频通信技术发展的强大技术支撑，计算机从最初的电子管计算机经过晶体管 计算机、集成电路计算机、大规模集成电路计算机发展到今天的超大规模集成电路计算机，并且 朝着量子计算机、d n a 计算机方向发展；计算机程序设计语言也由机器指令经过汇编语言、面向 过程的程序设计语言向今天的面向对象的编程语言发展并朝着更为高级的自然描述语言发展。特 别是，计算机的硬件系统正朝着面向应用的片上系统( s o c ，s y s t e mo i lc h i p ) 发展。计算机操作系 统也正朝着面向应用的嵌入式操作系统发展，嵌入式操作系统是指可以由用户根据应用的变化而 自行裁减的操作系统。 视频通信与嵌入式硬件系统相结合，将能够给人们提供一个灵活的、便携的和功能丰富的应 用终端，能够开展丰富的视频服务，因此，对基于嵌入式的传输系统展开研究将是非常有意义的。 本论文方案将视频前端采集的模拟视频图像经过a d 转化、m p e g - 4 压缩编码后经嵌入式核心板 的调控由8 0 2 1 1 9 无线模块发送到客户端p c 机上进行处理的，本文所做的工作就是针对能够完成 以上工作的视频通信系统进行研究。 本课题属于江苏省高技术研究项目“个人信息终端在智能化信息家电中应用低功耗、低 成本研究”( 项目编号：b g 2 0 0 6 0 0 2 ) 的研究内容之一，针对项目需求开发研制了嵌入式无线视 频传输系统，同时兼顾了此方面的理论研究，该项目设计实现的嵌入式无线视频传输系统具有相 当程度的实用性并且和信息家电中其它产品具有良好的配合性。 1 3 2 本文的主要贡献 1 ) 参与设计了嵌入式无线视频传输系统的总体方案，对系统中的视频采集、视频编解码以及 传输控制和协议处理模块进行了详细的设计； 2 ) 构建了嵌入式无线视频传输系统的硬件平台，重点设计与实现了视频采集与编码电路： 3 ) 设计了嵌入式无线视频传输系统软件的总体构架，在研制完成的硬件平台上实现了嵌入式 l i n u x 操作系统的移植以及i m e 6 4 0 0 编码芯片的驱动： 4 ) 在系统的硬件和软件设计和调试- t 作都完成之后，与课题组其他成员一起对研制的系统进 6 第l 章绪论 行了整体测试，测试结果表明系统达到了设计要求； 5 ) 针对视频信号的无线传输，研究了应用于嵌入式无线视频传输系统的t u r b o 码，分析了其 译码改进算法l o g m a p ，利用m a t l a b 仿真研究了t u r b o 码在8 0 2 1 l g 无线局域网环境下的性 能。 1 4 本文的主要内容 本文共分五章，各章的主要内容如下： 第一章介绍了无线视频传输的背景知识以及面临的主要问题。描述了无线视频传输的研究现 状，给出了本文的研究出发点、主要贡献和本文的章节安排。 第二章参与设计了嵌入式无线视频传输系统的整体方案，详细分析并设计了面向传输的视频 采集、视频编解码以及传输控制和协议处理模块。 第三章构建了嵌入式无线视频传输系统的硬件平台，重点设计与实现了视频采集与编码电路， 并对设计与调试过程中遇到的问题进行了分析。 第四章设计了嵌入式无线视频传输系统软件的总体构架，在研制完成的硬件平台上实现了嵌 入式l i n u x 操作系统的移植以及i m e 6 4 0 0 编码芯片的驱动，与课题组其他成员一起对研制的系统 进行了整体测试，测试结果表明系统达到了设计要求。 第五章针对视频信号的无线传输，研究了应用于嵌入式无线视频传输的t u r b o 码，介绍了 t u r b o 码的基本构造与工作原理，分析了m a p 译码算法和其在对数域中的简化算法i 佛捌a p ， 利用m a t l a b 通过改变一些主要参数( 如分量编码器结构、迭代次数、交织器长度和编码码率) 来仿真对t u r b o 码性能的影响，并对仿真的结果进行了分析和讨论。 7 第2 章嵌入式无线视频传输系统总体设计 2 1 引言 第2 章嵌入式无线视频传输系统总体设计 视频传输系统的发展大致经历了三个阶段【l 。在九十年代初以前，主要是以模拟设备为主的 视频传输系统，称为第一代模拟视频传输系统。第一代模拟视频传输系统的特点有：传输介质主 要是同轴电缆( 传输模拟视频信号的距离不大于1 k m ) ，因此只适合单个大楼、小的居民区以及 其它小范围的场所应用；布线工程大，集成度低，价格昂贵，系统的扩展能力差；采用磁带作为 存储介质，数据存储会耗费大量的磁带；图像记录与检索无法同时进行，且无法远程检索，图像 检索采用线性方式，需要反复倒带，速度很慢，且磁头磨损严重。由于存在以上的缺点，所以传 统的模拟视频传输系统己远远不能满足越来越高的生产和生活的需求。 九十年代中期，随着计算机处理能力的提高和视频技术的发展，人们利用计算机的高速数据 处理能力进行视频的采集和处理，利用显示器的高分辨率实现图像的显示，从而大大提高了图像 质量，这种基于p c 机的多媒体系统称为第二代基于p c 的视频传输系统。第二代基于p c 的视频 传输系统存在如下的不足：系统中信息流的形态没有变，仍为模拟的视频信号，系统的网络结构 是一种单功能、单向、集中方式的信息传输网络。尽管第二代视频传输系统己发展到很高的水平， 但己无太多潜力可挖，因此，要满足更高的要求，视频流的数字化是必由之路。 九十年代末，随着网络带宽、计算机处理能力和存储容量的快速提高，以及各种实用视频处 理技术的出现，视频传输步入了全数字化的网络时代，称为第三代网络视频传输系统。第三代网 络视频传输系统采用多媒体压缩技术对数字音、视频数据进行压缩处理；采用高集成度的视频编 解码芯片，压缩编解码芯片以及嵌入式系统，一般的嵌入式系统都提供集成设备电子部件( i d e ， i n t e g r a t e dd e v i c ee l e c t r o n i c ) 接口，所以现代数字视频传输系统多采用大容量的硬盘取代早期的磁 带，系统的多媒体信息存储能力大大提高；而且采用硬盘作为存储介质，使得图像检索可以采用 多重高级随机检索，加快了检索的效率。根据现代数字网络视频传输系统的突出特点即采用了嵌 入式技术和网络技术，我们提出了基于嵌入式的网络视频传输系统设计和实现。 2 2 嵌入式无线视频传输系统总体设计 本方案设计的嵌入式视频传输系统由视频采集模块、视频压缩编码模块、传输控制和协议处 理模块、通信网络、视频压缩译码模块和显示模块组成。该嵌入式视频传输系统的功能是在具有 随机时延特性和丢包特性的无线通信网络上提供视频流媒体业务。图2 1 是嵌入式视频传输系统 总体设计框图。 图2 1 所示系统对视频流的处理流程如下： 1 ) 在发送端，对模拟视频流进行采样和a d 转换，获得数字视频流并对数字视频流进行压 缩编码，生成适合传输的视频编码数据流； 9 东南大学硕士学位论文 模 拟 视 频 输 入 图2 1 嵌入式视频传输系统总体设计框图 2 ) 根据反馈信息，估计可用的通信资源，然后自适应调整编码器的编码输出码率( 包括信源 码率与信道码率) ，使得编码数据流能够在满足当前传输过程中可用资源的基础上提供最好的视频 传输质量； 3 ) 在接收端，对接收到的编码数据流进行解码处理，重构视频信号，计算当前系统的传输参 数( 如传输延迟、传输中的丢包率等) 并向发送端发送反馈控制信息。 2 3 核心模块的设计 在上一节给出系统的总体设计框图的基础上，下面分别对面向传输的视频采集、视频编解码 以及传输控制和协议处理模块进行详细的设计。 2 3 1 视频采集模块 视频采集模块用来完成模拟视频信号与数字视频信号之间的转换，采集模块主要由视频a d 转换、数据处理和同步逻辑控制单元构成。视频采集系统的基本构成框图如图2 2 所示。 控制信号 控制信号 图2 2 视频采集系统框图 视频a d 转换部分的功能是将模拟视频信号转换成符合国际标准的数字视频信号，作为数据 处理单元的输入数据；逻辑产生单元完成采集模块内部的控制信号以及采集模块与其它模块( 如编 码解码模块) 之间的协调控制信号的产生，通常选用单片机或现场可编程门阵列( f p g a ， f i e l d p r o g r a m m a b l eg a t ea r r a y ) 米产生各种同步控制逻辑，保证采集的实时性。视频数据处理单 l o 第2 章嵌入式无线视频传输系统总体设计 元的主要功能是对视频数据进行分析和处理，视频数据处理单元所需的运算量通常较大，为了保 证视频处理的实时性，常常采用视频处理专用芯片、高速d s p 、d s p + f p g a 等组合方式来构建处 理单元的硬件平台。 2 3 2 视频编码解码模块 视频编码模块将数字视频信号进行压缩编码，生成满足一定视觉质量要求且符合一定标准的 视频编码数据流，如生成m p e g x 或者h 2 6 x 格式的视频码流。在面向无线传输的视频编码领域， 特别强调编码器所产生的视频码流应该对传输带宽的随机波动具有自适应性。为了达到这一目的， 常采用可伸缩的视频编码器对视频信号进行压缩编码。可伸缩的视频编码可以在时域、空域或正 交变换域中进行，对压缩后的码流进行分层处理。一般地，码率被分成图像层和宏块层两层。其 中图像层由提供最低质量等级保证的视频码流和视频序列的运动矢量组成，它们是必须传输的。 图像层码率控制的主要任务是，根据系统对编码器输出码率的期望、系统传输延迟的限制、传送 缓冲区的满溢程度等，在一帧图像编码前，确定该帧图像的输出期望比特数；宏块层是可选择传 输的，在理想状况下，终端获得的视频信号的质量将随着接收宏块层码流的增加而提高宏块层 码率控制的主要任务是，根据图像层码率控制确定的该帧图像的输出期望比特数，给图像各部分 选择合适的量化步长。 以t c p i p 协议为基础的计算机通信网络，是一个提供尽力而为服务的网络，无服务质量保证 并且数据包传输的时延是随机的，网络丢包和网络传输带宽的波动是不可避免的。因此。为了能 够提供稳定、平滑的流媒体服务，必须要在对网络传输带宽做出实时估计的前提下对视频编码器 的编码速率进行调整( 包括信源码率调整和信道码率调整) 和进行有选择性的帧丢弃处理。嵌入式 网络视频传输系统的编码数据处理原理如图2 3 所示。 图2 3 嵌入式网络视频传输系统的编码数据处理原理图 图2 3 中反馈控制模块根据网络的反馈信息，对编码器的编码速率和信道差错控制进行调整。 调整的目标是在总输出码率受限的条件下，使得信源码率与信道码率达到最佳分配，其理论基础 是s h a n n o n 信息论中的率失真函数。非均匀纠错保护可以采用对图像层数据进行r s 编码处理： 对宏块层数据进行具有很强信息保护能力的t u r b o 码编码处理，该编码方法对视频数据包进行交 织处理，降低临近的数据包同时发生误码的概率，便于接收端的错误隐藏和恢复。在视频传输系 统中，接收终端的视频解码器除了具有将接收的压缩码流恢复成原始信源数据的基本功能之外还 具有一定的误码纠正能力和对丢包的数据进行隐藏的能力。 l l 东南大学硕士学位论文 2 3 3 传输控制和协议处理模块 无线视频流传输与传统的t c p i p 网络的数据传输有明显的区别，主要表现在：传统的数据传 输对传输延迟和传输抖动没有严格的要求，但是，有严格的差错控制和错误重传机制。而视频流 媒体业务要求视频传输具有实时性，对同步要求较高，并且对传输延迟和抖动非常敏感，但在 定的情况下可以允许数据丢失，即可以接受一定程度的传输误码。流媒体服务需要满足广播和多 播应用，同时应具有根据网络的实时可用传输带宽自适应地调整视频传输质量的能力。基于上述 显著不同的网络应用要求，在i n t e r n e t 上提供流媒体数据服务采用r t p l 盯c p 协议。图2 4 给出了 无线视频传输的r t p 瓜t c p 协议模型。 协议栈 图2 4 网络视频传输的r t p r t c p 协议模型 图2 4 中，传输控制和协议处理模块对由应用程序生成的流媒体数据进行打包处理，同时进 行r t p 协议数据封装，将封装后的r t p 协议数据再次封装在u d p 的消息字段，形成传输层协