（信号与信息处理专业论文）无线网络上的视频传输算法优化及dsp实现.pdf

无线网络上的视频传输算法优化及d s p 实现 摘要 移动多媒体技术日渐成为通信应用技术的研究热点。多媒体信息尤其是 视频信息在无线网络上传输存在着网络带宽有限、误码严重、终端处理能 力较弱等问题。针对上述问题，本论文研究将h 2 6 3 视频编解码标准应用 于移动视频业务中的可能性及编解码优化方向，并主要从以下几个方面进 行算法改进： 速度提高：基于h 2 6 3 + 基线模式实现了算法效率改进，运用快速d c t 变换、快速运动搜索和d c t 预判零等快速处理算法，在p c 上，将视频编码 效率提高6 倍以上。 强鲁棒性设计：基于h 2 6 3 + 提出了半程置换的视频抗干扰编解码机制， 翻转编码器输出码流中每个g o b ( g r o u po fb l o c k s ) 的部分码流，使得解 码器可以利用双向解码功能来改善视频解码器健壮性。这种编码机制并没 有引入额外带宽负担。针对改进码流结构的编码器，结合差错掩盖方法， 设计了相应的解码器。采用i t u t 的差错模型仿真w c d m a 信道来检验抗干 扰性能，试验结果表明，采用这种改进的编解码器机制，重构图像的主客 观质量都有很大程度的提高，最高可达2 d b p s n r 的改善。 d s p 优化实现：为在移动终端上应用改进的视频传输算法，本论文基于 t i 的嵌入式c p u - - d m 6 4 2 平台，完成了改进算法的d s p 优化，实现了c i f 格 式视频的实时采集和编码。 论文在低码率视频标准h 2 6 3 + 基线模式的基础上，研究无线网络上视 频传输的关键问题，详细阐述了编码速度提高的方法及强鲁棒性视频解码 机制，并给出了各部分的试验结果。 关键词：h 2 6 3 ；无线视频传输；快速d c t ；快速搜索；抗干扰；d s p 实现 a l g o r i t h mo p t i m i z a t i o n a n dd s p i m p l e m e n t a t i o no f v i d e o t r a n s m i s s i o no v e rw i r e l e s sn e t w o r k s a b s t r a c t m o b i l em u l t i m e d i aa p p l i c a t i o n sh a v eb e e n b e c o m i n gav e r yh o tt o p i ci n r e c e n t y e a r s b u t m u l t i m e d i ad a t a t r a n s m i s s i o n ，e s p e c i a l l y v i d e od a t a t r a n s m i s s i o no v e rw i r e l e s sn e t w o r k si s s u f f e r i n gf r o mn a r r o wb a n d w i d t h ，h i g h n o i s ye n v i r o n m e n t a n dl i m i t e dt e r m i n a l p o w e rl o s s c o n s i d e r i n gs u c hl i m i t a t i o n s t h et h e s i si s a i m i n gf o ra l g o r i t h mo p t i m i z a t i o nb a s e do nh 2 6 3v i d e oc o d e c s t a n d a r dt om a k e e f f i c i e n t ，e r r o r - r e s i l i e n t v i d e ot r a n s m i s s i o no v e r w i r e l e s s n e t w o r k s p o s s i b l e e n c o d i n gs p e e di m p r o v e m e n t ：e n c o d i n gs p e e di si m p r o v e dt os i xt i m e so f h 2 6 3 + b a s e l i n ee n c o d e ro np c b y f a s td c tt r a n s f o r r n f a s tm o v e m e n t s e a r c h i n gm e t h o da n d z e r o - - b l o c k p r e - d e t e c t i n gi nd c t r o b u s te r r o rr e s i l i e n c e ：b a s e do n h 2 6 3 + ，an e wc o d e cs c h e m ec a l l e d “h a l f d i s t a n c e p e r m u t a t i o n s c h e m e ”i s p r e s e n t e d t o i m p r o v e r o b u s t n e s sw i t h o u t a d d i n gu pb a n d w i d t hb u r d e n 1 1 1 en e we n c o d e rr e v e r s e sp a r t i a lc o d es t r e a m s e q u e n c e s o fe a c h g r o u po fb l o c k s ( g o b ) t om a k eb i d i r e c t i o n a ld e c o d i n g p o s s i b l e b yc h e c k i n gv i d e oc o d es t r e a ma n de r r o rc o n c e a l m e n t ，t h ed e c o d e ri s d e s i g n e d e r r o rp a _ c t e m st os i m u l a t ew c d m a c h a n n e l sa r eu s e di ne x p e r i m e n t a l m o d e l st o p r o v ep e r f o r m a n c e s a n dt h er e c o n s t r u c t e di m a g e sf r o mt h en e w c o d e ch a v eb e r e r q u a l i t y ( u p t o2 d bp s n r i m p r o v e m e n t ) d s p o p t i m i z a t i o n ：t h ei m p r o v e d c o d e ca l g o r i t h ma n dc o d e sa r eo p t i m i z e dt o b er u no nt i se m b e d d e dc p u d m 6 4 2 a n dt h em i c r o c o d e sa r eu s e dt ob u i l da c i fr e s o l u t i o nr e a l t i m ev i d e ot r a n s m i s s i o n s y s t e m t h et h e s i sd i s c u s s e se n c o d i n gs p e e da n de r r o rr e s i l i e n c e i m p r o v e m e n to f h 2 6 3v i d e ot r a n s m i s s i o no v e rw i r e l e s sn e t w o r k s ，a n d g e t sm i c r o c o d e sr u n n i n g o nt i sd s pa sw e l l e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h m i m p r o v e m e n t jse f f e c t i r e k e y w o r d s ：h 2 6 3 ；w i r e l e s s v i d e ot r a n s m i s s i o n ；f a s td c t ；f a s ts e a r c h ； e r r o rr e s i l i e n c ed s p i m p l e m e n t a t i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽 我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 申请学位论文与资料若有不实之处 本人签名：爿蕊l 本人承担一切相关责任。 日期：域：# ，2 窭 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅：学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论 文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论文注释： 本学位论文不属 本人签名： 导师签名： 权书。 日期：塑坚：生 日期：盍丛：皇芝 北京邮电大学硕士论文 第一章绪论 随着信息技术的飞速发展，人们对信息的需求越来越丰富，人们希望无论何时何地 都能够方便、快捷、灵活地通过语音、数据、图像与视频等多种方式进行通信，其中图 像视频的传输尤其受到人们广泛的关注。 本论文研究在移动平台上进行实时视频传输的算法优化与抗干扰方案，本章概括介 绍了课题的研究背景、国内外研究现状、研究意义以及本文的研究内容，最后列出论文 的组织结构。 1 1 课题背景 近年来，无线通信技术的发展进入了空前活跃的历史时期。在理论上，2 5 g 移动通 信网络的数据传输速率可以达到l o o k b p s 左右，但在实际中受一些因素的制约，可用的 带宽会相对较窄。尽管如此，2 5 g 平台上的多媒体业务还是得到了一定的发展。但是第 三代( 3 g ) 移动通信不仅能提供现有的各种移动电话业务，还能提供高速率的宽带视频业 务，支持高质量的话音、分组数据业务以及实时的视频传输，开创了无线通信与因特网、 视频融合的新时代。由此产生的无线视频和无线i p 业务必将成为未来无线移动通信业 务新的增长点。可以说移动视频业务是3 g 市场发展的主要推动力量“1 。 视频业务的数据量大、对误比特率要求高，无线信道又具有易错、时变和带限的特 点，因此信道的误比特率要比有线环境大得多，且随着基站和终端位置、方向的改变而 变化很大。同时，目前移动通信网络的数据传输速率很低，即使采用先进的压缩技术， 图像的运动速率也远不能到达实时效果。因而最初的无线视频应用也只能局限于一些零 散的应用如家庭安全监控和保姆监控等。亚洲些地区也已经采用了这种低速的无线视 频通信，其应用主要是公路和隧道的交通拥塞监控。 然而，移动通信网络技术和移动终端的不断发展，为移动视频业务的出现和推广提 供了必要的条件，市场需求为移动视频业务的发展提供了广阔空间。移动平台上的视频 传输应用，必将成为2 5 g 尤其是3 g 平台上的重要应用之一。无线视频系统在实用化进 程中面临着许多问题，高效的视频编解码算法与稳健的抗干扰机制是移动视频传输的关 键环节之一，因此提出了本课题的研究。 1 2 无线环境下的视频传输难点及研究热点 无线环境下的视频传输，视频系统至少应满足如下三个要求，即低功率消耗、高压 缩效率和较好的信道误差弹性。 1 无线网络上的视频传输算法优化及d s p 实现 1 低功率消耗 由于无线视频系统往往是便携式系统，其功能系统的容量受到较大的限制，因而较 少功耗是能限系统正常工作的关键。数字信号处理器消耗的平均功率为： 其中，指加法、乘法、存储或总线操作中的某一种；n 。是每次采洋中操作的总次数； c ，为每次操作切换引起的电容；v 。为工作电压，j 为采样频率。 p = z n , c v i 证 。 因此，低功耗系统要具备三个特点： 一在不影响性能条件下降低工作电压矿。； 优化算法和硬件结构，减少每次采用种的操作次数n 。各种操作功率消耗的 顺序为：内存操作 乘法操作 加法操作； _ 广泛适用于广播系统的非对称编码，增加编码对称性后，在无线通信中可能有 更好的运用。 h 2 6 p 和m p e g - p 系列标准建议的算法，虽然在量化方式和预测方式上不同，但其核 心都是离散余弦变换加上运动补偿( d c t + m c ) “1 。由于运动估计( m e ) 和运动补偿要 求很大的运算量，因此不适用能限系统，包括无线通信种的多数系统，这就使得在无线 视频编码种直接应用经典算法较为困难。 2 高压缩效率 无线系统是带限系统，只能服务于低比特率业务。而视频业务是甚比特率业务，要 实现无线视频通信，就必须实现高效压缩，并且压缩算法的设计要结合低功耗、高容错 性来综合考虑。 3 信道容错能力 无线信道是易错，时变和带限的。为了克服远近效应等问题，以获得无线信道的高 系统容量，需要低的信噪比，但这可能导致更高的误比特率；而视频信号对误比特率有 更严格的要求( 1 0 一1 0 。) ，因此提高信道误差弹性具有重要意义。一般通过三种途径 来提高信道容错能力，即增强信源编码算法的容错性，使用强有力的信道编码方式和采 用最佳接收检测技术。 北京邮电大学硕士论文 1 3 无线视频通信发展现状 1 31 移动多媒体数据传输业务 视频信息源具有不同的特性，不同的视频业务要求不同的通信模式，从而对传输网、 视频编码等提出了不同的要求。视频业务要求实时传输，对时延十分敏感，但可以容忍 一定程度的误码，与通常的数据文件传输有很大的不同。 传统的视频通信业务包括多视频会议和视频点播( 或交互式电视) 等业务。这些业 务可提供视频会议、视频电话、远程教学和远程医疗等应用。 在2 0 世纪9 0 年代中后期，视频会议系统主要承载于i s d n 和d d n 上，通常使用采 用h 3 2 3 系列标准的视频会议产品和配有视频会议设备的专用会议室，我国的业务提供 者通常是网络运营商。自1 9 9 8 年至今，随着i p 网络传输带宽的增加和i t u t h 3 2 3 系列标准的逐渐完善，大多数新建的视频会议系统采用基于i p 技术的i p 专用网络，主 要用户是大企业或政府部门。 视频点播业务经过承载于基于a t m 技术的宽带网上的试验( 1 9 9 5 1 9 9 6 年) 后，除 少数国家或地区( 如中国香港等) 提供了部分业务外，并没有很好地发展起来。目前随 着流媒体技术的成熟，i p 网上采用流媒体技术的音、视频直播和点播业务改变了i p 网不便于传输视频信息的历史。i p 网上的直播和点播业务将成为未来发展的主要方 向。 网络视频通信新业务是伴随着i n t e r n e t 的发展而向前发展的，主要包括基于个人 信息的点对点视频信息的交互通信、网上音乐和电影的点播或调用、与电子商务相关的 商品信息的远程交互式的展示，如服装类商品在不同式样的模特身上的试穿，用户在 向政府办理各种证件时用户照片的远程传递等。 2 0 0 4 年3 月，s t r a t e g ya n a l y t i c s 发布的一项研究报告，”移动视频内容的竞争战 略州，报告的主要内容是展望移动服务提供商将如何向手机传送视频内容服务。 s t r a t e g ya n a l y t i c s 估计到2 0 0 8 年全球将有1 5 亿用户通过无线接入视频片断( 包括 体育、电影和成人内容) ，其市场总额将达到4 7 亿美元。 1 3 2 数字视频编码技术研究热点 在现有的视频编码国际标准中均采用了混合编码方案，即用运动补偿帧间预测消除 相邻两帧图像的时间相关性，然后对预测误差进行d c t 变换以消除图像的空间( 帧内) 相关陛；量化后的d c t 系数、运动矢量以及其他的编码控制辅助信息通过v l c 进行熵编 无线网络匕的视频传输算法优化及d s p 实现 码。提高编码效率的关键在于运动矢量估计，以及编码码率控制。在低码率条件下， 基于块的混合编码会出现明显的方块效应，用后滤波消除方块效应、改善重建图像的主 观质量也是目前研究的较为活跃的内容。 132 1 运动估计与预测编码 对于基于块的运动估计，一个研究的重点是在一定运算复杂度条件下，达到运动矢 量的精确估计。虽然理论上全搜索算法f s 可以达到全局最优，但由于其运算量过大， 难以在实际系统中应用，因此需要寻找一些次最优的快速搜索方法，降低运算的复杂度。 早期算法仅简单地限制搜索集的大小，例如普遍采用的三步搜索法等，往往陷入局部最 小点，降低了一部分编码性能。目前的一种改进思路是搜索集的选择与搜索起点的选择 相结合，以获得更好的预测性能。文献通过利用空间相关的运动信息自适应地选择中 心偏移和非中心偏移的搜索策略，实现快速准确的估计；同时研究了在重迭块运动估 o b m c 时，利用这种相关性对4 个子块运动矢量进行估计的问题，并且引入一种新的匹 配误差准则去除平均值的m a d ( m r m a d ) ，节省了总体码率。文献讨论了利用图像 中的某些特征，例如边缘、边角以及分割的区域等，进行起点选择，保证搜索能在接近 于全局最优点附近开始。文献”1 提出了单纯形最小化搜索算法s m s ，实验结果显示该算法 的性能优于钻石搜索算法d s 、接近f s ；此外在使用多参考帧( m r ) 场合，其m r s m s 算 法在复杂度仅相当于单参考帧的f s ，但保持了m r 的预测性能。文献。1 提出了一种新颖的 w i n n e r - u p d a t e 策略进行快速搜索，其实验结果表明，在计算量节省9 2 9 8 的情况 下，仍然达到全局最优。文献o “关于运动矢量的估计精度问题进行了深入的研究。在建 立了帧差子块的能量与运动矢量精度的关系模型后，得到了总码率( 包括运动矢量的码 率和对帧差的码率) 与运动矢量精度以及其他主要编码参数的关系式，通过对这一关系 式进行最小化就可以得到编码器的最佳运动矢量精度。针对基于块的运动模型与实际对 象不一致的问题，文献“在低码率时集中对运动区域进行处理的情况下，用8 个预定义 的模式近似宏块的运动区域，然后用这些模式进行运动估计和运动补偿，减少预测误差。 利用密集运动矢量场是关于近年来运动补偿预测的新方法，这种方法对每一点像素的运 动进行描述，从而给出更精确的预测，降低预测误差。文献尸讨论了利用运动矢量场和 位移帧差d f d 之间的相互关系，通过调整运动估计准则使d f d 呈现较为平滑的分布特 性，有利于使用d c t 进行压缩；同时，对运动矢量场也采用有失真的压缩编码，达到最 终压缩性能的提高。此外，文献“”对转换编码( t r a n s c o d i n g ) 时运动矢量的一致性问 题进行了分析，给出了转换后运动矢量的细化方法。文献1 则讨论了在用小波变换进行 视频压缩时，在小波域进行运动估计的问题。 北京邮电大学硕士论文 1 322 编码码率控制 在编码模块确定之后，编码码率控制就成为决定编码效率的关键，因此有关码率控 制的算法有许多，例如：i t u 的h 2 6 x 工作组以及i s o 的m p e g 工作组在其参考编码软 件中均提出了自己的码率控制算法。文献“5 ”3 的特色是通过h 2 6 3 视频编码的码率控制 研究，引入了特征码率曲线和码率曲线分解的新思想，发展了率失真r - d 建模的框架， 并且证明这是一种统一的r d 分析框架，适应各种基于变换的图像和视频的压缩编码， 例如e z w 、s p i h t 、j p e g ，以及h 2 6 3 和m p e g 等；在此基础上，提出了统一的r d 函数 估计和码率控制算法；实验表明该算法可以准确估计r d 函数，从而对输出码率和编码 图像质量实现可靠的控制。文献“7 3 回顾了使用最大值极小化m i n m a x 准则在相互关联的 量化器之间进行最佳比特分配的一般框架，指出m i n m a x 准则优于平均值最小m i n a v e 准 则，讨论了使用m i n m a x 进行最优比特分配算法，以及解的唯一性问题。文献“8 1 给出了用 可变帧频进行低码率视频的码率控制算法，在容许的时延下达到空间和时间质量的相对 平衡，改善人的总体视觉效果。文献o ”对帧频和量化步长的控制进行了联合考虑，通过 把编码工作状态限制在一定格点的子集、编码只能以缓变的方式改变状态等措施，有效 地在复杂场景和简单场景中进行码率的分配。文献1 探讨了在给定总码率和传输条件下 信源编码和前向纠错编码f e c 之间的码率优化，获得了最佳的感觉质量。文献。”则分析 了在a t m 中的关键问题一编码码率和信道码率的选择问题，提出了简化的码率控制方案， 在给定网络和缓存容量的限制下，可以使帧间质量的波动最小。 1 3 2 3 前后滤波 在极低码率下，即比特率达到o 2 0 i b i t p i x e l 以下时，编码重建图像将呈现严 重的质量损伤，后滤波是常用的改善图像主观质量的措施。对于目前国际标准均采用的 基于块的d c t 编码，主要解决的问题是减少方块效应。采用简单的平滑滤波虽然可以去 除方块效应，但同时将使图像细节模糊，因此滤波算法的要点是既减少方块效应又尽量 保持细节成份。根据处理的数据类型可以分为在图像域o 。”1 、d c t 变换域。”以及小波1 】t 域“。文献。2 1 把去方块效应变成一个最大后验m a p 问题，采用迭代的方法求得最佳解； 文献“3 1 从重建图像提取多分辨率的边界特征，并用这些视觉特征作为输入，估计原图像 与解压缩图像的差别，从而达到对重建图像进行补偿。文献”直接在d c t 变换域进行滤 波处理，减少了运算误差的影响，它根据人的视觉系统h v s 的掩盖效应进行自适应滤波， 对活动性大的区域用大的滤波窗平滑方块效应，对活动性小的区域用小的滤波窗保持边 界信息，达到了图像主观和客观质量的提高。文献”将重建图像进行小波变换后，在小 波域发现与方块相关的结构分量，通过自适应软阈值去除方块，也实现了重建图像的视 觉质量和p s n r 的改善。 无线网络上的视频传输算法优化及d s p 实现 132 4 任意形状对象的编码 随着多媒体技术的应用，人们不仅希望得到以帧为单位的图像信息，而且希望能对 图像中的对象进行交互操作，例如在电子出版业和i n t e r n e t 的网页制作中，这种需求 非常普遍。基于多媒体应用的需要，m p e g 一4 采用了基于内容的描述，把图像编码的对 象从图像帧推广到具有实际物理意义的任意形状的对象。任意形状对象的编码成为新的 重要课题。为了得到具有实际意义的对象，个必不可少的工作就是进行图像的分割。 自动分割是难度最高、最具有挑战性的课题。采用简单的方法一般难以得到普遍意义下 满意的分割。目前大多数研究中均结合了多种特征信息和处理方法，例如，结合色彩和 边界信息，以及种子区域生成的分割嗍。文献o ”综合了目前图像分割的各种代表性技术， 提出了一个有效、可靠的分割系统，它包括均匀区域提取、直方图分割、非线性扩散分 割、基于运动的非线性扩散分割、基于形态学的对象分割以及基于边界匹配的对象分割 等6 个不同的分割方案，根据图像内容的复杂程度采用相应的方案。文献汹1 讨论了基于 多重语义的视频对象的分害, j s v o ，它通过结合色彩和边界信息的多值形态学空间分割， 得到各种边缘信息，然后用分割格点实现s v o 的提取。文献汹则研究了在小波域进行多 尺度图像分割。m p e g - 4 提出了任意形状的静止对象的编码算法，例如采用基于块的编 码和边界块进行贴补的方法，以及采用形状自适应变换s a - d c t 、s a d w t o ”再进行量化和 熵编码。对于任意形状的视频对象的编码也同样引起了人们极大的关注，i e e e 电路系 统与视频技术会刊于1 9 9 9 年1 2 月专门出了任意形状视频对象编码及描述的专辑o ”。目 前在任意形状视频对象编码的各种算法中，多以d w t 为处理的出发点，并且采用比特面 或类似的方法进行量化，而主要区别在于对时间相关性的处理，以及对形状信息的处理 上。在文献。”的v o w 算法采用了对运动补偿预测误差用s a - d w t 进行压缩，而文献。3 】贝u 采用3 d - d w t 进行时间方向的处理，在空间方向则和文献o ”类似，采用任意形状支持的 d w t 和s p i h t 。文献。”通过在变换域分离对象，隐式表示了对象的形状，节省了对形状 信息的编解码。 1 32 5 匹配追踪编码 与d w t 、d c t 编码相类似，匹配追踪编码( m p c ，m a t c h i n gp u r s u i tc o d i n g ) 也是一种 基于信号调和分析、信号分解的编码方法。但是，m p c 采用了过度完全基，基向量之间 存在一定的相关性。h p c 把基向量的集合称为字典，编码时将字典内所有基向量与编码 信号求相关，得到最大的相关系数和对应的基向量，然后将信号与该基向量相减，对差 值信号重复上述步骤，由此得到了依照与信号相关性大小排列的相关系数和基向量对， 也就得到了信号关于该字典的展开式：如果只取前面若干项，就得到信号的不同程度近 似。匹配追踪技术具有一般性，因为它对基向量字典实际不作任何限制。为进行传输， 北京邮电大学硕士论文 只要对相关系数和对应的基向量编号进行编码。 m p c 最早由m a l l a t 年i z h a n g 。”在进行信号分析时提出，之后出现了利用m p c 进行图 像和视频的研究。“”3 。r n e f f 和a z a k h o r 等人对m p c 进行极低码率视频压缩进行了 深入的研究，指出利用m p c 可以有效解决在极低码率下基于块的d c t 编码的方块效应， 其原因是在极低码率条件下，由于d c t 变换的基向量相互独立，使得基向量的结构特征 被显示出来，而m p c 采用的是过度完全基，即使在极低码率条件下，基向量的结构也不 表现出来，而且由于传输时按码字的重要性( 相关系数大小) 进行传输，可以表示最多 的图像有用信息。在文献“0 3 中，他们用m p c 对混合编码的预测误差信号进行m p c ，用可 分离的g a b o r 变换作基向量，取得了满意的结果。 m p c 最大的缺点就是极高的运算复杂性，因此也限制了它的应用。实验结果显示“， 在极低码率( 1 0k b i t s ) 条件下，其运算量是h 2 6 3 的4 倍以上，如果码率增加，则运 算量会急剧增加。基向量字典的设计成为m p c 的一个重要环节，为此，他们进一步讨论 了字典的近似问题“，以及在率失真下的工作模式“”。 1 3 2 6 视频流的传输 多媒体通信的发展趋势是使用a t m 、i p 网络等基于包的传输网络进行信息的综合传 输，视频包的传输技术因此格外引人注目“。由于视频流的传输是大量的、连续时问的 数据传输，为了有效地在这种网络上进行大量视频流的同时传输，流量控制、资源分配 和管理问题是必须解决的关键技术。文献“”讨论了对m p e g 视频流的流量建模，它把视 频流首先分成分镜头( s h o t ) ，然后把各个分镜头根据纹理和运动的复杂度进行分类， 每一类用自回归模型进行不同的描述。文献“”讨论7 a t m 网络的流量调度。文献“”对于 m p e g 码流定义了针对i p 网络的流量参数：r s p e c 及其计算方法，根据流量参数，网络就 可以决定传输计划。为了达到视频流的有效、可靠的传输，必须对网络资源进行有效的 管理，这是通过向网络发出请求来达到动态的资源分配“7 ”1 ，请求的准确性依赖于对流 量的预测的准确性，为此可以根据视频的内容和短期流量信息进行预测。q o s 是一个概 念，即为了达到应用的一定性能，网络所要提供的服务质量。q o s 参数包括传输时延、 时延抖动、误码率( 丢包率) 以及带宽等。目前的i p 网络采用的是“尽力而为”的模 型，它对面向连接的视频流不能提供q o s 保证。一般认为，采用q o s 路由和资源预留协 议r s v p 可以提供i p 网络的q o s 。文献“”提出了一种两级分布式q o s 路由算法。文献“ 讨论t q o s 多播，解决了i p 多播、q o s 路由以及r s v p 集成时的冲突，并考虑了用户的 异构，保证端到端的q o s 。文献”讨论了针对下一代i p 网络d i f f s e r v 的视频包与 相对区分业务q o s 映射机制。 现有的i p 网络不提供q o s 支持，为了进行视频流的传输。目前大都从以下几个方面 无线网络上的视频传输算法优化及d s p 实现 考虑：首先，采用与网络一致的传输策略，例如许多视频传输中都采用了所谓对t c p 友 好的传输协议。，避免造成网络性能下降；其次，对网络状态进行不断的监视，得到有 关的参数作为视频编码参数的调整依据。；第三，视频采用抗误码编码，有效抵御丢包 引起的降质；最后，采用分级编码“2 。“3 ，特别是嵌入式编码，使信源码率可以根据网络 条件进行精确调整，得到最佳的传输质量。 近年来无线通信的发展，特别是3 g 标准的制定，为无线信道的视频传输提供了必要 的基础，相关的研究相继出现。文献。5 介绍了3 g 无线网络电视电话的设计和性能模拟， 文献”介绍了一个无线网络使用3 2 k b i t s 速率的实时视频通信系统的性能评价。在无 线传输时，最大的问题就是突发误码的影响，因此必须进行有效的误码控制。文献0 7 1 介绍了使用反向信道进行a r q 纠错时，重传码率和信源码率优化。文献“”介绍了无线视 频传输时，通过设在基站的视频服务器，用3 d 小波视频编码，实现可靠的分级视频传 输。此外，i e e e 电路系统和视频技术会刊专辑上有更多的无线视频传输研究成果报道 翱】 1 33 数字视频传输抗干扰机制 为了获得高压缩比，目前的视频编码国际标准均采用运动补偿帧间预测和v l c 技术， 其输出码流极易受到传输中误码的影响，即使是单个误码也可能在一幅图像内产生大片 错误，并且会传播到后续帧，产生严重的降质。为了在i n t e r n e t 和无线网络等误码易 发环境进行可靠的视频传送，就必须在编码时进行有效的误码控制。针对误码易发环境 进行编码误码控制有三种不同的策略。第一种策略是面向交互的方式，利用反向信道消 除传输误码或者减少误码的传播，例如h 2 6 3 + $ f l m p e g 一4 均采用的参考帧选择的方法就 属于这种类型。第二种策略是面向补偿的方式，即所谓误码掩盖，它的任务是在在接受 端收到被损坏的视频流后，尽可能产生对视觉影响不大的图像。基于接收端的误码掩盖 是常见的方式，例如利用时间、空间相关性”进行掩盖，或者恢复运动矢量、编码模式 参数等；另一种方式是掩盖方案与编码端进行联合考虑，在一些抗误码编码中就结合了 这种方式m 1 。第三种策略是面向预防的方式，即所谓抗误码编码e r c 。抗误码编码包括 分级编码、多重描述编码m d c ，以及可靠性熵编码、信源信道联合编码等其他许多方式。 下面将对抗误码编码进行简要的讨论。 1 33 1 分级编码 视频编码的可分级性是编码器提供的一种码流表示功能，一般包括空间可分级性( 清 晰度) 、时间可分级性( 帧频) 以及信噪l l s n r 可分级性等。分级编码( s c a l a b l ec o d i n g ) 的码流包括一个提供基本图像质量的基本层和一个或多个增强层。分级编码既可以解决 北京邮电大学硕士论文 视频传输网络或终端的异质问题，也可以通过对基本层和增强层进行不同的纠错编码等 措施实现抗误码传输，是编码提供的高级功能。在m p e g 一2 和m p e g - 4 标准中都制定了普 通分级编码方法后，新的方法还在不断出现。文献”1 用压缩域的下抽样和上抽样实现了 快速图像尺寸改变，文献。”用运动补偿的时间滤波和空间小波变换实现图像的时间和分 辨率的分级，文献”使用3 d 小波变换进行时间分级，文献0 5 1 研究t s n r 分级编码中最 佳码率的分配问题。普通的分级编码中不同级的码率差别较大，不能进行细致的控制。 随着i n t e r n e t 的普及，在i p 网络进行视频流的传输要求和应用越来越多。为了解决普 通分级控制粗糙、信道利用率低下的缺点，适应i p 网络传输条件变化复杂的情况，同 时也为了满足单播( u n i e a s t ) 和多播( m u l t i c a s t ) 等多种应用，h r a d h a 和y c h e n 等人脚1 提出了s n rf g s 的编码方法，基本方法是对增强层d c t 变换系数采用比特面进行 编码，形成统一的嵌入式码流，从而达到比特级的精细码率分级粒度。f g s 已经被m p e g 一4 接受，作为新版的补充项目“”。文献呻。1 针对f g s 进行了改进，提出渐进的f g s ( p f g s ) ， 它的思路是把参考帧由原来的低质量的重建帧改为前一层高质量图像，改善了编码效 率。嵌入式编码目前已经成为分级编码中的主要手段。 1 33 2 多重描述编码 多重描述编码( m d c ，m u l t i p l ed e s c r i p t i o nc o d i n g ) 是另一类抗误码编码。它将 原来用单描述编码s d c 的视频流替换为各自具有同等重要性的多个子码流，即多个描述 m d ，每个描述都能提供一定质量的重建图像。当m d 码流通过不同的信道( 物理上、逻 辑上) 传输时，虽然干扰的影响会造成一些描述丢失，但总有其它一些描述被准确地接 收，可以保证一定的传输质量。接收的描述数越多，重建图像质量越好，当收到全部描 述时，就可以得到最佳的重建质量。因此，m d c 非常适合现代视频在具有多种特性的异 构网以及在i p 网络等包丢失环境下进行可靠的传输。m d c 的理论研究开始于2 0 世纪8 0 年代初”，主要是针对不同的信源研究了使用两个描述时所要引入的冗余度，建立了冗 余度与单个描述之间的冗余度一率失真曲线r r d 。9 0 年代后期阻来，m d c 用于视频编码 的研究受到了重视。根据编码中描述的数目或者描述的方式差别，m d c 可分为胎2 的m d c 和胗2 的m d c ，或者基于信号处理的m d c 和基于前向纠错f e c 的m d c 。一般而言，基于信 号处理的m d c 常采用舻2 的描述，例如：通过改变量化器的索引结构实现m d c m l ；通过 将变换系数成对组织的方式实现姻c m 7 ；文献”通过交织形成多个描述，并对d c t 变换 进行改造、用神经网络a n n 对重建图像进行误差补偿，也改善了最终的重建图像质量。 文献”则通过研究运动估计区域的新的划分方法，实现了基于运动矢量的m d c 。文献” 研究了胗2 时，用r s 码进行f e c 的m d c ；它利用拉格朗日乘子对各描述进行最佳码字分 配，达到最佳的抗误码性能，然后与f g s 相结合，实现了一个视频可靠传输实验系统。 无线网络上的视频传输算法优化及d s p 实现 133 3 其他抗误码编码方法 总体而言，抗误码方法根据码流在信道传输中的要求、编码器内对于扰的敏感部分、 信息的重要性，以及信源内部的相关性等方面进行考虑。文献”7 1 用数据嵌入的方式，对 视频的运动矢量、编码模式信息进行了有效的保护。文献m “”讨论了根据信道的传输条 件进行优化打包、提高可靠性的方法。文献”“对f g s 码流用不对称的f e c 进行保护。文 献1 根据i n t e r n e t 信道误码情况，在总码率限制的条件下，用调整信息码率和冗余码 率进行视频信源信道联合编码传输。文献。”使用双向同步机制进行误码定位，用分层方 式进行纠错保护。文献。”则讨论了使用可逆v l c ( r v l c ) 时提高码表的访问效率措施。 文献”“1 针对单帧的帧间预测容易受到干扰影响的问题，用多帧预测提高了抗误码能 力。根据图像中的内容也可进行有效的处理，例如：结合误码掩盖的预测效果对编码模 式进行调整”“，基于一种景物复杂性自适应机制调整再同步点的位置哪! 。 总之，抗误码编码是视频编码中一个重要的研究内容，对视频技术的推广应用的影 响很大，因此引起了人们极大的关注，出现了许多有针对性的算法。有关研究的深入介 绍可见y w a n g 等人的综述。 13 4 多媒体终端设计现状 随着通信和信息技术的飞速发展以及数据业务的急剧上升，许多领域对信息的处理 速度要求越来越高：特别在某些特殊领域，如无线电信号的分析方面，由于信号稍纵即逝 要求处理系统有很快的响应及处理能力，也就是达到实时处理的层次数字信号处理器 ( d s p ) 是专门为数字信号处理而开发的，它以其高速的数据处理能力和大的数据吞吐能 力，在实时应用中获得了广泛的应用。 在单处理器的计算机上，人们使用多媒体增强指令集( m m x ) 和单指令多数据流扩 展( s s e ) 等技术对h 2 6 3 编码算法进行大量的优化m ”“。 宋彬、常义林等人在多媒体处理芯片t m 一1 3 0 0 的开发平台上，快速实现了h 2 6 3 + 视 频编码器。该编码器满足视频实时编解码的要求，且已应用于实际视频通信产品中。“。 但是符合无线信道传输的h 2 6 3 + 的视频编码器还不成熟。 h 2 6 4 是视频编码的研究新热点，文章o ”“1 分析了h 2 6 4 视频编码的复杂度。但是 这些研究都是通过软件的分析得到的，这些结果对在软件中的应用是精确的，但是当涉 及硬件设计的并行处理时，就不再适用了。 经过试验比较可以得出，在h 2 6 4 硬件实现上的关键点是预测部分，因为此模块所 占的计算时间几乎是总时间的9 0 ，改进的重点在预测部分。可以说真正意义上的 北京邮电大学硕士论文 h 2 6 4 实时编码硬件平台是研究中的重中之重。最新的研究成果是：日本a d i ( 模拟器 件公司) 在2 0 0 4 年1 1 月1 7 日开幕的嵌入技术相关展会“e m b e d d e dt e c h n o l o g y2 0 0 4 ” 上，利用d s p 进行了h 2 6 4 m p e g 一4a v c ( 以下简称h 2 6 4 ) 编解码处理的实证演示。演 示中使用配备2 个该公司的d s p “a d s p b f 5 6 1 ”的评测板卡，对q v g a 尺寸、3 0 帧秒的 动画进行了实时编解码处理。其编码数据速度为2 0 0 k b i t 秒i m b i t 秒，采用基线协 议( b a s e l i n ep r o f i l e ) 。 1 4 本论文的主要研究内容 本课题研究将h 2 6 3 算法应用于移动视频传输的可能性，并针对无线平台提出算法 优化方向，以提高编解码效率、提高抗干扰性为基本目的，结合d s p 芯片完成代码优化， 以满足移动视频监控系统等无线视频业务的需要。 参考文献 1 刘俊勇，陶洋3 g 无线网络中自适应q o s 的多媒体传输 j 重庆邮电学院学报( 自然科学 版) 2 0 0 4 ，1 6 ( 1 ) ：6 0 6 2 2 潘敏，林都平无线环境中h 2 6 4 a g c 结构的改进 j 电子科技2 0 0 4n o 8 ：1 0 1 3 3 王延军n e c 移动视频解决方案 j 中国数据通信2 0 0 4 ，n o 9 ：1 1 1 1 1 3 4 李明，胡瑞敏，李伟视频编码的并行处理 j 计算机工程与应用2 0 0 3 ，3 9 ( 1 6 ) ：1 0 9 1 1 3 5 s t r a t e g ya n a l y t i c s 移动视频内容的竞争战略 d b o l h t t p ： e c t i f o r u m c o m n e w s 2 0 0 4 n e w s 0 2 n e w s 0 2 2 4 h t m 6 t u r a g a d s ，c h e nt e s t i m a t i o na n dm o d ed e c i s i o n f o rs p a t i a l l yc o r r e l a t e dm o t i o n s e q u e n c e s 【j 】 i e e et r a n sc i r c u i t ss y s tv i d e ot e c h n o l ，2 0 0 1 ，11 ( 1 0 ) ：1 0 9 8 一l1 0 7 7 c h a ny ，s i uw a ne f f i c i e n ts e a r c hs t r a t e g yf o rb l o c km o t i o ne s t i m a t i