（计算机应用技术专业论文）近海无线宽带视频传输系统.pdf

c i a s s i f i e dl n d e x ：t n 9 1 9 8 u d c ： d i s s e r t a t i o nf o rt h em a s l e rd e g r e ei ne n g i n e e r i n g o f f s h o r ew i r e l e s sb r o a d b a n d v i d e ot r a n s m i s s i o ns y s t e m c a n d i d a t e ： s u p e r v i s o r ： a c a d e m i cd e g r e e a p p l i e df o r ： s p e c i a l 够： d a t eo fo r a le x a m i n a t i o n ： u n i v e r s i t v ： “x i n g h u i w a n gd e x i n g m a s t e ro f e n g i n e e r i n g c o m p u t e ra p p l i c a t i o n1 c h n 0 1 0 9 y j u n e2 0 1 0 q i n g d a ot e c l m 0 1 0 9 i c a lu n i v e r s i t y 硕士学位论文 近海无线宽带视频传输系统 学位论文答辩日期：上6 必、7 指导教师签字： 答辩委员会成员签字： 舞 青岛理工大学工学硕士学位论文 目录 摘要i a b s t r a c t i i 第一章绪论1 1 1 课题研究的来源1 1 2 系统研究的背景1 1 3国内外研究现状2 1 4 课题的设计思想以及研究内容3 第二章关于视频编码的介绍5 2 1m p e g 系列编码简介5 2 1 1m p e g 一4 的核心思想6 2 2 2m p e g 一4 的关键技术7 2 2h 2 6 4 标准简介1 1 2 2 1h 2 6 4 标准的的特点1 2 2 2 2 h 2 6 4 的关键技术1 2 2 3m p e g 一4 与h 2 6 4 的比较1 4 第三章无线视频传输原理1 6 3 1 无线视频传输方式1 6 3 1 1 模拟微波传输1 6 3 1 2 数字微波传输1 6 3 1 3 无线微波传输的特点1 7 3 2 无线通信网络1 8 3 2 1 i p 视频传输1 8 3 2 2 流媒体在网络中的传输1 9 3 2 3 实时传输与实时传输控制协议r t p r t c p 2 2 3 2 4 无线网络2 4 3 3o f d m 技术2 5 3 3 10 f d m 的原理2 6 3 3 20 f d m 的优缺点2 9 3 4o f d m 在无线网络中的应用3 0 3 4 1 无线网络中的o f d m 参数3 0 3 4 20 f d m 在2 4 g 网络中的应用3 1 青岛理工大学工学硕士学位论文 第四章系统设计3 4 4 1 系统设计目标3 4 4 2 系统原理与架构3 6 4 2 1 系统的构成3 6 4 2 2 系统的总体网络结构3 7 4 2 3 无线传输结构原理3 8 4 2 4 数据交织4 0 4 2 5 微波网桥的配置参数4 1 4 2 6 系统的逻辑结构4 3 4 3 软件设计方案4 4 4 4 天线系统设计方案4 6 4 4 1自动跟踪的方案与系统结构4 6 4 4 2 系统的硬件规划4 7 4 4 3 系统的算法设计4 8 4 5 网络视频编解码器5 1 第五章系统调试及运行结果5 3 5 1 视频性能分析5 3 5 1 1 测试环境5 3 5 1 2 测试结果5 3 5 2 通信质量的测试5 4 第六章总结与展望5 6 6 1 论文总结5 6 6 2 系统未来的发展方向5 7 参考文献5 9 致谢6 1 青岛理工大学工学硕士学位论文 摘要 在无线视频通信领域，随着新的调制技术和新的传输协议的不断发展，无线 视频传输变为可能。视频监控融合了这些技术，得到了广泛的应用。本文结合实 际应用，给出了一种海上无线视频传输系统的初步设计与部分实验验证。 视频的数字压缩技术是视频在网络中传输的关键技术。本文详细的研究对比 了目前在视频传输领域应用最广泛的m p e g 4 与h 2 6 4 编码标准。m p e g 一4 与 h 2 6 4 相比具有较低的复杂度，并且在高码率传输情况下效果与h 2 6 4 效果相当， 所以在本系统中的视频编码模块采用了m p e g 一4 标准。 无线宽带网络的发展主要依赖于新的调制技术和通信协议。本文介绍了 o f d m 调制技术和无线局域网标准，并分析了技术原理及特点，研究了无线宽 带系统中的天线自动跟踪设计与应用。 本文描述的是一个近海无线宽带视频传输系统，以及系统的网络结构、逻辑 结构和软件结构，设计了网络视频编码器的视频压缩方案，无线网络传输方案， 天线自动跟踪方案，最后对无线传输图像质量进行了初步的测试并提出了进一步 的改进措施。 关键字：视频压缩编码；正交频分复用；无线网络；天线跟踪 青岛理工大学工学硕士学位论文 a bs t r a c t i nm ew i r e l e s sv i d e 0c o m m u n i c a t i o n s ，w i 也m ed c v e l o p m e i l to fm o d u l a t i o n t e c l l i l 0 1 0 9 ) ra i l dn e wc o m 【n u n i c a t i o np r o t o c o ，1w i r e l e s sv i d e 0 仃a n s m i s s i o nb e c o m e s p o s s i b l e d e 0s u r v e i l l a l l c ei n t e 伊撕o no ft h e s et e c l m o l o 舀e sh a v eb e e nw i d e l yu s e d t h i sp a p c rp r e s e n t sas e ao fw i r e l e s sv i d e ot r a n s m i s s i o ns y s t e md e s i 伊a n ds o m e p 树i m i n a r ye ) 【p e r i m e n t sw h i c hp r a c t i c a l i n ga p p l i c a t i o n d i 百t a lv i d e oc o m p r e s s i o nt e d m o l o g yf o rv i d e ot r a n s m i s s i o ni nt 1 1 en 娟7 l ，o r ki sn l e k e yt e c h n o l o g y t h i sp a p e rh a s 咖d e da n dc 0 m p a r e dn l em p e g - 4a n dh 2 6 4c o d i n g s t a n d a r dw ，h i c hi sw i d e l yu s e di nt 1 1 e6 e l do fv i d e o 拄a n s m i s s i o ni np a m c u l a lm p e g - 4 s t 锄d a r dh a sal o w e rc o m p l e x i t yt h a nh 2 6 4s t a n ( 1 a r d ，a n di sa l m o s tt h es 锄ee 虢c ta u s h 2 6 4s t a i l d a r di nt 1 1 ec a s eo fh i g hb i tr a t e 仃a n s m i s s i o n ，s ot h ev i d e oe 1 1 c o d i n gm o d u l e s y s t e mc h o o s c dm p e g - 4s t a l l d a r d w i r e l e s sb r o a d b a i l dn e 咐o r kd e v e l o p m e i l td 印e 1 1 d so nn e wm o d u l a t i o nt e c h i q u e s a n dc o m m u n i c a t i o np r o t o c 0 1 s t b j s 删c l ed e s 谢b e st h eo f d mm o d u l a t i o nt e c l u l o l o g y a i l dw n l e s su 蝌s t 锄d a r d ，a n da i l a l y z e dm et e c h n i c a lp 血l c i p l e s 觚dc h a r a c t 耐s t i c so f t 1 1 ew i r e l e s sb r o a d b a l l ds y s t e md e s i 印觚da p p l i c a t i o no fa u t o m a t i ct r a c b n ga n t e l l l l a 1 、h i sp 印e rd e s 嘶b e s 锄。凰h o r ew i r e l e s sb r o a d b a n dv i d e o 仃a 1 1 s m i s s i o ns y s t e m s ， a n dn e 细o r ks 仃u c t i l r e ，1 0 百c a ls t m c t u r ea 1 1 ds o f h v a r e 鲫c h i t e c t u r e ，d e s i g i lm en 咖o r k v i d c oe i l c o d e rf o rv i d e oc o m p r e s s i o ns c h 锄e ，t h ew i r e l e s sn e t 、7 l ，o r k 仃a n s m i s s i o ns c h 锄e ， t l l ea n t e i l l l a a u t o m a t i c 仃a c k i n go fp a c k a g e s ， t h ew i r e l e s st r a l l s m i s s i o no fi m a g e s c o n d u c t e dap r e l i m i n a 巧t e s tq u a l 时a n dm a d e 矗m h e ri m p r o v 锄e 1 1 t s k e y w o r d s ：d e oc o d i n g ；o f d m ；w l a n ；a n t e 皿at r a c l 【i i l g n 青岛理工大学工学硕士学位论文 1 1 课题研究的来源 第一章绪论 为加强青岛海上安全保卫工作，提高边防部队应急作战及处置突发事件的能 力，山东边防总队拟运用高新技术手段建设青岛奥帆赛海上安保船载移动图像传 输系统，实现对青岛奥运帆船赛海上警戒区域的全面监控。当突发事件发生时， 确保第一时间将事件现场视频信息清晰可靠地传送至青岛边防指挥中心及，并通 过边防指挥中心传输到山东省公安边防总队、公安部边防管理局等上级指挥部 门，为科学决策、快速处置事件提供详尽的视频图像信息。 船载移动图像传输系统要求具有视频、数据等多种接口，在日常的边防巡逻 任务中亦可实现信息共享、同步办案，对于打击走私、偷渡、海上救援将发挥重 要作用，系统投入使用后将会极大地促进海防工作的现代化。 1 2 系统研究的背景 近几十年来，无线技术发展非常迅猛，无线网络的应用越来越被各行各业所 接受。无线数据传输作为无线网络的一个使用方式逐渐被广大用户看好。其安装 方便、灵活性强、性价比高等特性使得更多行业的数据传输系统采用无线的方式， 建立中心点和远端点之间的连接。无线数据传输技术已经在现代化企业、小区、 交通、运输、水利、航运、治安、消防等领域得到了广泛的应用。u u j 在公共安全领域，信息化更是起到了至关重要的作用。能够迅速的将突发事 件现场的各种信息大量及时的传送到指挥机构，将会对突发事件做出更早、更准 确的判断，从而做出正确的指挥，这样才会大大减少突发事件所造成的人员和财 产等损失。信息化发展了这么多年来，已经不满足于小量数据和语音的传输，以 现在的科技手段，开发出一套可以在复杂环境下将事发现场的图像实时、清晰传 送到指挥部门部门监控系统，是完全有必要的。 我国有着漫长的海岸线。随着经济和贸易的发展，在海洋领域的活动已经非 常的频繁，由此引发的海上安全、海上犯罪、海上安全事故出现的概率也随之加 大。中国海警，全称中国公安边防海警部队( c h 烈ac o a s tg u a r d ) ，隶属 青岛理工大学工学硕士学位论文 于公安部边防局。主要负责近海海上治安，是打击走私、贩毒的主要力量，同时， 在海上有重大活动事件是，在安全保障方面，中国海警也扮演着重要角色。l l l j 传统的海上信息传输主要是通过卫星来完成，但是卫星信息传输造价高昂，传输 信息量有限。由于海警一般活动与近海区域，开发出一套适合于近海的视频监控 系统，会节约相当可观的成本，同时也将将大大提高海警的信息化程度，提高管 理部门的决策能力，从而达到减少海上犯罪、减少事故、加大海上救援和安保能 力的效果。 1 3国内外研究现状 无线的视频传输已经从过去的模拟传输发展到了数字传输。【1 z 无线的视频 传输主要需要解决的问题必然是视频的压缩编码技术和无线的空中链路。 视频的压缩编码是香农信息论为基础，不断发展与完善。早期视频编码的核 心理论就是利用视频的相关性，基于像素和像素块来消除数据的冗余量。【l3 】新 型的视频压缩编码又增加了对视频的帧预测、变换、熵编码等方面的研究，最终 目的都是为了提高压缩的效率。目前主流的视频压缩编码已经从第一代的 卜1 p e g 一1 2 、h 2 6 1 3 编码标准发展到了第二代的卜1 p e g 一4 和h 2 6 4 等编码 标准。随着视频压缩编码技术的发展，通过无线方式的视频传输才逐渐有了广泛 的应用。 无线通信也经历了由模拟信号向数字信号发展的过程。模拟的无线信号传输 存在易受受其它信号干扰、抗多径衰落能力差、抗噪声能力差等缺陷，只能进行 一些数据量较小的传输。目前的无线数字视频传输有多种方式，例如3 g 技术的 应用、基于广播的d v b - t s 标准和w l a n 方式传输等。其中数字卫星传送视 频造价高昂、资源有限，主要应用于广播电视领域。第三代的移动通信技术目前 为止带宽还未能够达到传送多路清晰视频的要求。d v b - t 标准是一个陆地无线 视频的广播标准，d v b s 是卫星数字电视广播标准，这两种方法是直接将视频 打包成为视频流数据包，缺乏交互性。采用w l a n 的无线视频传输是目前应用 最广泛的方式之一。无线网桥技术不但传输带宽较高，而且由于其网络互联的特 性，具有较高的扩展空间。 无线网络是无线数据传输发展至今最为广泛的应用之一。在通常情况下，有 2 青岛理工大学工学硕士学位论文 线介质局域网在在某些特定的场合均存在一定的问题。例如：在火灾现场、洪水 堤坝、野外施工场所、不容易布线的场地，实现网络互联也有一定的困难。而且 一旦遇到河流山脉等障碍或移动数据传输需求时，有线网络更是束手无策。此时， 无线网络无可比拟的优势就体现了出来，利用无线网桥技术，可以将多个远端点 与中央控制中心连接起来，且搭建迅速，可以在最短的时间内迅速建立起无线网 络链路。在条件许可的情况下，利用无线网桥最远可以支持1 0 0 公里以上的桥 接。目前的8 0 2 1 l n 标准最高能支持达5 0 0 m b p s 的网络带宽，完全能满足宽带 网络传输要求，包括传输文字、声音、图像等，甚至可以多路声音、图像并发的 传输。更高的带宽保证数据稳定可靠地进行传输，达到预期的目的。 目前的移动视频传输还具有以下几个方面的问题： l 、视频的延时：由于视频的传输过程需要进行压缩编码、通过网络协 议经行打包传输、物理层的调制解调，因此视频在传输过程中不可避免的 会有一些延时。无线的视频通信延迟通常为5 0 5 0 0 m s 。 2 、信道具有不可靠性：和有线信道相比，无线信道的传播环境要复杂 的多，将会面对更多的噪声干扰，并且伴随多径传播、时延扩展，衰落特 性以及多普勒效应，在无线通信系统中要充分考虑这些问题。 3 、异构性：客户端的软硬件差别会造成功率、存储量、等差异，因此每个 终端的带宽也不尽相同。为了能够在有线的带宽中实时传播视频流，视频编码要 做到具有较强的压缩、误码恢复等能力。 4 、带宽的波动性：当移动无线终端在移动过程中会出现信道突然受到干扰 或者阻挡时，信道的带宽会突然下降，当带宽下降到视频所要求的最低带宽时， 视频的质量会大打折扣。 1 4 课题的设计思想以及研究内容 本系统设计的主要内容包括视频编码、无线网络的搭建、视频的传输方案、 无线网络的强壮性等几个方面。系统要针对边防海警的实际需要，考虑到系统的 稳定性、可扩展性、实用性和强壮性。本课题直接面向应用，所以全部设计内容 要根据实际出发，选择成熟稳定的方式，并且在实际应用中不断完善。 视频编码方面主要针对目前比较流行的集中编码方式，详细分析编码方式和 3 青岛理工大学工学硕士学位论文 性能，选择出最适合的编码技术，结合视频的、。a n 传输方式，设计出一种基 于口的视编码器方案。该编码器还要有传输对摄像机的控制信号等功能。 本文深入研究了正交频分复用技术的特点和在无线通信中的应用。宽带的无 线通信要面临复杂的传播环境和自身的衰落，多载波的0 f d m 技术具有较强的 抗多径延时和路径衰落的能力。在系统设计时，详细的阐述了o f d m 再w 】a n 中的实现。 通过对目前的主流的移动图像传输方式的分析，结合本课题所应用的环境， 本系统的无线传输部分最终采用了基于8 0 2 1 1 9 标准的无线网络。在文章中着重 阐述了无线网络和视频通过口方式的传输方法。 为了增强系统的带宽的稳定性，本系统还设计了一种基于步进电机的天线自 动跟踪系统，在文章中介绍了改跟踪系统的软硬件实现方法。 最后本文最完成的系统进行了简单的测试，总结了系统架设过程中所遇到的 问题，并提出需要进一步完善的内容。 4 青岛理工大学工学硕士学位论文 第二章关于视频编码的介绍 原始的模拟视频数字化以后占用的空间非常的大。全彩色的6 4 0 木4 8 0 的一帧 图像未经压缩处理就要占用1 m 的存储空间，按照电视的每秒3 0 幅的帧率来计 算，那么一秒钟的视频图像就要占用3 0 m 的存储空间，这样的视频编码耗费的 存储介质是相当可观的，这样的多路视频要在数字网络里进行传输更是难上加 难。为了将视频图像压缩到处理器处理、存储空间和网络传输能够接受的程度， 并且视频质量不受到太大影响，有损耗的压缩处理技术对于网络视频的传输而言 是非常有必要的。 图像和视频编码压缩技术已经发展了很多年，经历了很多变革，其主要的思 路就是减少空间、时间、信息量、结构、知识、统计等方面的冗余信息，尽量提 高压缩效率。新的图像视频编码技术主要是建立在计算机图形学、计算机视觉等 理论基础上的，并且往往是基于视频内容的压缩技术。由于无线的视频传输链路 的局限性，本系统应尽量保证视觉效果的情况下，采用压缩效率较高的编码技术。 2 1m p e g 系列编码简介 m p e g ( m o v i n gp i c t u r e se x p 嘶g r o u p ) 是i s o 和i e c 两个国际组织联合技 术委员会领导下的运动图像专家组的英文缩写。该组织于1 9 8 8 年开始工作，其 任务是制定一种用于数字存储媒介、电视广播和通信的运动图像及其伴音的通用 数字编码标准。针对不同的应用目的，m p e g 专家组制定了m p e g 系列标准。 目前m p e g 系列数字视频的压缩标准主要有m p e g 一1 、m p e g 一2 、m p e g 4 等。 m p e g 1 标准用于数字存储体上活动图像及其伴音的编码，其数码率为 1 5 m b s 。m p e g 1 标准的压缩技术具有以下几个特点：1 随机存取；2 快 速正向逆向搜索；3 逆向重播；4 视听同步；5 容错性；6 编解码延迟。 m p e g 1 视频压缩策略：为了提高压缩比，帧内帧间图像数据压缩技术必 须同时使用。帧内压缩算法与j p e g 压缩算法大致相同，采用基于d c t 的 变换编码技术，用以减少空域冗余信息。帧间压缩算法，采用预测法和插 5 青岛理工大学工学硕士学位论文 补法。预测误差可在通过d c t 变换编码处理，进一步压缩。帧间编码技术 可减少时间轴方向的冗余信息。 m p e g 2 被称为“2 1 世纪的电视标准”，它在m p e g 1 的基础上作了许多 重要的扩展和改进，但基本算法和m p e g 1 相同。 m p e g 4 是目前比较主流的视频标准。m p e g 一4 同m p e g 1 2 在内部核 心技术上是基于同一框架的，它吸收了m p e g 1 2 和其他相关标准的许多特 性，但m p e g 4 并不是对m p e g 1 2 简单的升级和替代。m p e g 4 编码是 采用基于对象的编码方式，即分别对于静止背景和运动物体进行处理，对 背景可以采用压缩比较高的方法，而对运动物体则尽量采用损失较小的方 法，所以相当于m p e g 1 2 的压缩率有显著提高，更加适合有线或无线网络 的视频传输，可以在c i f ( 3 5 2 奉2 8 8 ) 和更高分辨率下编码。m p e g 4 标准还可 以根据不同的应用环境，随时加入新的编码模块，已经广泛的应用到了多 媒体通信、娱乐、v o d 、计算机图形、动画与仿真、应用于静止图像压缩、 远程实时监控等领域。 2 1 1m p e g 4 的核心思想 m p e g 1 2 、h 2 6 1 3 都是采用的第一代编码技术，他们是属于波形编码 的范畴，根据图像的信号的统计特征来进行编码。第一代的编码技术是将 根据时间顺序编码的每一帧分成宏块，然后进行运动补偿和编码。由于这 种编码方式图像按固定大小分块，如果压缩比过高就会出现严重的马赛克 现象，而且不能够对图像的内容进行访问、回放和编辑等操作。 m p e g 4 则是充分的利用了人类的视觉特性根据模型对象来进行编 码。这种第二代编码方式是按照图像传输的根本特征，从纹理、轮廓的思 路出发，支持视觉内容的交互功能。这适应了多媒体信息的应用由播放型 转向基于内容的访问、检索及操作的发展趋势。 为了基于内容进行编码，m p e g 4 提出了a v 对象( a v o ，a u d i ov i s u a lo b j e c t ) 的重要概念。该对象指的是在一个场景中可以访问和操作的实 体， 6 青岛理工大学工学硕士学位论文 对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其 独特的纹理、运动、形状、模型和高层语义为依据。在m p e g 4 中所见的 视音频已不再是过去m p e g 1 、m p e g 2 中图像帧的概念，而是一个个视听 场景( a v 场景) ，这些不同的a v 场景由不同的a v 对象组成。a v 对象 是听觉、视觉、或者视听内容的表示单元，其基本单位是原始a v 对象，它 可以是自然的或合成的声音、图像。原始a v 对象具有高效编码、高效存储 与传输以及可交互操作的特性，它又可进一步组成复合a v 对象。因此m p e g 4 标准的基本内容就是对a v 对象进行高效编码、组织、存储与传输。 a v 对象的提出，使多媒体通信具有高度交互及高效编码的能力，a v 对象 编码就是m p e g 4 的核心编码技术。 m p e g 4 不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性 及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模 块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用。 m p e g 4 采用了新一代视频编码技术，它在视频编码发展史上第一次 把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现 了从基于像素的传统编码向基于对象和内容的现代编码的转变，因而引领 着新一代智能图像编码的发展潮流。 2 2 2m p e ( 4 的关键技术 m p e g 4 除采用第一代视频编码的核心技术，如变换编码、运动估计与 运动补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并 在第一代视频编码技术基础上进行了卓有成效的完善和改进。下面重点介 绍其中的一些关键技术。 1 视频对象提取技术 m p e g 4 实现基于内容交互的首要任务就是把视频图像分割成不同对 象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方 法，以实现高效压缩。因此视频对象提取即视频对象分割，是m p e g 4 视 频编码的关键技术，也是新一代视频编码的研究热点和难点。 7 青岛理工大学工学硕士学位论文 视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理 解、模式识别和神经网络等学科有密切联系。目前人工智能的发展还不够 完善，计算机还不具有观察、识别、理解图像的能力；同时关于计算机视 觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容进行 理解。因此，尽管m p e g 4 框架已经制定，但至今仍没有通用的有效方法 去根本解决视频对象分割问题，视频对象分割被认为是一个具有挑战性的 难题，基于语义的分割则更加困难。 目前进行视频对象分割的一般步骤是：先对原始视频图像数据进行简 化以利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对 视频图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差 乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提取特 征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取 边界。 在视频分割中基于数学形态理论的分水岭( w a t e r s h e d ) 算法被广泛使 用，它又称水线算法，其基本过程是连续腐蚀二值图像，由图像简化、标 记提取、决策、后处理四个阶段构成。分水岭算法具有运算简单、性能优 良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割 时需要梯度信息，对噪声较敏感，且未利用帧间信息，通常会产生图像过 度分割。 2 v o p 视频编码技术 视频对象平面( v o p ，v i d e oo b j e c tp l a n e ) 是视频对象( v o ) 在某一 时刻的采样，v o p 是m p e g 4 视频编码的核心概念。m p e g 4 在编码过程 中针对不同v o 采用不同的编码策略，即对前景v o 的压缩编码尽可能保留 细节和平滑；对背景v o 则采用高压缩率的编码策略，甚至不予传输而在解 码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视 频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从 而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔的 发展空间。 m p e g 4 支持任意形状图像与视频的编解码。对于任意形状视频对象。 8 青岛理工大学工学硕士学位论文 对于极低比特率实时应用，如可视电话、会议电视，m p e g 4 则采用v l b v ( v e r yl o wb i t r a t ev i d e o ，极低比特率视频) 核进行编码。 传统的矩形图在m p e g 4 中被看作是v o 的一种特例，这正体现了传 统编码与基于内容编码在m p e g 4 中的统一。v o 概念的引入，更加符合人 脑对视觉信息的处理方式，并使视频信号的处理方式从数字化进展到智能 化，从而提高了视频信号的交互性和灵活性，使得更广泛的视频应用及更 多的内容交互成为可能。因此v o p 视频编码技术被誉为视频信号处理技术 从数字化进入智能化的初步探索。 3 视频编码可分级性技术 随着因特网业务的巨大增长，在速率起伏很大的i p ( i n t e m e tp r o t o c 0 1 ) 网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越 多。在这种背景下，视频分级编码的重要性日益突出，其应用非常广泛， 且具有很高的理论研究及实际应用价值，因此受到人们的极大关注。 视频编码的可分级性( s c a l a b i l i t y ) 是指码率的可调整性，即视频数据 只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可 支持多种类型用户的各种不同应用要求。 m p e g 一4 通过视频对象层( v o l ，v i d e oo b j e c tl a y e r ) 数据结构来实 现分级编码。m p e g 4 提供了两种基本分级工具，即时域分级( t e m p o r a l s c a l a b i l i t y ) 和空域分级( s p a t i a ls c a l a b i l i t y ) ，此外还支持时域和空域的 混合分级。每一种分级编码都至少有两层v o l ，低层称为基本层，高层称 为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更 高的分辨率和细节。 在随后增补的视频流应用框架中，m p e g 4 提出了f g s ( f i n eg r a n u l a r i t ys c a l a b l e ，精细可伸缩性) 视频编码算法以及p f g s ( p r o g r e s s i v ef i n e g r a n u l a r i t ys c a l a b l e ，渐进精细可伸缩性) 视频编码算法。 f g s 编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度 等方面提供灵活的自适应和可扩展性，且具有很强的带宽自适应能力和抗 误码性能。但还存在编码效率低于非可扩展编码及接收端视频质量非最优 两个不足。 9 青岛理工大学工学硕士学位论文 p f g s 则是为改善f g s 编码效率而提出的视频编码算法，其基本思想是 在增强层图像编码时使用前一帧重建的某个增强层图像为参考进行运动补 偿，以使运动补偿更加有效，从而提高编码效率。 4 运动估计与运动补偿技术 m p e g 4 采用i v o p 、p v o p 、b v o p 三种帧格式来表征不同的运动补 偿类型。它采用了h 2 6 3 中的半像素搜索( h a l fp i x e ls e a r c h i n g ) 技术和重 叠运动补偿( o v e r l 印p e dm o t i o nc o m p e n s a t i o n ) 技术，同时又引入重复填充 ( r e p e t i t i v ep a d d i n g ) 技术和修改的块( 多边形) 匹配( m o d i f i e db l o c k ( p 0 1 y g o n ) m a t c h i n g ) 技术以支持任意形状的v o p 区域。 此外，为提高运动估计算法精度，m p e g 4 采用了m v f a s t ( m o t i o n v e c t o rf i e l da d 印t i v es e a r c ht e c h n i q u e ) 和改进的p m v f a s t ( p r e d i c t i v e m v f a s t ) 方法用于运动估计。对于全局运动估计，则采用了基于特征的 快速顽健的f f r g m e t ( f e a t u r e b a s e df a s ta n dr o b u s tg 1 0 b a lm o t i o ne s t i m a t i o nt e c h n i q u e ) 方法。 在m p e g 4 视频编码中，运动估计相当耗时，对编码的实时性影响很 大。因此这里特别强调快速算法。运动估计方法主要有像素递归法和块匹 配法两大类，前者复杂度很高，实际中应用较少，后者则在h 2 6 3 和m p e g 中广泛采用。在块匹配法中，重点研究块匹配准则及搜索方法。目前有 三种常用的匹配准则： 1 绝对误差和( s a d ，s u mo fa b s 0 1 u t ed i f f e r e n c e ) 准则； 2 均方误差( m s e ，m e a ns q u a r ee r r o r ) 准则； 3 归一化互相关函数( n c c f ，n o m a l i z e dc r o s sc o r r e l a t i o nf u n c t i o n ) 准则。 在上述三种准则中，s a d 准则具有不需乘法运算、实现简单方便的优 点而使用最多，但应清楚匹配准则的选用对匹配结果影响不大。 在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最 可靠的方法是全搜索法( f s ，f u ns e a r c h ) ，但计算量太大，不便于实时实 现。因此快速搜索法应运而生，主要有交叉搜索法、二维对数法和钻石搜 索法，其中钻石搜索法被m p e g 4 校验模型( v m ，v e r i f i c a t i o nm o d e l ) 所 1 0 青岛理工大学工学硕士学位论文 采纳，下面详细介绍。 钻石搜索( d s ，d i 锄o n ds e a r c h ) 法以搜索模板形状而得名，具有简 单、鲁棒、高效的特点，是现有性能最优的快速搜索算法之一。其基本思 想是利用搜索模板的形状和大小对运动估计算法速度及精度产生重要影响 的特性。在搜索最优匹配点时，选择小的搜索模板可能会陷入局部最优， 选择大的搜索模板则可能无法找到最优点。因此d s 算法针对视频图像中运 动矢量的基本规律，选用了两种形状大小的搜索模板。大钻石搜索模板( l d s p ，l a r g ed i a m o n ds e a r c hp a t t e m ) ，包含9 个候选位置； 小钻石搜索模板( s d s p ，s m a l ld i a m o n ds e a r c hp a t t e m ) ，包含5 个 候选位置。 d s 算法搜索过程如下：开始阶段先重复使用大钻石搜索模板，直到最 佳匹配块落在大钻石中心。由于l d s p 步长大，因而搜索范围广，可实现粗 定位，使搜索不会陷于局部最小，当粗定位结束后，可认为最优点就在l d s p 周围8 个点所围菱形区域中。然后再使用小钻石搜索模板来实现最佳匹 配块的准确定位，以不产生较大起伏，从而提高运动估计精度。 此外s p r i t e 视频编码技术也存m p f g 4 中商田广沔作柏苴坊一i 、拉书 之一。s p r i t e 又称镶嵌图或背景全景图，是指一个视频对象在视频序列中所 有出现部分经拼接而成的一幅图像。利用s p r i t e 可以直接重构该视频对象或 对其进行预测补偿编码。 s p r i t e 视频编码可视为一种更为先进的运动估计和补偿技术，它能够克 服基于固定分块的传统运动估计和补偿技术的不足，m p e g 4 正是采用了将 传统分块编码技术与s p n t e 编码技术相结合的策略。 2 2h 2 6 4 标准简介 视频的编码技术主要是i t u t 和m p e g 两个组织制定的，为了实现视频的 压缩比更高、视频是质量更好，两个组织联合订制了h 2 6 4 的编码技术。h 2 6 4 是m p e g 4 的第1 0 部分( m p e g 4a v c h 2 6 4 ) ，h 2 6 4 编码在机结构上于以往 编码没有结构上的差异，只是在某些模块采用了更加先进的编码技术。其主要表 现在：编码不再是基于8 8 的块进行，而是在4 4 大小的块上，进行残差的变 青岛理工大学工学硕士学位论文 换编码。所采用的变换编码方式也不再是d c t 变换，而是一种整数变换编码。 采用了编码效率更高的上下文自适应二进制算术编码( c a b a c ) ，同时与之相应 的量化过程也有区别，它集合了以往编码方式的所有优点，整体性能有大幅度的 提升，它压缩率是m e g 2 的2 倍以上，e g - 4 的1 5 倍以上。 h 2 6 4 标准采用了面向数据包的编码方案，更加有利于视频流在口网络中 的传输。同时，h 2 6 4 具有很强的抗误码特性，特别适应在噪声干扰大。丢包率 较高的移动无线网络中传输。 2 2 1h 2 6 4 标准的的特点 由于h 2 6 4 增加了多帧预测、基于内容的变长编码、4 x 4 二维整数变换 等新的编码方式，所以编码效率大大提高，同第一代的视频编码技术相比， h 2 6 4 的压缩编码效率要高出2 倍，和m p e g 4 相比也要高出1 5 倍以上。 h 2 6 4 编码的视频画面效果更高，在低码率情况下效果尤为突出。在h 2 6 4 开发初期就已经考虑到在网络中的应用，所以具有良好的网络适应能力， 更加适合在视频会议等实时通信领域应用，同时也可以应用于没有延时的 视频服务器和视频存储。由于h 2 6 4 的编码复杂度较高，所以应用在实时 监控的时候要考虑延时的因素。 2 2 2h 2 6 4 的关键技术 1 帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码的效率， 在给定帧中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的 属性。因此，在对一给定宏块编码时，首先可以根据周围的宏块预测( 典 型的是根据左上角的宏块，因为此宏块已经被编码处理) ，然后对预测值与 实际值的差值进行编码，这样，相对于直接对该帧编码而言，可以大大减 小码率。 h 2 6 4 提供6 种模式进行4 x 4 像素宏块预测，包括1 种直流预测和5 种 方向预测，如图2 所示。在图中，相邻块的a 到i 共9 个像素均已经被编 码，可以被用以预测，如果我们选择模式4 ，那么，a 、b 、c 、d 4 个像素被 1 2 青岛理工大学工学硕士学位论文 预测为与e 相等的值，e 、f 、g 、h4 个像素被预测为与f 相等的值，对于 图像中含有很少空间信息的平坦区，h 2 6 4 也支持1 6 16 的帧内编码。 2 帧间预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的运动补偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添 加了更多的功能，除了支持p 帧、b 帧外，h 2 6 4 还支持一种新的流间传送 帧s p 帧。码流中包含s p 帧后，能在有类似内容但有不同码率的码流之间 快速切换，同时支持随机接入和快速回放模式。 3 整数变换 在变换方面，h 2 6 4 使用了基于4 4 像素块的类似于d c t 的变换，但 使用的是以整数为基础的空间变换，不存在反变换，因为取舍而存在误差 的问题。与浮点运算相比，整数d c t 变换会引起一些额外的误差，但因为 d c t 变换后的量化也存在量化误差，与之相比，整数d c t 变换引起的量化 误差影响并不大。此外，整数d c t 变换还具有减少运算量和复杂度，有利 于向定点d s p 移植的优点。 4 量化 h 2 6 4 中可选3 2 种不同的量化步长，这与h 2 6 3 中有3 1 个量化步长很 相似，但是在h 2 6 4 中，步长是以1 2 5 的复合率递进的，而不是一个固定 常数。 在h 2 6 4 中，变换系数的读出方式也有两种：之字形( z i g z a g ) 扫描和双 扫描。大多数情况下使用简单的之字形扫描；双扫描仅用于使用较小量化 级的块内，有助于提高编码效率。 5 熵编码 视频编码处理的最后一步就是熵编码，在h 2 6 4 中采用了两种不同的 熵编码方法：通用可变长编码( u v l c ) 和基于文本的自适应二迸制算术编 码( c a b a c ) 。 1 3 2 3m p