（通信与信息系统专业论文）基于h264的无线视频传输平台的设计与硬件实现.pdf

摘要 近几年来，随着移动通信的发展，人们对无线视频业务的需求与日俱增。然而 由于无线信道具有多径效应、抖动效应以及瑞利衰落等特点，容易导致较高的误 码率，很难为无线应用提供可靠的服务质量。因此，如何在无线环境中实时传输 高质量的视频将是人们研究的热点。新一代视频编码标准h 2 6 4 标准压缩效率高， 可在各种码率下提供较高质量的视频图像，同时具有自适应的延时特性，支持各 种视频应用，具有较强的容错能力，适于在无线信道中传输。 ， ， 论文在研究h 2 6 4 编码标准和无线传输的差错控制技术的基础上，针对d s p 与f p g a 各自的特点，提出了基于h 2 6 4 的无线视频传输平台的总体设计方案， 并通过f p g a 内部时序设计对视频传输平台的视频采集模块和d s p 与f p g a 之间 的高速通信接口进行了硬件实现。视频传输平台使用高性能的数字信号处理器 a d s p t s 2 0 1 实现h 2 6 4 的优化算法，可以很好的满足视频传输的实时性要求。同 时，论文分析了目前用于个人无线局域网的常用通信协议，并根据本系统的需求， 设计了基于非标准协议的r f 射频通信的无线收发模块。通过对视频传输平台各模 块接口处数据进行测试，结果表明平台性能达到了预期指标要求。 关键词：h 2 6 4 a d s p - t s 2 0 1f p g a无线视频传输链路口通信 a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ed e v el o p m e n to fm o b i l et e l e c o m m u n i c a t i o n , p e o p l e sn e e d o ft h eb u s i n e s sa b o u tw i r e l e s sv i d e oi sd a i l yo nt h ei n c r e a s e h o w e v e r ，t h ew i r e l e s s c h a n n e lc o n t a i n sc h a r a c t e r i s t i c so fm u l t i p a t he f f e c t ，d i t h e r i n ge f f e c t ，r a y l e i g hf a d i n g ， a n ds oo n s oi ti se a s yt ob r i n ga b o u th i g hb i te r r o rr a t ea n di t i sd i f f i c u l tt os u p p l y d e p e n d a b l e s e r v i c e q u a l i t yf o rw i r e l e s sa p p l i c a t i o n s t h e r e f o r e ，h o w t ot r a n s m i t h i g h q u a l i t yr e a l - t i m ev i d e ow i l lb e c o m e ah o t s p o tf o rr e s e a r c h t h eh 2 6 4a a n d a r dh a s h i g hc o m p r e s s i o nr a t i o ，i tc a ns u p p l yh i g h e rq u a l i t yv i d e oi nv a r i o u sk i n d so f c o d er a t e a tt h es a m et i m e ，i th a sa d a p t i v et i m ed e l a yc h a r a c t e r i s t i c ，s u p p o r t sa l lk i n d so fv i d e o a p p l i c a t i o n , a n di t h a sb e t t e rf a u l t t o l e r a n ta b i l i t y s oi tf i t sf o rt h et r a n s m i s s i o ni n w i r e l e s sc h a n n e l o nt h eb a s i so fr e s e a r c ho nh 2 6 4c o m p r e s s i o ns t a n d a r da n dw i r e l e s st r a n s m i s s i o n e r r o rc o n t r o lt e c h n o l o g y , a c c o r d i n gt od s pa n df p g a so w nc h a r a c t e r i s t i c s ，t h i st h e s i s p r o p o s e sa no v e r a l ld e s i g no ft h eh 2 6 4b a s e dw i r e l e s sv i d e ot r a n s m i s s i o np l a t f o r m a n dt h e ni ti m p l e m e n t st h ev i d e oc a p t u r i n gm o d u l ea n dt h eh i g h - s p e e dc o m m u n i c a t i o n i n t e r f a c eb e t w e e nd s pa n df p g ab yd e s i g n i n gf p g ai n t e r n a lt i m i n g t h i sp l a t f o r m u s e sh i g h - p e r f o r m a n c ed s pp r o c e s s o ra d s p t s 2 01t oi m p l e m e n tt h eo p t i m i z e dh 2 6 4 a l g o r i t h m , a n di t m e e t sw e l lt h er e a l t i m ed e m a n do fv i d e ot r a n s m i s s i o n a l s o ，t h i s t h e s i sa n a l y z e sc o m m o n l yu s e dp e r s o n a lw i r e l e s sl o c a la r e an e t w o r kc o m m u n i c a t i o n p r o t o c o l s ，a n da c c o r d i n gt ot h en e e d so ft h es y s t e m , d e s i g n st h e w i r e l e s st r a n s c e i v e r m o d u l eb a s e do nn o n - s t a n d a r dp r o t o c o lr fc o m m u n i c a t i o n a tl a s t ，w et e s t e dt h ed a t a o fe v e r ym o d u l ei n t e r f a c e t h er e s u l t ss h o wt h a tt h ep e r f o r m a n c eo f t h es y s t e mr e a c h e s t h ee x c e p t e dt a r g e t sa n dr e q u i r e m e n t s k e y w o r d s ：h 2 6 4 a d s p - t s 2 0 1f p g aw i r e l e s sv i d e ot r a n s m i s s i o n l i n k p o r t sc o m m u n i c a t i o n 第一章绪论 第一章绪论 1 1 选题背景 随着信息化时代的到来，通信技术已经取得了长足的进展。然而，人们对信息 的要求也越来越高。现在的人们已经不能满足于单调的文字和语音通信，于是， 多媒体通信应运而生。多媒体技术把多种媒体的功能，如文本、图像、音频、视 频等融为一体。多媒体通信是通信技术和计算机技术相结合的产物，它正随着全 球化信息高速公路的浪潮而飞速发展起来。 在多媒体通信中，图像与视频信息占有最为重要的比重。图像信息具有直观性 强、信息量大等特点，因此在多媒体通信中的地位非常突出。然而，图像信息内 容复杂，数据量非常大，这成为制约图像信息交流的重要障碍。例如，一帧1 0 2 4 一 1 0 2 4 大小，8 b i t 每像素的灰度图像大小为1 m b ，需要1 2 8 秒才能从单个话音信 道上传送出去。如果是数字化的活动图像信号数据则要求更高的带宽，按照 i t u r 6 0 1 标准4 ：2 ：2 格式的p a l 制数字视频信号，每帧数据量为7 2 0 x5 7 6 8 2 约为6 6 4 m b i t ，每秒数据量为6 6 4 2 5 帧约为1 6 5 m b i t ，若不加以压缩一段一 分钟的视频信号就要占用近l o 个g 的存储空间，这使得存储或传输原始编码的图 像数据量变得相当困难，在实际传输中显然是不现实的。 于是图像压缩编码技术成为实现图像的存储和传输的关键。图像压缩的最直接 目的就是在一定的控制范围内，尽量降低图像的数据量，并且保证图像的内容不 变或者保证一定观察效果的主观质量。在视频传输系统中，高效的视频信息采集 编码与传输是系统的关键环节。视频信息处理运算量大，基于d s p 设计并实现视 频通信终端，是快速处理如此大信息量的最佳方法之一。为了实现基于无线网络 的多媒体视频通信，本文提出了基于d s p 技术的无线视频传输系统，为构建多媒 体视频通信系统提供视频采集与传输的通信终端。 与传统的有线网络相比，无线网络有着得天独厚的优势。首先，无线网络综合 成本低，性能更稳定。只需一次性投资，无须挖沟埋管，特别适合室外距离较远 及已装修好的场合：在许多情况下，用户往往由于受到地理环境和工作内容的限 制，例如山地、港口和开阔地等特殊地理环境，对有线网络、有线传输的布线工 程带来极大的不便，采用有线的施工周期将很长，甚至根本无法实现。这时，采 用无线监控可以摆脱线缆的束缚，有安装周期短、维护方便、扩容能力强，迅速 收回成本的优点。 2 基于h 2 6 4 的无线视频传输平台的设计与硬件实现 其次，组网灵活，可扩展性好，即插即用。管理人员可以迅速将新的无线监控 点加入到现有网络中，不需要为新建传输铺设网络、增加设备，轻而易举地实现 远程无线监控。 再次，维护费用低。无线监控维护由网络提供商维护，前端设备是即插即用、 免维护系统。 最后，无线监控系统是监控和无线传输技术的结合，它可以将不同地点的现场 信息实时通过无线通讯手段传送到无线监控中心，并且自动形成视频数据库便于 日后的检索。 因此，研究无线网络视频传输具有重要意义。在电信、公安、电力、政府、军 队、武警、消防、水利、油田、旅游区、交通监控、港口码头、工业矿山、森林 防火、小区监控、现场监控等众多行业领域有成功案例。如森林防火、水源监控、 电力电信基站的无人值守、石油钻井无线监控等。尤其是随着“无线城市 概念 的提出，无线视频传输的应用已经深入到社会的各个方面了。 1 2 无线视频传输技术的研究现状 现如今，多媒体通信已经成为通信业务发展的必然趋势，数字视频传输也已经 成为现代通信系统所应提供的基本业务。人们不断开发新的数字视频压缩标准、 新的支持多媒体通信的网络协议以及高性能的多媒体处理芯片。当前，视频传输 技术的研究，主要集中于视频处理平台、视频压缩算法和视频传输技术的研究等 方面。 1 2 1 视频处理平台发展现状 图像压缩编码从实现途径上可以分为以下几种： ( 1 ) 基于微机的纯软件实现方式。这种方案开发费用低，开发周期较短，系 统构造灵活，也可以使用现成的软件包，因此一直以来受到开发者的青睐。然而 软件编码器的运行无法摆脱计算机，计算机的性能对编码效率影响很大，并且由 于微机处理器的串行工作模式，难以做到实时处理。 ( 2 ) 基于专用d s p 芯片的实现方式。现在国际已经推出一些进行f f t 、f i r 滤波、卷积等运算的专用芯片。如美国i n m o s 公司推出的i m s a l 0 0 芯片，可以 在2 m s 内完成1 0 2 4 点复数f f t 运算。其它的如m o t o r o l a 公司的d s p 5 6 2 0 0 ，z o r o n 公司的z r 3 4 8 8 1 ，以及针对j p e g 、m p e g 、h 2 6 3 标准的芯片也都属于专用型的 d s p 芯片。在这些芯片中，压缩算法已经在芯片内部用硬件实现。使用者只要输 入数据即可在输出端得到结果。这种方案可以胜任对速度要求很高的场合，其缺 第一章绪论3 点是灵活性差，且开发工具尚不完善。 ( 3 ) 基于通用的可编程d s p 芯片的实现方式。数字图像压缩编码，从本质上 来讲也是数字信号处理，而d s p 有着比通用微处理器更适合数字信号处理的优点， 如，采用改进的哈佛总线结构，内部有硬件乘法器、累加器，使用流水线结构， 具有良好的并行特性，并有专门设计的始于信号处理的指令系统等。d s p 芯片的 这些特点使得它非常适合用在对时延敏感的领域，如监控系统中。这种方案具有 灵活的特点，硬件系统设计完成以后，整个系统的升级仅仅是修改软件就可以完 成。美国德州仪器公司( t i ) 、a d 、a t & t 、m o t o r o l a 等公司都推出了具有特色的 d s p 产品。， ( 4 ) 基于f p g a 等可编程逻辑器件开发a s i c 专用芯片来实现图像压缩算法。 得益于f p g a 技术的发展，人们可以利用x i l i n x 、a l t e r a 等公司提供的f p g a 产品 和硬件描述语言，通过可编程的方式用硬件实现特定的图像压缩算法如h 2 6 4 算 法。这种方案由于具有通用性的特点并可以实现算法的并行运算，无论是作为独 立的数字信号处理器，或者是作为d s p 芯片的协处理器，应用都十分方便。如果 能和d s p 有机结合起来，充分利用各自的优点，它们就会发挥出更大的威力。 1 2 2 视频压缩算法研究现状 。 图像压缩编码技术作为图像传输系统中的核心技术，一直受到各国的高度重 视。在过去的几十年来，图像压缩编码技术得到了飞速的发展和广泛的应用。为 ”； 了促进行业的规范化发展，许多标准化组织制定了若干视频压缩标准，这些标准 的制定使得视频编码技术得到了迅速发展和广泛应用。 在静止图像压缩领域，国际化标准组织i s o 和国际电联i t u 于上世纪9 0 年代 制定了j p e g 静止图像压缩标准，这是第一个适用于连续色调、多级灰度、彩色或 者黑白静止图像的国际标准。j p e g 标准由于其优良的压缩性能以及较好的实用性， 使得在近十年来得到了广泛的应用，在国际互联网上传输的静止图像7 0 以上都 是j p e g 格式的【8 1 。然而随着i n t e m e t 和无线通信的发展普及，人们对静止图像压 缩编码技术提出了新的、更高的要求，例如：更高的压缩效率、使用更加灵活、 表现能力更加丰富等。这也促使了静止图像压缩编码技术的进一步发展。从1 9 9 7 年起，为了研制更高性能的静止图像压缩编码的方法，以提高原有的以差值编码 ( d p c m ：d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 和离散余弦变换( d c t ：d i s c r e t e c o s i n et r a n s f o r m ) 为基础的图像压缩编码的性能，国际上为j p e g 2 0 0 0 标准的制 定开始提出各种建议，其目的是为各种类型的静止图像提供一个新的图像编码标 准，并于2 0 0 0 年形成了j p e g 2 0 0 0 的最终标准。该标准以小波变换为基础，比j p e g 在低比特率时具有更好的率失真和主观质量1 2 j 。 4 基于h 2 6 4 的无线视频传输平台的设计与硬件实现 在活动图像压缩领域，相关研究人员尝试了各种新的方法来改进活动图像的 压缩效率，同时形成了多种视频压缩编码国际标准。在1 9 8 8 年初，国际标准化组织 i s o 成立了动态图像编码组织( m p e g ：m o v i n g p i t t t a r e se x p e r t sg r o u p ) 。在之后的 十几年来，m p e g 专家组一直致力于运动图像压缩标准的制定，并形成了一系列 针对视频数据的存储、广播电视和视频流的网络传输等应用场合的视频压缩编码 国际标准，包括m p e g - l 、e g - 2 、m p e g 3 、m p e g - 4 、m p e g 7 、和m p e g 2 1 。 另一个国际标准化组织i t u 也针对实时视频通讯的应用制定了h 2 6 x 系列的视频 压缩编码国际标准，包括h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 4 t 5 1 。 除了上述国际标准以外，中国也在制定具有自主知识产权的音视频编码标准 m a v s 标准，由中国国家信息产业部数字音视频解码标准组在2 0 0 3 年1 1 月底正式 发布草案。a v s 是“信息技术先进音视频编码 系列标准的简称，其性能与h 2 6 4 相当。作为数字音视频产业的共性基础标准，a v s 标准广泛应用于高清晰度和标准 清晰度数字电视广播、激光视盘机、移动多媒体通信、视频会议与视频监控、带 宽网络流媒体、数字电影等产业群。与其它类似的标准相比，a v s 有两大优势：基 于自主技术和部分开发技术构建的开放标准，妥善解决了专利许可问题；中国日 益强大的产业化实力和市场为a v s 提供了良好的土壤【5 】【1 0 】。 1 2 3 视频传输技术发展概况 由于视频信号的数据量大及其对延迟和抖动要求高的特点，视频传输不但要有 较宽的带宽，还要有较好的稳定性和可伸缩性。随着视频压缩技术、通信协议和 传输网络的不断发展，视频的传输的质量正在一步步提高。 多媒体视频网络传输协议，是网络视频传输的一个重要方面。采用好的传输协 议，能够增强传输质量，提高传输的实时性。为了满足日益增长的网络实时视频 传输的要求，国际标准组织制定了一些新的协议，如i p v 6 、r s v p ( 资源预留协议) 、 r t p r t c p ( 实时传输实时传输控制协议) 。i p v 6 比i p v 4 能更好地支持实时数据传 输。r s v p 使得路由器可以为应用流进行资源预留，从而满足该流的服务质量( q o s ) 要求。r t p r t c p 则是网络多媒体的核心协议之一，一般的网络视频传输应用程序 采用具有较好实时性的u d p 协议，并可在u d p 协议的基础上运行r t p r t c p 实 现反馈拥塞控制来保证视频传输质量。r t p r t c p 也需要其它的协议来满足实际情 况下的q o s 的要求。因此，如何针对实际的要求选择网络传输协议，使得在不同 的数据帧、视频对象和各个宏块间合理地分配带宽，以获得最优的视频质量，是 实时视频传输亟待解决的问题。 视频传输的方式，分为有线传输和无线传输。其中有线传输方式又有线缆传输、 光纤传输、宽频共缆传输、双绞线传输、电力载波传输、i p 网络传输等。有线视 第一章绪论 5 频传输普遍具有造价较高、布线困难的缺点。 随着第三代( 3 g ) 个人通信标准、宽带接入网络标准和无线宽带网络设施的 建设，无线多媒体通信技术已经越来越受到人们的关注。3 g 移动通信网在固定应 用上可以达到2 m b p s 的传输速率，在步行速度下维持3 8 4 k b p s ，在车速行进中也可 达到1 2 8 k b p s 。而未来的第四代( 4 g ) 无线通信系统，更可以提供高达1 0 m b p s 的 传输速率。无线a t m ( w 盯m ) 网和无线局域网( w l a n ) 可提供数十兆的传输 速率。在这样的带宽下，实时视频传输将成为可能。在未来几年内，无线多媒体 业务不论在种类、质量还是市场占有率上都将全面超过目前的有线多媒体业务。 目前无线视频传输在技术上仍是一个富有挑战性的课题。这是因为无线信道是 一种时变信道，存在多径衰落；位差错率很高；编码后的视频流是可变速率( v b r ) 的，在网络拥塞或数据突发时丢包严重；当前广泛应用于低码率视频应用中的视 频压缩标准，如h 2 6 x 、m p e g 2 4 等，使用预测编码和可变程度编码来减少帧间 的时间和统计冗余，这些措施可以增大压缩率，但会造成视频信号易受传输误码 的影响。事实上，仅一个比特的差错都有可能造成解码质量的严重下降甚至无法一毋； 解码：对实时传输系统而言，对时延还有极高的要求，这就要求处理速度要快。 本文在无线视频传输方面，采用i s m 频段的无线数字收发方式，设计硬件无线接 口，建立视频通信的物理收发信道，并对无线视频通信的编解码及传输技术进行 初步的研究。 1 3 论文主要研究内容 本论文阐述了静止图像和活动图像编码原理，以及现行的h 2 6 4 活动图像压缩 标准。进一步介绍了无线通信中的几个关键技术。最后研究无线视频传输系统的 结构，设计了一种可行的无线视频传输系统方案。该方案以d s p 数字处理芯片实 现h 2 6 4 压缩算法，以f p g a 可编程逻辑器件控制数据流走向。配合以摄像头、 a d 转换芯片以及无线收发模块，实现了无线视频传输平台终端。 本文的章节安排如下： 第一章：介绍了选题背景，探讨了无线视频传输系统的主要技术和国内外研 究现状。 第二章：介绍无线视频传输系统涉及的主要关键技术，包括视频压缩技术、 多媒体传输控制协议以及网络视频传输技术等。 第三章：提出了基于h 2 6 4 的无线视频传输平台的总体框架方案设计，并简 单介绍了各模块。 第四章：介绍基于h 2 6 4 的无线视频传输平台的硬件实现，给出了仿真结果。 第五章：总结本文所做的主要工作，提出了论文的收获和不足，对下一步系 6 基于h 2 6 4 的无线视频传输平台的设计与硬件实现 统方案的改进进行了展望。 第二章无线视频传输的关键技术 7 第二章无线视频传输的关键技术 2 1 视频压缩的基本原理 由于视频信息的数据量很大，这给存储器的存储容量、通信信道的传输带宽、 以及计算机的处理速度都增加了极大的压力。尤其是对于恶劣的无线传输信道， 如果不经过压缩直接传输视频数据，几乎是不可能的。正因为这样，视频压缩技 术成为了视频传输技术中的关键所在。 虽然表示图像和视频信息需要占用海量数据，但是数据并不完全等价于信息。 数据时信息的载体，同样的信息可以由不同长度的数据进行描述。数字视频具有 多种相关性，如果能够去除由相关性造成的各种冗余，就能够实现对原始视频信 号的有效压缩。一般而言，数字视频信号中的冗余可以归为如下几类【2 】： ( 1 ) 空间冗余 作为视频基本元素的数字图像是对模拟视频信号空间采样得到的，因而构成图 像相邻像素之间具有较强的相关性，即这些相邻像素之间的像素值通常相差不大。 各像素的数值可由其临近像素的数值预测出来，每个独立的像素所携带的信息相 对较少，这种像素间的冗余就称为空间冗余或几何冗余。 ( 2 ) 时间冗余 由于视频信号本质上市一系列连续的图像，为了达到连续的视觉效果，视频帧 与帧之间的采样间隔很小。对于2 5 币s 的视频信号，其间隔仅为o 0 4 s 。因此相邻 两幅图像之间也存在着很强的相关性。对于静止不动的场景，当前帧和前一帧的 图像内容是完全相同的；对于场景中的运动目标，如果知道其运动规律，也可以 很容易地从前一帧图像推算出它在当前帧终端大致位置。这就是视频序列中的时 间冗余。在编码过程中可以充分利用这种相关性，采用相应的编码策略。 ( 3 ) 心理视觉冗余 在大多数情况下，视频编码系统的最终接收者是人类视觉系统。而人类视觉系 统具有非均匀和非线性的特点，所感知的图像亮度不仅仅和目标的反射光强有关， 同时也会受到相邻区域光强的影响。在某些情况下，即便是在灰度值为常数的区 域也能感觉到灰度值的变化。此外人类视觉系统并不是对所有视觉信息都具有相 同的敏感度。视频中的部分信息在通常的感知过程中与另外一些信息相比而言不 那么重要，如图像信息在一定幅度内的微小变化是不能被人眼所感知的。上述这 些特征都可以认为是心理视觉冗余的，去除这些信息并不会明显地降低人们所感 8 基于h 2 6 4 的无线视频传输平台的设计与硬件实现 受到的图像质量。 ( 4 ) 编码冗余 如果对图像的所有信息都使用长度相同的符合进行标示，将使用较多的比特才 能够完全标示图像中的灰度和颜色信息。例如，对于2 个灰度级使用自然码进行 编码，平均码字长度为。为有效表示图像信息中的像素，理想情况是按照像素 信息熵的大小为其分配相应的比特数。而在实际情况中，很难计算出像素的具体 信息熵。在进行图像的采样和量化时一般的方法是对所有的像素都分配相同的比 特数，此时编码所用的码本不能使平均比特数达到或接近熵值。在这种情况下必 然存在熵编码冗余。 上述四种类型的冗余便是数字视频压缩的理论依据和出发点，如果能去除这些 冗余，就可使原始图像数据量大大的减少，从而解决图像数据量大的问题。 一个典型的视频编解码系统由如下各部分构成【2 】：视频编码器、视频解码器、 信道编码器、信道解码器。图2 1 给出了视频编解码系统的原理框图。当输入视 频信号送入编码器后，编码器根据当前帧和相邻帧进行编码产生一组码字，这组 码字再进一步被信道编码器编码后进入通信信道。通过通信信道传输后被依次送 入解码器中的信道解码器和信源解码器，重建原始视频图像。此时所获得的视频 图像可以是与原始输入视频完全一致的( 无损编码) ，也可以是原始输入视频的近 似图像( 有损编码) 。 编码器解码器 图2 1 视频编解码系统原理框图 编码器由信源编码器和信道编码器两部分构成。信源编码器的作用是在保证传 输视频质量的前提下尽可能地减少输入视频信号的各类冗余。信源编码器和信源 解码器的原理框图如图2 2 所示。 第二章无线视频传输的关键技术 9 信源编码器 广一一一一一一一一一一一。一一一一一一一一一一一一一一一一一一一一一一一i l 一一一一一一一一一一一一一一一一一一一一一一一一一一一一- 一一一一一一j 信源解码器 图2 2 信信源编码器和信源解码器模型 在图2 2 中，变换器的功能是将输入图像转化成更适合高效压缩的表示形式， 减少原始图像数据间的相关性，去除图像的空间冗余，将图像信息集中到少数系 数上。典型的变换包括小波变换、线性预测变换、分形变换、多分辨率变换和正 交变换等。量化器对变换后的信息数据按一定的规则作近视表示，使其幅值的大扎。 小为有限个数。量化器的目的是去除心理视觉冗余和视频图像的时间冗余。编码 器对量化后的数据进行编码，消除符号编码冗余，一般不会带来信息损失。 。 图像和视频压缩编码方法的分类没有统一的标准，从不同的角度出发有不同的。“。 分类方法【6 】。第一种分类方法：从编码前后信息是否有损失的角度出发，分为有损 压缩编码和无损压缩编码。无损压缩编码也称为熵编码或者信息保持编码，这种 压缩编码尽量去除图像中的冗余部分，保证不丢失其中任何有用的信息，从而保 证被压缩的图像解码恢复后与原图像保持一致，无失真地恢复原来的图像。有损 压缩编码则是在压缩过程中损失部分信息熵，它是一种失真编码，也就是说以丢 失部分有用信息为代价来获得相应的压缩效果。 常用的无损编码方法有霍夫曼编码、算术编码和游程编码。这三种无损编码方 法已经被各种图像和视频编码国际标准所采用。在h 2 6 x 和m p e g x 中都采用游 程编码加霍夫曼编码或者游程编码加算术编码的形式对信源变换和量化后的系数 进行进一步压缩，以达到信道码率要求。 第二种分类方法：按照压缩技术所依据和使用的数学理论和计算方法，分为统 计编码、预测编码、变换编码和矢量量化编码等。常见的变换编码有k - l 变换、 d c t 、小波变换等。 第三种分类方法：按照描述图像或视频源的信源模型来进行分类，可分为基于 波形编码和基于内容编码两类。基于波形编码的信源模型通常是采用像素来表示 图像的，像素是最基本单元，尽可能精确地用像素值表示在该像素点的光强和颜 色值，不考虑一组像素可能代表一个具体物理对象这一事实。前两种分类方法中 提到的熵编码、变换编码、预测编码等都属于此类，这类编码技术也称为第一代 l o 基于h 2 6 4 的无线视频传输平台的设计与硬件实现 视频编码技术。另一类是其信源模型的基本单元不是像素而是对象的编码方法， 称为基于内容( 对象) 的编码技术。它把一帧图像分割成许多不同对象并独立地 编码这些对象。对于每一个对象，要编码和发送的信息是对象的运动、纹理和形 状信息。基于对象的分析综合编码、物体基编码和语义基编码都属于这一类。显 然，以对象特征信息来描述图像是一种比用像素来描述的更高层次的编码方法， 可以达到更高的压缩率。 2 2h 2 6 4 视频编码标准 2 0 0 1 年，国际电信联盟视频编码专家组( i t u tv c e g ) 和国际标准化组织运 动图像专家组( i s om p e g ) 合作形成了联合视频组t ( j o i n tv i d e ot e a m ) ，以 h 2 6 l 作为开始，共同研究开发新的低比特率视频标准，并于2 0 0 3 年正式推出了 h 2 6 4 a v c 标准，全文为h 2 6 4 m p e g - 4p a r t10a v c ( a d v a n c e dv i d e oc o d i n g ) ， h 2 6 4 几w c 是i t u 的正式名称，其m p e g 的正式名称是m p e g 4p a r t1 0 。 尽管h 2 6 4 编码的基本结构与以前的视频压缩标准类似，仍然采取的是传统的 混合编码，但引入了多种新编码技术，从而导致h 2 6 4 性能的极大提高。与m p e g 2 和m p e g - 4 相比，h 2 6 4 的编码效率提高了5 0 左右。该标准还引入了面向i p 包 的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。具有较 强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。同时， h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。 作为新一代的编码视频标准，h 2 6 4 在追求高编码效率和简洁表达形式的同时 也提供了非常好的视频质量，是当前最高效的视频压缩方法。基于h 2 6 4 以上优 点，本无线视频传输系统采用h 2 6 4 作为压缩编码方法。 h 2 6 4 的码流在结构上可以分为两层：视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 。视频编码层主要规定如何有效 地表示视频内容，即视频编码的问题。经过视频编码后的数据为v c l 数据，在传 输和存储前映射到网络提取单元。网络提取层规定网络传输规范，把v c l 数据封 装成若干网络提取单元，以包的形式传送。在v c l 和n a l 之间定义了一个基于 分组方式的接口，打包和相应的信令属于n a l 的一部分。这样，高编码效率和网 络友好性的任务分别由v c l 和n a l 来完成。视频编码层( v c l ) 包括v c l 编码 器和v c l 解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换 编码、熵编码等压缩单元。 在讨论h 2 6 4 新技术特点之前，先介绍一下h 2 6 4 视频编码原理，图2 3 为h 2 6 4 编码器的功能组成框图，其中c 为当前预编码帧，它是以宏块为单位进行编码处 理的，每个宏块以帧内或帧间模式进行编码。e 一。是指之前已经解码的多个参考帧， 第二章无线视频传输的关键技术 在帧间编码模式中宏块根据参考帧昧l 进行运动估计( m e ，m o t i o ne s t i m a t i o n ) 和 运动补偿( m c ：m o t i o nc o m p e n s a t i o n ) ，从而得到预测值尸。预测值尸与当前帧c 相减后得到残差值，再对该残差值进行编码变换丁和量化q ，得到量化系数；最后 经过熵编码输出到网络提取层n a l 。为经过滤波得到的重构图像，它将被放入 参考帧存储器中，作为下一帧或几帧的参考帧之一。 i厂 = ：r 1 1 三= 厂 他舆 l j 一 7 二：= i 一 预舅衄 一内 1 r = j 。10。 ：= 。e = = 图2 3h 2 6 4 编码器结构框图 h 2 6 4 主要针对】，：u ：v = 4 ：2 ：0 采样的视频序列进行压缩编码。从图2 3 中可 见，与以前标准( 如h 2 6 1 、h 2 6 3 ) 一样，h 2 6 4 也是采用预测加变换编码的混合 编码结构，即将图像划分成块，以宏块作为基本处理单元，对所有宏块的亮度和 色度信号进行空间或时间预测，然后对预测的残差信号进行变换、量化和熵编码。 h 2 6 4 在编码中引入了一系列新技术，大大提高了编码效率，更贴近实际应用。 这些新技术包括【7 】【8 】： ( 1 ) 多种帧内预测模式：h 2 6 4 对帧内编码作了进一步的改进，引入了类似 于帧间编码的帧内预测方法，对编码宏块进行不同模式的帧内预测，然后对预测 误差信号进行d c t 变换，避免了以往帧内编码数据量大，在强制刷新、码流控制 以及增加抗误码性能时进行帧内编码造成的码率不平稳现象。帧内4 4 亮度块共 有9 种可选帧内预测模式，帧内1 6 1 6 亮度块共有4 种可选帧内预测模式。而帧 内8 8 色度块有4 种预测模式。 ( 2 ) 高精度的运动估计：在h 2 6 4 中亮度运动矢量的估计达到l 4 像精度， 而色度分量的运动估计精度达到1 8 个像素。运动估计的精度越高，则帧间剩余误 差越小，传输码率越底，压缩比越高。理论上，如果将运动补偿的精度增加一倍 ( 例如从整像素精度提高到l 2 像素精度) ，可有o 5 b i t s a m p l e 的编码增益，但实 际验证发现在运动矢量精度超过i 8 像素后，系统基本上就没有明显增益了，因此， 在h 2 6 4 中，只采用了1 4 像素精度的运动矢量模式，而不是采用1 8 像素的精度。 ( 3 ) 小尺寸4 x 4 整数变换：h 2 6 4 采用小尺寸的4 4 块，这样尺寸变小了， 1 2 基于h 2 6 4 的无线视频传输平台的设计与硬件实现 运动物体的划分变得更加精确。此外可以减小图像变换过程中的计算量和运动物 体边缘的衔接误差。h 2 6 4 不仅使图像变换块尺寸变小，而且该变换是整数操作， 不存在编码器和解码器的变换和反变换间的“反变换误差”。 ( 4 ) 可变尺寸块运动补偿：h 2 6 4 采用了不同大小和形状的宏块分割方法。 如图2 4 所示，一个1 6 x 1 6 亮度宏块可以按照1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 或8 8 四种方 法进行分割。对于8 8 分割，还可以进一步划分成8 x 8 ，8 4 ，4 x 8 或4 x 4 共4 种形状的子块。这些宏块的分割方法将会使得每个宏块中包含有不同大小的子块。 利用各种大小的块进行运动补偿的方法称为树结构运动补偿( t r e es t r u c t u r em o t i o n c o m p e n s a t i o n ) 。 模式1 ( 1 6 x 1 6 )模式2 ( 1 6 8 )模式3 ( 8 1 6 ) 模式4 ( 8 8 ) 子模式l ( 8 8 ) 子模抛 ( 8 4 ) 子模式3 ( 4 x 8 ) 图2 4 七种块划分模式 子模式3 ( 4 ) ( 4 ) ( 5 ) 多参考帧运动补偿：在h 2 6 4 中，允许采用多个参考帧来进行运动补偿， 这在很多自然场景的周期变换以及镜头在两个场景中交替转换等情况下可以提高 编码效率。在这种模式下，对某一个块进行运动估计时，编码器会从过去的一个 或几个刚刚编码过的参考帧中选定一帧作为参考帧，并指出是哪个帧被用于预测， 这样可以获得更好的预测效果。多参考帧的引入给运动估计带来了更大的灵活性， 也提高了估计的精度，降低了码率。但是，由于具有多个参考帧，因而需要更多 存储空间来存储参考图像，同时，在运动估计时，需要遍历当前所有的参考帧， 运算量更大。 ( 4 ) 统一的熵编码：h 2 6 4 采用一致变长编码( u v l c ，u n i v e r s a lv a r i a b l e l e n g t h c o d i n g ) 和基于上下文的二进制算数编码技术( c a b a c ，c o n t e x t - a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) ，u v l c 编码方式具有简洁、规范的特点，编码可以实时完成 而无需浪费空间来存储映射码表。这是h 2 6 4 中默认的熵编码方式。c a b a c 复杂 度比u v l c 的方式大，但在同等编码质量的前提下可以节约1 0 1 5 的码率， 编码性能优于后者。 ( 5 ) 环路滤波技术：在基于块的视频编码中，常会产生“块效应”，对图像 第二章无线视频传输的关键技术 质量有非常大的影响，主要是由于对块进行预测、变换、量化时造成的。在h 2 6 4 中，采用了环路滤波器技术来消除块效应。根据块边缘信息的不同采用不同的滤 波权重，因而可以在有效消除块效应的同时又不影响图像的锐度。图2 5 表示了没 有使用( 左) 和使用( 右) 滤波器分别解码后的图像对比。很明显，滤波处理能 够去除大部分明显存在的块效应，改善图像的主观效果。 图2 5 滤波前后的图像对比图 2 3 视频无线传输的差错控制 高效率的数据压缩性能，低失真的图像视频压缩效果是各种视频编码技术和编 码标准所追求的一个目标。对于视频通信来说，高效率的视频压缩编码意味着相 同带宽的信道可以传输更高质量的视频信息。然而，高效率的视频压缩编码，意 味着去除了视频图像大量的空间相关性和时间相关性，使得编码端输出比特流的 冗余信息很少，因而导致视频码流对传输中产生的差错( 误码) 非常敏感。一旦 传输中出现误码，不仅影响该误码数据的恢复，还会影响与之相关的其它数据的 恢复，造成“误码扩散”，影响视频重建质量，严重的情况下解码器会中断码流的 解码。因此，对于高性能的视频通信系统，考察视频编码技术性能除了编码效率 之外，还有一个非常重要的指标是视频通信中的抗误码性能，或者说视频传输的 鲁棒性。 针对误码易发环境进行差错控制有以下三种方式1 6 j ： 1 面向预防的方式，即所谓的抗误码编码e r c 。抗误码编码包括分层编码、多 重描述编码m d c 以及可靠性熵编码、信源信道联合编码等多种方式。 2 面向补偿的方式，即所谓误码掩盖，它的任务是在接收端收到被损坏的视频 流后，通过误码掩盖尽可能产生对视觉影响不大或人眼可以接受的图像。 3 面向交互的方式，即利用反向信道消除传输误码或者减少误码的传播。例如 h 2 6 3 + 和m p e g 4 均采用的参考帧选择的方法就属于这种类型。 1 4 基于h 2 6 4 的无线视频传输平台的设计与硬件实现 2 3 1 面向预防的差错控制 面向预防的差错控制，实际上就是根据所传输的视频内容、网络特性等因素在 发送端有意识地、有针对地适当降低视频编码效率，增加抗误码能力。信源编码 器和信道编码器是视频信号发送端的两个重要环节，许多面向预防的抗误码技术 都是从编码器上进行设计的。下面着重从信源编码、信道编码以及信源信道联合 编码方法来提高抗误码性能。 ( 1 ) 分层编码与多描述编码【7 】 分层编码是指将视频信号编码成一个基本层( b a s i cl a y e r ) 和多个增强层 ( e n h a n c e m e n tl a y e r ) 。其中基本层包含视频信号的基本信息，通过它可以恢复出 一定质量的视频信号；增强层包含视频信号的细节信息，可以提高视频质量。解 码器能根据不同的带宽条件或解码能力选择不同质量的视频。常见的形式有m p e g 和h 2 6 x 中s n r 分级、空域分级和时域分级等。图2 6 为一个两层解码传输系统 示意图。 视频 图2 6 传输优先分级的分层网络编码框图 分层编码具有一定的抗误码性能，因为编码后的码流中仍然存在着一定的冗余 信息。这是因为：一是为了避免误码扩散，增强层往往采用帧内编码的方式进行 编码：二是每层都需要相同的附加信息( 如编码头信息、运动矢量和编码模式等) 。 分层编码产生的压缩码流具有不同程度的重要性，因此很适合采用不等错误保 护机制u e p 。不同层必须配以不同的保护等级，基本层尤其应受到有力的保护， 使其受损程度低甚至不受损，从而保证接收端总可以得到一定质量的重建视频信 号。 分层编码以一定的压缩效率和系统复杂度为代价，及时误码发生，图像质量也 仅有轻度恶化。一般说来，分层编码的功能要求增加编码器和解码器的复杂程度， 信源编码和传输层都要付出额外的比特消耗来支持这种功能。 分层编码虽然对视频传输的鲁棒性本身没有直接的贡献，却非常有利于提高视 频编码对信道状况的适应能力。例如，将分层编码与不等错误保护机制相结合， 第二章无线视频传输的关键技术 1 5 就可以构成有效抗误码的信源信道联合编码方案。 多描述编码(