（电力系统及其自动化专业论文）多dsp远程视频监控系统软件设计与实现.pdf

西南交通大学硕士研究生学位论文第1 i 页 a b s t r a c t t h ev i d e om o n i t o r i n gs y s t e mc h a r a c t e r i z e db yi n t u i t i o n i s t i cv i e wa n dd e t a i l e d c o n t e n ti sw i d e l ya p p l i e di nt h ed o m a i n so fs e c u r i t y , p r o d u c t i o n ，a n de t c a n dw i t h t h e i n c r e a s i n gd e v e l o p m e n t s i nt h ee m b e d d e dt e c h n o l o g y , t h ec o m m u n i c a t i o n t e c h n o l o g ya n dt h em u l t i m e d i at e c h n o l o g y , t h ee m b e d d e dr e m o t ev i d e om o n i t o r i n g s y s t e mb e c o m e st h ef o c u so fr e s e a r c ha n dd e v e l o p m e n t t h ee m b e d d e dr e m o t ev i d e om o n i t o r i n gs y s t e mm a i n l yc a p t u r e s e n c o d e sa n d t r a n s i t st h el o c a lv i d e oi n f o r m a t i o n u s i n gh i g h s p e e dd i g i t a lm u l t i m e d i ap r o c e s s c h i pt m s 3 2 0 d m 6 4 2 ，am u l t i p l ed s p sr e m o t ev i d e om o n i t o r i n gs y s t e mi sd e s i g n e d i nt h i sp a p e r , w h i c hh a st h ef u n c t i o n so fm u l t i p l ec h a n n e l sh i g h - s p e e dv i d e oc a p t u r e a n dh i g h l ye f f e c t i v ec o d i n g c o m p r e s s i o n t h es y s t e mt r a n s m i t st h ev i d e od a t ab a s e d o ni n d u s t r ye t h e m e ta n dt c p i pp r o t o c 0 1 t h eb a s i cp r i n c i p l ea n dt h eh a r d w a r es t r u c t u r eo ft h es y s t e ma r eb r i e f l y a n a l y z e di nt h et h e s i s t h ep a r to ft h es o f t w a r ed e s i g no nt h i ss y s t e mi sm a i n l y d e s c r i b e d t h r o u g ht h er e s e a r c ho nt h ed e s i g nm e a n so ft id s ps o f t w a r e t h e p e r i p h e r a ld r i v e ra n dv i d e oc a p t u r ep r o g r a mm o d u l eb a s e do nd d l 己a n dt h ev i d e o t r a n s i t i o np r o g r a mm o d u l eb a s e do nn d ka r ed e s i g n e do nt h ec c s 2 2p l a t f o r m , w h i c hr e a l i z et h ev i d e or e a l t i m ec a p t u r ea n dr e m o t et r a n s i t i o nf u n c t i o n o nt h e b a s i so ft h em a c r o c o s mr e s e a r c ho ft h eh 2 6 4v i d e oe n c o d i n ga r i t h m e t i c t h eh 2 6 4 a r i t h m e t i ci ss u c c e s s f u l l yt r a n s p l a n t e di n t ot h ep l a t f o 册o fd m 6 4 2d s p , c o m b i n e d w i t ht h ep r o g r a mm o d u l e so ft h ev i d e oc a p t u r i n ga n dn e t w o r kt r a n s i t i o n ，r e a l i z et h e f u n c t i o n so fr e m o t ev i d e om o n i t o r i n g t h em u l t i p l ed s p sc o m m u n i c a t i o ni s r e s e a r c h e di nt h i st h e s i s ，a n dt h ed e s i g nt h e m eo ft h es o f t w a r ei sp r e s e n t e da b o u t m u l t i p l ed m 6 4 2c o m m u n i c a t i o n m e a n w h i l e t h eo p t i m i z i n go ft h ed s ps o f t w a r ei s d e e p l yr e s e a r c h e d t h eo p t i m i z i n gt h e m eo ft h es o f t w a r e o nt h i s p l a t f o r m i s p r o v i d e d , w h i c he n h a n c e dt h er e a l t i m ep e r f o r m a n c em u c h t h ee m b e d d e dr e m o t ev i d e om o n i t o r i n gf u n c t i o ni sr e a l i z e di nt h i st h e s i s o t h e r w i s et h ev i d e or e a l t i m ed i s p l a ys o f t w a r eo fm o n i t o r i n gc e n t e ri sd e s i g n e d u s i n gt h e d i r e c t s h o wt e c h n o l o g yo nv c + + e n v i r o n m e n t w h i c hr e a l i z e dt h e f u n c t i o n so fr e c e i v i n g ，d e c o d i n ga n dd i s p l a y i n gf o rt h er e m o t ev i d e om o n i t o r i n g d a t a t h ef u n c t i o nf i o mt h er e m o t ev i d e om o n i t o r i n gt or e a l t i m ed i s p l a yo ft h e m o n i t o rc e n t e ri sr e a l i z e di nt h i sp a p e r ，w h i c hw i l lb et h eb a s i so ft h es y s t e m 西南交通大学硕士研究生学位论文第1 il 页 u p g r a d e ，s o f t w a r eo p t i m i z a t i o ni nt h ef u t u r e k e yw o r d ：m u l t i p l ed s p s ；v i d e om o n i t o r i n g ；d m 6 4 2 ；h 2 6 4 ；d i r e c t s h o w 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导f 独立进行研冗工作所 得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名二渺 日期：溯j 弓7 西南交通大学曲南爻迥大手 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书： 2 不保密使用本授权书。 ( 请在以上方框内打“ ) 学位论文作者签名渺 日期：之研玉弓i ， 指导老师签名：0 弋一飞f 日期：埘s - 弓j 西南交通大学硕士研究生学位论文第1 页 1 1 课题的研究意义 第1 章绪论 随着计算机、通信等技术的发展，电力系统自动化程度不断提高。变电站 无人值守趋势明显，利益可观。变电站综合自动化系统主要实现传统的“四遥 功能，即遥测、遥信、遥控和遥调。为实现变电站无人值守运行，传统的“四 遥”功能已明显不足，很多学者提出“第五遥 ，即“遥视”。所谓“遥视是 指通过摄像头获取变电站现场运行的图像信息，经过压缩等处理后，将视频流 实时通过网络传送至调度中心，再在调度中心对传送过来的压缩视频流进行解 压等处理后实时显示，根据需要对采集到的数字视频图像进行分析、处理以达 到远程实时监控的目的。 目前，变电站内也存在一些常规的警戒系统，这些警戒系统一般是通过采 用各种不同工作原理的传感器( 例如红外线探测器、超声探测器、微波探测器、 烟感探测器等) 得到警报信号，这些传感器的弊端在于其探测范围受限于一个 很小的局部区域。“遥视可对变电站环境和变电站内外设备等状况进行全面监 视，如是否发生火灾，是否有非法闯入，还可检查设备仪表，断路器状态、变 压器漏油等。“遥视 还可以大大减少人力物力资源，降低维护费用。 现有的视频监控系统主要分三类：模拟视频监控系统，p c 机监控系统及嵌 入式视频监控系统。模拟视频监控系统是将远端摄像头采集的模拟视频信号通 过电缆直接发送到监控中心的监视器上。模拟系统设计、制造比较简单，但是 传送距离比较短，安装、使用以及数据的保存都比较困难。基于p c 机卡的远程 图像监控系统由机插视频卡构成，在监控现场，由若干个摄像机、各种检测、 报警探头及数据设备等构成，通过各自的传输线路连接到监控工控机上。除了 处理各种信息和完成本地所要求的各项功能外，系统利用视频压缩卡和通信接 口卡，通过网络将信息传输到一个或多个监控中心。这种监控系统虽然实现了 视频监控的基本功能，但其可靠性差，视频前端较复杂，需专人管理。嵌入式 视频监控系统却具有不可比拟的优势，与模拟视频监控系统相比，具有传送距 离远，图像质量好，安装、使用以及数据的保存都很简单等特点；与p c 机监控 系统相比集成度高，可靠性好等特点。 西南交通大学硕士研究生学位论文第2 页 纵上所述，“遥视”在实现无人值守领域起到了十分重要的作用。利用视频 处理、通信等技术实现变电站远程实时视频监控系统具有十分重要的意义。采 用这种远程视频监控设备也是电力系统发展必然趋势。因此，本课题构建了一 个基于d m 6 4 2d s p 的嵌入式远程视频监控系统，文章对该平台的软件进行了详 细设计与实现。 1 2 视频监控发展及现状分析 1 0 多年来，视频监控系统的发展大致经历了三个阶段，从模拟图像监控阶 段，p c 多媒体监控阶段发展到了嵌入式视频监控阶段盯川1 ： 1 本地模拟视频监控。在2 0 世纪9 0 年代初以前，视频监控系统主要是以 模拟设备为主的闭路电视监控系统，图像信息采用视频电缆，以模拟方式传输， 一般传输距离不太远，主要应用于小范围内的监控，监控图像一般只能在控制 中心查看。本地模拟信号监控系统主要由摄像机、视频矩阵、监视器、录像机 等组成，利用视频传输线将来自摄像机的视频连接到监视器上，利用视频矩阵 主机，通过键盘进行切换和控制，录像采用录像机存储到磁带上。 传统的模拟视频监控系统具有很多局限性，如：视频信号传输距离近，监控 范围小；视频监控无法联网，只能以点对点的方式监视现场，并且布线工程量 极大；视频信号数据的存储耗费大量的存储介质( 如录像带) ，而且查询时十分 烦琐等。 2 基于p c 的多媒体监控系统。2 0 世纪9 0 年代中期，基于p c 的多媒体监 控随着数字视频压缩编码技术的发展而产生。系统在远端有若干个摄像机、各 种检测和报警探头及数据处理设备，获取图像信息，通过各自的传输线路连接 到多媒体监控终端上，然后再通过通信网络，将这些信息传到一个或多个监控 中心。监控终端机是一台p c 机或工业控制机。 这类监控系统功能较强，便于现场操作；但稳定性不够好，结构复杂，可 靠性不高，功耗高，费用高；需要有多人值守；同时，传输距离明显受限。p c 机也需专人管理，特别是在环境或空间不适宜的监控点，这种方式不理想。 3 远程嵌入式视频监控系统。随着网络技术的发展，基于嵌入式的远程视 频监控逐渐成为热点。嵌入式远程视频视频监控系统是把摄像机输出的模拟视 频信号通过嵌入式处理器等处理芯片，转换成i p 数字信号。嵌入式视频编码器 具备视频编码处理、网络通信、自动控制等强大功能，直接支持网络视频传输 西南交通大学硕士研究生学位论文第3 页 和网络管理，使得监控范围达到前所未有的广度。 嵌入式远程视频监控系统克服了模拟闭路电视监控的局限性，较p c 多媒体 监控系统也有着非常明显的优势叫： 1 嵌入式远程视频监控系统以数字化视频，通过计算机网络( 局域网或广 域网) 传输图像数据，系统集成度高，基本不受距离限制，信号不易受干扰，可 大幅度提高图像品质和稳定性。 2 嵌入式远程视频监控系统可利用计算机网络联网，网络带宽可复用，布 线方便，简单。 3 嵌入式远程视频监控系统利用数字视频压缩技术伎视频数据量大幅减 小，促使视频数据的传输和存储更加容易，并且查询也十分便捷。 1 3 论文研究的主要内容 本论文主要以变电所远程视频监控为背景。设计了一个多d s p 视频监控平 台，以t id s p 为核心处理芯片，采用n 2 6 4 视频编码标准，实现了多路模拟视 频信号到数字视频信号编码，压缩，网络传输功能，并在监控中心主机上实现 了视频实时解码及显示等功能。本文主要负责该系软件设计，论文的组织结构 如下： 第一章说明了课题研究的意义，分析了视频监控系统的发展及现状。 第二章阐述了本课题所采用的视频监控系统相关技术，主要包括d s p 技术， 视频编码技术和d i r e c t s h o w 技术。首先，文中介绍了d s p 相关技术及d s p 处理 器的特点，并对目前视频处理主流集成电路进行了简单比较分析；其次，对视 频压缩原理进行了阐述，介绍了目前最新编码标准h 2 6 4 的闪亮技术；最后， 对d i r e c t s h o w 技术的基本概念及框架理念进行了分析。 第三章对本文所设计的视频监控系统硬件架构及工作原理进行了简要分 析，阐述了d m 6 4 2d s p 芯片的流水线结构，片内存储器的特性，并对板卡所用 芯片的特点进行了简单说明。 第四章对t id s p 软件开发进行了深入研究，设计了基于t id d k 开发包的 d m 6 4 2 视频驱动代码，基于n d k 的网络通信及视频传输代码，通过对h 2 6 4 视频 压缩算法的研究，成功地将其集成到d m 6 4 2d s p 视频程序中。并对软件的整体 框架及各个模块的工作流程进行了详细分析，所设计的程序模块基本实现了嵌 入式视频监控系统的视频采集，压缩及传输功能。 西南交通大学硕士研究生学位论文第4 页 第五章对d i r e c t s h o w 技术中f i l t e r 设计过程进行了简单介绍，给出了p c 机视频监控显示软件整体框架及设计流程，实现了对网络视频数据的接收，解 码，及实时播放功能。 西南交通大学硕士研究生学位论文第5 页 第2 章远程视频监控系统相关技术 嵌入式远程视频监控系统主要依托嵌入式系统平台，采用视频压缩技术， 网络通信技术，构建集成度高，可靠性高，功耗低，成本低，体积小，集视频 采集，视频压缩，视频传输于一体的实时监控系统。本章针对嵌入式远程视频 监控系统平台所涉及的关键技术进行介绍，主要包括d s p 技术，h 2 6 4 视频编 码技术和d i r e c t s h o w 多媒体处理技术。 2 1d s p 技术 随着数字化产品的广泛应用，数字信号处理逐渐显示了其重要地位，数字 信号处理的任务，尤其是实时数字信号处理的任务，主要由d s p 处理器来完成。 因此，d s p 技术逐渐成为数字信息时代的核心引擎。 2 1 1 d s p 技术的发展 在d s p 技术的发展中，大致可分为三个阶段口1 1 3 1 ： 第一阶段，二十世纪六十年代至七十年代。这个阶段是数字信号处理技术 提出及其理论研究的阶段。在d s p 出现之前，人们只是在通用数字计算机上进 行算法的研究和处理系统的模拟和仿真n5 1 ，数字信号处理也只能依靠m c u 微处 理器来完成。但由于微处理器处理速度较低，无法满足实时数字信号处理需求。 到了7 0 年代，有人提出了d s p 的理论和算法基础。但那时的d s p 还是偏向于理 论应用。1 9 7 9 年美国i n t e l 公司发布的商用可编程器件2 9 2 0 是d s p 芯片的一 个主要里程碑，但是芯片内部都没有现代d s p 芯片所必须有的单周期乘法器n 利。 其应用领域仅局限于军事、航空航天部门。 第二阶段，到了八十年代，随着电子与集成电路技术的飞速发展，为d s p 处理器的实用化提供了条件。1 9 8 2 年，美国t i 公司推出了第一代定点d s p 芯片 t m s 3 2 0 1 0 4 。，这对实时数字信号处理技术的发展产生了重大意义。随后，其它 公司也纷纷推出了系歹u d s p 处理芯片。这类早期的d s p 芯片，一般采用n m o s 技术， 相对于以前的微处理器( m p u ) ，在数字信号处理方面有了很大的提高。这些第一 西南交通大学硕士研究生学位论文第6 页 代芯片的出现，揭开了d s p 器件在高速、实时信号处理领域广泛应用的序幕。在 整个八十年代中，d s p 芯片经历了第二代( c m o s 技术) 和第三代两次技术的革新与 发展，其应用领域也从最开始的语音处理与合成逐步扩展到图像处理、通信等 方面。 第三阶段，进入二十世纪九十年代，伴随着多媒体技术的发展以及 i n t e r n e t 网络的普及，对d s p 技术也提出更高的要求，同时也促进了d s p 的快 速发展。这十几年是d s p 技术发展最为迅速的时期，相继出现了第四代和第五 代d s p 器件。除了继续采用改进的哈佛结构、专门的累加器等技术外，还引入 了流水线结构、并行指令集、多核结构和超长指令集等先进的处理器技术。并 且，在电子技术快速发展的推动下，芯片越来越小，电压、功耗越来越低，芯 片集成度越来越高，处理速度越来越快。全球最大的d s p 供应厂家t i 公司也陆 续推出了2 0 0 0 ，3 0 0 0 ，4 0 0 0 ，5 0 0 0 系列高性能处理器。在1 9 9 7 年，t i 公司推 出了具有里程碑意义的d s p 芯片一t m s 3 2 0 c 6 0 0 0 系列d s p ，这是目前处理和运算 能力最强的d s p 芯片系列。已被大量应用于移动通信基站、图像视频处理等高 速、大数据量的实时信号处理方面。 2 1 2d s p 处理器结构特点 d s p 之所以可以在数字信号处理领域具有一席之地，主要在于d s p 结构体 系。d s p 既有并行的高性能处理结构，也有低功耗的特点，而且d s p 集成有闪 存接口，u s b 接口，p c i 接口，视频接口，音频接口等多种外设，甚至还集成 c p u 核，这些特点使得d s p 处理器性能突出。而且d s p 处理器具有以下几种特 殊结构，使其更适用于数字信号处理方面的应用n 4 1 6 1 ： 1 哈佛结构。d s p 采用哈佛结构，该结构是不同于传统的冯诺依曼结构的 并行体系结构。这种结构将存储器空间分成程序存储空间和数据存储空间，程 序和数据存储在两个互相独立的存储空间中，每个存储器独立编址，独立访问。 与两个存储空间对应的设置了有p b ( 程序总线) 和d b ( 数据总线) 两组总线连 接到处理器核，允许同时对两个空间进行访问。处理器存贮器的带宽加倍，取 指和执行能完全同时重叠运行。在这种结构易于实现单周期指令。为了进一步 提高运算速度和灵活性，许多d s p 采用了高速缓冲器，指令和数据均可在高速 缓冲器中缓冲，良好的解决了外存和快速c p u 核之间速度差异，减少了指令执 行周期。 西南交通大学硕士研究生学位论文第7 页 2 专用的硬件乘法器。硬件乘法器是d s p 处理器与通用处理器的重要区别。 通用处理器中乘法是由软件完成的，即通过加法和移位实现，这种处理需要多 个指令周期才能完成；而采用专用的硬件乘法器的d s p ，可以使乘法累加在单 个周期完成。在数字信号处理领域中，乘法和加法是最多的运算，如：f i r 滤 波、卷积和f f t 运算等算法，都可以用y = a * b + c 的运算结构来表示，这充分体 现了专门硬件乘法器结构的好处。 3 流水结构。与哈佛结构相关，d s p 芯片采用流水结构以减少指令执行时 间。d s p 执行一条指令，需要通过取指令，译码和执行三个阶段。在执行过程 中，这几个阶段可并行执行，并且在每个阶段中又分为多个流水结构。若采用 顺序结构，一个周期只能执行一个操作，而通过这种结构可使多个阶段中的操 作同时执行，大大缩短了指令执行时间，使其更适合于实时信号处理。 4 采用特殊指令。许多d s p 处理器针对数字信号处理，设计了一些特殊的 d s p 指令。如：t i 公司c 6 0 0 0 系列的s t d ( 数据存储指令) ，l t d ( 数据加载指令) ， m p y ( 乘法指令) 等。并且增设了许多单周期指令。使得d s p 更适合在高速数字 信号处理中应用。 5 快速的指令周期。d s p 广泛采用亚微米c m o s 制造工艺，其运行速度越来 越快。以t m s 3 2 0 d m 6 4 2 为例，其运行速度可高达5 7 6 0 m i p s ( 每秒执行百万条指 令) 。 2 1 3d s p 与a sic ，f p g a 比较 目前，可用于实现数字信号处理的集成电路主要有三大类：a s i c ( 专用芯 片) 、f p g a ( 现场可编程门阵列) 、d s p ( 数字信号处理器) 。相比较a s i c ，f p g a 而言，在d s p 平台上进行视频产品开发有以下四种优势： 开发灵活，简单，软件开发包丰富； 上市周期短，产品性能升级简单，迅速； d s p 处理能力较强，可以在一个d s p 上同时实现多路音视频信号的压缩 处理，并集成多种外设，硬件实现简单，容易； d s p 性能稳定，具有较高的可靠性。 t i 公司是最大的d s p 芯片供应商，该公司推出的t m s 3 2 0 c 6 0 0 0 系列d s p 处 理器是视频应用的典型代表。其推出的d m 6 4 2 视频处理器更是性能卓越，功能 强大。本文所设计的嵌入式远程视频监控平台就是采用的d m 6 4 2d s p 高性能视 西南交通大学硕士研究生学位论文 第8 页 频处理芯片。 2 2 视频压缩技术及h 2 6 4 标准 数字视频数据量非常大，如果不进行压缩处理，无法用于存储和传输。以 一路标准电视格式7 2 0 5 7 6 像素为例，即每帧由5 7 6 行，每行由7 2 0 个像素构 成，当帧频为2 5 f p s ，格式为4 ：2 ：2 ，每像素点用8 b i t 表示时，则每秒数据量 为7 2 0 x 5 7 6 x 2 5 x 2 8 = 1 6 5 9 m b i t s ，如果采用这种格式进行监控2 4 小时， 视频数据量为：1 6 5 9 2 4 3 6 0 0 = 1 4 3 3 3 7 6 g ，当采用更高精度格式存储时， 如高级宽屏幕的h d t v ( h i g hd e f i n i t i o nt e l e v i s i o n1 2 5 0 1 9 2 0 ) 时，采样 时每秒数据量将更大。因此，在现有的存储介质和信道中进行存储和传输，只 有对视频信号进行压缩处理后才具有实用意义。 2 2 1 视频压缩技术的发展 经过5 0 多年的发展，图像编码技术取得了迅速发展和广泛应用。国际标准 化组织i s o ( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 和国际电工委员 会i e c ( i n t e r n a t i o n a le l e c t r o nt e c h n i c a lc o m m i s s i o n ) 制定了关于静止图 像的编码标准j p e c j p e c 2 0 0 0 ，活动图像编码标准m p e g - 1 、m p e g - 2 、m p e g 一4 等 标准，以及国际电信联盟电信标准部i t u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n u n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 针对视频编码制定了 h 2 6 x 系列标准。这些标准的发展历程如表2 1 所示u 7 1 。 h 2 6 4 是i t u 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码 专家组) 联合视频组开发共同制定的一个新的视频编码标准，h 2 6 4 的应用目标 范围较宽，可以满足不同速率、不同解析度以及不同传输( 存储) 场合的需求。 h 2 6 4 代表了当前业界最先进的视频压缩技术，具有无可比拟的优越性：采用了 多种新技术，如统一的v c l ( v a r i a b l el e n g t hc o d i n g ) 符号编码，高精度、多 模式的运动估计，基于4 x 4 块的整数变换、分层的编码语法等，使得h 2 6 4 算 法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左 右的码率n 。本文即采用了h 2 6 4 编码技术，实现了嵌入式视频压缩功能。 西南交通大学硕士研究生学位论文第9 页 表2 - 1 视频编码标准发展历程 标准发布日期标题应用场合 v i d e oc o d e cf o ra u d i 0v i s u a li s d n ( 综合业 h 2 6 11 9 9 0 1 2s e r v i c e sa tp 6 4 k b i t s ( p 6 4 k b i t s务数字网) 视 的音视频业务的编解码)频会议 p r o g r e s s i v e b i 。l e v e l i m a g e j b i g 1 9 9 1 9 c o m p r e s s i o n ( 用于二值图像的累进压缩传真等 编码) d i g i t a lc o m p r e s s i o n c o d i n g o f数字照相、图 j p e g 1 9 9 2 1 0c o n t i n u o u s t o n es t i i ii m a g e ( 连续色像视频编辑 调静态图像的数字压缩编码)等 c o d i n g o f m o v i n g p i c t u r e sa n d v c d 、光盘存 a s s o c i a t e da u d i of o rd i g t a ls t o r a g e 储、家用视 m p e g - 11 9 9 2 1 1m e d i au pt o1 5 m b i t s s ( 面向数字存 频、视频监控 储的运动图像及其伴音1 5 m b i t s s 的 编码) 等 g e n e r i cc o d i n go fm o v in gp ic t u r e s 数字电视、 m p e g - 21 9 9 4 1 la n da s s o c i a t e d ( 运动图像及其伴音的 d v d 、高清晰 度电视、卫星 通用编码) 电视等 h 2 6 31 9 9 6 3 v i d e oc o d i n gf o r l o wb i tr a t e桌面可视电 c o m m u n i c a t i o n ( 低比特率通信的视频编话、移动视频 h 2 6 3 +1 9 9 8 1 码)等 i p 网、交互 c o d i n go fa u d i o - v is u a lo b j e c t s ( 音式视频、移动 m p e g - 41 9 9 9 5 频视频对象的通用编码)通信、专用视 频等 v i d e o c o d i n g f o r l o wb i tr a t e桌面可视电 h 2 6 3 + +2 0 0 0 1 l c o m m u n i c a t i o n ( 低比特率通信的视频编话、移动视频 码)等 j p e g 2 0 0 0 1 2 j p e g 2 0 0 0i m a g ec o d i n gs y s t e m ( 下一 数字照相、i p 网、移动通 2 0 0 0代静态图像编码标准) 信、传真等 数字视频存 m p e g 4 一1 0 a v c ( a d v a n c e dv id e oc o d e c )储以及数字 h 2 6 42 0 0 3 3 ( 先进视频编码)卫星广播、手 机电视等 西南交通大学硕士研究生学位论文第10 页 2 2 2 视频压缩原理 视频压缩的核心思想是消除冗余信息。通过减少视频帧内的空间相关性及 视频帧间的时间相关性，采用统计的方法，降低视频内容中的冗余信息，以达 到传输尽量少的视频数据，从而实现视频压缩。 2 2 2 1 视觉冗余 视觉冗余度的去除是根据人眼对亮度信号比对色度信号敏感，对低频信号 比对高频信号敏感，对静止图像比对运动图像敏感，以及对图像水平线条和垂 直线条比对斜线敏感等特点实现的n 羽n 9 1 。因此，可以利用人眼的特点将包含在 色度信号，图像高频信号和运动图像中的一些人眼视觉不敏感的分量去除，可 显著压缩带宽，实现视频压缩，而不会引起主观质量的明显下降。这种冗余度 的去除可以通过对色差信号使用的采样频率比对亮度信号使用的采样频率低， 从而减少色差信号的数据量。 视频采样格式如图2 - 1 所示，在全像素点中，采样格式为4 ：4 ：4 ，每个像素 点上都有一个亮度y 样本，一个蓝色差c b 样本，一个红色差c r 样本，y ，c b ，c r 的采样率之比为1 ：1 ：1 ，平均每个像素用3 个采样点表示；当采样格式为4 ：2 ： 2 时，每条扫描线上每4 个连续的采样点取4 个亮度y 样本，2 个红色差c r 样本和2 个蓝色差c b 样本，y ，c b ，c r 的采样率之比为2 ：1 ：1 ，平均每个像素用2 个采样 点表示：当采样格式为4 ：2 ：0 时，在水平和垂直方向上每2 个连续的采样点上 取2 个亮度y 样本，1 个红色差c r 样本和1 个蓝色差c b 样本，y ，c b ，c r 的采样率之比 为4 ：1 ：l ，平均每个像素用1 5 个采样点表示。在4 ：2 ：2 格式和4 ：2 ：0 格式下， 视频数据量较全像素点具有明显下降，但是视频的主观质量并没有明显下降。 这种利用人的视觉系统进行的视频压缩应该是最简便实用的图像压缩技术。 2 2 2 2 空间冗余 视频图像序列中的某帧画面的某一取样点的亮度和色度信息与其在同一帧 画面的相邻取样点之间存在极强的相关性，也即空间冗余度。通常一幅视频图 像的像素点色度取值变化比较缓慢。从频域的观点看，意味着图像信号的能量 主要集中在低频附近，高频信号的能量随频率的增加而迅速衰减。通过频域变 换，可以将原图像信号用直流分量及少数低频交流分量的系数来表示，从而达 西南交通大学硕士研究生学位论文第11 页 到对图像的空间冗余度进行有效的压缩n 刚。 o o 皿 oo oo 皿 oo o o oo 血 o o oo 们 o o 4 ：2 ：0 取样 四。四o 四。四o 四o 四o 四o 四o 4 ：2 ：2 取样 2 2 2 3 时间冗余 o y 取样 c t 取样 ：j 广 c r 取样 四四四四 四四四四 四四四四 四四四四 4 ：4 ：4 取样 图2 1 视频采样格式示意图 时间冗余度是指在连续画面中相继各帧同一空间处对应象素点的值往往相 近或相同，也即时间相关性。在当前帧中某个像素点的样本确定后，利用此象 素点样本值与其相继的下一帧对应位置样本值进行相差，在传送图像数据时， 并不传送像素点本身的值而传送其与前一帧对应象素点的差值，使得视频传输 的比特数大为减少，有效地压缩码率。目前图像压缩中帧间压缩编码主要采用 o o o o o o o 血o o 皿o o 幻o 西南交通大学硕士研究生学位论文第12 页 了这种方法。 2 2 2 4 信息熵冗余 根据香农理论，信源冗余来自信源本身的相关性和信源内部事件概率分布 的不均匀性。这种概率的不均匀性就造成了信息熵冗余，可利用信源的统计特 性达到信息熵冗余去除的目的，实现码率压缩。目前主要采用变长编码 ( v a r i a b l el e n g t hc o d i n g ) 和算术编码( a r i t h m e t i cc o d i n g ) 进行信息熵冗余 去除。对于一串数据，如果某些值经常出现，而另外一些值很少出现，那么这 种取值上的统计不均匀性就构成了统计冗余，可以通过对那些经常出现的值用 短的码组来表示，对不经常出现的值用长的码组来表示，最终用于表示这一串 数据的总码将相对减少，从而实现信息熵冗余的去除，实现视频数据的压缩。 2 2 3h 2 6 4 编码标准分析 2 2 3 1h 2 6 4 档次 h 2 6 4 有3 个档次：基本档次，主要档次和扩展档次以满足不同应用的需要。 主要档次的编码效率最高，扩展档次其次，基本档次最低。图2 2 显示了三种 框架的关系，以及各个框架所支持的功能集乜2 儿2 3 | 。 1 基本框架 基本框架包含了最基本的编码和网络差错控制算法，其中编码算法包括i 片和p 片的帧内编码和帧间编码，基于上下文的变长编码( c a v l c ) ；网络差错控 制算法包括片组、灵活的宏块次序( f m o ) 、任意片顺序( a s o ) 、冗余片( r s ) 。该 框架主要用于可视电话、会议电视、无线通信等实时视频通信。 2 主要框架 支持隔行视频，采用b 片的帧间编码和采用加权预测的帧内编码：支持基 于上下文的自适应算术编码( c a b a c ) ，但不支持网络差错控制。主要框架是针对 更高编码效率的应用，如视频广播，数字视频存储，对实时性要求不高。 3 扩展框架 扩展框架包含基本框架的所有算法集，并且支持b 片、加权预测以及能有 效支持网络数据流传输的一些附加技术。s p 和s i 片的使用可以方便地码流进 行切换，实现随机接入功能。而数据分割可以提高恶劣网络条件下的错误恢复 西南交通大学硕士研究生学位论文第13 页 能力，但不支持c a b a c ，主要应用于流媒体中。 图2 - 2h 2 6 4 基本框架，主要框架，扩展框架 2 2 3 2h 2 6 4 分层结构 h 2 6 4 的算法可以分为两层结构，包括视频编码层( v c l ：v i d e oc o d i n g l a y e r ) 和网络适配层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 。视频编码层负责高 效的数字视频数据压缩：网络适配层负责以太网所要求的恰当的方式对数据进 行打包和传输。在v c l 和n a l 之间定义了基于分组方式的接口，使得高编码效 率和网络友好性的任务分别由v c l 和n a l 完成。 2 2 3 3 编解码器结构 h 2 6 4 并没有明确规定一个编码器如何实现，而是规定了一个编了码的视 频比特流的句法，和该比特流的解码方法。h 2 6 4 在编码框架主要采用了变换 和预测的混合编码结构，使用基于块的运动估计和补偿、变换编码和熵编码技 术，其编码原理框图如图2 - 3 所示。 输入的帧以宏块为单位被编码器处理。输入的当前视频编码帧首先被分割 为宏块，再对每个宏块进行编码模式选择，选择帧内编码还是帧间编码。如果 西南交通大学硕士研究生学位论文第14 页 采用帧间预测编码，则进行运动估计和运动补偿，运动估计是在参考帧内搜索 一个与原始宏块最匹配区域，找到一个这样的区域后，再进行运动补偿：如果 是帧内编码，则利用当前已编码的参考帧中的宏块进行预测，预测完成后得到 预测值( 图中用尸表示) ，将预测值与当前块相减后得到残差块d n ，经过块变 换，量化后产生一组量化后的变换系数，再经过熵编码，与解码所需的一些信 息( 如预测模式量化参数、运动矢量等) 一起组成一个压缩后的码流，这个码 流便可以输入通过n a l ( 网络适配层) 进行存储或者传输。 为了提供进一步预测的参考帧，编码器内部需要对当前帧进行重建。重建 就是对残差进行反量化和反变换后得到残差块d n ，再加上原来的预测值尸并 滤波，便得到了重建帧，这个重建帧便可作为下一帧的参考帧。 图2 - 3 编码器结构框图 。 h 2 6 4 的解码器结构如图2 - 4 所示。解码的n a l 提供压缩后的h 2 6 4 压缩 比特流，通过解码器中的熵解码，反量化，反变换后，得到残差d n 。利用从 该比特流中解码出的头信息，解码器产生一个预测块p ，他和编码器中的p 是相 同的。预测块p 再与d n 7 相加后，经滤波处理，即可重建凡7 ，n 7 即为解码器 最后的输出图像。 2 2 3 4 帧内预测编码 h 2 6 4 采用帧内编码技术用于去除当前图像中的空间冗余度。利用邻近块 西南交通大学硕士研究生学位论文第15 页 图2 - 4 解码器结构框图 已解码重构的帧来实现对当前块的预测，形成图2 - 3 中的预测块p 。预测块p 和当前块的残差将被变换编码。h 2 6 4 标准提供了对亮度和色度的帧内预测方 式。对亮度信号而言，帧内预测包括两种，一种是4 4 亮度块帧内预测，共有 9 种预测模式如图2 - 6 所示，这种模式适用于具有大量细节的图像编码；另一 种是1 6 1 6 亮度块帧内预测，共有4 种预测模式如图2 7 ，适用于平坦区图像 编码。色度信号的帧内预测以8 x 8 的宏块为单位，包括4 种预测方式，这4 种 预测模式与亮度信号1 6 x 1 6 的块的预测模式相似。 1 帧内4 4 亮度预测 4 4 预测模式是通过其上方和左方的1 3 个像素来实现的。如图2 5 所示 的a m 。m - - m 像素是己经被编码并被重建的像素，在编码器端和解码器端都可 以用来作为预测参考。图中a p 所在的4 4 块为预测像素，该块可以通过上 述的1 3 个像素和9 种预测模式得到，9 种预测模式分别为：垂直预测、水平预 测、d c 预测、沿对角线左下预测、沿对角线右下预测、垂直向右预测、水平向 下预测、垂直向左预测和水平向上预测。预测模式如图2 6 所示。在表2 2 中 给出了模式的简单描述。 mabccefgh jabcd jef 星 h kl j ki lmnc p 图2 - 5 利用像素a - q 对方块中a p 像素进行帧内4 4 预测 西南交通大学硕士研究生学位论文第16 页 0 垂直 mabccefch l j k l 3 下左对角线 m a丑c亡efgh i j k l 6 下水平 ma丑ccefch l y 】