（信号与信息处理专业论文）基于dsp远程监控系统的后端软件设计与实现.pdf

华中科技大学硕士学位论文 目= 自l = = _ _ _ - - _ 自目= 自_ l i _ j = = _ t = _ = 自- _ _ 一 摘要 佃于目前很多领域对于远程监控的需求，以及近年来网络通信技术、数字音视频 处理技术的发展以及网络基础设施建设的日益完善，使得各种远程监控系统成为目前 研究和运用的热点。j 一 本文介绍了一种基于d s p 解决的远程视频监控系统，该系统可通过内部企业网、 互联网、普通电话网等实时传送现场图像和声音以及各种监控数据，具有视频压缩、解 码、网络传输、图像储存、图像索引回放、摄像机远程控制以及图像移动侦测报警等 功能，主要讨论了该数字视频监控系统中的后端软件系统的设计和实现。文中首先介绍 了视频监控系统的发展概况，接着提出本系统的解决方案，然后就远程监控系统中的 关键技术如视频压缩标准和网络传输技术等进行讨论，再重点讨论本远程视频监控系 统的后端软件的系统功能、体系结构划分、整体设计以及实现。在实现中就一些问题 进行了细致的分析，并就一些技术细节进行了讨论。最后就软件的升级提出了新的解 决方案，通过运用c o m 技术，完成了各部分控件的开发，使本系统成为了一个方便 的开发平台，为产品的二次开发提供了便利。 本远程视频监控系统己于去年完成系统样机的研发工作，通过测试，达到设计目 l 、 标。并获得了高度赞扬。4， j j q 【关键词】：远程监控，数字视频，t c p i p ，i p 组播， h 2 6 3 ，c o m l l 华中科技大学硕士学位论文 a b s t r a c t w i t hg r e a td e m a n df o rt h er e m o t em o n i t o r i n gs y s t e mi nv a r i o u s f i e l d ，a n dt h e h i 曲一s p e e dd e v e l o p m e n to f t h ec o m p u t e rn e t w o r k t e c h n i q u e ，m u l t i m e d i ai m a g ea n dv o i c e c o m p r e s s i n gt e c h n i q u e a n dt h ea c h i e v e m e n ti n t h en e t w o r k i n f r a s t r u c t u r e ，r e m o t e m o n i t o r i n gs y s t e m b e c o m e p o p u l a r i nr e c e n tr e s e a r c ha n d a p p l i c a t i o n t h i st h e s i si n t r o d u c e so n et y p eo fr e m o t e m o n i t o r i n gs y s t e mb a s e do nd s p , w h i c h c a i r e a l i z er e a l t i m et r a n s m i s s i o no fi m a g e s ，v o i c ea n ds u c hs u r v e i l l a n c ed a t at h r o u g h i n t r a n e t ，i n t e m e t ，p s t na n de t c i ta l s oc o v e r sf o l l o w i n gf u n c t i o n s ，v i d e oc o d i n g d e c o d i n g n e t w o r kt r a n s m i s s i o n ，v i d e os t o r a g ea n dp l a y b a c k ，v i d i c o nr e m o t ec o n t r o l ，a l a r mb y m o t i o nd e t e c t i o na n ds oo n i tm a i n l yd i s c u s s e st h ed e s i g na n di m p l e m e n t a t i o no ft h e b a c k e n ds o f t w a r ef o rt h er e m o t em o n i t o r i n gs y s t e m t h i st h e s i sf i r s t a n a l y s e st h e g e n e r a ls i t u a t i o na n dd e v e l o p m e n to f t h er e m o t em o n i t o r i n gs y s t e ma n dg i v e st h es o l u t i o n o ft h es y s t e m ，t h e nd i s c u s s e st h e k e yt e c h n o l o g y , f o re x a m p l et h ei m a g ec o m p r e s s i n g t e c h n i q u ea n dn e t w o r kt r a n s m i s s i o nt e c h n i q u e ，o fo a rs y s t e m ，a n di t e m p h a s i z e st h e f u n c t i o n ，a r c h i t e c t u r e ，d e s i g na n dr e a l i z a t i o no f t h es y s t e ms o f t w a r e a tl a s ti td i s c u s s e st h e c o m t e c h n o l o g yu s e di nt h es o f t w a r eu p g r a d e t h eo c xc o n t r o ld e v e l o p e di nt h es y s t e m g i v e sg r e a tc o n v e n i e n c e t ot h es e c o n d d e v e l o p m e n t t h i sr e m o t e m o n i t o r i n gs y s t e mh a sc o m p l e t el a s ty e a r i tw o r k s w e l la n dd e s e r v e s g r e a tp r a i s e k e y w o r d s ：r e m o t em o n i t o r i n g ，d i g i t a lv i d e o ，t c p i p ， i p m u i t i e a s t i n g ，h 2 6 3 ， c o m i n 华中科技大学硕士学位论文 华中科技大学硕士学位论文 1 绪论 1 1 引言 基于d s p 远程监控系统的后端软件设计和实现 由于目前很多领域对于视频监控的需求，如金融( 营业大厅、金库的监控管理， 自动提款机及自助银行的监控，远程联网监控系统) ，交通( 高速公路的收费管理， 重点路口的流量监控) ，商业( 商场的保安监控，超级市场的出入口监控，码头、货 柜管理监控) ，医疗( 特殊病人的隔离护理，远程医疗诊断) ，电力石化( 工艺流程 管理，设备的无人值守) ，军事( 边防哨所、军械库远程监控，危险品及保密场所的 远程监控) ，司法( 监狱、看守所的监控，远程审讯) ，物业( 生活小区安全防范，停 车场的无人监控) ，广电( 宽带视频接入解决方案) ，旅游( 宾馆饭店的楼层管理，重 点文物及景点的保护) 等等，因此各种视频监控系统成为目前研究和运用的热点。 1 2 远程监控系统的概况 视频监控系统的发展也经历着从模拟到数字，从有线到网络，功能日益强大的发 展过程。 模拟图像监控 本地图像监控系统主要由摄像机、视频矩阵、监视器、录像机等组成，由视频线、 控制线缆等连接。本地图像监控系统般采用模拟方式传输，采用视频电缆( 少数采 用光纤) 。监控图像一般只能在控制中心查看。模拟系统主要应用于小范围内的监控， 如大楼监控等。 基于p c 的多媒体数字监控 基于p c 的多媒体监控系统一般采用下面的结构：在监控现场有若干各摄像头、 检测报警探头和数据设备，通过各自的传输线路，汇接到多媒体监控终端上，多媒体 监控终端可以是一台p c 机，也可以是专用的工业机箱组成多媒体监控终端。这种系 1 华中科技大学硕士学位论文 统功能较强，但稳定性不够好。 基于网络的远程数字监控 随着网络技术的不断成熟和网络化的普及，出现了一种新型专用的网络化远程视 频监控前端设备，代替了视频监控系统在前端的p c 机。 传统的模拟闭路电视监控系统存在局限性：首先，有线模拟视频信号的传输对距 离十分敏感，当传输距离大于1 0 0 0 米时，信号容易产生衰耗、畸变、群延时，并且 易受干扰，使图像质量下降；其次，有线模拟视频监控无法联网，只能以点对点的方 式监视现场，并且使到布线工程量极大；最后，有线模拟视频信号数据的存储会耗 费大量的存储介质( 如录像带) ，查询取证时十分烦琐。 而数字化视频监控的优点正好克服了模拟闭路电视监控的局限性：首先，数字化 视频可以在计算机网络( g o 域网或广域网) 上传输图像数据，基本上不受距离限制，信 号不易受干扰，可大幅度提高图像品质和稳定性；其次，数字视频可利用计算机网络 联网，网络带宽可复用，无须重复布线；另外，数字化存储成为可能，经过压缩的 视频数据可存储在磁盘阵列中或保存在光盘中，查询十分简便快捷。 一般的远程数字视频监控系统都是基于通用平台( 例如p c 机) 的解决方案，此 种方案易于集成和实现，难度低，并能根据需要灵活的变动，是当前远程监控系统普 遍的解决方案，但是由于这些系统多数基于d o s 或w i n d o w s 操作系统，所以其性 能尤其是实时性和稳定性方面无法与基于专业芯片的系统相比，而且价格体积难以控 制，无法完全适应监控系统的严格要求：而采用基于d s p 的系统性能，价格和体积 都比较合适，但是开发难度较高，因此在远程监控系统的实现中较少采用。2 儿3 1 3 本系统的特点 本系统主要应用于县市级变电站对其下属小型变电站的远程监控，是对电力系统 的遥测、遥信、遥控、遥调的一个强有力的扩展，我们称之为遥视。 本系统选用t i 公司的高速d s p 完成编码工作，该系统基于t c p i p 协议的网络。 采用先进的计算机数字化技术、网络技术、多媒体技术，集监视与报警于一体，实现 对图像、语音、报警和数据的实时监视和控制。本套多媒体监控系统主要针对于电力 2 华中科技大学硕士学位论文 设施无人值守的发展要求，采用先进的音视频压缩技术和网络传输技术，提供了功能 强大、易于操作的监控解决方案。其关键技术亦可以应用于其它领域，如：可视电话 业务，多媒体会议业务，综合业务多媒体会议系统，远程医疗系统和远程教学系统等。 针对不同的网络状况和运用需求，还可以更换d s p 的编码标准，如将h 2 6 3 眶缩技 术更换为m p e g 4 ，小波或者m p e g l 等。 1 4 本文研究的主要内容 本瀑题组研发基于t c p i p 网络的数字视频监控系统。在我的导师一一王宏远博 导的领导下，课题组成员认真的进行了方案设计、开发准备、系统研究。经过近一年 的努力，我们成功完成了系统软硬件各模块的开发和系统调试任务。笔者和其他几位 同学负责项目中“后端软件的设计和实现”。本人主要工作有：分析用户的需求，做 好软件的需求分析，并通过现有的一些视频监控系统的解决方案，进一步确定客户的 具体需求。在王老师和胡波、罗彬博士的指导下进行后端软件的系统结构设计、模块 划分、应用通信协议和软件接口的制定。同时和软件组其他同学完成软件的编制，以 及和前端硬件设备进行系统联调，并最终完成整个数字视频监控系统。并在后期软件 升级中负责软件系统的升级，开发出针对新的系统解决方案的软件平台。 本文的主要内容有：一、绪论，介绍了视频监控系统发展的状况和作者的主要工 作。二、系统方案论证，对本视频监控系统的整体方案进行介绍，并简要的介绍了 系统前端硬件和后端软件构架。三、远程监控系统中的关键技术，着重讨论本系统 实现过程中所用到的几项关键技术，h 2 6 3 视频压缩协议、i p 组播技术、网络编程等。 四、系统后端软件的设计与实现，描述了后端软件系统的主要功能、总体结构设计、 应用层通信协议和软件实现。并对其中的一些关键问题和细节进行了讨论。五、系统 后端软件的升级，介绍了c o m 技术，并对新的解决方案下系统各个控件的开发做了 介绍。六、结论和展望。 华中科技大学硕士学位论文 2 系统方案简介 本系统主要应用于县市级变电站对其下属小型变电站的远程监控，一个典型县市 级电力局在其下级有若干小型变电站，它们在地理上往往分布较远。对于本监控系统， 将被监控端的数据采集器和编码设备将放置于下级小型变电站内，编码后的数据将通 过这些下级小型变电站和中心变电站之间的e 1 或光纤信道传送到中心局端。这时中 心局的内部局域网上的监控计算机就可进行音视频数据的接收，实现远程的监视。监 控计算机的各种控制信息也是通过小型变电站和中心变电站间的专用信道下传到被 监控端的控制设备，从而实现远程的控制。 该远程监控系统由3 部分组成：监控现场，监控中心及通信网。下面分别就各部 分进行讨论。 2 1 监控现场 监控现场放置一个编码器，此编码器完成现场图像，语音的采集，编码，传 输等功能，相对于基于通用平台的解决方案而言，此编码器有占用体积少，适用环境 广等优点。 图2 1 监控现场结构 其原理如图2 1 所示，d s p 选用了1 1 公司的1 m s 3 2 0 c 6 2 1 1 芯片，用来完成图 4 华中科技大学项士学位论文 宁2 。4 。2 2 l _ - _ 日l = _ _ l = _ l - - i _ _ 其原理如图2 一l 所示，d s p 选用了1 1 公司的t m s 3 2 0 c 6 2 1 l 芯片，用来完成图 像的h 2 6 3 标准的编码，为了突破d s p 资源有限这瓶颈，采用f p g a 作为d s p 的 协处理器，完成视频编码数据流的重组等辅助编码功能，同时将双向音频信号进行相 应的编解码。n a t i o n a ls e m i c o n d u c t o r 的t p 3 0 5 7 芯片完成现场语音的采集和监控中心 传送来的语音的播放，实现了语音的双向传输。m p c 8 5 0 则完成视频压缩数据和音频 压缩数据的网络传输，通过基于t c p i p 的网络传送到监控中心，并可通过异步串口 向m c u 控制器传送控制命令，控制云台的转动，摄像头的调焦等功能。m c u 控制 器和切换单元上最多可以挂接4 个摄像机，可进行手工或自动的轮时切换。“5 1 从市场上已经开发的数字视频监控系统来看，对于视频编解码部分采用下列几种 形式：1 采用硬件编码和硬件解码方案实现，使用专用芯片对运动图像进行m j p e g 方法或者h 2 6 3 标准压缩；2 采用硬件编码和软件解码方案，如采用小波压缩方法进 行单帧图像压缩：3 采用软件编码和软件解码方案，利用p c 机视频采集技术进行各 种动态图像压缩方法。第一种方法硬件工作量较大，对于用户而言，随着监控点增多， 必须不断投入成本，而且这种方案不够灵活，升级不方便。纯软件编解码的方案虽然 升级方便，但是要增加源端设备成本，并且很多监控点不适合p c 机的安装。我们采 用的是第2 种相对折中的方法，硬件编码，软件解码，而且采用d s p 的设计方案进 行视频压缩，这种方法灵活多变，升级潜力大。 2 2 监控中心 监控中心用来接收各个监控现场传来的音视频数据和报警数据，并可向监控现场 传送语音，通过通信网向监控现场摄像机的云台，镜头，视频切换控制器等发送控制 命令，从而实现远程监控。连接在局域网上的任一台p c 机都可以作为监控端，这样 可以使得监控中心的地理位置不受限制。 由于在c l i e n t s e r v e r 的网络体系中，远程监控对于实现计算机之间的通信，远程 管理，远程控制等有十分重要的意义，因此本系统的监控中心的软件采用c s 结构体 系”1 ，如图2 2 所示。 华中科技大学硕士学位论文 2 3 通信网 图2 2 监控中心体系结构 监控现场和监控中心之间的通信是借助通信网来实现的。本系统采用基于t c p i p 协议的网络，内部局域网l a n ，企业内部网i n t r a n e t ，互联网i n t e m e t 等都可作为选 择，因此本系统的适用范围较广。 2 4 后端软件解决方案 针对前端监控现场的硬件结构，监控中心的后端软件采用c s 体系结构，本系统 后端软件主要划分为3 个主要部分，分别为客户端软件，中心服务器软件以及录像服 务器软件。软件的主要功能包括音视频数据在网络上的传输、接收、在客户端的解码 及显示，对源端设备的控制( 如编码器控制、云台控制等) ，视频录像、备份及管理， 用户权限管理和对系统报警的处理等。各部分软件的功能划分及设计实现见第四章。 为了提高软件的可重用性和扩展性，在软件的设计阶段加强了软件的模块化程度 设计，并借鉴了经典的网络通信协议软件的分层设计思想。详细方案将在第四章中讨 论。 在软件的升级上，为了让本产品作为一个开发的平台，增大该系统的应用范围， 采用c o m 技术，开发出了视频、音频、传输和录像这几个o c x 控件，以利于系统 的二次开发，并为w e b 解决方案提供了便利。详见第五章。 6 华中科技大学硕士学位论文 3 远程监控系统中的关键技术 在本系统的实现中对于视频图像的压缩采用的是h 2 6 3 视频压缩标准，对于图像 的传输采用的是i p 组播方式。下面对这两个方面的技术以及网络编程技术进行讨论。 3 1 h 2 6 3 视频压缩标准 视频数据的压缩比和质量的好坏是网络视频传输是否成功的前提。对于数字视频 处理来说，数字视频信息必须经过压缩才能进行传输和存储。如对1 路图像大小为3 5 2 2 8 8 ( 象素) ，2 5 帧s 的p = a l 制彩色数字视频，如果每种颜色的每个象素用8 b i t 表示， 则码率高达5 8 m b i t s ，如果存储l 小时这样未经压缩的视频，要占用磁盘空间2 6 g b 。 如果采用合适的压缩方式及编码器参数，同样l 路视频，仍然有良好的质量，码率只 有约2 0 0 k b i t s 。压缩后大大节省了传输带宽和存储空间。活动的视频每幅图像都有空 间冗余和心理视觉冗余，可采用合适的帧内压缩算法去除帧内冗余。对于活动视频来 说，还存在相邻图像间所存在的相似性，因而产生帧间冗余，可采用运动补偿的编码 方法去除帧间冗余。把以上两种压缩算法结合起来使用，就实现了数字视频的压缩。 在数字视频监控领域中，对视频信号的压缩一般是采用m p e g - 1 ，m j p e g ，h 2 6 3 ， m p e g 4 ，小波等压缩编码方式。7 1 9 1 m p e g 1 视频编码主要采用基于运动补偿的帧间预测技术和基于块的d c t 变换 技术，帧间预测技术去除图像的帧间冗余，d c t 变换技术去除图像的空间相关性。 d c t 系数的量化考虑了人眼的视觉特性，因而去除了心理视觉冗余。最后对各种必要 的数据进行熵编码，进一步压缩了码流数据。 m , ) - p e g ( m o t i o n - j p e g ) v 幕缩编码方式采用帧内压缩除去空间冗余，它的每一帧都 是一幅j p e g 图像。通过显示连续的图像，构成了连续活动的视频。由于它没有采用 帧间压缩技术，因此在帧率相同的情况下，m o t i o n - j p e g 码流的码率要比m p e g i 码 流的码率高。但它的帧率可以平滑调整( 从1 2 5 帧，s ) ，而且每一帧图像都有很好的质 量。如果对于图像连续性要求不高，但对单帧图像质量有较高要求时可以选用这种压 缩方案。 华中科技大学硕士学位论文 ：= = = 目= l = = ；= ；= = ；= = = = = = = ；= = # = = ；= 自一 小波( w a v e l e t ) 压缩编码方式运用了小波的分析原理，对图像进行分割。小波基 本上是d c t 编码变换的一种变体，该余弦变换使用一个精心挑选的基本函数子集来 处理图像。因此采用小波的视频监控设备的计算负荷小，且不牺牲图像质量。 m p e g - - 4 是视频编码的前沿技术。其目标比特率为4 8 k b p s 6 4 k b p s 之间。主 要应用于低带宽的图像通讯和低码率的图像存储。m p e g - 4 的基本思想是将图像帧分 为图像目标块( v o p ) 。v o p 可以使整帧图像也可以使几个长方形，也可以使任意的 形状。m p e g - 4 有以下几个特点：基于图像内容的操作和比特流编辑：基于内容的多 媒体访问工具t 基于内容的可伸缩性：对自然合成的图像进行编码：提供了低码率条 件下的空间可访问性。 h 2 6 3 标准的全称为“低于6 4 k b i t s 的视听业务的视频编解码建议”，它的应用 目标是p s t n 网上的低比特率多媒体可视电话通信，采用的压缩算法与m p e g 视频编 解码算法类似。根据信道的带宽和对图像质量的要求，调整量化步长和帧率，在图像 质量和码率之间寻找一个可行的折衷。在信道条件允许的情况下，数字视频监控系统 所提供的图像质量能够和一般v c d 的质量相当，就可以满足一般的要求。们 基于以上h 2 6 3 的优点，本系统视频压缩标准采用h 2 6 3 技术，下面就h 2 6 3 协 议进行简要的介绍。 3 1 1h 2 6 3 协议简介 近1 0 年来，随着视频应用的日益普及，人们制定了一系列视频编码标准。最著 名的两个标准化组织分别是i s o i e cm p e g 活动图像专家组和i 丁u t 视频编码专家 组。i s o i e cm p e g 推出的编码协议包括m p e g l 、m e p g 2 、m p e g 4 等；i t u t 先后 制定的标准有h 2 6 1 、h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + 等。 h 2 6 3 的前身是i t u - t 于9 0 年代初制定的视频编码协议h 2 6 1 。h 2 6 3 系列编码 标准是专门针对低比特率视频通信应用制定的，已被工业界广泛采用。 h 2 6 3 采用的基本编码方式是帧内编码和帧间编码。帧间编码是蒸于运动估计和 运动补偿的帧间预测编码方法。协议本身没有规定具体运动估计算法。图3 1 给出 了编解码算法的概要方框图说明。 g 华中科技大学硕士学位论文 一：二 一一一一一一一一盟v i d e od e c o d e r 一一一j 围3 1h 2 6 3 视频编码译码嚣方框图 h 2 6 3 的信源编码算法采用了一种结合方法，使用帧间预测减少时间冗余，对残 留信号进行变换编码以减少空间冗余。而解码器具有运动补偿的能力，并允许可选择 地在编码器中结合这种技术。这里的运动补偿采用的是半象素精度，而不是h 2 6 1 建 议中的全象素精度和循环滤波器。而对待传送的符号采用了变长编码。除了h 2 6 3 的 核心编码算法之外，建议还有四个可选编码选项。分别为：无限制运动矢量模式；基 于句法的算术编码模式；高级预测模式；p b 帧模式。“”“柏 3 1 2 托2 6 3 的视频编码器 帧内编码帧对每个8 8 的块进行d c t 变换，对变换后的d c t 系数进行量化， 最后对量化系数作变长编码( v l c ) ；若是帧间编码帧，则对运动部分宏块设法测定它 的运动矢量，即进行运动估计，找到该宏块在前一帧的最佳匹配块，算出运动矢量。 然后根据帧内和帧间的判定公式来确定该宏块采用帧内i n t r a 模式还是采用帧间编 码i n t e r 模式，若是i n t r a 模式则对该宏块进行d c t 变换、量化等编码操作。对 于i n t e r 模式编码，则是在运动估计的基础上用前一帧图像进行预测的方法，可以有 效地去除时间冗余度、提高压缩比，在前帧中通过运动估计裁到最匹配的宏块后，需 9 华中科技大学硕士学位论文 要进行前后帧宏块间的象素差值运算，这样的差值即预测误差，每个宏块的预测误差 都需要经过d c t 变换、量化等操作后再传输。在上述过程中，量化系数一方面送到 v l c 编码器，另方面送到反量化器和反变换器进行图像重建，重建图像保存在图像 缓冲区以各下一次帧间预测时使用。“” 3 1 3h 2 6 3 协议码流格式 h 2 6 3 支持s u bq c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f 等5 种分辨率，表3 1 列出 了这五种图像格式的每行象索个数和行数。 l o 华中科技大学硕士学位论文 表3 1h 2 6 3 各种圈像格式表 图像格式亮度取样的亮度取样的行色度取样的象素色度取样的行 象素个数数个数数 s u b q c i f 1 2 89 6 6 44 8 q c i f 1 7 61 4 48 87 2 c i f3 5 22 8 81 7 61 4 4 4 c i f7 0 45 7 63 5 22 8 8 1 6 c i f1 4 0 81 1 5 27 0 45 7 6 在不同的图像格式中，两个色度信号的采样率是亮度的半。c b ，c r 的空间位簧 关系如3 3 图所示： o o o x x x 0 亮度信号 色度信号 块边 图3 3 甍度色度空问位i 美系田 h 2 6 3 视频流数据是通过一个四层的分层结构来管理的。从上到下，这四个层分 别是：图像，块组，宏块，块。 h 2 6 3 标准中每帧图像都被分为许多块组。一个块组( g o b ) 由k 1 6 行组成。k 值由图像格式决定( 对s u b - q c i f ，q c i f 和c i f 格式而言k = l ， 对4 c i f 而言k = 2 ， 对1 6 c i f 而言k = 4 ) 。每幅图像的g o b 个数是：s u b q c i f 格式6 个；q c i f 格式9 个： c i f 、4 c i f 和1 6 c i f 格式1 8 个。g o b 的编号方式是按对g o b 块由上而下的垂直扫 描进行，最上的g o b 块为0 号，以最下的g o b 块结束。每个g o b 的数据包含了一 个g o b 头( 也许是空的) ，紧接着是宏块数据。g o b 数据按g o b 编号依次传送。 每个c o b 被分为多个宏块。每个宏块包含1 6 行每行1 6 个象素的y 信息，和8 1 l o o o x 一 x _rl x 一 x o o o 一x 华中科技大学硕士学位论文 行每行8 个象素的c b 和c r 信息。每个宏块包含四个亮度块和两个空间相关的色差块。 每个亮度块或色度块包含8 行每行8 象素的y c b 或c r 。在s u b q c i f , q c i f 和c i f 格式中，一个g o b 包含一个宏块：在4 c i f 格式中有2 个宏块；在1 6 c i f 格式中有4 个宏块。 对宏块编号时，按从左到右的顺序对宏块行进行水平扫描，从最上面的宏块行开 始到最下面的宏块行结束。宏块数据按宏块编号从d , n 大的顺序一个宏块一个宏块的 传送。块数据则是按块编号从小到大的顺序一块一块的传送。 图像分层的结构最终为了图像进行分层次编码，可以增强编码过程的灵活性，分 层编码后的数据最后合成一帧数据流，帧数据流的复合格式如图3 4 所示。 豳3 4 帧数据流的复合格式 图像层： 每帧图像的数据包含一个图像头，并紧跟着块组数据，最后是一个e n d o f - s e q u e n c e 码和填塞位。下表说明了这个结构。p s b l 只有在被c p m 说明后才出现。c p m 、t r b 和d b q u a n t 只有在p t y p e 指明了p b 帧才出现。p s p a r e 和p e i 的组合不可以出 现。e s t u f 只有在e o s 出现才可以出现。不传送丢失帧的图像头。 裹3 - - 2 圈像层结构 1 2 华中科技大学硕士学位论文 块组层： 每个块组层( g o b ) 包含了一个g o b 头，紧跟着宏块数据。每个g o b 包含了一行 或多行宏块。对于每帧图像的第一个g o b ( o 号) ，不需要传送g o b 头。而对于其它 的g o b ，g o b 头可以为空，这决定于编码策略。译码器可以通过外部手段发送信号 给远程变码器要求只传送非空g o b 头。当g b s c 出现时，可能会出现g s t u f ；如果 出现g b s c 则会出现g n ，g f i d 和g q u a n t ；当打开了连续多点模式则会出现g s b i ， 和图像头很相似。 表3 - - 3g o b 屡结构 宏块层： 每个宏块中包含了一个宏块头和后续的块数据。c o d 只出现在用p t y p e 指定为 “i n t e r ”的图像帧中，对于这些图像中的宏块，当c o d 指定或p t y p e 指示为 “i n t r a ”时会出现m c p b c 。如果p t y p e 指示了“p b 帧“，m o d b 会出现以表示 m b 类型：o - 4 。如果在m c p b c 中指定，则会出现c b p yd q u a n t , m v d 和m v d 2 - 4 。 只有在m o d b 中指定时才会出现c b p b 和m v d b 。当m c p b c 和c b p y 中指定时会 出现“块数据”。只有在高级预测模式下，m v d 2 - 4 才会出现。在p b 帧模式下才会出 现m o d b ，c b p b 和m v d b 。 表3 - 4 宏块屡结构 块层： 如果不在p b 帧模式，一个宏块包含四个亮度块和两个色差块。如果m c p b c 中 指定m b 类型为3 或4 ，则宏块中的每个块都有i n t r a d c 。如果在m c p b c 或c b p y 中指定，则会出现t c o e f 。在p b 帧模式下，一个宏块包含1 2 个块。在缺省h 2 6 3 模式下，首先传送6 个p 块数据，然后是6 个b 块数据。如果m c p b c 中指定m b 类型为3 或4 ，则宏块中的每个曼搬都有i n t r a d c 。b 块中没有i n t r a d c 。如果在 华中科技大学硕士学位论文 m c p b c 或c b p y 中指定，则p 块中会出现t c o e f 。如果在c b p b 中指定，则b 块 中会出现t c o e f 。 表3 5 块层结构 r 。1 。_ 1 l i n t r a d c l t c o e f l 研究发现，运动估计和d c t 变换是h 2 6 3 实现中最耗时的两个运算环节，因此 人们针对这两个环节研究了各种快速算法，以提高它们的运算效率。如快速运动估计 算法、d c t 快速算法等。另外通过h 2 6 3 的高级模式，还可进一步提高压缩效率、增 强传输鲁棒性。4 1 1 5 1 3 2 组播( 8 u i t i c a s t in g ) 技术 本系统基于t c p ，i p 协议的网络，对于一些控制命令和敏感数据，采用保证传输 质量的t c p 传输控制协议，而对于大数据量的视频和音频数据则采用不保证传输质 量的u d p 协议。 常规的点对点通信方式下，n 个监控站点的视频传输至少要重复发送n 一1 次相 同的数据包，发送时延大，不适合要求规模化和短时延的多点监控视频网络传输。 广播通信在局域网上要消耗其上的所有主机的资源，在广域网上全网广播耗用网 络带宽大，所以广搔技术适合不跨物理网段的监控视频的网络传输。 组播( m u h i c a s t i n g ) 是发送者有选择地向一群接收者传输信息的一种通信方式它 利用物理网络保留的用于组播的地址进行多点通信，当一组机器要通信时，它们选择 一个特殊的组播地址用于通信，在配置好网络接口硬件后，就能识别出该组播地址。 在组播通信中，源结点向某一组播地址只发一份数据，加入该组播组的多个目的结点 均能接收到该组播地址上的每个分组拷贝。由于组播使用较少的网络带宽，对于连续 媒体多点通信，它是一种非常高效的通信方式，而且组播在网络硬件局部( 如以太网 网卡) 就能区分多个不同组的通信，无需软件区分，所以比广播方式更节省主机资源。 因此i p 组播技术比较符合多点，多网络平台和可扩展性的视频监控要求。“6 川7 1 下面就组播技术进行比较详细的讨论。 1 4 华中科技大学硕士学位论文 3 2 1 有关根的讨论 组播通信具有两个层面的重要特征：控制层面和数据层面。其中，“控制层面” ( c o n t r o l p l a n e ) 定义了组成员的组织方式；而“数据层面”( d a t a p l a n e ) 决定了在 不同的成员之间，数据如何传送。这两方面的特征既可以是“有根的”( r o o t e d ) ， 也可以是“无根的”( n o n r o o t e d ) 。在一个“有根的”控制层面内，存在着一个特殊 的组播组成员，称作c r o o t ( 控制根，或根节点) 。而剩下的每个组成员都称作cl e a f ( 控 制叶，或叶节点) 。大多数情况下，cr o o t 需负责组播组的建立，其间涉及到建立同 任意数量的cl e a r 的连接。而在某些特殊情况下，cl e a f 贝0 可在以后的某个时间申请 加入一个特定的组播组( 或者说，取得那个组的成员资格) 。要注意的是，对任何一 个具体的组来说，都只能存在个根节点。a t m 协议便是“有根控制层面”的典型例 子。而对个“无根的”控制层面来说，它则允许任何人加入一个组，其间不存在任 何例外。在这种情况下，所有组成员均为c 1 c a f 节点( 叶节点) 。每个成员都有权加 入一个组播组。在一个无根控制层面内，我们可强行实施自己的组成员资格方案( 实 际效果类似于建立一个cr o o t 根节点) ，这是通过实旌自己的组成员资格协议来实现 的。然而，我们的组成员资格方案实际仍然是在一个无根控制层面的基础上建立起来 的。i p 组播便是无根控制层面的一个典型例子。在图3 5 和图3 6 中，我们向大家 展示了有根与无根控制层面的区别。在图3 5 有根控制层面中，cr o o t 必须明确邀请 每个cl e a f 都加入该组；而在图3 6 无根方案中，任何人都能自由加入这个组。 图3 5 有根控制屡面圈3 - 6 无掇控制屡面 数据层面也存在着“有根的”和“无根的”两种形式。对一个有根数据层面而言， 华中科技大学硕士学位论文 它有一个参与者称作dr o o t 数据根，或根节点) 。数据传输只能在dr o o t 和组播会话的 其他所有成员之间进行。显然。那些成员是dl e a f ( 数据叶，或叶节点) 。这种传输 既可单向进行，亦可双向进行。但既然是一个有根数据层面，便暗示着出自一个d _ l e a f 叶节点的数据只会被dr o o t 根节点接收到；而自dr o o t 发出的数据却可由每个dl e a f 收 到。a t m 也是“有根数据层面”的一个典型例子。在图3 7 和图3 8 中，我们展示了 有根和无根数据层面的区别。在图3 7 有根数据层面中，i 白d _ _ r o o t 发出的数据a b e 会传 送给每一个dl e a f ；而自一个dl e a f 发出的数据x y z 却只会由dr o o t 接收到，不会“蔓延” 到其他叶节点。与此相反的是图3 8 的无根示例。其中，数据a b e 和x y z 会“蔓延”到 每个成员，无论最开始是由谁发出的数据。最后，在一个无根数据层面上，所有组成 员都能将数据发给组内的其他所有成员。从一个组成员发出的数据块会投递给其他所 有成员，同时所有接收者都能回送数据。至于谁能接收或发送数据，则不存在任何限 制。同样地，i p 组播采用的是数据层面上的“无根”通信方式。我们现在知道，a t m 组播是在控制及数据层面的一种有根通信方式，而i p 组播在两个层面上都是“无根” 的。除此以外，还有可能存在另一些组合形式。例如，我们可能有一个有根控制层面， 其中一个节点决定谁能加入组内；另外还有一个无根数据层面，自任何成员发出的数 据都可被其他所有成员“看到”。只不过，在w i m o c k 中，目前尚无任何一种已经支 持的协议以这种形式工作。n 8 1 n 9 1 枷 羽3 7 有根数据屡面圈3 8 无根数据层面 3 2 2i p 组撬的实施及叶节点的加入 i p 组播通信需要依赖一个特殊的地址组，名为“组播地址”。我们正是用这个组 华中科技大学硕士学位论文 地址对一个指定的组进行命名。举个例子来说假定五个节点都想通过i p 组播，实现 彼此间的通信，它们便可加入同一个组地址。全部加入之后，由一个节点发出的任何 数据均会一模样地复制一份，发给组内的每个成员，甚至包括始发数据的那个节点。 组搔i p 地址是一个d 类i p 地址，范围在2 2 4 0 0 o n 2 3 9 2 5 5 2 5 5 2 5 5 之间。但是， 其中还有许多地址是为特殊用途而保留的。下面列出了一些组播地址的用途。2 组播地址的用途： 224 0 0 0基本地址( 保留) 224 0 0 1这个子网上的所有系统 224 0 0 2这个子网上的所有路由器 22 4 0 1 1网络时间协议 224 0 0 9r i p 第2 版本组地址 224 0 1 24w 矾s 服务器组地址 最开始设计t c p i p 时，由于尚未考虑组播通信，所以后来不得不进行了大量改 造，使i p 能够提供对组播的支持。例如，我们已经发现p 要求保留一系列特殊地址， 专门用于组播数据的传输。除此以外，还专门引入了一个特殊的协议( i g m p ) ，以 便管理组播客户机，以及它们在组内的成员关系。现在，请设想位于不同予网的两个 工作站想加入同一个组播组。如何通过球来做到这一点呢? 此时，不能简单地将数 据广播到组播地址了事，否则网络会立即由于数据泛滥而瘫痪。开发i n t e m e t 网关管 理协议i g m p ( i n t e m e t g a t e w a y m a n a g e m e n t p r o t o c 0 1 ) 的目的正是为了通知路由器： 网络中的一台机器对发给个指定组的数据有兴趣。 i n t e r n e t 网关管理协议 为了参与本地网络上的m 组播，主机必须使用允许收发组播数据报的软件。而 为了参与跨越多个网络的组播，主机就要通知本地的组播路由器。本地组播路由器与 其他组播路由器联系，传送群组成员关系信息，建立组播路由。这与通常的互联网络 中的路由器路由信息的过程很相似，不过路由器需具有i g m p 能力。 在一个组擂路由器能够传播其组播群组成员关系信息之前，它必须确定，在本地 网络上有一个或多个主机已经加入了某个组播群组。为此，组播路由器和实现组播的 华中科技大学硕士学位论文 主机必须使用i g m p 协议来进行群组成员关系信息的通信。 从概念上讲，i g m p 的工作分为两个阶段。第一阶段：当主机加入一个新的群组 时，它发送一个i g m p 报文给“所有路由器”地址( 224 0 0 2 ) ，宣布这个成员 关系。本地组播路由器接收到这个报文之后，向互联网络上的其他组搔路由器传播这 个关系以建立必要的路由。第二阶段： 为适应动态的成员关系，本地组播路由器周 期性地轮询本地网络上地主机，以便确定现在地各个群组中有那些主机。如果经过若 干个轮询后，某个群组中始终没有成员，组播路由器就认为该群组中不再有本网络中 的主机，于是停止向其他组播路由器通告该群组的成员关系信息。 若一个路由器拥有由工作站注册的一个或多个组播组，便会向“所有主机”地 址( 224 ，0 0 1 ) 定时发送一条“组查询”消息，查询当初通过一条j n z 命令通知 它的每个组播地址。假如网络上的客户机仍在使用那个组播地址，便会用另一条i g m p 消息作出响应，让路由器放心，以便继续转发与那个地址对应的数据。否则的话，路 由器便会停止为那个地址转发任何数据。即便客户机通过任何一种w i n s o c k 方法，明 确离开了那个组播组，路由器上的过滤器设置仍然不会立即消除。 不幸的是，正是由于上述原因，有时才会产生错误：客户机可能在放弃了组播组 a 的成员资格后，马上便加入了组b 。但另一方面，除非路由器执行了一次组查询， 但没有接收到响应，否则会将发给组播组a 和b 的数据都转发到网上。假如这两个 组的传输数据总重大于网络本身允许的带宽，岂不是要糟糕。为此，我们可考虑换用 i g m p 协议的第2 版。这是目前的最新版本，允许客户机向路由器发送一条“离开” 消息，明确告诉它停止转发指定组播地址的数据。当然，针对每个特定的地址，路由 器都维持着一个参考性的客户机计数。因此，除非子网上的所有客户机都脱离了一个 特定的地址，否则发给那个地址的数据仍会继续“蔓延”下去。 此外，若一个端点加入组播组，便会同时指定一个“存在时间”( t t l ) 参数。 通过该参数，我们便知道对于在端点机器上运行的组播应用程序来说，为了收发数据， 中途需要经历多少个路由器。r r l 实际限制了组播数据能够蔓延得多“远”。