（机械制造及其自动化专业论文）工业视频监控系统的设计与实现.pdf

摘要 近年来，越来越多的企业开始重视安全生产、产品质量问题。视频监控技术 是安全防范体系的重要组成部分，以其方便、直观、实用而被广泛应用，成为保 障生产安全的重要手段。但传统视频监控系统并非为工业环境开发设计，应用到 工厂环境中，会产生诸多问题。 本文以制造业企业的工业现场应用为背景，结合工业现场对视频监控的需 求，研究了基于流媒体的工业视频监控系统的软硬件实现。论文首先简要介绍了 工业视频监控系统的概括及其发展现状，并且着重对工业视频监控系统中的关键 技术：视音频压缩编码技术、流媒体网络传输技术、大容量数据冗余存储技术作 了研究，确定了本系统选用的技术方案。接着充分结合工业现场对视频监控系统 的特定要求，比较了现有的几种现场通讯方式，选用工业以太网作为整个系统的 主要通信介质，确定了整个系统的构架。然后针对工业视频监控系统的主要组成 部分：音视频采集工作站、主控服务器、流媒体点播服务器，分别分析了其业务 流程、功能模块以及数据结构。本文对线程池技术进行了分析，提出了采用线程 池技术提高服务器性能和效率的手段；然后研究了p 2 p 流媒体技术，设计并实现 了一套基于p 2 p 技术进行流媒体点播的服务端、服务端软件。 系统己经开发完成，并在进行试运行，应用结果证明了本文工作的有效性和 实用性，工作稳定，运行良好，达到了课题预期设计的要求。 关键词工业视频监控；p 2 p 流媒体；音视频编码；服务器 北京t 业大学t 学硕i 。学f 簟论文 a bs t r a c t r e c e n t l y ，m o r ea n dm o r ee n t e r p r i s e sb e g i nt ov a l u ew o r ks a f e t ya n dp r o d u c t q u a l i t y a st h ei m p o r t a n tp a r to fs a f e t yp r o t e c t i o ns y s t e m ，v i d e os u r v e i l l a n c es y s t e m h a sb e e nu s e dw i d e l yb e c a u s eo fi t sc h a r a c t e r i s t i c so fc o n v e n i e n t ，d i r e c t v i e w i n g ， p r a c t i c a l ，w h i c hh a sb e e na ni m p o r t a n tw a yt oe n s u r ep r o d u c t i o ns e c u r i t y b u tt h e t r a d i t i o n a lv i d e os u r v e i l l a n c es y s t e m sa r en o td e s i g n e df o rt h ei n d u s t r i a la p p l i c a t i o n t h e r ea rem a n y p r o b l e m si fu s i n gi ti n t of a c t o r yo rw o r k s h o p t h i sp a p e rs t u d i e st h ea c h i e v e m e n to fi n d u s t r i a lv i d e os u r v e i l l a n c es y s t e m s h a r d w a r ea n ds o f t w a r e ，w h i c hi sb a s e do ns t r e a m i n gm e d i at e c h n o l o g y f i r s t l y , t h i s p a p e ri n t r o d u c e sg e n e r a ls i t u a t i o na n dt e n d e n c yo fi n d u s t r i a lv i d e os u r v e i l l a n c e b r i e f l y , a n dt h e nr e s e a r c h e so nt h ek e yt e c h n o l o g i e so fv i d e oc o m p r e s s i o n ，s t e a m i n g m e d i a ，r e d u n d a n c ys t o r a g e a c c o r d i n gt ot h es p e c i a ld e m a n d so ft h ei n d u s t r i a lv i d e o s u r v e i l l a n c es y s t e m ，c o m p a r e dw i t hs e v e r a lk i n d so fc o m m u n i c a t i o n s ，t h ei n d u s t r i a l v i d e os u r v e i l l a n c es y s t e ms e l e c t si n d u s t r i a le h e r n e ta st h em a i nc o m m u n i c a t i o n a l m e d i u m s e c o n d l y , a l la n a l y s i si sm a d eo nt h ei n d u s t r i a lv i d e os u r v e i l l a n c es y s t e m b u s i n e s sp r o c e s s ，f u n c t i o nm o d u l e s ，d a t as t r u c t u r e a c c o r d i n gt ot h er e s u l t so ft h e a n a l y s i s ，t h i st h e s i sg i v e sas t r u c t u r eo ft h ew h o l ev i d e os u r v e i l l a n c es y s t e m ，w h i c h c o m p o s e so fa u d i o & v i d e oc o m p r e s s i o nw o r k s t a t i o n ，m a n g e rc o n t r o ls e r v e r , p 2 p v i d e oo nd e m a n ds e r v e r t h i sp a p e ra l s or e s e a c h st h r e a d sp o o lt e c h n o l o g ya n dp 2 p s t r e a m i n gm e d i at e c h n o l o g y , b yu s i n gt h et h r e a d sp o o l ，i m p r o v e st h ee f f i c i e n c yo f s e v e rs o f t w a r ea n db u i l d sac l i e n t s e r v e rv i d e oo nd e m a n ds y s t e mb a s e do np 2 p t e c h n o l o g y a tp r e s e n t ，t h es y s t e mi sa c c o m p l i s h e da n dat e s tr u no fi th a sb e e nm a d e t h e r e s u l to fa p p l i c a t i o np r o v e st h ee f f e c t i v e n e s sa n d p r a c t i c a l i t yo ft h ew o r k k e yw o r d s i n d u s t r i a lv i d e os u r v e i l l a n c e ；p e e rt op e e rs t r e a m i n gm e d i a ；a u d i oa n d v i d e oc o m p r e s s i o n ；s e r v e r 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论丈的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：耋区燧、生- 导师签名： 同期： j9 第1 辛绪论 第l 章绪论 1 1 课题背景和研究意义 1 1 1 课题背景和研究意义 随着社会经济的发展和全社会对安全生产、产品质量关注程度的日益提高， 对生产流程进行全方位、直观、方便地监控提上了议事日程。视频监控，在安防 领域已经应用了多年，有很多成熟的经验，而在工业现场中的应用还未得到广泛 推广，主要原因是生产车间中，电磁环境比较复杂，传统的模拟使监控系统很容 易受到干扰。近些年来，随着网络化监控系统、工业以太网、数字化视频采集技 术的出现和发展，工业现场视频监控系统的稳定性有了很大提高。在煤矿、化工 厂等高危场所，视频监控不仅可以直观、全面的保存整个操作流程，而且当操作 人员违章作业时，还可以通过中央控制人员在远端监控，及时提醒操作人员的错 误操作，防止更大的险情发生川。 视频监控是现代化管理、控制的重要手段之一，它能实时、真实地提供被监 控对象的影像，使监控者获得大量的信息，以提高管理效率和自动化水平。通过 利用网络技术和流媒体技术，可以将采集到的视频信息及时的转发到企业局域网 或互联网上，方便企业管理人员或其他监督管理人员从远程实时、及时的查看、 调阅。管理人员可以通过分析视频监控系统的实时视频或者保存的录像资料，直 观的分析生产加工、物流仓储过程中可能出现的问题，为提高生产效率、加强安 全生产能力和改善产品质量控制提供有利的保证。并且可以通过网络，向车间发 出指挥、调度的指令，为车间生产提供技术支持【2 】。尤其是当发生安全生产事故 或者产品质量事故时，可以从服务器上读取视频资料，从而完整的再现问题发生 时的场景，快速高效的定位事故出现的环境和发生的原因，从中汲取教训，为以 后避免事故的再次发生提供保障。 1 1 2 视频监控系统的发展历程 工业视频监控由闭路电视( c l o s e dc i r c u i tt e l e v i s i o n c t v ) 技术发展 而来的f 3 1 ，近些年来有了长足的发展，尤其是伴随网络技术、流媒体技术和嵌入 式技术的出现和发展，工业视频监控逐渐向数字化和网络化的方向发展，工业视 频监控系统主要历经了3 大发展阶段【4 】： 第一代是以模拟设备为主的闭路电视监控系统：这种系统出现的最早，它通 l 北京t , l k 火学t 学硕1 j 宁何论文 常由摄像机、云台、视频矩阵、监视器、录像机等组成，视频信号通过电缆以模 拟信号的形式传输，然后在监视器上显示出来，再以录像带的形式保存起来。这 种类型的监控系统成本高、可靠性差、灵活性差，只能对一个很小的范围进行监 控，而且监控图像只能在控制中心查看，不能实现远程的直播和点播。 第二代部分数字化的视频监控系统( d v r ) ：这种系统采用视频采集卡来完成 对视频图像的采集、压缩，并通过网络完成视频的传输，但是基于单台p c 的视 频监控系统的稳定性不够，而且不同品牌的监控设备之间会存在异构现象，造成 兼容性问题1 5 j 。 基于d v r d v s 的网络化监控系统：近几年伴随嵌入式技术的发展，基于嵌 入式的视频采集设备不断出现，像网络摄像机、嵌入式视频录像机等数字化设备 不断出现，伴随视频采集设备的多样化，整个监控系统异构化趋势越来越明显。 同时，针对远程监控、远程部署的需求越来越大，整个视频监控系统的规模较庞 大，由视频采集设备、存储服务器集群以及w e b 服务器组成。用户可以通过w e b 浏览器收看音视频信息【6 j 。 1 1 3 视频监控系统在工业现场的应用以及存在的问题 在传统制造业企业中应用较为广泛的d c s 、组态系统，应用这类系统能够 将工业现场设备的运行数据、状态采集并传输到调度中心，然而这类通常只能采 集到p l c 、数控设备等的电气信息。但是这些信息抽象、分散，很难直观、全面 地反应出设备的工作状态；另一方面，很多老式、非数字化的设备，像普通机床， 仍然难以处于监控范围之内；工人作为工业生产中一个相当重要环节，同样很难 纳入d c s 、d n c 等数据采集系统监控范畴之内。所以视频监控和工业控制系统 融合【7 1 ，是对现有基于数据采集监控系统的有力补充。 由于常见的视频监控系统大部分应用于安防领域，并非为工业领域没计，并 没有考虑到工业应用的特殊需求，比如：对现场视频信息长时间保存的要求、对 实时性和稳定性的要求、对电子设备安全防爆性的要求、以及应用在特殊工业现 场时对复杂电磁环境的耐受能力。所以有必要针对工业现场环境设计一套专门用 于工业现场的视频监控监控系统。 1 2 工业视频监控国内外现状 根据视频监控在企业应用中，所发挥的作用，可以将其分为三层次： ( 1 ) 单纯的安防监控在相当数量的企业中，视频监控系统只是做为安防监 控的手段，用于车间、仓库的安防监控，作为防盗、防损的监控具体手段，没有 应用到生产调度、监控方面。 第1 荦绪论 ( 2 ) 简单的生产过程视频监控在许多企业中，使用了针对生产过程和工人 劳动视频监控系统，没有视频的点播功能，且对视频资料不进行分析统计，仅仅 用来保障安全生产。 ( 3 ) 智能化、网络化视频监控近年来视频监控系统逐渐向智能化、网络化 发展。3 c 技术在工业视频监控领域也得到大范围的应用，3 c 技术就是综合了控 制c o n t r o l 、通讯c o m m u n i c a t i o n 、计算机c o m p u t e r 技术的集成一体化多媒体 监控技术。视频监控系统不再只是单纯的安防或者生产过程监控，融合车间监控 与现代管理，即视频监控系统与m e s 、e r p 等管理系统相融合，为企业的管理 层提供生产第一线的实时状态，起到了决策支持的作用。 国内工业视频监控系统主要应用于大型的钢铁、石化、煤炭、机械、制药等 行业的企业中。其中比较典型的例子如下所示： 北京机械工业自动化研究所的张可义等，为北方奔驰总装车间设计并实施的 视频采集系统【8 】。这套系统采用光纤作为主要的传输介质，通过视频矩阵主机和 主控键盘对前端的视频采集设备进行控制，管理人员可通过互联网络远程监控现 场情况，及时发现问题并指导解决，提高了工作效率。 哈尔滨工业大学的路勇等提出了基于i n t r a n e t 的数控加工远程监控系统p 】， 采用v f w ( v i d e of o rw i n d o w s ) 对视频信息进行实时采集，通过v c m 进行压缩处 理，在网络传输中采用p 多播机制，取得了很好的效果。 中国科学院自动化研究所参与开发的山西天脊煤化工集团有限过程综合自 动化系统【l 们，将f c s ( 现场总线控制系统) 、d c s ，p l c 等工业控制系统，与视 频监控整合起来，通过使用一套工业以太网来现实“两网合一 。 清华大学的刘大成等提出了监控效用信息的理论，和采用此理论制定的制造 现场远程视频监控集成方案j ，通过降低视频图像中共享或冗余部分的分辨率， 减少生产现场远程监控系统中关键视频图像的传输时滞效应，有效控制视频传输 码率并降低监控数据量，减少繁杂冗余的现场视觉信息对生产监控的负面影响， 使系统的实时性与生产监控效率得以提高。 国外的工业视频监控系统发展较早，像霍尼韦尔、博世等自动化厂商都有完 善的工业视频解决方案。例如霍尼韦尔的工业行业安防管理集成平台( h i i s ) ， h i i s 系统平台核心管理软件实现统一身份认证、设备信息管理、预警报警处理、 预案编程引擎、数字矩阵切换、矢量电子地图、双向语音对讲、集中或本地图像 存储、设备参数调整等管理功能。在授权范围内实现远程的多画面实时图像浏览、 高级视频分析、图像自动巡视、远程指挥、w e b 浏览访问、前端摄像机控制、 历史图像查询等操作功能。针对炼钢厂、水泥厂等特殊应用场合，霍尼韦尔推出 可用于工业熔炉的监控系统，并成功的应用于韩国浦项制铁等工业企业2 1 。博 世提供的工业视频监控系统，将周界报警、门禁管理与视频监控有机结合，管理 此京t 业：。# t 学硕l 。学f ? 论文 人员可以通过w e b 页面随时随地对系统进行管理，并有效降低了整体实施成本。 总体来说，我国的工业视频监控系统较国外先进水平尚有一定的差距。主要 体现在多系统集成方面和视频信息的存储、处理方面。 1 3 主要研究内容 本课题主要研究基于流媒体技术的远程监控软件的设计与实现。本课题的主 要研究内容如下： 第一在分析视频监控关键技术的基础上，研究视频监控软件中的音视频压缩 编码方式、音视频传输方式、存储方式等； 第二研究工业视频监控系统的总体设计方案及框架，并对监控系统各个组成 部分进行硬件搭建； 第三对音视频采集工作站进行软件实现； 第四研究s o c k e t 及线程池技术，进行主控服务器的搭建； 第五研究p 2 p 流媒体技术，并实现基于p 2 p 流媒体技术的网络点播系统； 第六介绍工业视频监控系统的部署和应用。 第2 章视频豁拧中的关键技术 第2 章视频监控中的关键技术 2 1 多媒体数据压缩编码技术 2 1 1h 2 6 4 视频压缩编码技术 摄像头采集的模拟视频经过模数转换后如果不经处理，一帧6 4 0 x 4 8 0 的2 4 位真彩图片数据量可以达到7 3 m b ，这么大的数据量对于视频的传输和存储都是 巨大的难题，所以要将视频信息进行运用必须先对视频数据进行必要的处理和压 缩，用尽可能小的资源占用率来获得最大的效率。 常见的视频压缩算法有m p e g 1 、m p e g 2 、m p e g - 4 、h 2 6 3 、h 2 6 4 等， 见表2 1 i l 引。m p e g 的全名为m o v i n gp i c t u r e se x p e r t sg r o u p ，中文译名是动态图 像专家组，m p e g 标准的视频压缩编码技术主要利用了具有运动补偿的帧间压缩 编码技术以减小时间冗余度，利用d c t 技术以减小图像的空间冗余度，利用熵 编码则在信息表示方面减小了统计冗余度。这几种技术的综合运用，大大增强了 压缩性能。m p e g 一1 标准在1 9 9 2 年公布，其正式名称为“基于数字存储媒体的 上限为1 5 m 秒运动图像及其伴音编码标准”，m p e g 1 主要着眼于解决多媒体 的存储问题【1 4 1 。之后，m p e g 组织于1 9 9 4 年推出解决多媒体传输问题的m p e g 2 标准。m p e g 一2 标准的正式名称为“运动图像及其伴音通用编码标准 【l 5 1 ， m p e g 2 标准主要应用在数字机项盒和d v d 。此后，m p e g 于1 9 9 8 年公布了i s o 的m p e g 4 ( 视频和音频对象的压缩) 标准【1 6 】。 表2 1 常用视频编码标准的性能 t a b l e2 1t h ec a p a b i l i t yo fc o m m o nv i d e oc o d i n gs t a n d a r d 编码标准 c l f 图像压缩解码单元抗信道干图像性能 使用范围 后的码率扰能力 m p e g 1o 4 1 5 图像组很差 好v c d m p e g 2 4 图像租较差很好有线电视、d t v m p e g _ 4特宽数码率视频对象强与码率有关交互式多媒体设备 h 2 6 40 2 d 5 帧较强一般6 4 k 以下信道：i s d n h 2 6 3 是i t u t ( 国际电联) 的一个标准草案，是为低码流通信而设计的【1 7 】。 但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在许多应 用中可以认为被用于取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些 改善和改变，以提高性能和纠错能力。h 2 6 3 广泛的应用于数字通信、视频会议、 北京t 业大学t 学硕 j 号：位论文 远程可视化等方面。在h 2 6 3 后发展出的是h 2 6 4 算法，同时也是m p e g 4 第十 部分，是由i t u t 视频编码专家组( v c e g ) 矛i i s o i e c 动态图像专家组( m p e g ) 联合组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 提出的高度压缩数字视频编解码 器标准【l 引。视频压缩编码后包括三种元素：i 帧( i f r a m e s ) 、p 帧( p f r a m e s ) 和b 帧 ( b f r a m e s ) 。在h 2 6 4 编码的过程中，部分视频帧序列压缩成为i 帧；部分压缩 成p 帧；还有部分压缩成b 帧。i 帧法是帧内压缩法，也称为“关键帧”压缩法。 i 帧法是基于离散余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 的压缩技术，这种算 法与j p e g 压缩算法类似。采用i 帧压缩可达到很大的压缩比而无明显的压缩痕 迹。h 2 6 4 算法具有很的高编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。 在以上的几种视频压缩编码标准中，h 2 6 4 无疑是性能最好的，h 2 6 4 的码 流结构网络适应性强，增加了差错恢复能力，能够很好地适应i p 和无线网络的 应用。h 2 6 4 具有广阔的应用前景，例如实时视频通信、因特网视频传输、视频 流媒体服务、异构网上的多点通信、压缩视频存储、视频数据库等。在h 2 6 4 优 越的性能，是以提高编码、解码计算复杂度为代价，据估计，编码的计算复杂度 大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。但随着计算 机、电子技术的发展，软硬件的水平已经大大提高，要达到h 2 6 4 所要求的计算 能力已经成为现实。对于我们的工业视频监控系统，选择h 2 6 4 编码方式作为整 个系统的视频编码方案。 h 2 6 4 视频压缩编码的处理过程包括d c t 变换、量化、熵编码、码率控制、 运动估计与运动补偿【l9 】5 个过程，如图2 1 所示。 图2 。lh 2 6 4 视频编码流程示意图 f i g 2 1d i a g r a mo fh 2 6 4v i d e oc o d ep r o c e s s i n g 第2 章视频豁拎巾的共键技术 2 1 2g 7 2 9 音频压缩编码技术 国际电信联盟( i t u t ) 于1 9 9 5 年1 1 月正式通过了g 7 2 9 ，它是当前较新的一 种语音压缩标准【2 川。1 9 9 6 年i t u t 又制定了g 7 2 9 的简化方案g 7 2 9 a ，主要降 低了计算的复杂度以便于实时实现，因此目前使用的都是g 7 2 9 a 。 g 7 2 9 有两大特点： ( 1 ) 占用带宽小使用普通编码的语音通讯需要占用6 4 k b p s 的带宽，而g 7 2 9 仅仅需要8 k b p s 。 ( 2 ) 占用c p u 时间多使用g 7 2 9 时c p u 的使用时间大约为g 7 1 1 的4 倍， 所以使用g 7 2 9 时需要注意服务器是否有足够的处理能力。 电话线路上的模拟语音信号，经话路带宽滤波( 符合i t u tg 7 1 2 建议) 后， 被8 k h z 采样，量化成1 6 b i t 线性p c m 数字信号输入到编码器。该编码器是基于 线性预测分析合成技术，尽量减少实际语音与合成语音之间经听觉加权后差分信 号的能量为准则来进行编码的。编码器的其主要部分有：线性预测分析和l p c 系数的量化、开环基音周期估计、自适应码本搜索、固定码本搜索、码本增益量 化其编码流程如图2 2 所示。 点南一蕊盾l 曼固 图2 2g 7 2 9 音频编码流程示意图 f i g 2 - 2d i a g r a mo fg 7 2 9a u d i o c o d ep r o c e s s i n g 北京tq p 人亨! t 亨：坝f | 学1 节论文 g c 7 2 9 是由美国、法国、日本和加拿大的几家著名国际电信实体联合开发的。 它需要符合一些严格的要求，比如在良好的信道条件下要达到长话质量，在有随 机比特误码、发生帧丢失和多次转接等情况下要有很好的稳健性等。这种语音压 缩算法可以应用在很广泛的领域中，包括i p 电话、无线通信、数字卫星系统和 数字专用线路。( 2 7 2 9 编译码软件用于语音信号的数字化压缩处理，在保证话音 较高质量的条件下，降低语音信号传输比特率，减小其占用带宽，从而增加信道 容量。在多媒体通信系统中，与其他图象处理技术结合，实现多媒体信息的传输。 2 2 流媒体传输技术 所谓流媒体技术( 或称流式媒体技术) 就是把连续的影像和声音信息经过压 缩处理后存放到视频传送服务器上，由视频传送服务器把节目传送到网络，用户 在客户端通过播放器可实时观看节卧2 。流式传输时，用户不必等到整个文件全 部下载完毕，而只需经过几秒或十数秒的启动延时缓存即可进行观看。当音频、 视频的时基媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下 载。流式传输不仅是启动延时成十倍、百倍地缩短，而且不需要太大的缓存容量。 流式传输避免了用户必须等待整个文件全部从i n t e m e t 上下载后才能观看的缺陷。 2 2 1t c p u d p 传输层协议的功能是建立并维护连接，该层协议主要用来保证主机之间数据 传输的安全性。在这个层中定义了两个协议：t c p 和u d p 。 t c p 是传输控制协议t r a n s m i s s i o nc o n t r o lp r o t o c o l 的缩写。它是“面向连接， 可靠传输”，使用t c p 协议进行传输之前，首先要建立通信双方的连接，在传输 的过程中，t c p 协议采用了超时重传和捎带确认机制，保证数据包的可靠性。这 种方法对系统资源的占用较大，但是可以保证数据包在传输过程中的可靠性和完 整性。 u d p 是用户数据报协议u s e r d a t a g r a mp r o t o c o l ，的缩写。它属于“面向无连 接，不可靠传输”的传输冼议类型。与t c p 协议相比，u d p 传送数据前并不与对 方建立连接，即u d p 是无连接的；u d p 不对收到的数据进行排序，在u d p 报文的 首部中并没有关于数据顺序的信息，当报文不按顺序到达的，接收端无法排序： u d p 对接收到的数据报不发送确认信号，发送端不知道数据是否被正确接收，即 使数据包没被接收端收到，发送端也不会重发数据；使用u d p 协议进行数据传输 时，系统的开销较小，效率较t c p 协议高。适合进行对数据实时性、效率要求高， 而对数据精确性要求较低的场合。 第2 荦视频舱拎r f l 的天鼬 上术 在工业视频系统中，可以根据实际需要，采用t c p 和u d p 协同工作的方式来 进行工作。对于视频的直播、点播等功能，由于其准确性的要求不高，而对实时 性、效率的要求较高，所以应采用u d p 传输协议，而对于云台控制、系统调度的 控制信息的传输，则要采用可靠性较高的t c p 协议来完成。 2 2 2 服务质量q o s 的保证 q o s 的英文全称为“q u a l i t yo f s e r v i c e ”，中文名为“服务质量”。q o s 是网络 的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术。q o s 被定义为 一个综合指标，通常用一组参数如带宽、延迟和抖动等来表示【2 2 1 。 在正常情况下，如果网络只用于特定的无时间限制的应用系统，并不需要 q o s ，比j t l w e b 应用，或e m a i l 设置等。但是对流媒体应用就十分必要。当网络 过载或拥塞时，q o s 能确保重要业务量不受延迟或丢弃，同时保证网络的高效 运行。改善网络条件来提高网络传输的性能。增大带宽可在一定程度上缓解q o s 问题，用户可通过高速i p 网络获得1 0 m 甚至1 0 0 m 的接入带宽，这对开展视频会议 业务很有利。还可采取以v l a n ( v i r t u a ll o c a la r e an e t w o r k ) 交换机代替集线器、 部署i g m p ( i n t e m e tg r o u p m u l t i c a s tp r o t o c 0 1 ) 路由器、通过帧中继和 a t m ( a s y n c h r o n o u st r a n s f e rm o d e ) 网络传输图像等措施提高视频传输质量。另 外，部署高性能路由器，尽可能减少路由的跳数来降低网络传输时延，以提高i p 视频业务质量。 2 2 3r t p r t c p 协议 t c p i p 最初是为提供非实时数据业务而设计的。i p 负责主机之间的数据传 输，不进行检错和纠错。因此，经常发生数据丢失或失序现象。为保证数据的可 靠传输，人们将t c p 用于i p 数据的传输，以提高接收端的检错和纠错能力。当检 测到数据包丢失或错误时，就会要求发送端重新发送，这样一来就不可避免地引 起了传输延迟和耗用网络的带宽，因此使用t c p i p 传输实时音频、视频数据的能 力较差。实时多媒体数据更适合采用u d p 进行传输，但u d p 设计时并没有考虑实 时业务传送的特殊要求，如媒体流的同步等等。因此在u d p 上传送实时业务时， 要对u d p 进行扩充，为此i e t f $ 0 定实时传送协议( r e a l t i m et r a n s p o r tp r o t o c o l ， r t p ) 。i 玎p 协议是针对用于i t e m e t 上的多媒体数据流的一种传输协议。该协议基 于多播或单播网络提供端到端的网络实时数据传输，为实时数据传输提供时序重 构、帧遗失检测、数据安全等多种服务。r t p 的数据传输是无连接、无差错控制 的报文传输，它通常使用u d p 来传输数据，r t p 协议对媒体数据的封装如图2 3 t 2 3 】 北京t 、i p 人学t 学硕 + 学何论艾 所示。 图2 3r t p 数据包封装流程不葱图 f i g 2 - 3d i a g r a mo fr t pd a t ap a c k e te n v e l o p i n g r t p 头部前1 2 个字节的含义是固定的，头部格式如图2 4 【l 】所示。其中比较重 要的几个域及其意义如下： ( 1 ) c s r c 记数( c c ) 表示r t p 头后面有c s r c 标识的数目。 ( 2 ) c s r c 标识紧跟在r t p 固定头部之后，用来表示媒体数据包的来源。r t p 协议允许在同一个会话中存在多个数据源，并可以通过甜r p 混合器合并为一个 数据源。 ( 3 ) 负载类型( p t ) 标明r t p 负载的媒体类型，包括所采用的编码算法、采 样频率、承载通道等。 ( 4 ) 序列号每个r t p 包按发送的先后顺序加l ，用来为接收端提供丢包检 测。 ( 5 ) 时间戳记录了负载中第一个字节的采样时间，为接收端提供同步和包 到达间隔抖动的计算依据。 撇| p鬟 誓 p 彳殍秘蟹 l 辫闯援 一疹灏蜉锨s 鞠昭) 摄撬霖撂i r ( e 铺c ， 图2 - 4r t p 数据包格式 f i g 2 - 4d i a g r a mo fr t pd a t ap a c k e t r t p 本身并不能为按顺序传送数据包提供可靠的传送机制，也不能提供流量 控制或阻塞控制，它依靠r t c p 提供这些服务。r t c p 是r t p 协议中的控制功能协 议，它单独运行在底层协议上。r t c p 是由接收方向发送方发送的报文，它负责 第2 章视频：侬拧中的关键技术 监视网络服务质量、通信带宽以及网上传送的信息，并将其通知给发送端实时传 输协议l 玎c p 和i 盯p ，一起提供流量控制和阻塞控制服务。在r t p 会话期i 刨，各参 与者周期性地传送r t c p 包。r t c p 包中含有已发送的数据包的数量、丢失的数据 包的数量等统计资料，服务器可以利用这些信息动态地改变传输速率，甚至改变 有效载荷类型【2 4 1 。r t p 和i 玎c p 配合使用，它们能以有效的回馈和最小的丌销使 传输效率最佳化，因而特别适合传送网上的实时数据。 在工业监控系统中，绝大部分音、视频信息、控制信息，都要通过网络进行 传输。数据的传输主要发生在视频采集工作站、视频切换矩阵工作站以及服务器 集群之间。网络上传输的数据主要分为两大类：音视频多媒体数据流、控制数据 流。音视频数据流主要是视频采集卡采集、压缩编码后的数据，而控制流则是服 务器之间、服务器工作站之间，发生命令、调度信号的数据流。 o s i 和t c p i p 模型在传输层定义两种传输协议：t c p ( 或传输控制协议) 和 u d p ( 或用户数据报协议) 。u d p 面向无连接的传输协议，也就是再发送数据后， 没有应答机制，即不能保证数据准确无误地到达目的地。但u d p 协议在数据传 输方面非常高效，能够将大量的数据尽快的发送到目的地。t c p 协议是面向连接 的数据传输协议，即在相互进行通信的设备或服务之间保持一个虚拟连接。为确 保正确地接收数据，t c p 协议要求在目标计算机成功收到数据时发回一个确认， 即a c k t 2 5 1 。如果在某个时限内未收到相应a c k ，将重新传送数据包。所以t c p 协议很适合用来传输对效率要求低，但对准确性要求很高的控制命令通信。 在工业视频监控系统中，音视频数据流要通过u d p 协议进行发送，控制数 据流则主要通过t c p 协议发送。由于t c p u d p 协议设计之初并不是为了完成实 时数据传输，所以为支持网络实时传输服务必须采用新的网络协议如实时传输协 议r t p 和实时传输控制协议r t c p 等。 2 3 数据冗余技术 由于视频数据占用的空间非常大，当整个视频监控系统的规模达到一定程 度，每天将会生成大量的视频数据。由于监控系统中很多数据要用于事后追溯， 必须保存数天到数月，不能立即删除。日积月累就会生成t b 级别的海量数据。 同时由于工业设施的特殊性，还必须对考虑到数据容错、防灾的要求。 2 3 1r a i d 技术原理 r a i d 是“r e d u n d a n t a r r a y o f i n d e p e n d e n td i s k ”的缩写，中文名为独立冗余 磁盘阵列，通过磁盘阵列与数据条块化方法相结合，以提高数据可用率的一种结 北京t 业大学t 掌硕l 。学位论艾 构。由于计算机的总线带宽往往大于硬盘的i o 带宽，尤其是当海量的并发数据 产生时，单个硬盘的i o 读写速度将成为制约系统速度的瓶颈。r a i d 技术最初的 研制目的是通过并行地对一组磁盘的进行读写，达到扩展存储i o 带宽的目的， 获得高的存储性能。r a i d 结构通常由两个或两个以上数量的硬盘组成，采用 r a i d 技术后，数据流就会被分块，其读写也能够分散到几个不同硬盘上，整个 系统的i o 读写速度就能成倍提升。同时由于采用冗余数据存储的方式，使得阵 列中的某一个或几个磁盘作为数据镜像或者校验盘，当某个硬盘失效时，数据仍 然可以恢复，保证数据安全。 r a i d 技术包含r a i do r a i d6 f ! j e 规范【2 6 】，见表2 2 。它们对数据传输性能 和数据保护的侧重点各不相同，由于r a i d5 包含了r a i d2 4 的优点，所以r a i d 2 4 已经逐渐退出了市场： 表2 2 不同r a i d 规范的主要特征 t a b l e2 2t h em a i nc h a r a c t e r so fd i f f e r e n tk i n d sr a i d r a i d 级别r a i d 0r a i d1 0 0 1r a i d o 十1r a i d2 4r a i d5 容错性无 有 有有有 海明码校验、 冗余性无镜像镜像奇偶校验 奇偶校验 热备份能力无有有有有 硬盘数量 l2 n 2 ( n + 1 ) 33 有效存储容量全部硬盘n 2 nn 2 n ( n - 1 ) n( n 一1 ) n ( 1 ) r a i d0r a i d0 至少由两块硬盘组成。r a i do 注重的是数据的传输效 率，它能够将数据进行连续的分割，然后并行地从硬盘上读写，从而获得较高的 i o 速度。但是r a i d0 没有提供数据冗余存储，所以数据安全性不高，当系统中 一个硬盘失效时，整个系统的数据将不能访问。所以r a i d0 使用于对存储性能 要求较高，但对数据安全性要求低的应用场合。 ( 2 ) r a i dlr a i dl 结构由两块以上的偶数个硬盘组成，每块硬盘都有相对应 的镜像盘，并且可以通过负载平衡方式，平衡读写操作。由于两块硬盘之间的数 据具有一致性，当原始数据繁忙时，可直接从镜像盘中读取数据，显著提高i o 读 性能。当两块硬盘中有任一块失效时，系统都可以快速地从另外一块硬盘中读取 数据。由于r a i dl 是对数据进行百分之百的冗余备份，所以r a i d1 结构是r a i d 技术中存储成本最高的，但是他对数据的保护能力最强，恢复速度最快。 ( 3 ) r a i d1 0 0 1 把r a i d 0 和r a i d l 技术结合起来，数据除分布在多个盘上 外，每个盘都有其物理镜像盘，提供冗余能力，允许一个以下磁盘故障，而不影 响数据可用性，并具有快速i o 读写能力。r a i d1 0 0 1 要在磁盘镜像中建立带区 集至少4 个硬盘，扩容时必须以2 块硬盘为单位。 篓：耋彗蓥墨堡耋墼耋量些耋 ( 4 ) r a i d2 - - 4 这几种r a i d 方式都使用了多个独立的额外校验硬盘，用来保 存校验数据。r a i d2 是把数据咀位或字节为单位条块化分散到不同的硬盘上， 阱海明码的方式进行校验。r a i d3 的数据储存及存取方式都和r a i d2 一样，但在 冗余存储方面以奇偶校验取代海明码做为错误校正及检测。r a i d4 与r a i d3 的 结构相似，但是是以扇区作数据分段各磁盘相同位置的分段形成一个校验磁盘 分段，放在校验磁盘。 ( 5 ) r a i d5r a i d5 至少由3 块硬盘组成，没有单独指定的奇偶校验盘，而是交 叉地存取数据及奇偶校验信息于所有磁盘上。在r a i d5 上+ 读，写指针可同时对阵 列设备进行操作，提供了更高的数据流量。r a i d5 更适合于小数据块，随机读写的 数据。r a i d3 与r a i d5 相比，重要的区别在于r a i d3 每进行一次数据传输，需涉 及到所有的阵列盘。而对于r a i d5 来说，大部分数据传输只对一块磁盘操作， 可并行操作。在r a i d5 中有“写损失”情况，即每一次写操作，将产生四个实 际的读写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息。 2 3 2r a i d 硬盘的配置 r a i d 组建方案有两种，一种是通过安装硬件r a i d 卡实现，一种是通过操 作系统顸装的软r a i d 来实现。安装硬件r a i d 卡的方式，具有读写速度快、稳定 可靠的优点。而且随着电子技术的不断发展，硬件r a i d 卡的成本将会逐步降低。 而软r a i d 由于是通过操纵系统来实现的，速度和效率上会略有损失，但其简单 易用，也得到了广泛的应用，像w i n d o w ss e r v e r 2 0 0 3 和r 缸h a t e n t e r p r i s e5 等主 流操纵系统都提供了r a 0 。r a i d1 ，r a i d5 等级别的r a 服务。 在本系统的服务器中，将会采用a d a p t e c r a i d2 6 1 0 s a t a 硬件r a i d 卡来实 现磁盘阵列的搭建，如图2 5 所示，它最多可以挂接6 个串行s a t a 硬盘，实现 r a i d 5 、0 、】、1 0 。 目2 - 5 a d a p t e c r a i d2 6 1 0 磁盘阵列控制卡 f i g 2 - 5 a d a p t e c r a i d 2 6 1 0 r a i d c o n a o l l e r c a r d 北京t 、i k 人学t 学硕十学付论丈 2 4 本章小结 本章介绍了视频监控中经常会用到的关键技术，音、视频的压缩编码技术和 网络流媒体传输中常用的协议，以及数据存储中使用的磁盘阵列技术。这些技术 将作为工业视频监控系统的技术铺挚。 第3 章1 = 业视频躲拧系统的移体构架 第3 章工业视频监控系统的整体构架