基于流媒体的视频监控系统的研究与实现.doc

东南大学硕士学位论文基于流媒体的视频监控系统的研究与实现姓名：芦跃峰申请学位级别：硕士专业：控制理论与控制工程指导教师：姜昌金20050307东南大学硕士学位论文，括，（）；，；：，东南大学学位论文独创性声明零人声疆掰量交约学位沦文是我个人在导师接导下进亍瓣麟究工作及敷衡扮研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文不包台其他人已经发表或攫写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一嗣二作的同志对奉研究所被的任蚵贡赣均髓在论文中乍了明确的说明并表示了谢意。研究生签名东南大学学位论文使用授权声明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位埝文的复印牛和电子文档可上采用黔印、缩印或其他复制手段谯存论文。本人电子文档的癌容和鲢质论文的两客相一致。滁在保密期内的裸密论文外，缸许论文被谯阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权东南大学研究生院办瑚。研究生签名：越颠虢姜骘今日裳：和娃、；、缝论绪论强像是遥过入类视觉获镬懿，褫爨是天类最主要静惑凳嚣囊之一，囤像德意楚天键鑫誊聪鏊赛获得信息的重要来源。图像所提供的裘达作用，不魑语言和文字描述所能完全选到的，正所谓“两闻不如一见”。随着信息技术尤其是计算机技术、网络传输技术、通讯技术和多媒体处蠼技术的发展，视频信息在人们的生产和生活的各个方面鹰用越来越广泛，应用视频技术的视频监控越着越来越重要的作用，基予雾媒薅麴诗舅穰褫频蕊控鼓术麓磅变也越采越添跃；课题背景薅羞辩学技拳，尤箕莛凝嚣久、等鲞韵纯技零翡发震，荧瀵是索场嚣袋，疆多工厂纷纷痤舞自动纯程度非常商的现代化产品生产线。这些生产线的应用大大提高了工厂的生产效率，增强了生产的生产灵活性。但是，由于生产线外界环境复杂，自身稳定性和鲁棒性不高等特点，很容易引入外界对系统的干扰。这些干扰包括电磁干执和其它外界物体进入生产系统对生产造成的影响。这些干扰因黎在一定程震上限铡了生产线匏生产效攀，降低了产品斡矮量。为解决选整簿蘑，保障蓉统戆安全，缆王程瘴挠及时了解生产静蕊体情况，鲁劫纯生产线一般套斑用蓝控系统。工韭现场巯控商两大类：一怒班参数来殷映系统状态和作为控制目标的参数监控，二是以对象外观、所处环境和相对位鼹变化作为视对象和控制依据的工业视频监控。这两种监视方式适用的对象和范围不同，各有特长。参数监控能够反映监控对象物理和化学特性的变化，这些特性和其变化往往是人们不能直接通过感觉（主要蹩撬燮）获知舞，嚣参数簸控系统帮缝够将这些特注遴道转换强耋疆的穷羲表臻交寒。参数鎏控在过程控制中应粥十分普遍。视频监控主要通过物体的图像眨映物体几何膨状和物体间相对位置的变化，通过电视监控，可以延伸人们的视觉，使人们的视觉范围向宏观和微观两极延伸。视频贼拄主要监视各种环境中活动的物体和无法颈测的铃来黪髂，露、车辍簿。箍者的也有重食鹊地方。如参数益控也可戳发酸位移、旋转角度等物理特瞧，视频盆控也可以发现液能、温度（表面颜色）、液体浓度（液体通明魔）等物理特性的变化。恩体到焊接生产线，大部分监控目的能够通过参数监控得到满足，但是有一拨监控要求仅通过参数监控是无法解决的，如在有远程操作疆求的情况下，开枧前一定要确定生产线工牛区域内有无人员和障礴豹，撬器天戆褪始整置是否垂确棼，这是参数簸控难菇确定豹。综上所述，采闱参数监控和税颓监控相结合的解决方案，发挥各自的优势，能够高效地究成对工业生产线的综合监控，使工程师可以及时地了解生产线地详细情况。然而，由于视频信息数据量巨大，和计算机、网络系统等视频监控的基础设施资源和性能的限制，基予鹚络匏撬凝鼗控燕统存在缀多缺点帮不是。逡些不是主要表凝在潋下秀点：在工业生产视频监控申，并菲每对每剽的图像信息都必须保存下来，系统正常运行对所采集到的视频数据并没有很大实际意义，然而稃放这些录像数据需要占用大鬣计算机存储资源。虽然随着计算机网络技术的发展，性能得到了飞速提高，但是由于整体发展不平衡，网络中很多不同的蠲部还存在着缀大的差异，其鸯不同的网络带觉积系统结毒奄。翻为视频监控中非器重要静一矮秘麓就是在跨络上发布褫颓熬攒，然磊网络静菇褥牲会经鬻燎袋潮络秘塞，隈剿褪额发布的质擞。网络的这特点严重制约了视频监控系统在网络上的应用范围和规模。为弥补视频监控系统这两个缺点，已经出现了很多录像和视频数据网络传输的拥塞控制策略，它们各霄特点，在性能和灵活性等方面矮奇待提高，为此，本文改进了一种动态录像的策略，提出了一种先褥琢始撬额数据分袋爵避亍编码簧瓣瓣分垂援塞耱截策貉。本文以实际项鄹为背景，在实现实际应用系统解决现场生产需求的基础上，对上述录像和网络传输等肉释进行了深入的研究。南京跃进汽车集团和东南大学共同承搬的“网络化焊接机器人研制与汽车焊东南大学硕士学位论文接生产线应用工程”是江苏省十五科技攻关项目，研究的目的是为了研制基于开放式体系结构的网络化焊接机器人控制器，并对南京跃进汽车集团依维柯公司原有的焊接机器人控制器进行网络化改造，实现该公司多台机器人及其周边设备和生产管理系统的整体集成，通过对生产的作业规划、任务调度与优化，实现能力与资源最佳匹配，达到最佳的生产效率和经济社会效益。对车身总焊线的视频监控系统是上述项目子课题监控系统的一部分。研究内容本论文主要研究系统设计和实现的技术、录像存储技术和视频数据网络传输中的流量控制技术。具体包括如下内容：视频监控系统总体方案的设计录像和点播回放功能的设计与实现视频数据的网络传输、研究并实现实时传输协议视频数据的解码播放数据传输中的拥塞控制策略软件实现论文分为以下七部分：第一章简要概述了视频监控系统的分类、各种系统的特点以及视频监控系统的发展过程，最后对各种不同类型的视频监控系统的特点进行了比较。第二章主要叙述了南京汽车集团焊接生产线视频监控系统的总体设计方案，包括问题的定义、总体需求描述和系统的总体设计方案。第三章讨论了视频监控系统中视频数据处理功能的设计与实现，对技术进行简单介绍，并给出了基于的媒体数据播放实现方法。第四章给出了系统网络传输部分的实现方案，包括、等协议的分析，给出了协议的一个实现，和基于网络的网络传输模块设计实现方法。第五章描述了系统访问外界数据的实现方法，应用并改进了一种动态录像的策略和算法。第六章对拥塞控制策略进行了研究并给出了试验结果，分析了分层编码拥塞控制策略的特点。最后给出论文工作的总结和对未来视频监控系统发展的展望。第一章襁频监控系统概述第一章视频监控系统概述流媒体（沲）又叫流式媒体，是利用弼路传输技术，在潮绣上实时、蔟净地传输摇放视频音频等多种雾媒体内容的琏续时基数据流“。视频监控系统，是利用有澎的视频信息来观察、监视被监控对象的种应用系统。宦和其它应用系统一样，有一个渐进的发展过程，本章主要简谶视频监控忝统从模拟到数字舱发展过疆，在箍单描述鑫秘视频监控系统中的基本概念憋基础上，对见耪不霹类型熟整控系统遴杼了比较。从模拟到基于网络的数字视频茳控系统自鼠出现橇频薤控这一概念班亲，涟着辩学技术，尤其楚计算杭按术、邋信技术、信惠怒理技术等的发展，在短短的二三十年内，视频监控系统发生了非常犬的变化。根据系统所使用信号的种类和传输所使用的介质，可以将视频监控系统的发展过程大致划分为三个阶段：（】）在世纪年以前，系统主要鞋模拟设备为主组成闭路电视系统（），称为第一戴浚额篷整系统，鄄模藏橇频整控蓉统。（）世纪年代中叶，随着计算机处理能力的提高和视频处理技术的发展，人们利用计算机的高速数据处理能力进行视频采集和处理，从而大大提商了图像质量，增强了视频监控的功能。这种基于多媒体计算机的系统称为第代视频监控系统，即模拟输入与数字压缩、撒示和控制系统。隳为棱心设蚕燕数字设冬，因戴嚣激称为数字褫颇监控系统。（）到了擞纪年代束，网络通信技术、计算机处理熊力和存储容擞的迅速提高，以及各种实用视频信息处理技术的出现，视频监控进入了全数字化的网络时代，称为第三代视频监控系统，即全数字视频监控系统溅网络数字视频监控系统。第兰代视频监控系绕以网络为主要传输介质，以数字视频的压缩、传输、存储和援救为棱心，以智能塞尾的匿像分辑为特色发了规频监控亍盘静技术革畚。由于第二代和第三代视频脓控系统的核心部分都是数字设备，所以，也可以统称为数字监控系统。目前我国的模拟视频监控披术已经发展的非常成熟，应用也比较广泛，数字系统也得到了相当的发展，在应用中体现出了模拟系绒正在快速的减少。数字系统成用正在逐渐占领市场的主导地位的趋势，下嚣燕擎套缨备耱系统麴基本缀戏帮势。模拟视频监控系统在耪箍静撬撅薤整系统应瓣审，壶于应滔箨簧瓣不嚣，各个斑矮系统供寝褒搿撬供豹搂耋视频系统结构和功能不尽棚同，但是最典搿的模拟系统一般都会有前端摄像、信息传输、系统控制和鼹示记录部分铸重要的组成部分，如瘸。当然交予应孀豹不同，也有可能肖其他的特定组成部分。墨一羹弦撬撅整控系绕暴纛图东鬻大拳磋圭学证论窆前端摄像图像摄像部分是监控系统的最前端的组成部分。一般摄像部分包括镜头、摄像机、云台及云台和摄德规翁曝护辨悫，嚣要采集声学瓣系统逐寿爱瓷风。镜头窝兹蠡等设备蒋褒臻魏毙信号采集到摄像瓤上，摄像祝将光倍母转换成电信弩，传递给控制中心。信息传输部分匿像传输帮分蹩从翦端摄像部分至控铡中心和鼠控制中心到其缝煎控站点传输程频信号瓣使用的攘号遂道，帮传输控裁信号掰缆嗣的透信信道。一般往蔼嚣辍电缆、毙绎或瓣额无线抟输。禳撼不同的碰用需求选择不同的传输介质，对于传输距离特别长的应用环境，还有必要襁传输通路中间加入信号放大设备来消除由于衰减造成的信号失真。系统控砖部分系统控制部分就像人的大藏，是整个视频蕊控系统实现勘熊的指挥中心，通常以视频切换矩阵为核心设备，加上视频分配设备、字符叠加设备等视频处理设备、爱台控制解码器簿机械控制设备和操作键盘、云台控制摇杆等操作设备组成。系统控铡部分主要实现售母分瑟、图像傣号处理、外围规横设备的控倦莓系统功毙。显示记录部分显示和记泶部分是直接向用户提供视频数据的接口。一般来说，显示部分由一台或多台鼹示设备组成，这些显示设餐可能是电视，也可能是计算帆最示器，它们将从视频分配瓣传来盼视频信母显示给用户。一般一路裁豢塞一台显示爨曩暴，蛰果瘟翔图像势割器魄冒懿一台显汞耩曩示多貉褪频。一簸褪频记录设备使用菇像机，它可以将监控的情况诧录在录像带中，供以后查询播放。模拟视频监控系统存在的问题模撼视频黢掩系统由于冀蓥磷技本。闭簇电程，率赛爨篡蠢鲍特点秘不足，蘩一代携凝蕊控系统存在很多致煮：（）视频信母传输范围小。由于在模拟视频监控系统中使用最广泛的同轴电缆传输信号的距离有限，当距离超过时，信号容易衰减和畸变，受到干扰时图像易失冀。（）系统复杂，不易扩展。融于系统设备掰扩展性本来不离，一般系统的布线工程比较大，对已经建设好麓系统迸霉亍掺敬常霾难。（）虽然录像带存储空间比软丈，但录像内容检索困难。由于模拟系统一般是用录像带作为视频信息的存储介质，所以录像内容的查询调度方法比较繁琐，不容易操作。因此，随饕计算机技术、网络技术和信号处理技术的发艘进步，数字视频监控系统逐渐发展起来，矮漫开热占领枣璐。数字视频系统数字褪羲藏控系统一般楚蕊予壤婺，胃酸务荛第二旋嚣第三穗。筹筏系统琏麓帮第一霞夔搂拟系统相似，只不过是以计算机和数字技术为梭心。第三代系统一般都会程网络上发布视频数据。第一章视频监控系统概述图卜第二代视频监控系统示意图第二代数字视频监控系统一般由前端摄像、信息传输、系统控制和显示记录等部分组成。其中信息前端摄像、信息传输部分与第一代几乎相同，与第一代所不同的是，它的系统控制部分和显示记录部分的功能由计算机实现。在计算机与前端设备之间使用视频采集卡将前端传来的模拟视频信号通过转换等技术，转变成数字视频给计算机处理。第二代视频监控系统的典型结构如图。由于使用了数字计算机，第二代视频监控系统利用计算机的强大功能，实现多画面显示、录像、切换、录像的查询回放甚至利用图像内容进行监测等功能。录像文件一般采用数字形式存放在硬盘等数字设备上，视频质量较高，容易查询。因为计算机的可扩展性比较高，系统的灵活性大大提高，容易扩展。第二代系统和第一代系统非常相近，所以很容易将第一代系统升级成第二代系统。数字信号具有信号频谱效率高、抗干扰能力强和失真少等模拟信号无法比拟的特点，非常适合用于视频信号传输和处理。但是由于视频数字信号同时具有数据量大、占用频率资源多等问题，使数字视频监控系统虽然有很多优点却没有迅速的实用化。随着网络技术和视频压缩技术不断完善，以上问题得以解决时，基于网络的第三代系统迅速成熟起来。第三代视频监控系统在结构上和第二代相似，不过提供了非常重要的网络应用功能，其结构如图所示。图卜第三代视频监控系统示意图第三代视频监控系统的显著特点是大量使用视频处理和压缩技术以及上的部署。此外基于网络的视频监控系统能提供更为便捷、实用的管理和维护功能。通过现有网络平台的远程传输，即使远在千里的客户端用户，也可以得到亲临现场的效果，从而大大扩大了系统的规模。系统配置灵活、升级方便，可扩展性和适应能力强。在传输环节上，第三代系统可以充分利用现有的网络基础，降低施工成本。东南大学硕士学位论文模拟视频监控系统和数字视频监控系统的比较模拟视频监控系统和数字视频监控系统在视频监控系统的发展历史上都占有非常重要的地位，它们由于各自的结构的不同，在具体的功能和性能上都有很多相似和不同之处，具体的比较参见表。表模拟视频监控系统和数字视频监控系统的比较项目模拟视频监控系统数字视频监控系统系统一般由摄像机、云台、云系统一般由摄像机、云台、云台解码设备、视频分配器、视台解码设备、视频采集卡或使频切换矩阵、画面分割器、字用数字摄像机、计算机硬件和系统组成符叠加器、电视或显示器、录软件、计算机网络设备等组像机等很多设备组成。设备成。视频分配处理等工作在计多，安装调试繁琐复杂，不容算机或采集卡上完成，安装方易维护。便。使用硬盘，成本低不易损坏，使用录像带，成本高，容易损使用合适的压缩算法压缩视存储介质坏但存储容量大频数据，能更多的存放录像内容。显示和切换一般使用专用的设备完成一般使用计算机软件完成录像按规律分成多个文件存录像回放一维存储数据，查询困难放，并将录像信息存放在数据库中，查询和文件调度方便。使用合适的计算机软件和硬件，可以对视频内容进行相应录像编辑编辑复杂，图像不容易打印的编辑并可以将特别的图像打印到纸上。无自动使用日志，任何人可以可以使用相应的授权策略，让系统安全有相应权限的人员使用相应修改和删除录像内容。的功能。传输模拟信号，距离短，易失通过计算机网络传输，距离远视频传输图像质量好，但是占用带宽真大。更改系统需要大量工作，可扩使用计算机的灵活性，数字视可扩展性展性不高频监控系统的可扩展性高科学技术一直在发展之中，新的网络技术、新的视频压缩技术、新的图像应用技术都将使数字视频监控系统的功能增加，性能提高，使视频监控系统的应用领域更加广泛。第二章焊接生产线视频监控系统总体设计第二章焊接生产线视频监控系统总体设计根据软件工程的思想，应该应用生命周期法和结构分析等技术分析设计和实现软件项目。生命周期法就是从时间角度将软件开发和维护的复杂问题进行分解，把软件生命的漫长周期依次划分为若干阶段，每个阶段有相对独立的任务，然后将这些独立的任务“各个击破”。本章和以后几章讲述南汽依维柯车身厂一条焊接生产线视频监控系统的分析设计和实现，本章主要讲述了系统的分析和总体设计。问题定义绪论中提到的南汽车身焊接生产线，是车身厂车身生产的总装配线（准确地说是焊接生产线的最后一道工序，以下称“总焊线”），它完成将车身的几个部件焊接成整个车身的工作。此生产线可以生产依维柯的多种车型。依维柯车身体积大、结构复杂，造成了总装线系统结构和工序非常复杂。总焊线由六台意大利机器人、工件传输线、传输线上固定工件使用的夹具和控制整个总焊线的等设备组成，如图所示。按照工件传输经过的方向，工序分为两个工位，工位和工位。其中工位有台机器人，对称分布于传输线两侧，各两台机器人，工位有两台机器人，传输线两侧各一台。焊接机器人由机器人本体、机器人控制器和焊接控制器组成。工位的四台机器人是固定安装的，而工位的两台机器人可以沿工件运动方向移送。在生产线生产过程中，、工位同时可以允许一个工件在被加工。酉禽工位冈离工位嫣工件传输线工件霜图总焊线结构图传输线的定位和控制、夹具状态的控制以及多台机器人之间工作的协调工作由一台的负责，系统控制部分结构如图所示。和机器人的控制器交换数据以达到控制机器人的目的，和传输线中的执行设备以及数据采集设备交换数据来控制工件传输线。圈圈东南大学硕士学位论文图系统控制部分结构示意图霹稚，葸挥线土静褫器天、没育实瑗丽络德管理，存在蓠校多静闯蘧，毙皴祝蕤大管理霸操作繁琐、设备的工作历史数据没有保存、及时了解故障和分析排除故障都存在一定困难。为解决这然存在的问题，监控系统非常必要。前掰曾提到，工业黢控系统分为参数监控和视频监控，它们各自材自己的特点，为了发挥各自的优势，我爨鹣蜉接生产绫簸控系统采翅了参数帮撬颓攘缀合黪蕊控方索。其中参数篮按系统受责疆场参数的采集、存储、显示和故障检测等任务，而视频监控系统以其直观及时等特点，配合参数监控系统完成现场监控和故障分析等任务。具体米说，视频监控系统要解决的问题包括；视频数据的实时采懿、录像、网络发布和查询回放罄。菇了瓣块这些润题，我们可以采用第一找模拟挺频毅控系统也可以聚拜第二、三代数字褪频蕊羧系统，撮糖第一章的总缩稻耽较，我】慕蠲第三代瞬略视频蓝控系统。需求描述需求分析盼主要蟊的是确定茸标系统必须其有的功能。禳据上面的分析，恿俸上瓣米，生产线煎榄频监控磔统应该具备如下几个功能：采集现场视频数据，并实时地发布到网络上，让网络流媒体密户端用户，比如厂领导和工程师等可以实对地了瓣现场生产情况。配合参数蓝控系统，在发生数簿袋操俸煲试为必要霹送簿袋像，势将和录像肉容辐美瓣藏淹位置、类型等信息保存在数捕库中，以备日稻态询分析。查询回放历史数据，允许用户以录像日期、敞障类型等作为落询条件，查询咧放录像，以方便：程师结合参数信息分析故障原因等。同时，还应该允许用户播放下载到本地的媒体文牛。为了捷上述凌熊芷薅实瑷，簧瓣系统遂孬一篓妊要夔配置，掰爨系统登须要最窍参数配萋静热能、保存系统逡行参数的功熊和自动读取参数的功能。麓统数据流圈在系统使用过程中，用户和系统之间有很多的数据交互，用不同的操作步骤来完成各种不同的功能，比如用户需要用查询和选择文件进行媒体文件的查询点播。下面将各种功能所涉及的操作过程做简嚣的描述。参数浚耋耱读袭这凰所指的参数最视频监控系统蜒行过程中所需鬻的支持数据，比如数据库连按信息，录像所使用的参数数据等。这些参数设置好以后满要保存在固定的文件中，在系统下次启动的过程中自动在文件中读取并应用它饲。参数设置和读取的数据流图翔鼹和霉所零。设鬣系统参数霹，搡律人员先籍簧酝置静参数输入系统，确定磊，系统营先羯鞭掰输入参数怒番合法，所谓合法就是参数的数据类型和参数的范围都符含被设置参数的要求，当判断含法后系统将输第二章焊接生产线视频整控系统总镩设计的数据保存在酉己置文件中并教变参数设置，操作员可以观察刹参数改变后的效果，如果不能达到要求需臻重新设置。参数配置文件可以是一个单独的配置文件，猩数据量不是很多的情况下可以保存在的注册袭中，有些数搬量比较大的参数可以存放在数据库中。系统读取参数粒设置参数鏊率穗羁，掰不溺豹是，若读敬籀参数不合法不是搡痒入燕霪掰输而是读取一组默认的参数进行设鬣。图静数设置数据流豳图瀵取参数数据流圈显示效划搽终受。、，援频数据采嶷、录像移实瓣传辕视频数据一般是扶视频采集设备获得，在基于的应用中，一般使翊视频采集卡来完成视频采集：作。视频采集稷序将数据采集剐计算机内存中。录像过程就是将采集的视频数据用多媒体文件的形式在存储介质中保存起来的过程。襁录像时一般要将录像匏原因秘录像的雾雪阍等攘患保存在数瓣疼中鞋各以嚣整诲，冀工佟过疆翔匿斯示。在我稍的系统中，交像鹣触发有两种特况。一种是王穗繇因为菜帮艨豳，需要将现场的情况话录在多攥俸文件中，这些原因可能是发现有设备运行不正常；另外一种是参数监控系统触发，参数监控系统采集到现场参数后将参数做相应的分析，如果发现参数中存在错误，则认为现场出现状况，并分析出敞障出现的地点和大致原因，然后将分析的缩果遂知视频监控服务器，服务爨开始录像。！丑视鞭数据（：！囊税额撒橱兰叵参数监控系绞刿薮教漳艘簿唐蛩觯信断故障视频数据圈视频来熊和录像操作数精流图国爵霎翠南翠凼面争宣霉麈孚菖寨南太学磺士学氇论文实时传输数据，就是将采粲到的视频数据发送到网络上，让接收的客户端接收并播放避麟视频数据，其工作过程如图所示。骠披嚣卜羰数吨堕视频数籍野懒蛩碴圈（囵频数堕强霜终数舞实霹维援数撵浚圈录像文件鲞询录像昭查询避程藏是漉媒钵寮户端为了分毒蓐数障等基的鲞溪历史录像越象的过程，此遭糕大致包括磷询条件输入、豢询条俘封包发送、务器接收数据并辩包、鸯询数据库、邋嗣数据鳝粟帮强示结果等操作，其过程如图所示。录像点播操作图蜜谗文静数据滚掰录像熬点疆避辗藏是流媒体察户溃查看秉像文俘戆进狴，纯过程大黎毽耩点播文孛名翰入、文律名打包发送、服务器接收数据并解包、查找文件是街存在若存在则开始传输数据、客户端接收到数据进行解码播放。在播放过程中，客户端操作人员有时薅求对录像的槠放进行操作，比如暂停和开始播放等。虽然这些操作的具体内容不同。但是其基本过穰綦本相同。录像点播的工作过稷如图所霹。图录像点播过程数据流豳第二章焊接生产线视频监控系统总体设计系统对录像过程要求视频监控系统在监视过程中，被监控对象可能有超出正常运行范围或不属于正常状态的非常事件发生，系统发生的非常事件应该被记录下来。本文将这些非常事件称为录像事件，因为它们应该在录像中，是录像的主要内容。视频录像的主要目的是记录下这些录像事件。在监控系统中，为了满足不同的需求，录像有多种模式，根据录像的时间、记录的内容可以把录像分为三种：第一种模式是系统在运行过程中一直在录像，记录下所有时段的视频信息。这种方式的优点是不会错过任何现场信息，缺点是占用的存储空间太大，而且由于录像文件太大太多，查询回放起来不方便。这种录像方式一般应用安防或交通监控等需要记录所有时段的被监控对象情况。第二种是录像事件发生后开始录像，录像的内容是从录像事件发生后通知系统开始录像的时刻开始的。这种录像的方式解决了第一种录像方式中占用存储空间大和内容不容易查找等缺点。但是，由于录像的时刻是在事件发生以后，对事件发生之前的情景不能记录，而在工厂中，这部分数据是分析故障所需要的重要数据。第三种录像方式是一直在计算机内存中保存最近的一段时间的视频数据，当录像事件发生时，先将内存中的数据写入到文件中然后再将实时发生的数据记录下来，其工作过程大致如图所示。图录像算法简单描述图寒鹰大学硕士拳缱论文系统中的数据在系统遮亍过程孛，涉及舞了大量瓣数据，它粕都霉务皇不同兹嗣逢稆债输途径。粳据数据蠲途途不惩，可甄把所有数据分为凡类：系统运彳亍参数数据、多媒体数据、嘲络铸输酶控翻数据鞠数据库中的录像历史记录，表对邀几类数据进行了详细描述。袭数据类别说明数据类剐保存或传输的方式应用范围由操作人员输入到系统中，一般各种功能的参数数据，用来设置系统运行参数备张操作所需要的蛙自指标或参傈存在系统漫瓣表孛。数簿。监控系统中的多媒体数据有两由采集卡采集得到或从文件中读种，一种是实时获得的现场数据，多媒体数据取。一般缳枣在文锌中或眉快速用以让流媒体客户端及时了解现场壤凝，贯辨一静燕扶历史录像静嚣缮蒋递方式发蠢在麓络上。文件中读取的数旗，用以让用户回顾当时情景分析敞障原因等。这熄控制数据包括参数监控系统传递绘规颧监控系统使之开始录像翡糍令数据、粥产为了查询录由用户输入并在网络上以一种可像文件所输入的查询条件数据和网络佟输的控制数据靠的传递方式传播的数搦。流媒体客户端操作录像播放所输入的媒体控制指令数据和服务器运鞫绘客户淫熬撵嚣缠莱漕惑等。保存在数据库中，当有客户查询用于记录和显示录像记录，用户数据库中的录像历史基泶的时候，凌诲结果列袭将以一静可以根据这些数据的内容查询录像记录中鱼己需要均鼗擐进行回可靠黪赞递方式发送戮辔户骜蠹。放。系绫糕架总体设计的目标是设计出解决上面提出的问题系统软礤件结构框架。根据需求分析幕统应该具有如下功能：系统震要援频数撼采集和解码援敖。系缓可敬逶行褫频最缘静任务，并将录豫文彳孛攒述信意傈存在数撂痒孛。系统县有视频数据蜜时发布功能，视频数据采集端将采集到的视频数据实时地发送到网络上，系统地其它组成部分可以接收该数据流并解码播放。系统可以提供历史视频数据的查询爵放功能，让工；曛师可以调疆历史录像。势艇霈要提供播救本追文孛静凄熊，鼓挺寒文孛强藏的效率。同时系统具备如下特点：系统分为几个部分。它们是分布在网络上，相互之间利用网络数据报文通信。第二章焊接生产线视频监控系统总体设计系统各部分之间进行两类数据的传输，一类是需要高可靠畦的控制数据，一类是需要高实时性的视频数据。为了提高系统的开放性，使视频监梓能与其它第三方系统协同工作，视频临控系统应该对外提供个可编稃接口。通过该接口，第三方系统可以控制视频临控系统的录像，比如参数髓控系统可以通过该接口通知视频监控开始录像。本文称该接口为“录像编程接口”。一般来说分布式系统有两种模式，基于浏览器的（）结构和客户端服务器结构（）。我们的系统由于功能复杂，窗口较多，客户端体积较大，所以适合选用结构实现系统。根据功能的需要系统分为三部分：视频监控服务器、视频监控客户端和录像编程接口，其结构如图所示：视频监控服务器具有视频采集、实时发布、录像和点播服务器等功能；视频监控客户端负责接收并播放实时发布的数据和作为查询点播的客户端播放点播接收的视频数据：录像编程接口是视频监控系统向第三方系统开放的一个编程接口，第三方系统可以根据自己的分析和实际需要，通知视频监控系统进行录像记录。在我们的生产线监控系统中，参数监控系统可以在线对现场采集的数据进行分析，根据分析结果，通知视频临控系统进行录像，并告知录像原因。图系统总体结构示意图为了系统的实现和维护方便简单，将系统的功能分为几层。系统中上一层的应用调用下一层的功末嘉大学疆圭学毽论文熊，修改各层的实现方法对其它层的影响比较小，容易实现和系统升级等维护工作。图一圈撒示了系统各层之间的调用关系。其中所示参数监控客户端因为只是一个接口模块，所以没有界僦殿示的数据。数据访闯层（），主要用采访闯系统以辨的数据或系统的各个部分之阍避行数据交换的接口。在总焊绒视频监控系统中，系统和外界交换数据的接口包括：视频鞭集卡的视频信息读写接口、读写录像文件所使用的文件接口、读写系统运行支持参数使用的注册表接口、读写录像文件描述信慰所使嗣的数据麾接口。监务递辑瑟（），主要照理系统运行豹韭务滋辚，弼视频益控系统中的录豫、传输质量分析等操作；用户接口层（），主要用柬显示系统运行的结果和效果烩用户和接收用户给系统发出的指令和消息，如监控系统中的录像的显蕊和用户对系统的操作。匿褫频摊务器系统结构匿图枫频客户端系统缩构图第二章捧接生产缝援攘整控系统憨髂设幸图参数监控客户端系统结构图视频监控系统为满足各种需求，有很多操作过程，如节所描述的组攒、点播等。这魃操作过程的嚣个步骤中，霄很多需要的功能是相同的或棚避的，比如视频缌播和点播都霈要将接收到的视频数据解鹦矮敲瞧来，为安褒这些秘避戆功髓，赝零癸豹基礁鼓零稳溺。为系统实瑷鞠论文接述戆方蠖，将这些相近的功能规粪为凡个功能模块，然后分别阐述其设计实现豹其体方法。在其体的实现过辍中，将系统分为如下三大模块：视频数据处瑕模块；这一部分功能和多媒体数据相关，究成视频数据的采集、叠加字鞯、编码压缩、解码和播放等工作。其中有些功能可以使用硬件来实现，改翔编码压缩翻字幕叠加等。冀他功髓由系统较俘实瑗。（燕图、圈，、圈数搭流图中援额数掇处理）网络传输模块：这一部分功能和网络传输相关，完成数据的传输和对所传输数据的处理。在我们的视频系统中应用到了可靠的传输和快速的传输两种传输方式。并为实现传输协议来统计视频数据传输质量。（见图、图数据流图中的网络传输部分）数捶谚翘壤妖；这一都势动积系统谤阏系统辨雾楚鼗撂誊关，完或文孛搂霉、注辑表读写移数据瘴读写以及对读写的数据进哥亍籀应处理等功能。（见各数据流嘲的静界数据访问部分）末辩大学硬学垃论文第三章视频数据采集岛解码播放筏蔟数攥懿理是褪蓣煎羧系统中晓较棱心戆一莓分，避常它包括禚频数据聚集、编鹨、瓣羁撵敷积对视频数据内容的其他处理等操作。在操作系统平台上，系统提供的架构给出了一套高效便捷的解决方案。本章分析了在视频监控系统中处理数据的需求，然后给出了设计实现方案。蓑求接述视频数据的采集获取视频数据是视叛楚避斑用豹第一步，掰获得数据豹缓薰和格式籍盏接影响在就之螽瓣数据处理过程。根据需薅，在我们的监控系统中，应该从视频采集硬件中获得已经压缩过的、可以录像的、适合传输的流格式的媒体。压缩过照为了满足录像的存储容量有限和传输过程中网络带宽有限的要求，可以蒙像是为了满怒监控系统中记泶历史数据的要求，适合网络传输的意义是可跌将获得的视频数据在网络圭接辕，接收翡接收舞筏额数攒磊霹鼓马上播教，翻毯滚怒瓣络实时缢疆弱点播播藏戆要求。视频解码播放褫猿数糕瓣鳃玛褥鼗跫蠛簇藏控雾产臻蠡孽凌雏，提嚣第三章薛接述，褫频数据戆瓣筠攘效应该包括两种情况。种是播放本地录像文件，此过稳包括文件解码播放和对文件播放过程的控制，如暂停、快谶和设置视频播放速度等。另外一种情况是在恻络上接收并播放视频数据，成用于视频点播和组播视频数据播放，此过穆包括如下几个步骤：媒体数据的管理、媒体数据的解码显承和处理对媒体播放过程中瓣摄嚣事静，德燕搡终事终每攘藏本建交孛蒺本耀强。媒体数携篱理是以一释合逸的数据组绞格式帮组织策略程内存缓孛中管理接收到静煤体数据的过程。整个数据管理的过程如图，所示，系统的网络传输部分从计算机网络上读取视频数据，然后将所获得的数据交给数据管理模块臀理，解码播放部分从数据管理模块获得数据进行处理。数据管理的酲标有以下几个：惑羁终缕浚夔撬额数凝毽邃抒重耪露痔缝台。在褪簇数据这样实冀重瓣、大量静数据在瓣络上传输时，一般采用蕊向无连接的传输协议口一，由于协泌和网络所采用的传输策略鼹“尽力而为”（），没有采取任何措施保证服务质鬣（），可能出现数据包序列在传输过程中的乱序、丢包等情况。数据管理横块需要在接收数据包后，根掇数据包的捶述壤惑（壶耱谈提供，蒋在下一章漤透该绥议戆癌窑）凌怒是否丢弃该龟。妇果震要裸存数据，则计箕数搬包存放在数攒缓存中位置。方便视频数据解码播放部分的程序程缓存中读取多媒体数据。一种方便统一的数据蒋理方式能方便数据应用程序的设计和实现。含理的分配和销毁内存，防止走存懿浪费彝不足情凝豹出现。援鞭数据量大。在多媒体程序运葶亍遘程中需要夫量静计簿辊雨存来缓存这些数据，由于计算机静内存数量有陵、涛存管理需要消耗机器的处理能力，所以在视频成用程序中如果内存管理策略不恰幽对计算机处理能力和硬件资渊是一种巨大的浪费，在多路视频应用中更是如此。数据管理模块需要在数据处理过程中，合理管理数据缓存以掇商应用程序的运行效率、和硬件资源的利用率。第三章视频数据处理部分的研究与实现图数据管理处理过程数据流图媒体数据的解码显示是视频处理部分的核心部分，这一部分的主要完成将视频数据解码成可以显示的数据格式，然后将解码后的图像显示在计算机屏幕上，其处理过程如图所示。在我们的监控系统中，视频数据的编码格式为。图数据解码播放过程数据流图处理对媒体播放过程中的操作事件功能向系统用户提供了一个人机交互的接口。在媒体数据播放的过程中，用户经常需要对进行某些操作以影响数据播放的过程来得到自己想要的效果或需要得到的数据，这些操作包括如下几部分：对媒体播放的操作，包括播放、暂停、停止等。这些操作用来影响媒体数据播放的进度，用来反复观察一段录像或跳过一段录像内容。设置播放的速度，这项操作的目的是将媒体数据的播放速度设置为正常播放速度的某个倍数，用来快速浏览或仔细观察录像中的内容。截取图片，这项操作的目的是将播放过程中值得保存的场面用图片的形式保存下来用于以后其他的分析之用。处理用户消息，这项操作主要是改变媒体数据播放过程播放窗口的大小。事件处理过程如图所示，媒体播放模块首先获得用户的操作，然后经过分析后作出响应操作的决定。固用户操作播放过程的数据流图东露大学颈圭学燕论文视频数据的解码与播放本节静逡骞主要是根据戳上见部分熬分糖，为上蘑所提出蝗系统在援频数壤处理方嚣懿嚣求给出一个解决方案。蠢论是视频数攒采集还是视颓数据处理，都是嚣常复杂静过程。势谯平台上处理各种多媒体应用提供了家旌来解决这些问颁，其中系统