




已阅读5页,还剩11页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于ARM的数字视频监控的设计XXXXX(长春大学电子信息工程学院,吉林省长春市,130022)摘要视频监控系统是安全防范系统的组成部分,它是一种防范能力较强的综合系统。现今监控系统已经步入了数字化、网络化时代,即视频从前端图像采集设备输出时即为数字信号,并以网络为传输媒介,基于TCP/IP协议,采用流媒体技术实现视频在网上的多路复用传输。使用嵌入式系统实现远程视频监控技术,符合网络化数字化的特点,对公安、安防等行业有着重要的现实意义。视频监控系统一般采用基于PC平台视频采集卡的形式,该方案系统体积大、成本高,在远距离、多点系统中实现困难。本设计采用SAMSUNG公司基于ARM公司的ARM920T处理器核(CPU芯片含有视频采集接口),软件平台是LINUX2420操作系统内核,由于LINUX操作系统的开放特性、优良的网络支持性能、模块化的结构,较好满足系统的需要。关键词视频监控;高级精简处理器;嵌入式;LINUX操作系统BASEDONARMDIGITALVIDEOMONITORINGDESIGNXXXXXXCHANGCHUNUNIVERSITYELECTRONICINFORMATIONENGINEERINGCOLLEGE,JILINPROVINCECHANGCHUN,130022ABSTRACTVIDEOSURVEILLANCESECURITYSYSTEMISANINTEGRALPARTOFTHESYSTEM,ITISACOMPREHENSIVEPREVENTIONSYSTEMCAPABILITYTHECURRENTMONITORINGSYSTEMHASENTEREDTHEDIGITALANDNETWORKERA,THATIS,VIDEOFROMFRONTENDIMAGEACQUISITIONDEVICEWHENTHEOUTPUTISDIGITALSIGNAL,ANDTONETWORKTRANSMISSIONMEDIUM,BASEDONTHETCP/IPPROTOCOL,USINGSTREAMINGMEDIATECHNOLOGYTOACHIEVEMULTILINEVIDEOMULTIPLEXINGTRANSMISSIONPATHEMBEDDEDSYSTEMSUSINGREMOTEVIDEOSURVEILLANCETECHNOLOGY,INLINEWITHTHEDIGITALNETWORKCHARACTERISTICSOFPUBLICSECURITY,SECURITYANDOTHERINDUSTRIESHAVEANIMPORTANTPRACTICALSIGNIFICANCEVIDEOSURVEILLANCESYSTEMSAREGENERALLYBASEDONTHEPCPLATFORMVIDEOCAPTURECARD,THEPROGRAMSYSTEMOFLARGE,EXPENSIVE,INTHELONGRANGE,MULTIPOINTSYSTEMTOACHIEVEDIFFICULTTHEDESIGNUSESSAMSUNGSARMBASEDARM920TPROCESSORCORECPUCHIPCONTAINSAVIDEOCAPTUREINTERFACE,SOFTWAREPLATFORMISALINUX2420OPERATINGSYSTEMKERNEL,ASARESULTOFTHEOPENLINUXOPERATINGSYSTEMFEATURES,EXCELLENTPERFORMANCEOFTHENETWORKSUPPORT,THEMODULEOFTHESTRUCTURE,BETTERMEETTHENEEDSOFTHESYSTEMKEYWORDSVIDEOMONITORANDCONTROL;ARM;EMBEDDED;LINUXOS1ARM简介ARM是ADVANCEDRISCMACHINES(高级精简指令系统处理器)的缩写,是ARM公司提供的一种微处理器知识产权(IP)核。设计了大量高性能、廉价、耗能低的32位RISC处理器、相关技术及软件。技术具有性能高、成本低和能耗省的特点。适用于多种领域,比如嵌入控制、消费/教育类多媒体、DSP和移动式应用等它的典型开发版是S3C2410。ARM内核的数个系列(ARM7、ARM9、ARM9E、ARM10E、SECURCORE、XSCALE、STRONGARM),各自满足不同应用领域的需求,无孔不入的渗入嵌入式系统各个角落的应用。这是一个ARM的时代本次我选择基于ARM9核的ARM处理器。ARM9处理器采用5级流水线,指令执行效率较ARM7高,而且带有MMU功能,这是与ARM7的重要区别。同时,该系列的处理器支持指令CACHE和数据CACHE。因而具有更高的数据处理能力主要应用在MP3播放器,手持终端,数字照相机等。ARM的应用已遍及工业控制、消费类电子产品、通信系统、网络系统、无线系统等各类产品市场。基于ARM技术的微处理器应用约占据了32位RISC微处理器75以上的市场份额。揭开你的手机、MP3、PDA,里面多半藏着一个基于ARM的微处理器这也是我仍然选择基于ARM微处理器设计MP3播放器的缘故,它将给我节约很大的成本而且很满足顾客的要求2数字视频监控原理21设计思路分析远程监控系统的网络结构的设计直接影响到系统的性能,目前监控系统网络的实现大致有三种方案。第一种是采用代理服务器的方法,如图31所示。RS232TCP/IP嵌入式系统代理服务器INTERNETCLIENT或WEB浏览器或浏览器图21监控系统的代理服务器方案代理服务器一般由PC机来充当,一方面运行TCP/IP协议实现INTERNET介入功能,另一方面通过简单的总线结构(RS232R、RS485等)与嵌入式系统相连接。嵌入式系统中只需要有一部分与代理服务器通讯的代码即可。其优点是可以方便的解决设备上网问题,开发难度低,缺点是接入成本比较高,不利于大规模的推广,该设备比较适合较大的型或较昂贵工业设备的上网要求,不适合用于低价设备。第二种方法是通过直接在嵌入式处理器上实现TCP/IP协议来实现INTERNRT的接入功能,如图32所示,这种方案没有使用操作系统,大大节省了资源,但对处理器的要求也较高,技术实现上也比较困难。TCP/IPTCP/IP协议栈嵌入式系统16/32位处理器INTERNETCLIENT或WEB浏览器图22直接在潜入式上实现TCP/IP协议方案本实例采用的第三种方案与第二种方案相似,但是它使用的是嵌入式ARMLINUX操作系统,在操作系统上运行TCP/IP协议。目前大多数嵌入式操作系统都带有TCP/IP协议栈,这降低了开发难度,实现起来比较灵活,由于嵌入式操作系统的运行需要占用相当的处理器资源和存储空间,对硬件的配置也有较高的要求。采用第三种方案,可以节省开发时,缩短开发周期。监控系统一般还要在监控现场配置一台工控机或高性能微型机作为服务器,用来存储中间数据,处理实时性要求较高的事件,响应监控终端的监控请求。一个基于ARMLINUX的网络监控系统结构如图33所示。监控终端监控系统监控系统INTERNET局域网局域网数据服务器数据服务器图23基于ARMLINUX的网络监控系统结构基于ARM的嵌入式网络监控系统,它采用TCP/IP网络协议标准,系统组网简单,传输数据量大,速度快,整个系统结构简单,尺寸微小,价格低。远程计算机可以做到无需任何额外程序,通过WEB浏览器就能对设备进行监测,而且应用程序易于开发、实现信息的完整共享。因此,开发一种基于ARM的实时网络嵌入式网络监控平台,为各种智能化、小型化底层的监控系统提供可重用、高性能、图形化、网络化软硬件基础平台和高效的开发模式,结合实际情况和所需功能,系统具有的基本功能有数据采集、数据采集和处理、程序控制、网络传输。基于ARMLINUX的网络监控系统具有以下特点1实时性好,能满足采集和数据处理的实时性的要求2性价比高,在满足要求的情况下,系统成本尽量的低。3可控性好,能实现远距离的控制数据传输。4系统硬件构成及功能重要设施数字化监控系统主要包括前端设备和监控中心设备。前端设备主要完成视频信息采集、探测器报警信号产生、云台与防护罩的控制功能,主要设备包括摄像机、电动变焦镜头、三鉴探测器、周界红外对射、烟雾探测器、红外灯、云台、防护罩、解码器、警灯、警笛、防盗照明灯、门禁设备等,现分别叙述如下摄像机和镜头完成现场动态视频信息的采集,针对监控点的需要,可分别采用固定镜头和电动变焦镜头。解码器中心计算机可以通过串行口控制解码器。实现远程对云台各个方位的控制,以及拍摄现场的场景拉近、推远等。红外灯通过红外灯发出的不可见红外线,可以在完全没有照度的环境下正常拍摄。周界红外对射负责周边的监控,一旦发生非法翻越周边围墙或栅栏,因红外线被切断,探测器产生报警信号。烟雾探测器内置的红外收发装置,在布防区域的空气烟雾浓度达到一定程度时自动发出火灾报警信号。三鉴探测器可以侦测覆盖范围内的移动物体,当有移动物体通过布防区域时,探测器发生报警信号。监控中心是系统核心部分,主要完成模拟视频信号的采集、视频压缩、监控管理数据的记录和处理、监控数据的回放和检索、报警输出、设备检测及管理。强大的硬盘管理功能应用软件系统支持多个硬盘管理,尤其支持抽拉式硬盘管理,自动管理硬盘存储、自动循环录制,可以灵活设置硬盘的存储空间、录满报警等功能,支持录像备份功能。完善的录像功能应用软件系统允许为每一路视频自由设置录像方式,可以将每天分为24个时间段,每个小时分别设置为正常录像、传感器报警录像、视频报警录像、只监控不录像等任意一个状态,用户可以根据特定的需要自由设定录像方式,从而有效地利用硬盘空间,并且实现全天自动监视及录像,无需人工干预,达到无人值守的目的。多路视频移动检测可以对多路视频录像进行区域、录像预制设置,设置好的时间段区域内如多路视频移动。例如,设定的区域内有人刻意用手堵住摄像头或视频线路短路,系统对应的视频将立即录像,同时可以联动相关设备如灯光、警笛、蜂鸣器等出报警信号,及时输出监控警情,并迅速通知有关人员处理警情。显示/回放/图像处理用户可按实际需要每路的录像选择分辨率和压缩比,8路系统最多可以接到16路视频输入、8路报警输入和8路报警输出,每路25帧/S实时录像。在现场监视的情况下,可以用全屏幕或多画面显示。在图像回放时,以实时或逐帧分解格式显示,用户可以选择单幅对特定图像进行处理,如放大/缩小、柔和增强、锐化/提取、浮雕/扩散等,然后存储或打印。云台/镜头控制功能具有本地及遥控控制全方位云台/镜头功能,方便用户对系统各个部分进行遥控操作。22数字视频监控原则数字监控系统采用了当今世界最先进的全数字化的计算机压缩技术,具有传统的“模拟”方式的监控系统无法比拟的许多优点。可以完全自动地对监控对象进行永不间断的全程监控,并可以非常方便地查询任一时间,任意地点的现场图像,为彻底解决安全问题提供了有力的措施,取代了传统的“模拟”方式的监控系统,这一“革命”性的监控系统,还能在相当长的一段时间保持领先地位,提高了用户的投资效益。监控系统设计的好坏以及使用的可靠性直接影响用户的切身利益、关系到人力和物力资源的安排与配置的合理性,甚至会产生巨大的社会影响,本公司本着“用户第一,服务至上;提高用户的管理水平”的原则,精心地设计了本系统1充分考虑了用户的各种具体要求和当地的具体情况。2采用了当今世界最为先进的计算机全数字化压缩监控系统,具有传统的监控系统无法比拟的优点,能够堵塞安全漏洞,为突发事件提供证据,很好地保护投资者利益。3系统具有高度的可靠性和工作的连续性,极大程度地减少了用户的维护工作量。4采用高科技手段,进行智能化设计,尽量减少系统操作的复杂性;并做到系统工作稳定可靠,使用和维护简单方便;系统可扩展性、伸缩性很强。5设计时充分考虑了日常可能发生的各种突发事件,灵活性强。6前端配置和安装均考虑安全性、隐蔽性及美观性。3数字视频监控设计31数字视频监控中心设计系统主要由视频采集和传输部分组成。有嵌入式处理器、CMOS图像传感器、存储器、以太网接口、串口、及电源管理电路。嵌入式处理器是韩国三星公司的基于ARM920T内核的16/32位RISC嵌入式微处理器(型号S3C2410),主要面向高性价比、低功耗的应用。为了处理图像数据,CPU的工作频率可达400MHZ。S3C2410的资源包括LCD控制器,SDRAM控制器,摄像头接口,3路串行接口,IICBUS接口,USB接口,触摸屏接口。在处理器丰富资源的基础上,还进行了相关的扩展,配置了32MFLASHROM和256MBSDRAM。在嵌入式处理器的控制下,CMOS图像传感器片上采集到的数据经帧同步信号触发产生中断后被拷贝到SDRAM,经过MPEG4编码后由网口发送到远端监控中心显示,系统框图如图41所示。S3C2410SDRAMFLASH以太网模块视频采集模块电源模块I/O接口RS485RS232图31数字视频监控硬件框图311图像采集模块的设计1监控终端图像采集图像传感器接口电路是硬件设计的关键部分,如何有效的采集数据也是系统的关键问题。视频源信号来自于一个高度集成的COMS数字图像传感器模块MB86S02,它是富士通的产品。它不但集成了COMS图像传感器整列、自动增益信号放大器、模数转换器、还包括了色彩信号处理和微型镜头,包含了图像采集的所有前端处理,可以直接输出数字信号。MB86S02基于COMS工艺,使用源像素传感器,与传统的CCD传感器有很大的同点。(1)成像过程CCD和CMOS使用相同的光敏材料,因而受光后产生电子的基本原理相同,但是读取过程不同CCD是在同步信号和时钟信号的配合下以帧或行的方式转移,整个电路非常复杂,读出速率慢;CMOS则以类似DRAM的方式读出信号,电路简单,读出速率(2)集成度采用特殊技术的CCD读出电路比较复杂,很难将A/D转换、信号处理、自动增益控制、精密放大和存储功能集成到一块芯片上,一般需要38个芯片组合实现,同时还需要一个多通道非标准供电电压。借助于大规模集成制造工艺,CMOS图像传感器能非常容易地把上述功能集成到单一芯片上,多数CMOS图像传感器同时具有模拟和数字输出信号。(3)电源,功耗和体积CCD需多种电源供电,功耗较大,体积也比较大。CMOS只需一个单电源3V5V供电,其功耗相当于CCD的1/10,高度集成CMOS芯片可以做的相当小。(4)性能指标CCD技术已经相当成熟,而CMOS正处于蓬勃发展时期,虽然目前高端CMOS图像质量暂时不如CCD,但有些指标(如传输速率等方面)已超过CCD。由于CMOS具有诸多优点,国内外许多机构已经应用CMOS图像传感器开发出众多产品。本文主要介绍已商品化的CMOS图像传感器的发展现状以及最新发展动态,希望对下游产品的开发有所帮助COMS最大的优点是每一个像素单元可以集成一个或多个晶体管,这样就具有了低功耗和小型化的特点,非常适用于手持设备的应用,可以降低系统功耗、体积,提高电池效率,它的高度继承性大大简化了图像应用系统的设计。MB86S02的特点如下1/7英寸图像传感器,有效像素为352X288共11万像素;超低功耗30MW15FPS输出8位CMOS电平并行数字信号,YCBCR422或YUV422格式;色彩信号处理包括自动增益、自动曝光、自动白平衡、GAMMA校正等;寄存器设置通过标准I2C串行接口;支持CIF352288、QCIF176X144格式;CCIR656标准头输出;抗闪烁功能;低功耗模式;掉电模式功耗为3W。由于MB86S02采集的数字信号格式为YCBCR或YUV,而VGA显示器需要的是RGB分量信号,所以如果想把MB86S02采集的图像直接显示在VGA显示器上,还需要进行YCBCR或YUV到RGB的颜色空间转换。YCBCR和YUV是基于亮度与色差的颜色空间,RGB则是基于红绿蓝三基色的颜色空间。它们之间转换的理论公式为RY1317VGY0689U0336VBY1732U实现8位字长的YUV到RGB转换,为了实现高速转换和宽度扩展,简化了理论公式为RYV128BYU128GY0194U05V90其中,0194倍的U分量用查表的方法得到,05倍V则直接用右移一位实现。经过这样的简化后,整个转换可以在两个时钟内完成,经过测试转换效果比较理想。视频服务器的工作主要是编码和解码。图像视频压缩的标准有H120、261、263、JPEG、MPEG1、MPEG2等。以上标准均偏重于某几个应用领域,交互性较差,不能提供对各种网络的一致性访问,容错性、灵活性和可扩展性比较差。1998年11月MPEG4成为国际标准。与MPEG1和MPEG2相比,它对于传输速率要求较低,在480064000BITS/SEC之间。MPEG4利用很窄的带宽,通过帧重建技术来压缩和传输数据,以求利用最少的数据获得最佳的图像质量。2视频压缩MPEG4引入了基于对象表达的概念,用来表达视听对象AVOAUDIO/VISUALOBJECTS;它具有高效编码、高效存储与传播及可交互性的特性。MPEG4允许已有的AVO生成复合的AVO,由此生成AV场景,并采用SNHC的方法来组织这些AVO。对于AVO的的数据还能灵活地多路合成与同步,以便选择合适的网络来传输这些AVO数据,并允许接受端的用户在AV场景中对AVO进行交互操作。图43所示,简单描述了MPEG4视频编码原理。通过对输入视频序列的分析,确认N个视觉目的的对象为编码对象,将其认定为N个VO(N1,2),对每一个VO编码后形成的这个VO的VOP数据流。VOP的编码包括对运动(采用运动预测方法)及形状、纹理(采用变换编码方法)的编码。由于VOP具有任意形状,因此要求编码方案可以处理形状和透明信息。除去VO的图像的其余部分背景,仍采用传统的矩形DCT变形编码。最后VO场景描述信息的编码、VOP流、背景一起送入MPEG4帧复合器,形成MPEG4流输出。MPEG4技术应用在视频监控系统中具有节约存储空间、占用网络传输带宽少、错误恢复能力强、图像质量高等特点,所以我们选用MPEG4进行图像编解码。视频服务器另一个很重要的功能就是节目播出,这需要在解码通道设计中提供两种基本功能多个文件的连续无缝解码输出和任意并准确地定位解码文件的入点和出点。只有实现了这两个功能才能达到视频服务器的播出功能。3监控终端数据通讯在工业控制场合中,常会要求通过PC向嵌入式微机传输图片文件、数据文件等。RS485由于价格便宜、操作简单、使用者可以随意编写应用协议等优点,被广泛应用在中等长距离的控制通讯中。因此,利用RS485实现PC到嵌入式系统的文件传输,十分具有现实意义6。本文以基于ARM9的三星S3C2410A为嵌入式微处理器,嵌入式LINUX为嵌入式操作系统搭建一个嵌入式系统,成功实现了监控终端通过RS485向嵌入式系统传输文件。RS485是一种多点、双向、平衡传输规范,被命名为TIA/EIA485A标准。RS485由RS232发展而来,它改进了RS232通信距离短、速率低的缺点。RS485是一种平衡通信接口,传输速率最高可达10MBIT/S,最大传输距离约为1219M,并允许在一条平衡总线上连接最多32个设备。RS485的共模输出电压是7V12V5。RS485串行接口可以用最少的信号线完成通信任务,能够支持较高的数据传输率和较远的传输距离,同时可以方便进行多点互连,是工业控制中经常使用的电气接口。可以通过对EP93XX系列微处理器的UART接口进行信号转换,在系统中实现RS485接口,信号转换可由MAX485完成。MAX485是用于支持RS485/RS422通信的低功耗收发器,内含一个独立的驱动器和接收器,支持半双工收发。MAX485的RE/DE由EP9315的EGPIO3控制。由于MAX485以半双工的方式工作,因此由EGPIO3控制其发送与接收,当EGPIO3为高电平时,驱动器使能而接收器高阻态,此时可以发送数据,而当EGPIO3为低电平时,接收器使能而驱动器为高阻态,此时可以接收数据。RS485采用差分式传输信号,对同时出现的两条信号线A和B的干扰有较强的抑制能力。当两条线绞在一起时,对通信各种分布参数耦合过来的干扰信号可平均地分配到这两条线上,因此对RS485的差分式传输线路而言,用双绞线可获得较强的抗干扰能力。312以太网接口的设计在S3C2440芯片上无网络接口,为了实现在系统调试时,下载操作系统内核、文件系统映像,及在系统运行中实现视频数据的网络传输等功能,所以在系统中扩展网络接口模块(DM90000)。该芯片为10M/100M以太网物理层芯片,具有通用的处理器接口。其中CMD为命令类型引脚,在高电平时为数据周期,在低电平时为地址周期。可通过CMD与数据总线访问内部54个控制及状态寄存器。当AS9AS8设置成高,SA7设置成低,SA64与TXD20匹配时,DM90000由AEN引脚唯一控制是否被选中。此外,DM9000工作在正常模式,TEST14依次为1、1、0、0。为了保证DM90000收发正常,还要加上25M的晶振。313ARM视频监控平台如图46所示是视频监控应用系统的开发平台,ARM的系统扩展槽和设备扩展槽,用于为ARM系统添加如以太网接口、海量数据存储接口和PCMCIA等接口,或者用于其他功能的开发板,为RAM系统扩展了CMOS图像获取功能和VGA显示功能。ARM视频监控系统开发平台其中,VGA接口是通过电阻网络实现4096色彩色现实。与SRAM控制寄存器、读地址低16位。读出数据寄存器、写地址低16位、写入数据寄存器;与CMOS图像采集系统有关的寄存器有CMOS采集控制寄存器、CMOS采集状态寄存器;与VGA现实有关的寄存器是VGA现实控制寄存器。32视频监控系统软件设计如图47所示是ARM主程序流程图。ARM处理器获取图像信息,执行压缩程序,压缩后的文件通过公共电话线路传递到监控主机端。由于系统采用相同的图像分辨率和常量表,所以文件头都相同。为了减少传输数据量,不传送文件头,文件头在监控主机端由软件自动添加。图32ARM主程序流程图本系统还使用调制解调器通过公共电话网来简历远程数据连接,在远程图像监控终端处的调制解调器处于待命状态,它使用“ATS03D0WW1”命令设置为自动应答方式,在3次振铃后自动摘机,经历“数据风暴”以后与主叫方建立连接。监控中心的调制解调器由监控软件控制拨号建立连接或者挂断连接。数据连接建立好后ARM会收到“CONNECT”字符串,表明通信线路连接成功,此时就可以像使用普通串口一样使用调制解调器建立的远程数据连接。ARM接收到从监控中心发来的采集命令后,依次完成图像采集、压缩处理,然后通过串口以ASCII码形式直接发送图像数据到监控中心,完成一次操作后等待下一个采集命令。33程序分析1、主程序的设计功能说明系统的总入口也是系统的主要控制函数。分别完成以下功能建立环境设置设置信号处理方式建立帧听TCP流方式SOCKET并绑定80端口建立连接帧听及客户连接处理调用主函数2、算法流程图算法流程图如图414所示。图33算法流程图331操作系统该部分主要负责CPU的调度、定时器的操作、线程的管理和进程间通信等问题。由于VOD业务实时性的特点,视频服务器每接收到一个客户的请求,都会开辟一个新的线程,这个线程负责用户的各种操作,包括播放、控制云台转向、各种计划任务的制定等操作。这个线程是由两个线程组成的生产者消费者模型。其中生产者从磁盘中读取媒体数据,并将数据发送到内存中。消费者负责从内存中读取这些数据并通过网络发送到点播用户。为实现快进、快退功能,有两种可供选择的方法。其一是,当用户发出快进指令后,视频服务器以高于正常播放两到三倍的速率读取数据,并发往用户。同时,用户的回放速率也提高到对应的水平。这与录像机中的快进操作过程很相似,优点是服务器只需存储一份正常速率的视频文件,从而节省了存储空间。缺点是视频服务器和用户终端的工作负载会成倍增加,传输网络也会因流量的增大而易于出现拥塞。这一方法还有一个缺点,就是很难实现快退操作。另一种方法是分别存储正常、快进、快退三个文件。首先从正常速率的文件中,抽取部分I帧图像,以顺序的方式形成快进文件,以逆序的方式形成快退文件。三种播放文件之间存在确定的对应关系,当从一种播放状态转移到另一种播放状态时,生产者线程便从对应的文件位置开始读取数据,以保持用户视觉上的连续。这种方法的不足之处就是需要较大的存储空间,但因具有易操作的优点,所以我们采用这种方法。为了响应用户在正常播放中的交互操作,还须解决进程间的通信问题。我们采用利用信号量的方法,即在生产者、消费者两个工作进程之外,创立第三个控制进程,通过信号量获取从监听进程发来的工作状态转换命令,去调整两个工作线程的工作方式。332通信系统网络传输技术需要解决在局域网和广域网环境下的视频编码数据包的可靠性传输、数据包定序、低延迟传输、音视频同步、低码率传输、实时解码软件技术等问题,同时,在多用户的网络环境里,还需要考虑应用组播协议,保证网络传输的高效率。系统由9个模块组成,视频采集和压缩处理由视频采集卡硬件完成,采集卡通过附带的SDK函数接口与网络传输模块通信,当视频采集卡完成视频捕捉和压缩处理后,RTP协议封装模块对数据块进行封装和排序,然后交给UDP网络传输模块在IP网络上传输。接收端和发送端基本类似,负责把网络传输过来的视频资料包重组和解码回放出来。从原理图中可以看出,当采集卡捕获来的资料包通过RTP协议封装在网络上传输时,接收端在译码的过程中同时会对传过来的RTP包进行RTCP分析,分析所有的接收包,统计包丢失、时延抖动、网络负载等状况,如果网络繁忙和堵塞,包丢失严重,译码端会马上给编码发送端一个反馈,发送端接收到这个信息会做相应的处理,实现网络流量的自适应,这就是利用RTCP协议由接收方向发送方反馈信息的功能来进行传输的控制,以保证网络传输的服务质量。该子系统主要解决两方面的问题,一是服务器对用户点播的接纳,另一个是视频数据向网络的发送。我们采用的是服务器推动SERVERPUSH模型。让服务器以一定的速率发送数据到客户,客户接收到数据后进行解码和回放。一旦视频对话开始,视频服务器就连续传送数据。在视频服务中,服务器推动的传输模式与客户拉动模式相比,能够支持更多的并发用户且传输效率更高。在网络上传输视频信号非常消耗网络带宽,为了满足服务器的控制功能,必须设计一个自己的网络传输协议,为控制通信留出带宽,以保证控制命令的完成时间可以预测。目前因特网上数据的传输主要采用TCP和UDP协议。TCP协议能提供有序、可靠的服务,但是一旦数据丢失会带来严重的延迟,无法保证实时性;UDP是小的、节约资源的传输
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 黑龙江省大庆市2025-2026学年高三上学期第一次月考化学试卷
- 广东省中山市纪雅学校2024-2025学年七年级下学期数学期中试卷(含答案)
- 2024-2025学年江苏省扬州市高一(下)期末物理试卷(含答案)
- 水体生态系统中污染物生物富集与迁移机制研究-洞察及研究
- 边防与国防课件
- 边塞情景名师课件
- 基于拓扑优化的切割式Ⅴ带截面几何参数多目标协同设计方法突破
- 基于区块链技术的三氯苯产业链碳足迹追溯与合规性验证难点突破
- 基于AI视觉识别的分汁精度动态补偿算法在复杂工况下的适用性验证
- 地质构造突变区凿岩参数实时反馈系统与岩体损伤演化耦合研究
- 工程建设质保金合同范本
- 2025年秋季学期人教版PEP英语一年级上册教学计划
- 小学《班干部培训》主题班会课件
- 2025年人教版八年级地理上册全册教案
- 百师联盟2026届高三上学期开学摸底联考数学试题
- 登革热课件PDF教学课件
- 2025年涉台知识竞赛试题及答案
- 黑龙江省哈尔滨市哈尔滨市第一中学校2024-2025学年度上高一期中考试语文试题
- 2025年广西壮族自治区招聘警务辅助人员考试真题及答案
- 2025年南阳唐河县国有企业公开招聘工作人员8名笔试备考题库及答案解析
- 园林养护服务公司简介范文
评论
0/150
提交评论