数字视频监控系统的多画面合成系统研究与应用.doc

数字视频监控系统的多画面合成系统研究与应用摘要：本文提出并实现的多画面处理系统充分利用了数字视频技术的最新发展，同时也利用了adv61l模块实现系统灵活性的优点，充分介绍了多画面合成系统的性能和主要技术指标，阐述了系统各部分的实现原理，探讨了系统的性能优化方法并对系统的进一步开发提出了一些设想。关键词：数字视频监控多画面合成系统the research and application of digital video surveillance systems in multi-image compositing systemzhang yi(china cstc standards technical services(shanghai) co.,ltd.,shanghai200233,china)abstract:this paper proposes a multi-image processing system and achieve full use of the latest developments in digital video technology,while leveraging the advantages of the adv61l module system flexibility,fully multi-screen compositing system performance and technical indicators,elaborated the principle of the system to explore the performance of the system to optimize the method and further develop some ideas.keywords:digital video surveillance multi-image compositing system一、概述为节省监视器数量，在有多个摄像机的电视监控系统中，采用多面面合成器就可以使多路图像同时显示在一台监视器上，为监控人员提供更加全面的视野画面。在采取几个多画面合成器时，可能只需要多面面合成显示器的数量相同，将所有显示器的多个画面同时传输到较少的监视器上。采用这种方式，既减少了监视器的数量，也可以使监控人员一目了然地监视各个部分的情况。常见的多画面合成分为四画面，九画面和十六画面。例如四画面合成器，利用四台摄像机将获取的视频信号信息传输到四画面合成器的输入端，然后从四画面合成器的输出端将输出信号接至一台监视器的输入端。通过这种方式，它会在监视器上按四象限分割的方式，同时将四画面一起显示出来，每个画面都有一段编码，所以这样就可以很明确每个画面所显示的监控部位，九画面和第十六条的屏幕显示也是是相同的显示原理。采取图像压缩和数字化处理的方法，是画面合成器的基本工作原理，合成器把几个画面按同样的比例压缩在一个监视器的屏幕上。此外，有的画面合成器附带内置顺序切换器的功能，可以在摄像头输入的全屏画面按照预先设定的顺序和时间间隔依次显示在监视器上（如同切换主机轮流切换画面那样）。而且可以使用录像机按照上面的顺序和时间间隔记录下来。时间间隔一般是可调的。录像机记录的每个画面是不经过压缩的全屏画面，所以在屏幕上的重播，不会降低图像的清晰度。二、应用现状在视频监控系统中，实现目标的运动处理、自动识别和自动跟踪是一直研究的重点。在这里，目标信号的界定，目标特征信号信息的增强及系统如何从视频信号信息中抽取有效的特征信号如目标图像信号的边缘分割、提取、目标形状分析，运动目标的运动估计、运动检测等，是我们一直以来比较关心的问题。到目前为止，这些方面的研究已经具有比较成熟的理论和方法。而对于传统的模拟电路，主要采用轮廓增强法、带通滤波器法、信号信息相关法等方法来增强特征信号信息；而用自适应电平切割法、限幅放大切割法、边缘波门箝位法等方式方法来提取有效的目标特征。对与这些问题处理，数字图像处理中有许多经典的方法。比如边缘检测算法，直方图灰度校正，差分技术，交叉相关法和傅立叶方法等等。目前，多画面合成处理器的生产企业主要集中在欧美、日本和台湾的大公司，如robot、panasonic、pollo、sanyoa等。许多国外大公司在选择解决方案上一般采用专用芯片，如sany和panasonic，在开发设计产品时完全采用自己公司开发的在视频处理领域的芯片集，从梳状滤波器、yc亮色分离、彩色解码器到后端的编码器，osd(onscreendisplay)插入、cvbs输出全部采用自己的芯片集，在控制系统上，它们则是采用定制的asic，其性能表现稳定，画面质量效果极佳；在目前的芯片市场上，超大规模可编程逻辑器件(fpga或cpld)和数字信号处理芯片(dsp)的价格已经大幅度下降，cpld或fpga在价格上已经降到接近通用集成电路芯片的水平，而且dsp在性能和功能方面也足以满足绝大部分的视频处理的要求。所以完全利用dsp、cpld和数字视频技术来实现以前使用asic和许多分立元件实现的功能成为一种现实可行的方案，例如apollo公司刚设计开发的产品便是一个例子，其推出的十六面面合成处理器采用rockwell公司的高性能数字解码器bt829a按符合ccir601标准规定的l6bits的数据流，yuv规格为4：2：2的数据码流存入fifo中，然后采用quicklogic公司的fpga(ql2009)进行时序、格式重排。最后将将已在帧存储器中成帧的图像数据流送入数字编码器bt866a，经过yuv三个9比特的数模变换器输出，其中多画面合成和场景切换录像各由一块fpga处理实现。生成复合全电视信号或者分量电视信号输出。三、系统基本原理视频多画面监控器主要要包括视频采集单元、图像解码单元、图像存储单元、报警提示单元、显示单元和fpga对图像的内部处理单元。fpga是整个监控系统的控制中心，它能够模拟c总线对解码芯片进行初始化并将多路视频信号的有效信息进行提取出来合成为一路视频信号输出到显示屏上，同时自动检测图像中的运动物体，一旦有运动物体出现时，将运动物体轮廓提取出来并报警提示操作人员。fpga采用的是cyclone系列中的ep1c12q240c8，该芯片的时钟频率最高可达到73.82mhz，有12060个逻辑单元、52个m4k存储块、全部ram位数为239616、两个锁相环，以及249个可用的i/o口。在对ep1c12q240c8芯片进行配置时，应按下图进行配置。图1 ep1c12q240c8配置图本文仅给出四画面智能监控器的总体硬件设计如图所示，多画面智能监控器硬件设计类似，在存储器内存允许的情况下，只需要添加摄像头和解码芯片即可。图2 四画面智能监控器的总体硬件设计结构只有按一定顺序排列的视频数据才能正常显示一幅图像。如果提取的四路有效数据不加以处理就直接按顺序写入存储器中，则在图像合成过程中必然会出现混乱，而不可能有效的显示一帧数据。因此在存储图像时，要对存储顺序进行调整，即将缩小后的四幅画面分别存储在存储器的不同地址。如果同时对四路视频数据进行存储，必然会出现总线冲突的情况，本文通过一个采集切换模块来实现存储器的轮流存储。然后将四路视频数据按照一定的方式组合起来，形成一帧的视频数据，这样便完成了四路视频数据的合成。四画面轮流存储模块图如下。图3 四画面轮流存储模块在四路视频数据轮流存储过程中，当对第一路视频的有效数据进行存储时，其他几路处于等待状态；当第一路存储完毕，采集切换模块向写地址选择模块发送使能信号，使能第二路信号，则开始存储第二路视频信号，其他三路同样处于等待状态，这样以此类推，直到一帧数据存储完毕。四、性能优化及开发设想在多画面处理时，如何对移动目标进行有效识别和自动跟踪，包括电动云台镜头的自动对焦、自动转动控制等，一直是难以实现技术问题。尽管我们已经实现了运动目标的自动检测和报警联动，但是这只是整个场景有大面积的运动的情况下才有效的。在发现移动目标进入视野后，如何实现迅速锁定并提取目标轮廓，智能分析出进入的是小动物还是恶意入侵，控制系统及时采取适当的行动是至关重要的，但它首先可能需要一些先验模型。在目标检测，边缘检测，运动估计和运动补偿都有比较成熟的技术或算法，因此，目前这个问题的最有效的解决方式是数字图像处理技术。然而，在上述算法和实现技术中大多数是需要大量的计算，这是一个实时的测试。尤其是当你做运动估计，运动矢量提取算法的效率不高话，用这种运动估计得出的结果去控制电动云台，如不能有效跟踪或者对焦，其摄入量和录像的结果可以预期的。改善这方面的功能，是这个系统今后性能优化的主要内容。此外，将系统监控到的图像实时清晰地传送判远处（可能几公里可能是几十万公里）涉及到的视频数据压缩和传输通道的控制问题。本文提出的利用用adv61l实现的模块只是一个较简单的系统，对信道方面的控制如缓存控制、误