可编程嵌入式平台上的实时视频监控毕业设计.docx

可编程嵌入式平台上的实时视频监控毕业设计1、 引言自动视频监控，即硬件组件是由系统智能而不是人工干预控制的，已经成为一个发展迅速的领域。这些系统自动视频监控采用智能视频处理算法来实现更高效、更有效的监控。如同许多图像处理应用需要一个高性能系统来支持实时自动视频监控。而视频处理应用中的密集型计算需要强大的并行处理能力。近年来，采用多处理器结构来支持计算密集型应用如实时图像处理应用已经成为了一种新兴的趋势1。例如，虹膜识别应用利用通用计算图形处理器（GPGPUs）和微处理器来提高其运行速度2, 3。自动视频监控通常需要低成本、低功耗的嵌入式系统。嵌入式系统通常包括：通用处理器，数据总线，存储器模块和硬件加速器。由于资源方面的限制，在嵌入式系统中优化自动化视频监控是特别具有挑战性。对于串行操作的通用处理器而言，内存开销常常成为阻碍这些系统实现实时处理目标的瓶颈。针对此问题的常见解决方案是按比例缩小视频帧尺寸或者在一个视频帧内处理更小的感兴趣区域（ROI）4, 5。与通用计算机使用软件装置相比，视频处理应用通过使用数字信号处理器（DSPs）取得了一些改进，即通过在核心处理器上采用“有限的”并行化和在一些复杂的操作中利用优化的数字信号处理器（DSP）库提供了一些改进。尽管如此，使用数字信号处理器（DSPs）这种方法并没有在视频处理算法中充分发挥其固有并行性的作用。现场可编程门阵列（FPGA）平台与其固有的并行的数字信号处理模块、大量的嵌入式存储器模块和寄存器、以及高速存储器和存储接口为改善嵌入式系统级芯片设计提供了一个行之有效的解决方案。许多研究人员利用现场可编程门阵列(FPGA)技术效能来实现计算密集型算法6-9。这些方法实现了应用特定的体系结构，显著提高了系统吞吐量。例如，文献6研究结果显示，基于现场可编程门阵列（FPGA）的视频增强系统的性能显著优于其他基于数字信号处理（DSP）或者基于现场可编程门阵列（FPGA）但操作时钟频率较低的系统。在性能上存在差异的主要原因是，现场可编程门阵列（FPGA）的系统利用应用固有的大规模并行操作，而数字信号处理（DSP）器只有固定数目的功能组件，将并行处理限制在一定的范围之内。另一个重要的区别是，由于频繁访问外部存储器，基于数字信号处理（DSP）的实现方案性能显著降低。在基于现场可编程门阵列（FPGA）的实现方案中，片上缓存可用于处理在播放中出现的像素。运用现场可编程门阵列（FPGA）技术开发一个完整的视频处理系统也会遇到很多挑战，如实现高效的内存和存储设备控制器、将系统与不同格式的视频连接、漫长的调试和验证过程。为了节约设计、实施和验证时间，设计人员可以集中精力专注于开发可以集成到嵌入式系统上的硬件加速器。这些特定功能的硬件加速器通常执行计算最密集的操作，而通用处理器则被用于执行控制任务和其它操作。许多研究人员探讨了这一设计方法10-12。在文献10中，作者提出了基于现场可编程门阵列（FPGA）的摄像头设计，可以实现模板与应用相匹配。该系统将硬件处理组件与通信接口或控制器结合在片上系统（SOC）设计上。Meng et al.提出了一个通过多处理核心进行人体动作识别的嵌入式系统11。在此设计中，处理核心是基于Xilinx公司的PicoBlaze 软处理器的。在文献 12中，作者提出了嵌入式跟踪系统的硬件/软件协同设计，在现场可编程门阵列（FPGA）中执行计算密集型任务来实现知名的光流算法。在本文中，软硬件协同设计的提出是为了有效利用现场可编程门阵列（FPGA）功能来建立实时自动视频监控系统模型。具体地讲，在现场可编程门阵列（FPGA）的逻辑组件中执行目标检测算法的计算密集型操作是为了实现并行处理最大化。采用强大的片上存储器控制器来实现实时处理能力的流水线体系结构设计是其主要的贡献。视频流中的像素被保存在存储器中的现场可编程门阵列（FPGA）内，用以支持目标检测算法的并行体系结构。这个实现方法显著减少访问外部存储器芯片的次数。该设计也将数据转发技术与本芯片的缓冲区相结合，以减少现场可编程门阵列（FPGA）资源。应用控制和用户界面任务是通过在阿尔特拉公司（Altera）的Nios-II软核处理器上执行软件程序来实现的。标准视频框架中的公共视频预处理功能被运用来显著降低开发和验证时间。定制与并行处理模块是通过阿尔特拉公司（Altera）的Avalon流式传输（Avalon-ST）视频协议集成到视频处理链上的13。由于这些定制加速器执行一些复杂的和最常用的操作，可以把它们添加到可用于其他视频处理应用的用户库中。其他数据控制界面是通过采用阿尔特拉公司（Altera）的Avalon内存映射（Avalon-MM）协议将硬件控制器连接到Nios-II处理器上来实现的。2、 视频监控方法2.1目标检测算法在监控应用中，背景减除和目标检测算法是通过在前景中检测异物来实现的。背景模型是基于输入安全相机的实时视频流来动态创建的。近似中值滤波法被用于建立背景图像。这种方法可自动适应不断变化的场景和逐步更新背景的模型。在这项工作中，我们运用了背景减除和阈值法。在前景图像中的目标被检测和跟踪，以便进一步分析。这种方法可以被分为三个主要的步骤： 背景图像建设、 前景分割、目标检测。2.1.1背景图像建设为了改善前景提取和目标检测算法的有效性，保持一个精确的可以适应操作环境变化的背景模型是很重要的。这需要一个强大的背景模型来支持自动操作。背景图像在实时视频流的基础上周期性地或连续地更新。多年来，许多方法已被提出来创建背景图像，诸如高斯模型、时间中值滤波、基于直方图的中值滤波以及近似中值滤波。创建背景模型最常用的方法之一是运用高斯概率密度函数（pdf）来代表图像中的每个像素14。通过此方法，背景模型可以根据高斯概率密度函数（pdf）的运行平均值来持续更新。该模型使用单一高斯函数，可以有效地评估一个静态场景，但它也可以非常好地代表变化的场景。高斯混合物是能够在变化的环境中代表背景模型的更有效的方法15,16。它虽然是很有效的方法，但它也是计算密集型的，这对嵌入式系统中的实时应用来说并不理想17。另一种常用来模拟背景图像的方法是时间中值滤波器（TMF）18。 时间中值滤波器（TMF）法通过选择N样本帧中相同像素位置的中值，来计算背景图像中每个像素的强度。这种方法简单且适用于实时应用，已被有效地用于从视频序列中创建背景图像19,20。但它的主要缺点是，N视频帧需要大量的存储空间，这一点让时间中值滤波器（TMF）对嵌入式系统来说变得很不实际，严重限制了板载存储器的数量。直方图时间中值滤波法（直方图TMF）是由时间中值滤波法（TMF）演变而来的21,22。传统的时间中值滤波法（TMF）需要一种排序算法来确定特定像素的中值，而直方图时间中值滤波法（直方图TMF）为背景图像中的每个像素保持一个直方图，从一个累积函数中选择中点来计算中间值。与传统的时间中值滤波法（TMF）相比，这种方法显著降低了存储要求。而近似中值滤波法（AMF）是更合适运用于嵌入式系统中的实时操作的方法23。这种估计方法消除了在传统时间中值滤波法（TMF）中除了原始背景图像缓冲区之外所有的存储需求。该滤波法根据时间使用等式（1）不断接近于近似的中间值。在此方法中，如果输入强度大于或小于背景模型中像素（x，y）的值，那么就通过简单地递增近似或递减背景模型中像素（x，y）的值来近似取得中间值。这个过程可以概括为：其中B是背景图像，I是输入图像，t表示当前帧，和（x，y）是所考虑像素的坐标。在这项工作中，近似中值滤波（AMF）技术用于创建和更新背景图像。当背景图像被不断更新时，所以根据预定准则周期性地将背景图像转移到前景提取过程中。例如，背景图像可以在操作者的命令下传输，在固定的时间间隔，或者根据经验阈值。2.1.2前景分割这项工作运用了强大而有效的前景分割算法。算法步骤见图1。一旦背景图像被创建和存储在静态随机存取存储器（SRAM）的一个象限中，前景分割可以使用等式(2)来进行。首先，计算输入图像中的每个像素和背景图像中的相应像素之间的区别。然后,根据从滑块开关中解码得到的参数的差分图像阈值，创建一个中间的前景图像。计算前景图像的函数如下:其中F是前景图像， I 是输入图像，B是背景图像，和V是阈值。前景图像是一个显示潜在前景目标的二进制图像。这种方法作为背景消除法而广为人知，因其简单性和有效性而成为最受欢迎的方法之一24。其他基于运动的分割方法虽更为准确，但要求更高的计算能力25, 26。在拟建的系统中,背景消除法是用来简化能够支持高分辨率视频流的体系结构的。在背景消除步骤之前，平滑滤波器(与高斯核卷积)首先与输入视频帧卷积。中间前景图像是由执行背景消除步骤来确定的，见等式(2)。然后，高通滤波器(二进制图像中值滤波器)被应用到中间前景图像中，以确定 当前像素K K邻域中的大多数K2 像素是否等于1。如果是，当前像素设置为 1 ,否则复位为 0 。经过高通滤波处理的图象将会通过一个形态匹配模块来获取当前前景帧。形态匹配操作也是一个窗口函数，执行先扩张后侵蚀操作。首先，扩张操作是用来连通二进制图像中相邻气泡之间的缝隙的。在扩张操作清除二进制图像中不相关的细节之后，将侵蚀操作应用于所得结果27。对当前前景图像与之前的前景图像执行“与”操作，获得最终的前景图像。最后一步获得更精确的前景图像。整个算法被实现为一个能够每一个时钟周期处理一个像素的流线型并行体系结构。高通滤波器、扩张和侵蚀操作都是需要大量内存访问的窗口操作。为了消除对窗口中邻近像素的重复访问，片上缓冲方案被纳入并行体系结构的设计中，以在滤波器中保持邻近像素不变。2.1.3目标检测经过滤波处理的前景图像接着在场景中进行异物检测，也就是检测二进制图像中的非零像素集群。这个检验过程是按适用于流线型结构的光栅扫描顺序(从左到右,从上到下)来展开的,。这些集群的坐标被保存在一个表中，这个表是用来绘制围绕这些对象的边框的。为了进行进一步分析或额外操作如拉响警报或记录当前帧，坐标也可以被转移到系统中的其他模块。2.2软硬件协同设计可编程片上系统(SOPC)产生器是阿尔特拉公司（Altera）的Quartus软件开发工具的一部分。设计者运用Quartus软件开发工具能够在一个可编程芯片上快速连接和生成一个完整的嵌入式系统28。它主要是用来定义嵌入式系统中Nios-II处理器与各种外围设备以及与硬件组件之间的连接。用户可以将内置硬件控制器以及定制硬件加速器集成到许多标准外围设备上。可编程片上系统(SOPC)产生器生成硬件描述语言(VHDL或Verilog)文件，以此来定义系统中所有组件之间通过图形用户界面进行的互连。只要他们遵守接口规范即Avalon-ST和Avalon-MM接口，就可以将定制的知识产权(IP)核心集成到系统中。另一个重要的工具是Altera VIP Suite，可以利用来快速设计和实现一个视频处理系统模型 29。Altera VIP Suite包含常见的视频输入或输出接口、帧缓冲区控制器、视频调整核心、颜色转换核心、视频去隔行核心、滤波器、转换器等。基础系统是首先通过连接可编程片上系统(SOPC)产生器上的组件来建立。运用超高速集成电路硬件描述语言(VHDL)来实现定制IP核心，使用可编程片上系统(SOPC)产生器将定制IP核心集成到总体系统中。拟建的嵌入式系统的结构图如图2所示。将软件控制程序写进C编程语言中并使用Altera监控程序来编译它。Nios-II处理器作为指挥和控制模块，是用来执行C程序的。通过采用可编程片上系统(SOPC)产生器中测试和验证的内置组件，我们将精力集中在软件控制程序和硬件加速器的开发上，如图2所示。在这项工作中，我们所运用到的VIP核心包括视频解码器、色度重新取样器、视频加密器、视频直接内存访问(DM