视频目标侦测与智能监控技术.doc

视频目标侦测与智能监控技术及其IP设计信息科学与工程学院2008级集成电路设计与集成系统专业 李江涛 指导教师陈江华摘 要：基于视频移动侦测技术和视频流中的目标识别技术的智能监控技术是未来监控的发展方向，同时视频目标检测技术在其他领域也应用广泛。本课题旨在研究稳定，可靠的视频移动侦测和目标识别算法，并使用以可综合的HDL的形式硬件实现其IP软核模块。将帧间差分法和基于Haar特征的AdaBoost目标识别算法结合起来，互补其对方算法的不足。我们第一次在Android嵌入式平台完成了视频移动侦测和目标识别算法。在主频为1.2GHz的Cortex A9 ARM处理器上对分辨率为800x480的视频进行实时处理，帧率在20fps以上。在使用软件实现快速、可靠的算法的基础上，以可综合的HDL的形式设计了识别率高、资源消耗较少的硬件算法IP核模块，完成了算法的设计与验证，并对其进行了性能分析。经验证，IP模块对于帧率为30 fps、分辨率为800x480的视频流，在25MHz主时钟下即可满足嵌入式的实时视频目标检测的应用。关键词：视频流；目标检测； AdaBoost算法；IP核 Abstract： Based on object recognition in video streaming and video motion detection technology, the intelligent monitoring technology leads the direction of video surveillance system in the future. At the same time, video object detection technology is widely used in many other areas. This project is to design a stable and reliable algorithm about video motion detection and object recognition, and implement it in the form of synthesizable HDL as an IP core module. It is an innovation to combine video motion detection and the AdaBoost object detection Algorithm based on Haar features together. This will complement its weakness each other. I use ARM-Android embedded platform to develop and debug the video motion detection and the AdaBoost object detection algorithm. This algorithm runs up to 20fps at a 1.2GHz CortexA9 ARM processer. Based on the achievement of the fast and reliable algorithm, I have designed a low resource consumption algorithm implemented by hardware. We have completed the design and validation of the IP core module, as well as its performance analysis. For a video stream with a resolution of 800x480 and a frame rate of 30 fps, a 25MHz clock is enough to meet the need of real-time video object detection.Keywords: video stream; target detection; AdaBoost algorithm; IP core一、绪 论1.1 课题背景及意义1.1.1 课题背景视频移动侦测技术与视频目标识别技术是视频信号处理、分析应用的一个重要领域。基于移动侦测技术和视频目标识别技术的智能监控系统（IVS)是未来监控的发展方向。视频移动侦测技术（VMD），就是使用计算机图像处理技术，将场景中运动的目标提取追踪。视频目标识别技术则是通过检测不同的特征库识别指定的目标。1.1.2本课题的研究意义智能视频系统可以将视频的记录与分析交由计算机，使监控工作更加高效。视频分析技术将大幅提升安防工作的效率与质量，使得整个社会更加安定,和谐。使用嵌入式实现智能监控系统比基于PC的设备在可扩展性，功耗等方面优势明显。此外，视频处理需要很高的处理器性能。使用高性能的ARM处理器和DSP将带来成本、功耗的提升，因而使用硬件实现相关算法具有重要意义。1.2 相关问题的研究现状1.2.1 研究现状关于视频移动侦测的问题人们已经进行大量的研究，提出了一些算法。目前主要分为以下三类：光流法，背景减除法，帧差法（Frame-Difference）。但这几种方法各有不足，我们会在第二章予以详细讨论。本文提出了一种改进型的帧差分法，使得检测具有很高的灵敏度和较好的抗干扰性。基于特征的目标检测使用的是AdaBoost算法。1.2.2 本课题的创新性主要成果本课题旨在研究稳定，可靠的视频移动侦测和目标识别算法，并使用以可综合的HDL的形式硬件实现其IP软核模块。(1) 本课题的创新性第一次使用ARM-Android平台进行此种算法的开发，使用Android NDK编译本地代码以提高效率，同时使用了部分OpenCV的开源代码4。我们将视频移动侦测和目标识别算法结合起来。视频移动侦测技术无法对静止或慢速运动的目标进行处理，但对低像素目标敏感。而基于特征的目标识别算法对于像素不足、某些视角的目标无法识别，但可以保证静态或慢速运动的特定重要目标的识别。(2)在高性能ARM嵌入式平台上实现该算法以处理器为主频1.2GHz的Cortex A9双核心S5PV310嵌入式SOC作为硬件平台，Android系统为软件平台实现了两个算法。这些技术的采用大大提高了工作效率。经过实际测试，取得了良好的效果。(3) 使用可综合的Verilog HDL实现IP核设计软件实现的算法具有良好的模块独立性，同时也考虑了其硬件可实现性。这为该IP模块的设计提供了便利。我们使用Xilinx的FPGA开发环境ISE 12.4进行了IP核综合，使用ModelSim SE 6.5进行仿真与验证。二、 基础理论分析与算法选择2.1 运动目标检测算法分析与选择2.1.1 几种运动检测算法的分析(1) 背景减除法背景减除方法是目前运动检测中常用的一种方法，利用当前图象和背景图象的差分来检测出运动区域。表述如2-1所示: (2-1)其中f(i,j,t)是得到的前景运动图像。时间平均背景的建立，如2-2所示： (2-2)背景减除方法精确度和灵敏度比较高，运行速度快。但其最主要的缺点是背景重建的过程慢，且对较长时间静止或停留无效，实用性并不好。(2) 帧间差分法帧间差分方法（又称帧差法）是在连续的图像序列中两个或几个相邻帧间采用基于像素的时间差分，并且阈值化来提取出图像中的运动区域。帧差法无需建立背景，而且对于动态环境具有较强的自适应性。帧差法一般不能完全提取出所有相关的特征点，在运动体内可能产生空洞。我们可以通过对图像的预处理及形态学处理克服这些问题。 (3) 光流法光流是空间运动物体在观测成像面上的像素运动的瞬时速度。基于光流法的运动检测采用了运动目标随时间变化的光流特性，如Meyer8等通过计算位移向量光流场的跟踪算法。但大多数的光流计算方法复杂，纯软件实现不能被应用于全帧视频流的实时处理。因此不采用此方法。2.1.2 改进型的帧间差分算法综合以上讨论，我们选择帧间差分法作为实现运动目标检测的基本算法。实际上我们采用的是改进型的帧间差分法。我们的算法具体实现如下：首先，对矩阵I(n)差分处理： (2-3)在二值化之前去除噪点。做Gaussian 5 x 5平滑滤波，如2-4所示： (2-4)其中Mat()为用于高斯滤波的包含邻近不同点的加权系数的5 x 5矩阵内核。然后进行运动点二值化判定，为了纠正环境影响，加入阈值自动调整抑制因子，判定条件为： (2-5)其中为函数内条件成立的话则矩阵B(n)中的点为1，否则为0。其中Th为阈值，为像素总数量，为阈值自动调整抑制因子。腐蚀与膨胀处理这两种形态学运算可以消除小的单通区域和复连通的区域干扰，如公式2-6与2-7所示： (2-6) (2-7)其中erkernel为腐蚀与膨胀处理的12 x 8矩阵内核，因为大多数情况目标为站立的人，我们采用长方形的12 x 8矩阵对其进行腐蚀与膨胀操作。最后，对腐蚀、膨胀后的图像寻找轮廓。以长方形的顶点坐标形式输出。2.2 基于特征提取的静态目标识别算法分析与选择2.2.1静态目标的识别算法综述 一般来说，静态目标识别包括基于特征的统计学习的识别算法，基于像素的图像特征的识别算法，基于神经网络的学习算法等。Boost是一种基于特征统计学习的方法，起源于 Valiant提出的 PAC学习模型。基于Haar特征的AdaBoost算法11研究比较成熟，而且有大量的已经训练的特征库可以使用。我们采用该算法。 2.2.2 基于Haar特征的AdaBoost算法具体实现影响AdaBoost检测训练算法速度很重要的两方面是特征选取和特征计算。选取的特征为Haar特征，使用Cascade分类器，计算的方法为积分图。(1) Haar特征与Cascade分类器图 2-1 Haar特征Haar特征基于灰度图，是基础分类器的输入，目前的算法主要利用如图2-1所示的Haar特征：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。找出所有子窗口的特征是进行弱分类训练的基础。分类器是级联的，最终的强分类器是由几个简单的弱分类器级联组成。(2) 积分图积分图(Integral Image)是将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存在内存中，当要计算像素和时可以直接索引数组的元素。积分图能够在多种尺度下，使用相同的时间来计算不同的特征，因此大大提高了检测速度。(3) 算法流程简述首先计算积分图，为后面计算Haar特征做准备。然后采用与训练的时候有物体的窗口同样大小的窗口遍历整幅图像，以后逐渐放大窗口，同样做遍历搜索物体；每当窗口移动到一个位置，即计算该窗口内的Haar特征判断是否进入下一轮筛选。当通过所有分类器的时候说明这个物体以大概率被识别。三、 算法的系统级仿真与测试3.1 软件、硬件开发与平台简介硬件选用处理器为主频1.2GHz的Cortex A9双核心三星S5PV310高性能嵌入式平台。软件使用Android平台。Eclipse结合NDK，在Linux环境下，Eclipse可调用GCC进行ARM-eabi的交叉编译。通过JNI接口实现Java对C的调用。这样可以将系统原因导致的性能损失降到最低。OpenCV是一个开源的跨平台计算机视觉库，于1999年由Intel建立，实现了图像处理和计算机视觉方面的很多通用算法。Android平台与OpenCV的一些图像处理相关的通用算法的采用避免了很多底层代码的编写，使得我们可以专注于我们所需要的算法研究。3.2 视频移动侦测与目标识别算法在硬件平台上的实现3.2.1运动目标的检测(1) 算法优化我们的算法按照第二章所述的流程实现，但我们发现做Gaussian平滑滤波对处理结果影响并不明显，形态学处理已经达到了比较好的滤波效果。且高斯滤波对性能影响较大，故将其去除。此外，为了减少运算量，我们使用了12x8的均为1的矩阵进行腐蚀膨胀，这也将有利于硬件实现。 (2) 运行流程与结果a.原始图像（当前帧和前一帧），如图3-1所示： 图3-1 相邻的两帧原始图像b.帧差分处理： c.进行二值化之后的图像：，如图3-2： 图3-2 二值化后的图像d.进行图像的腐蚀与膨胀处理之后的图像。这两种形态学运算可以消除小的单通区域和复连通的区域噪点，如图3-3所示：图3-3 形态学处理后的图像e.寻找连通域与轮廓后，找到的运动区域,如图3-4所示：图3-4 画出轮廓后的图像3.2.2 基于Harr特征识别的目标检测该Haar特征的cascade结构的分类器共8层，存储在一个xml文件里。该文件由AdaBoost 算法经训练得到，OpenCV源代码内提供了用于检测多种物体的一系列的训练好的特征库可供使用。首先寻找取样窗口Haar特征信息，求出Haar特征值；将Haar特征值除以窗口的灰度方差，进行归一化处理得到特征值(f)；读入训练好的该Haar特征参数(m，r)，处理归一特征值：h=(f-m)/r；再由h计算Haar分类器对应的函数值b；最后将强分类器所包含所有Haar弱分类器对应的输入值相加：a=b。将a与当前层的阈值y比较，即可得到判断结果。流程图如下面3-5所示。图3-5程序流程这样对每个窗口分别检测，就完成了该窗口的整幅图像的检测。然后需要放大窗口进行下一轮的检测，直到放大到整幅图像。四、 流水线结构的智能监控IP核设计4.1 IP核设计我们在设计C算法时考虑了其硬件可实现性，并且尽可能降低算法实现的复杂度。这使得我们可以相对比较方便的划分模块实现。该IP核由3个子模块组成，包括可配置的色彩空间转换模块，运动目标检测模块，基于特征的AdaBoost目标检测模块。每一部分将在下一节详述。4.2各个单元模块的设计与性能分析4.2.1色彩空间转换模块本算法是基于灰度图实现的，考虑IP模块的通用性，增加了一个色彩空间转换模块。此模块可以使该IP模块兼容RGB或YUV格式的图像。RGB是使用最为广泛的一种色彩空间，接近人眼特性。YUV又称YCrCb，特点是将亮度和色度分离开，其中Y分量即为亮度。这里使用的变换公式如4-1所示：Y= 0.299*R + 0.587*G + 0.114*B （4-1）4.2.2运动检测模块该模块采用三级流水线结构，包括图像差分与二值化单元，形态学处理单元。其中后者包括图像的腐蚀与膨胀处理两步操作。(1) 图像差分与二值化单元此模块将作差与比较运算一步实现，只需遍历图像进行一次运算即可。(2) 形态学处理单元利用所需对象本身的特点来设计以节约资源占用。所需要进行的操作是二值化了的图像，取值只有0或1，因而不需要比较器，使用与或操作实现。图像I(n)与结构矩阵12x8的Mat矩阵腐蚀就是求像素的灰度最小值。对于1位（布尔型）的数据，求最小值即把他们相与。采用1个18的窗体从图像第1行第1列开始,自左向右滑动,依次相与直至图像的最后1行，即为与1x8矩阵腐蚀的结果图像。然后按列进行12x1的腐蚀，即可得到I(n)与12x8的矩阵的腐蚀结果。膨胀的结构与腐蚀的结构类似,只需把与单元改成或单元。 (3) 仿真验证与性能分析本设计在ModelSim SE 5.6e软件平台下仿真。仿真需要的图像数据量大，因此我们使用图像取模软件将图像中的灰度数据转换为测试向量。仿真结果通过编写Java程序将数据转换为点阵图像显示，通过比较仿真输出图像与我们软件平台的输出结果判断功能仿真的正确性。本模块逻辑资源占用较少。除了少量的外围控制逻辑，图像差分与二值化单元只有一个8bit作差与比较单元。形态学处理使用了简单四个8位或12位的与或操作。该模块进行一次12x8的腐蚀或膨胀处理需要2x800x480，即76800个时钟周期。假设视频帧率为30fps，则在23MHz主时钟下即可以保证该运算单元的正常执行。因此执行速度达到要求。4.2.3 AdaBoost算法特征检测模块目前使用FPGA进行AdaBoost算法的人脸检测已有成熟的研究成果。这部分的人体全身检测借鉴了一些关于人脸检测的开源项目设计。(1) 总体结构整个系统结构如图4-1所示，由四部分组成：(1)预处理电路：计算Haar特征；(2)分类器：检测目标窗口；(3)融合电路：合并邻近的目标以防止重复检测；(4)控制与地址发生电路：控制整个结构时序。图4-1 AdaBoost模块总体结构图我们在预处理电路、分类器和窗口融合电路三环节采用流水线技术，其中分类器是整个系统的技术瓶颈，决定了目标检测的速度。(2) 分类器设计分类器由若干Haar分类器与外围控制电路组成，其中控制电路根据每一层参数来控制该层强分类器个数与每一强分类器所含弱分类器数。如图4-2所示。图4-2 分类器的结构图(3) 仿真验证与性能分析分类器包含8层共126个Haar特征。因而一个目标检测窗口要通过126个弱特征处理单元。训练所得第n层强分类器所包含的弱特征个数如图4-3中的左图所示。通过统计检测结果知窗口通过率与层数n的关系如右图所示。图4-3 Haar特征与通过率分布图图4-3中的右图所示，前7层分类器已将绝大多数的非目标窗口拒绝掉。因此，处理单元虽然会有一定的误检率，但可在较少资源的情况下保证检测速度。五、 总结本文使用改进型的帧差法和基于Haar特征的AdaBoost目标识别算法在ARM-Android嵌入式平台完成了视频移动侦测和目标识别算法的开发与调试，并编写出了可以在Android平台上运行的程序。以可综合的HDL的形式设计了识别率高、资源消耗较少的硬件算法IP核模块，完成了算法的设计与验证，并对其进行了性能分析。经验证，该算法拥有较高的性能，软件在主频为1.2GHz的Cortex A9处理器上同时运行分辨率为800x480的视频移动侦测算法和目标识别算法，速率在20fps左右。硬件模块对于帧率为30 fps的视频流25MHz主时钟下即可满足要求。我们的设计也还有一定的不足。为了减少运算量， AdaBoost算法的8级Haar特征分类器仍有一定概率误识别。另外，我们没有进行严格的时序分析与约束，该IP模块工作于75MHz以下的频率。参考文献1Tian Ying-Li. Robust Salient Motion Detection with Complex Background for Real-time Video Surveillance. IEEE Trans. on Application of Computer Vision. Jan.2005 .2Yao Wang, Jorn Ostermann, Ya-Qin Zhang著，侯正信等译. 视频处理与通信.北京：电子工业出版社,2003 3Jingping Jia，Yanmei Chai and Feizhou Zhang. Tra