基于LBP纹理特征的运动目标检测算法.doc

基于LBP纹理特征的运动目标检测算法李加佳1，2+通信作者：lijiajia_1010126.com 彭启民1（1中国科学院软件研究所天基综合信息系统重点实验室，北京，100190）（2中国科学院研究生院，北京，100049）摘要：在运动目标检测过程中，若两幅图像的光照有变化，则检测结果将会受到影响。局部二值模式（local binary pattern, LBP）描述的是图像的局部纹理特征，具有灰度不变性。据此，本文提出了一种新的基于LBP纹理特征的背景建模方法，先分别计算背景帧和当前帧的LBP纹理特征图，再将背景帧和当前帧的LBP纹理特征图的对应像素异或生成前景概率图，前景概率图描述了当前像素是前景的概率，根据前景概率图自适应的更新背景，可以使背景很快接近真实背景，再用背景减除法得到目标。实验表明，本文提出的算法能有效处理光照的突然变化，背景更新速度快，检测出的目标接近真实目标。关键词：运动目标检测，光照变化，局部二值模式，背景建模Motion Object Detection Based on LBP Texture FeatureLi Jiajia1,2+ and Peng Qimin1(1 Science and Technology on Integrated Information System Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, 100190)(2 Graduate University of Chinese Academy of Science, Beijing, 100049)Abstract: The result of motion object detection will be affected by illumination changes. This paper proposes a novel background model based on local texture feature described by local binary pattern (LBP) which is gray-insensitive. Every coming frame and background is converted into LBP at first. Foreground probabilistic frame is generated by operation of exclusive OR of current LBP and backgrounds LBP. It represents the probability of a pixel belonging to foreground. Then background can be updated adaptively and fast by foreground probabilistic frame. Experimental results demonstrate the effectiveness of the proposed approach in dealing with sudden illumination changes. It can relative precisely obtain moving objects and update background model quickly.Key Words: motion object detection; illumination change; local binary pattern; background model80引言运动目标检测是计算机视觉领域的一个重要研究课题，在智能视频监控、人机交互、视觉导航等许多领域有着广泛的应用。它处于整个视频处理系统的最底层，是各种后续高级处理如目标跟踪、目标分类、行为识别、场景理解等的基础。目前常用的运动中的面目标的检测方法有光流法、帧间差分法、背景建模法。光流法1计算量大，且对噪声比较敏感，对硬件要求较高，实时性和实用性较差，不能处理光照变化的情况，尤其是当场景中有光照突变时效果很差。帧差法2用不同时刻的两到三帧图像相减实现时域差分，这种方法对动态变化的场景非常有效，能在一定程度上处理光照的缓慢变化，但当光照发生突然变化时，不能有效的检测出目标。背景建模法利用当前图像与背景图像的差分来检测出运动目标3-6，计算速度快，通常能提供较完整的特征数据，但建模得到的背景图像对光照变化比较敏感，会出现很多伪目标点。如Cheng等7提出一种光照敏感的背景模型（ISBS），该算法对光照缓慢变化效果良好，但不能处理光照突变的情况。Hu等8利用图像梯度直方图对背景进行建模，对光照变化具有一定的鲁棒性，Toth等9引入同态滤波来减少光照变化的影响，Aach等10利用贝叶斯理论来构建一个简单的光照模型减少对光照变化的敏感性。局部二值模式（local binary pattern , LBP）最早由Ojala等11提出，其基本思想是将中心像素点的灰度值设为阈值，其圆形邻域内的像素点与之作比较得到二进制码用来表述局部纹理特征，不易受整幅图像灰度线性变化的影响，即当图像的灰度发生均匀变化时，其LBP纹理特征是不变的，因此LBP纹理特征具有灰度不变性。它计算简单，分类能力强，在描述纹理特征提取方面有着显著的效果。本文主要针对背景建模法不能适应光照突然变化的问题，结合LBP纹理特征对光照的不敏感性，设计自适应的背景更新策略，在光照突然变化的条件下，LBP纹理特征对维护背景具有鲁棒性，并且可以很好地定位前景位置和轮廓，提出了一个对光照变化鲁棒的运动目标检测算法。1算法基本框架背景减除法是目前运动目标检测中最常用的方法，该方法的优点是简单方便，缺点是容易受光线、天气等外界条件变化的影响。背景减除法的流程可用图1表示。图1 背景减除法流程图本文利用LBP纹理特征具有灰度不变性，构建了一个对光照鲁棒的背景模型。首先利用当前帧和背景帧的LBP纹理特征异或得到前景概率图，再利用前景概率图计算当前的背景，进一步差分得到初始目标，对初始目标进行形态学处理得到运动目标，本文的算法流程如图2所示。图2 本文算法流程图2背景建模2.1 LBP纹理特征LBP利用每个像素及其半径为R的环形邻域上的P个像素点的联合分布来描述图像的纹理。其中表示局部邻域中心的灰度值，对应着半径为R的圆环上的P个等分点的灰度值，不同的（P, R）组合，LBP算子也不相同，图3为3种不同的LBP算子。 图3 不同（P,R）的环形对称邻域为了实现该纹理算子对灰度的不变性，用环形邻域上P个等分点的灰度值减去中心点的灰度值，联合分布T转化为 (1)假设和相互独立，式（1）近似分解为 (2)在式（2）中，描述了整个图像的灰度分布，对图像的局部纹理分布没有影响，因此，图像纹理特征可以通过差分的联合分布来描述，即 (3)当图像的光照发生加性变化时，一般不会改变中心像素与其环形邻域上像素灰度值的相对大小，即不受光照加性变化的影响，因而，可以用中心像素与邻域像素差值的符号函数代替具体的数值来描述图像的纹理，即 (4)式中：s为符号函数 (5)将联合分布T得到的结果按环形邻域上像素的特定顺序排序，构成了一个0/1序列，本文按逆时针方向，以中心像素点的右边邻域像素为起始像素开始计算，通过给每一项赋予二项式因子，可以将像素的局部空间纹理结构表示为一个唯一的十进制数，该十进制数被称为LBPP,R数，这也是该纹理算子被称为局部二值模式（Local Binary Pattern）的原因，LBPP,R数可通过式（6）计算 (6)具体的LBP纹理特征计算过程如图4所示，将图4左边模板阈值化，使各邻域像素点与中心像素作比较，大于0置1，小于0置0，得到图4中图，按逆时针顺序构造0/1序列（10100101），最后计算出对应的十进制数（165），该像素点的LBP纹理特征值就是165，对图像中的每个像素求LBP特征值，就得到了图像的LBP纹理特征图，如图5所示。因为图像边缘处的LBP纹理特征受邻域影响较小，所以本文对于图像边缘的像素点保留了原始像素灰度值。图4 计算局部二值模式纹理特征（P=8, R=2）图5 LBP纹理特征图2.2背景更新策略在光照变化的运动目标检测过程中，背景是不断变化的，因此目标检测的好坏往往取决于背景更新是否准确及时，构建一个精确的背景模型可以有效抑制由光照变化带来的对目标检测的影响，本文提出的是自适应的背景更新策略，当新的一帧到来时，利用式(7)更新背景 (7)表示当前帧的背景，表示前一帧的背景，表示当前帧，表示当前像素为前景的概率，用第一帧初始化。 (8)表示当前帧的LBP纹理特征图，表示前一帧背景的LBP纹理特征图，表示x的二进制表示中1的个数，P为邻域上的像素个数。根据LBP的灰度不变性，当某一像素为背景时，和异或后1的个数较少，也较小，反之1的个数较多，也较大。根据式（7）可知，当某一像素点为背景时，很小，趋于，可有效抑制光照变化，且背景能在很短的时间内更新为真实背景。当某一像素点为前景时，很大，趋于，可有效检测出目标。3运动目标检测生成了背景模型后，计算背景与当前帧的差值 (9)当大于阈值时，认为该像素为前景，否则认为是背景，初始化为20，使用文献7中的更新策略。 (10)由于本文算法是基于纹理特征的，当背景纹理和前景纹理相似时，检测出的目标会有许多空洞。针对这种情况，在得到前景后，还需要对前景进行进一步处理，消除空洞。本文采用形态学操作，先对目标进行膨胀操作，再对目标进行腐蚀操作，可以在一定程度上消除空洞。4实验结果与分析为验证本文算法的有效性，选取了3个视频序列对本文算法进行验证，它们分别是intelligent_room（IR），LightSwitch（LS）和TimeOfDay（TD）。第一行是视频序列IR，由于场景中有反光镜，当目标走近反光镜时，造成光照局部突变。第二行是视频序列LS，由于场景中的人对光线有遮挡以及灯突然打开和关闭，造成光照突变，第三行是视频序列TD，人为将某一帧的每个像素的灰度值增加一个固定值，造成光照整体加性突变，本文实验中选取灰度增量为7。第一列是视频序列的第1帧图像，第二列是光照变化的视频帧，IR选取的是第92帧，LS 选取的是第802帧，TD选取的是第4737帧，第三列是GMM算法4的检测结果，第四列是ISBS算法7的检测结果，第五列是本文算法的检测结果，第六列是真实背景。本文实验的主要硬件环境为：Intel Core(TM)2 Duo CPU(2.00GHz)，DDR-2.00G内存，NVIDA GeForce 405显卡，视频序列为160x120大小，处理速度为8.9帧/s。 图6 原始图像1 原始图像2 GMM结果 ISBS结果 本文结果 真实背景由以上实验结果可以看出，本文提出的算法对光照具有鲁棒性。第一个实验中，反光镜造成的局部光照突变得到了有效的抑制，而GMM和ISBS算法则将反光镜中增强的光线误检为了前景。第二个实验中，由于目标对光线有遮挡作用，造成光照突变，GMM和ISBS检测出了大面积的目标，而本文算法利用LBP纹理特征具有灰度不变性较好的检测出了目标。第三个实验中，人为增加了光照突变的影响，GMM和ISBS不能及时更新背景，将不是目标的场景检测成了目标，造成误检，而本文算法较好的检测出了结果。由实验也可以得知，本文算法对光照突变引起的背景更新很快，因为本文背景更新策略是让每一次更新后的背景都尽可能接近于真实背景。5结论与展望本文主要研究了光照变化下的运动目标检测，利用LBP纹理特征的灰度不变性，提出了一种新的背景更新算法，首先利用当前帧和背景帧的LBP纹理特征异或得到前景概率图，再利用前景概率图计算当前的背景，进一步差分得到前景。通过与其他算法的实验比较，验证了本文算法对光照的鲁棒性，本文算法对局部光照突变，整体光照突变都有很好的表现。处理复杂背景中的反射光及阴影等将是下一步研究的方向。参考文献1 Alvarze L, Weichert J. Reliable Estimation of Dense Optical Flow Fields with Large Displacements J. Computer Vision, 2000, 39(1) : 41-56.2 Lipton A, Fujiyoshi H, Patil R. Moving target classification and tracking from real-time video C. IEEE Workshop on Application of Computer Vision, 1998 : 8-14.3 Stauffer C, Grimson W E L. Learning Patterns of Activity Using Real-Time Tracking J. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2000, 22(8) : 747-757.4 Kaew TraKulPong P, Bowden R. An Improved Adaptive Background Mixture Model for Realtime Tracking with Shadow Detection C. 2nd European Workshop on Advanced Video Based Surveillance Systems, 2001.5 Maha M, Howida A, Ashraf S. A new Technique for Background Modeling and Subtraction for Motion Detection in Real-Time Videos C. IEEE Intl Conf. on Image Processing, pp. 3453-3456, 2010.6 Ming YY, Yang B, Men AD, Guo YL. Background Subtraction under Multiple Varying Illuminations in Different Background Luminance C. IEEE Intl Conf. on Computer Modeling and Simulation, pp. 189-193, 2010. 7 Fan-Chieh Cheng, Shih-Chia Huang, Shanq-Jang Ruan. Illumination-Sensitive Background Modeling Approach for Accurate Moving Object Detection J. IEEE Trans. on Broadcasting, 2011 : 1-8.