基于感兴趣区域特征融合的行人检测方法研究.docx

基于感兴趣区域特征融合的行人检测方法研究摘要 近年来伴随着智能车辆的快速发展，行人检测在车辆辅助驾驶方面被越来越重视。本文提出一种二维显著性纹理算子TS-LBP(Two-dimensional Significant Local Binary Pattern)，该算子能够反映图像的纹理特征、显著性特征同时具有较强的抗噪声性能。首先提取感兴趣的目标区域，再提取目标区域颜色与纹理特征的融合特征对目标进行特征描述，最后采用Adaboost 算法训练得到一个行人分类器对行人进行识别。实验结果表明，本文方法检测快速准确,具有较好的检测效果。关键词行人检测；感兴趣区域；颜色特征；纹理特征；特征融合中图分类号：TP391.41；文献标志码：AResearch of pedestrian detection method based onthe feature fusion of interested regionPeng Bao,Sun Shao-yuan,Liang Bing-chun,Shen Zhen-yi(College of information science and technology,Donghua University,Shanghai 201620,China)AbstractIn recent years,along with the rapid development of the intelligent vehicle,pedestrian detection in vehicle auxiliary driving is more and more attention.This thesis proposes a TS-LBP operator(Two-dimensionalSignificant Local Binary Pattern)which can reflect thetexture characteristics,the significance of the image with strong anti-noise performance.The first step is to extract the interested target area,then extracted color and texture feature fusion of the target area for target characteristics described,finallyusing Adaboost training algorithm to get a pedestrian classifier to identify pedestrians.The research shows that the method proposed in this paper is fast and accurate with good detection results.Keywordspedestrian detection;regions of interest;color feature;texture feature;feature fusion行人检测在视频监控、图形图像及多媒体分析等方面有广泛应用，在车辆辅助驾驶系统中更具有重要的应用价值。随着全球机动车辆的快速增长，交通事故也逐年上升，而大部分是由于车辆未及时采取避让措施造成车辆与行人的碰撞。因此，对行人进行检测，对有可能发生碰撞的行人提前做出预警将会很大程度上减少交通事故的发生。然而，行人是非刚性物体，行走姿态变化、衣着服饰多样以及不同的天气状况、光线变化和摄像头运动等因素的影响，使得行人图像之间差别巨大。因此，行人检测一直是一个有难度、富有挑战性的课题1。在过去的一段时间内，许多学者提出了多种行人检测方法。如基于运动信息的方法2、基于模板匹配的方法3等。基于运动信息的方法：通过检测行人的运动区域来进行行人检测，这种方法简单方便但具有很大的局限性，不能够检测到静止的行人；基于模板匹配的方法：通过预先存储一些行人轮廓的模板来表示行人，识别时将输入图像与模板对比就可以识别行人。这种方法需要很多模板才能满足检测行人的多样性，而且匹配花费时间较多；近年来，通过对有限样本的学习来预测未来数据的统计学习理论的行人检测方法备受专家学者推崇。Viola4等采用级联AdaBoost 学习算法对人脸进行检测，后由许多学者将其应用到行人检测上,取得了不错的检测效果；Dalal5等提出了梯度方向直方图特征(Histogram of Oriented Gradient，HOG)，该特征能够高效刻画出人体的边缘特征，是目前广泛使用的行人特征描述子。但是其维度过高、计算速度较慢，因此不能满足车载检测实时性的要求；Walk6等人提出了颜色自相似性特征(Color Self-Similarity，CSS)的行人检测方法，但是该特征包含较多冗余信息，不能得到较满意的效果。文献7提出将颜色特征与LBP特征相融合的行人检测方法。受此启发，本文提出一种二维显著性纹理算子TS-LBP，将其与颜色特征相融合对目标进行特征描述。首先获取图像中行人可能存在的感兴趣区域，对感兴趣区域内的行人重点检测。其次提取感兴趣区域目标的融合特征，以融合后的特征描述行人特征。最后采用行人分类器对行人进行识别。1 本文检测方法车载辅助驾驶时对车辆前方行人的检测准确率与检测速度提出了较高的要求，本文提出了一种在感兴趣行人区域的基础上将颜色特征与纹理特征相融合的算法，该算法具有特征维数少，计算速度快的优点。该算法主要包括训练部分和检测部分，算法框架如图1所示。Fig.1 The system framework of pedestrian detection 图1 行人检测系统框架1.1 感兴趣区域获取 在车载视频图像中存在着大量的非行人区域，传统的全局图像扫描会耗费大量的时间，因此可以先确定行人可能存在的感兴趣区域，再对感兴趣区域的目标进行重点检测，避免全局扫描图像而消耗过多时间。行人不管是站立还是行走，其垂直方向都具有很强的对称性，尤其是腿部，具有明显的对称性8。可以利用这个特征，粗提取行人有可能存在的感兴趣区域。采用式(1)来计算图像每列的边缘对称性。(1)式中Wmin ,Wmax为垂直边缘点的搜索范围,SV(k)为对应第k列的对称性测度, 数值越大, 表示图像越以k为对称中心。同时,文献8通过统计得出行人宽高比的平均值为0.4。可适当放宽比值，提取出更多的候检区域，避免漏检，同时可以排除大量的非行人区域。由此可以确定出行人在图像中的大致位置。2 行人识别2.1 颜色特征提取颜色特征因其具有计算简单、易于提取等优点而在图像处理方面被广泛使用。HSV(Hue, Saturation, Value)对光线变化具有较强的适应能力。因此，首先按式(2)将输入的图像从RGB颜色空间转换到HSV颜色空间中。根据人体视觉对颜色的感知特性对颜色进行非均匀量化。从而将HSV颜色空间量化为72维直方图特征向量。 (2)2.2 纹理特征提取LBP(local binary pattern，局部二值模式)是由Ojala9等提出的用于提取图像局部纹理特征的算子。因其具有灰度不变性、旋转不变性、对光照变化不敏感、计算快速简单等显著的优点而在图像处理领域被广泛使用。以3*3模板为例，按照式(3)即可以求得该窗口中心像素点的LBP值。LBP算子示意图如图2。 (3)Fig.2 Schematic diagram of LBP operator图2 LBP算子示意图在统计LBP直方图时维数太多且具有较多冗余。CS-LBP(Center-Symmetric Local Binary Pattern)具有中心对称特性。以gc为中心，按顺时针将两个对称像素的灰度值进行比较，能够得到只有16维的直方图，对LBP起到降维的作用。CS-LBP算子计算公式如式(4)，算子示意图如图3所示。 (4)Fig.3 Schematic diagram of CS-LBP operator图3 CS-LBP算子示意图CS-LBP能够对图形进行降维，但是对噪声的抗干扰性能不足，为了提高算法的鲁棒性，使得对噪声有更强的抗干扰能力，本文提出了带有噪声门限T的CS-LBP纹理特征如式(5)。(5)带有噪声门限的CS-LBP的纹理特征具有传统LBP的灰度不变性、旋转不变性，同时具有对称型，较好的抗噪声性能。但是，该特征没有较好的反应图形的显著性特征，本文提出带有阈值的显著性算子LST(Local Significant texture operator)使得对像素灰度值有更好的适应性，算子表示如式(6)。 (6)以3*3模板为例，P值为8，R值为1，gc为中心点像素的灰度值，gi为其领域的8个像素的灰度值。对模板进行二值化，将gc与gi进行比较，当gc比gi大于某个阈值t时其值为1，否则其值为0。 将带有噪声门限的CS-LBP特征与带有阈值的显著性算子LST相结合，构成本文二维显著性纹理算子TS-LBP(Two-dimensional Significant Local Binary Pattern)如式(7)。用此算子表示图像的纹理特征既能反应图形的纹理结构又能显示其局部显著性特征，同时具有较好的抗噪声性能。(7)2.3 特征融合首先按式(2)提取图像感兴趣目标区域的颜色直方图，再按式(7)对感兴趣目标区域提取纹理直方图，将两种特征融合在一起形成融合特征直方图，如图4所示。融合后的特征能够反映目标区域的纹理特征、显著性特征以及颜色特征，同时具有较好的抗噪声性能。相比单一的颜色特征或纹理特征，该特征的抗干扰性更强，鲁棒性更高。Fig.4 The feature fusion histogram of HSV and LBP图4 特征融合直方图2.4 Adaboost算法介绍 Adaboost算法是一种迭代算法10。其核心思想是用同一个训练集通过训练得到分类性能一般的弱分类器，把这些弱分类器通过级联，构成一个分类性能更好的强分类器。由此强分类器来对行人进行分类。算法的流程如下：1：给定训练集：，其中。2：训练样本的初始分布：3：，计算弱分类器在分布上的误差为：计算该弱分类器的权重：4:更新训练样本的分布：，其中为归一化常数。5:最后的强分类器为：3 实验结果及分析 本文实验采用的数据来源于INRIA行人数据库、MIT数据库和自行拍摄裁剪的行人照片。其中训练集包含2416幅行人图像，4132幅非行人图像。测试集包含1236幅行人图像，1039幅非行人图像。非行人图像是一些包括天空、树木、车辆等不包含行人的背景图像。实验在MATLABR2008a上实现，Window XP操作系统,计算机环境配置为2.5 GHz CPU 和2 GB 内存。在INRIA数据库提供的行人测试样本上进行检测实验。为了比较本算法的检测性能，在相同环境下实现文献7的检测算法，两种算法比较结果如表1所示。本文检测算法比文献7算法检测率更高，并且采取只对感兴趣区域的行人进行检测，因而大大减少了检测所用时间。部分检测效果如图5所示。其中(a)图表示在相似的环境背景下对行人进行检测识别，可以看出本文检测算法对行人的区分能力强，对行人有较好的识别能力，但是由于光照和相似背景的干扰会出现“误检”的情况；(b)图表示在不同环境不同背景下对行人进行检测识别，可以看出本文检测算法在复杂背景下同样能够对行人较好的识别，但是由于人群密度过大、人群遮挡等原因会出现“漏检”的情况。Table 1 The experimental result of two methods表1 两种算法性能比较(a)(b)Fig.5 Effect drawing of pedestrian detection图5 行人检测效果图4 结束语本文提出了一种基于感兴趣区域内颜色特征和显著性纹理特征相融合的行人检测算法，并通过Adaboost分类器进行行人检测实验。这种检测算法避免对整幅图像全局扫描，运行速度快，鲁棒性高。在INRIA 行人库上取得了比较满意的结果。但是，在夜间、雨天以及光照剧烈，行人密度过大的环境下检测结果不是很理想，在后续会进一步改进和完善。参考文献1 张春凤,宋加涛,王万良.行人检测技术研究综述J.电视技术,2014,(3):157-162.Zhang C F;Song J T;Wang W L.Survey on Pedestrian Detection Technology.Video Engineering,2014,(3):157-162.2 贺琴,潘建寿,刘继艳等.摄像机运动下基于背景匹配的运动目标检测J.计算机工程与应用,2010,46(24):179-181.He Q,Pan J S,Liu J Y,etal.Moving objects detection based on background matching under moving camera.Computer Engineering and Applications，2010，46（24）：179-181.3 周晨卉,王生进,丁晓青.基于局部特征级联分类器和模板匹配的行人检测J.中国图象图形学报a,2010,15(5):824-829.Zhou C H,Wang S J,Ding X Q.Pedestrian Detection Based on Partial Feature andModelMatching . Journal o f Image and Graphics a,2010, 15(5):824-829.4 Viola P, Jones M. Robust real-time object detectionJ. International Journal of Computer Vision (IJCV, 2004.5 Dalal N, Triggs B. Histograms of oriented gradients for human detectionC. /Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE, 2005:886 - 893.6 Walk S, Majer N, Schindler K, et al. New features and insights for pedestrian detectionJ. Computer Vision and Pattern Recognition, IEEE Conference on, 2010, 119(5):1030 - 1037.7岳求生,周书仁,李峰等.HSV与LBP特征融合的行人检测方法研究J.计算机工程与科学,2014,36(10). Qiu Y S,Zhou S R,Li F,etal.Research of pedestrian detection method based on HSV and LBP feature fusion.Computure Engineering &Sc