自然图像中感兴趣目标检测新技术.doc

自然图像中感兴趣目标检测新技术XXX1,2，XXX1，XXX1,2（1 上海大学机电工程与自动化学院，上海 200072；2 上海电力学院电子科学与技术系，上海 200072）摘要：针对基于显著图目标检测方法不能象人类视觉一样精确地得到感兴趣目标的位置以及同一感兴趣目标上检测出多个感兴趣区域的问题，本文提出一种视觉注意机制和模糊SVM相结合的算法。首先根据显著图和角点分布从图像中获得包括单个目标的视觉窗口，并在窗口中采用FSVM算法分割目标和背景。对多目标的图像可根据显著度分布信息自动选择其他目标，解决视觉转移过程中同一目标内出现多个感兴趣区域的问题。实验结果表明该方法符合生物的视觉注意机制，分割效果令人满意。关键词：感兴趣目标；显著图；模糊支持向量机；视觉注意; 特征提取 中图法分类号：TP391.4 文献标识码：ANovel Technology of Detecting Regions of Interest in a Natural Image XXX1,2，XXX1，XXX1,2(1. School of Mechatronics Engineering and Automation, Shanghai University, Shanghai 200072, China;2. Dept. of Electronic Science and Technology, Shanghai University of Electric Power, Shanghai, 200090, China）Abstract: In general, saliency map based the region of interesting(ROI) detection often has the problems of not able to locate object of interesting accurately as human visual attention should be and that many interesting object can be detected on the same ROI. A new technique for detecting regions of interest in a natural image by using visual attention model and Fuzzy SVM（FSVM）is proposed in this paper. Firstly a visual window including single object is created according to the visual attention and edge information based on distribution of corner points from an image, by using FSVM based on affinity among samples ,we can extract single object in the visual window. Another region can be estimated and selected automatically according to the distributing information of saliency value. Experimental results coincide with human visual attention mechanism and demonstrate the effectiveness of the proposed approach.Keywords: object-of-Interest; saliency map ;fuzzy SVM ;visual attention ; feature extraction1概述传统的感兴趣区域检测算法，主要是通过用户人工指定或用图像分割算法估计图像中的感兴趣对象或区域。人工指定感兴趣区存在主观性问题，图像分割算法得到的感兴趣区从本质上说，是通过图像低层视觉特征对用户实际兴趣的一种估计，无法完成区域兴趣的度量，也难以实现对感兴趣区的客观描述。Koch 等人1提出一个基于视觉生理和心理物理实验结果，模拟生物体视觉注意机制的选择性注意模型，得到图像中最容易引起注意部分的方法，其显著性的大小一般用一幅灰度图像（saliency map）来表示。显著值越大对应的部分用户关注度越高，但仅仅基于这种显著图的区域检测方法通常不能象人类视觉一样精确地得到感兴趣目标的位置，检测到的感兴趣区域出现的位置与实际大小不准确，而且在同一感兴趣目标上检测出多个感兴趣区域。Ko et al.2采用基于显著图和显著点相结合的注意窗口来提取ROI，但这种方法把多目标集成到一个窗口中，不利于对其中一个目标对象进行检索的情况，而且对小目标物体提取效果不太好。chunying3首先选择种子区域并按八个方向根据一定的阈值进行扩充，结果表明目标区域检测出来，但边界部分可能出现漏检。本文提出一种基于视觉注意机制和FSVM分类算法自动地从自然图像中提取和分割出感兴趣目标。2 基于视觉注意计算模型与角点的视觉窗口提取 设定视觉窗口为一个包含单个感兴趣目标的矩形窗口，能吸引用户更多的注意力。提取视觉窗口的目的是为了去除没用的背景区域，减少后续目标提取算法的处理时间，此外，系统可以以视觉窗口界限为训练SVM分类器自动的选择正负样本，不需要人工选择样本。本文采用视觉注意计算模型和角点相结合的方法提取视觉窗口。2.1 显著图根据Itti-Koch1提出的基于显著度的视觉注意模型，图像的显著度是通过特征的对比度来体现的，并将特征对比度转化为不同尺度下图像特征图的差值，即利用“中心外周”机制抽取各个特征中的对比信息。显著度由其灰度来表示，颜色由浅到深，显著度依次降低，显著值越大越能引起人们的注意，如图2为图1的显著图。根据显著图中显著值的空间分布引导选择注意目标，比如由象的显著图可以看到，小象比大象更吸引人的注意。但显然显著图不能给出目标的精确位置，而且通常原图中单个目标在显著图中却变成了几个分离的部分，如图2所示，因此本文结合角点的空间分布信息来确定包括单个目标的视觉窗口。 (a) 龙 (b) 象 (c) 花图1 原始图像样本(256x384) (a)龙显著图 (b)象显著图 (c)花显著图图2 显著图 2.2 角点检测角点（也称特征点）定义为图像中周围亮度变化剧烈的点或者图像边界曲线上具有足够大曲率的点。常用角点检测算子有Harris、Susan、SIFT这些算法能够提取很好的角点，但是这些算法运算复杂。与这些算法相比，Armstrong等人提出的FAST算法在重复性能、噪声鲁棒性能相近的前提下，极大地提高了角点检测的速度。Edword Rosten等人4又将机器学习算法引入FAST算法，进一步提高了角点检测的速度，因此这里采用机器学习FAST算法来选择图像角点。图3，图4中的白点就是检测到的角点。2.3 视觉窗口（包括单个目标）的提取 2.3.1 视觉窗口初始位置的确定 在显著图S中，设定矩形为初始视觉窗口，其中为窗口的中心，和分别为矩形的宽和长，初始值由实验决定，在我们的实验中，采用的图片大小为256x384, 选取。理论上，的位置应该对应于显著值最大的点，但实际计算中，由于背景中噪声的显著值可能是峰值点，因此取矩形区域的平均显著值为度量，定义操作符,该值越大，则此区域更能吸引人们的注意。且该值与第一个目标区域的平均显著度的比值达到一个阈值，则认为此区域有目标物体。2.3.2 视觉窗口尺寸的确定初始位置确定后，和将根据图像显著值和角点的空间分布分别沿和轴伸缩。如果矩形边界上还有角点或者显著值大于预定义的阈值，矩形区域将继续扩大直到上下左右边界满足最优先条件2，其中预定义的阈值一般根据图像的平均显著度来计算。2.3.3 多目标视觉窗口的确定 当第一个包含单个目标的视觉窗口提取出来后，根据显著度分布自动地判断图像中是否还有其他目标存在。具体方法：用矩形窗口搜索图像中剩余部分，若（实验中取2/3），可以判断这个区域对应于另一个目标对象。按照2.3.2，把它提取出来，否则计算结束。文献2中采用一个初始面积比较大的矩形窗口,根据显著度和显著点的分布收缩到目标区域，这种方法提取的视觉窗口包含图像中所有的目标，不能对其中单个目标进行提取。3基于样本间紧密度的FSVM算法3.1 FSVM基本理论提取出包括单个对象的视觉窗口后，选择FSVM分类算法在此区域中分割背景和目标。在机器学习的训练过程中，每个训练数据对支持向量机所起的作用是不同的。边缘数据是最容易错分的且成为支持向量的机会多一些，而中间的数据成为支持向量的可能性要小一些，甚至根本不可能成为支持向量。文献56根据训练样本在训练过程中的不同作用，对所有数据包括异常数据赋予一个隶属度。FSVM根据不同样本对分类的贡献赋予相应的隶属度，隶属度的大小决定了样本在SVM中作用的高低，这就达到了按一定规则对输入样本的重要性进行划分的目的，减少了噪声的影响，提高了分类性能。3.2 基于紧密度隶属度的计算隶属度函数的选取是FSVM的一个关键问题，主要是采用基于样本到类中心之间的距离来度量其隶属度的大小。有时候并不能将含噪声或野值样本从有效样本集中区分出来，主要原因在于没有考虑样本之间的关系，而仅仅考虑样本与类中心之间的距离。由于样本之间的紧密度可以通过包围样本集的最小球半径来度量。因此，在确定基于紧密度的隶属度时，依据最小包围球半径来确定样本集中样本的隶属度，对分布在半径内、外的样本，分别采用两种不同的方式计算其各自样本的隶属度，计算方法参考文献6。4 特征提取 我们的目的是在各视觉窗口中把目标从背景中分离出来，FSVM 是一类性能优良的分类器；便于引入分割相关的先验知识，如通过典型样本的选取和学习，可不断优化算法的性能，这是其他传统分割算法无法比拟的。在特征提取环节中,我们仅对视觉窗口中所有的像素点以及视觉窗口外150个像素点进行特征提取。在这些像素点的5x5邻域中提取9个特征值构成FSVM的输入向量，如（1）四个灰度统计特征：均值，方差 ，偏斜度，峭度；（2）两个颜色特征：由于CIE L*a*b*颜色空间是一种均匀的颜色模型，比广泛使用的RGB更适合图像分割，和分别代表和作为颜色特征; (3) 三个Tamura纹理特征: 粗糙度,对比度,和方向性。5 实验设计和结果实验图像来自于Corel图像库, 从中抽取的图像包括花、恐龙、大象、马、公共汽车、建筑等等，实验的目的是分析基于视觉注意模型和FSVM的感兴趣目标检测算法的性能。5.1视觉窗口提取 对于包含单目标的图片本文算法处理结果与文献2的结果类似。比较了本文算法与文献4的结果，如图3所示，结果显示我们的算法比文献4的更加准确。对于两个目标（多目标算法类似）的图片，本文比较了文献2的算法，如图4所示，结果显示本文算法能根据目标的显著性大小，逐个提取单个目标，而文献2只能提取包含图像中所有目标的视觉窗口。这对于检索单个目标的情况，就显然不合适。 文献4算法检测结果 本文算法检测结果图3 单目标视觉窗口检测结果比较 文献2算法检测结果 本文算法检测结果图4多目标视觉窗口检测结果比较下一步采用FSVM分类算法把视觉窗口中的目标从背景中分割出来，这一过程分两步: 训练和测试。训练包括收集具有代表性的样本(150目标像素, +1 和150背景像素, -1) 以及相应的特征向量和类别标签。5.2 训练和测试样本. 研究中，正负训练样本（像素）是自动地选择的，负的样本在视觉窗口外的背景区域自动选择，而正样本是视觉窗口中显著值较大的像素。训练样本为图像分割提供先验知识，而视觉窗口中剩余的像素为FSVM的测试样本。对于多目标的图像，图像中每一个视觉窗口都作为FSVM的测试样本，被分割成背景和目标。5.3 参数设定FSVM程序的参数可以调整到合适的数值以便获得最好的5-fold 交叉检验准确度。我们对一幅图300个测试像素点进行训练，用5-fold 交叉检验验证FSVM分类器的识别率，尝试了三类核函数:(1)多项式核函数；(2)径向基函数;（3）Sigmoid函数。实验显示，径向基函数分类器的错分率最低，其中取3/2。5.4 图像后处理和分割结果 用训练好的FSVM分类器对图像中的视觉窗口进行分类（即背景和目标两类），实验中我们采用100幅图像，用来分析算法的错分率，其中是被错分的像素个数，包括背景和目标像素，窗口中像素的总数为。表1比较了FSVM算法、SVM算法以及LVQ神经网络算法,结果显示FSVM算法的错分率最低。对于错分的像素，采用数学形态算法进修正，其中开运算能够除去孤立的小点、和毛刺，闭运算能够填平小孔，弥合小裂缝。图5显示出本文算法能够成功的分割视觉注意窗口中的背景和目标。值得说明的是，目前尽管对图像分割已经进行了大量研究，并提出了各种各样的算法，但是绝大多数图像分割算法都是针对小对象，对于大对象的处理普遍存在缺陷。本文通过一系列算法的组合能完整的检测出目标区域。 表1 不同分类算法错分率比较分类方法LVQSVMFSVM平均错分率(%) 10.328.34 5.67 (a)龙的检测图 (b)象的检测图 (c)花的检测图图5 对应图1的感兴趣目标检测结果6 结束语视觉注意分析通常是显著区域检测的有效机制，实验显示本文采用的基于视觉注意机制和FSVM分类算法的图像感兴趣区域检测方法能很好的检测出感兴趣目标。比较了三类分类算法，FSVM算法、SVM算法以及LVQ神经网络算法，结果显示出FSVM算法较低的错分率。对文献2中视觉窗口提取算法进行修改，解决了多目标物体的分别提取问题，实验证明算法效果令人满意。该法为进一步实现基于感兴趣区的图像检索、基于感兴趣区的图像压缩等奠定了基础。 参考文献 1 Itti L, Koch C, Computational modeling of visual attention J. Nature Reviews Neuroscience, 2001, 2(3):194-203.2 B. C. Ko and J.-Y. Nam. Object-of-interest image segmentation based on human attention and semantic region clustering J, Journal of Optical