融合圆对称轮廓波统计特征和LBP的纹理图像检索.doc

融合圆对称轮廓波统计特征和LBP的纹理图像检索练秋生 李芹 孔令富（燕山大学信息科学与工程学院 秦皇岛066004）摘要： 圆对称轮廓波变换(CSCT)克服了轮廓波变换存在的频谱混淆现象，它比轮廓波变换的方向选择性更强.但由于CSCT中的方向滤波器组(DFB)有下抽样操作，CSCT不具有纹理分析所需要的平移不变性.本文用非抽样方向滤波器组(UDFB)代替CSCT中的DFB，构造了一种具有平移不变性的圆对称轮廓波变换(TICSCT).利用广义高斯分布描述TICSCT系数的边缘分布，图像之间的相似度用Kullback-Leibler距离(KLD)来度量.由于视觉感受明显不同的纹理图像可能具有相同的子带统计特性，边缘分布的KLD不是完备的纹理图像描述子.将KLD同与其具有一定互补性的局部二值模式（LBP）相融合进行纹理图像检索，实验表明该算法比KLD，LBP和Gabor-Weighted-Euclid算法的平均检索率分别提高2.21%，4.02%和0.89%.关键词：轮廓波变换; 图像检索; 平移不变性; Kullback-Leibler距离; 局部二值模式 中图分类号：TN911.73The texture image retrieval algorithm combined statistical features of the circular symmetric contourlet with local binary patternLIAN Qiu-Sheng LI Qin KONG Ling-Fu(Institute of Information science and technology, Yanshan university, Qinhuangdao,066004)Abstract The circular symmetric contourlet transform (CSCT) overcomes the aliasing phenomenon of contourlet transform, and it has better direction selectivity than the contourlet transform. However, since the down-sampling operation in CSCT, it lacks the translation-invariant property which is essential for texture analysis. In this paper, the translation-invariant CSCT (TICSCT) is constructed by replacing the directional filter bank (DFB) in CSCT with undecimated directional filter banks (UDFB). The marginal distribution of TICSCT coefficients is modeled by generalized Gaussian density, and the similarity of two images is measured by Kullback-Leibler distance (KLD). Since visually distinct patterns may have matching subband statistics, KLD isnt the complete texture descriptor. In this paper we retrieve texture by combining KLD with local binary pattern (LBP) which is its complementary features to some degree. The experiments illustrate that the average retrieval rate of this method is 2.21%，4.02% and 0.89% higher than KLD, LBP and Gabor-Weighted-Euclid algorithm respectively. Keywords contourlet transform; image retrieval; translation-invariant; Kullback-Leibler distance; local binary pattern9投稿日期:2006-6-6 本课题得到河北省教育厅自然科学项目(2004124)资助. 练秋生, 男，1969年生，博士，副教授. 主要研究领域为多尺度几何分析、图像处理、生物识别等. Email: 李芹,女, 1983年生, 硕士生. 主要研究领域为纹理分析、图像检索. 孔令富, 男，1957年生，博士，教授，博士生导师. 主要研究方向为机器视觉、智能信息处理、并联机器人、自动控制等.1 引言随着多媒体和互联网技术的迅速发展，多媒体数据(包括图像和视频)规模急剧增长，如何快速准确地找到感兴趣的图像和视频已成为一个迫切需要解决的问题，基于内容的图像检索(Content-Based Image Retrieval, CBIR)1已成为信息领域的一个研究热点.在基于内容的图像检索系统(CBIR)中，决定CBIR性能的关键因素是图像的内容表示和图像的相似性度量.人们力求找到一种能够利用图像低级可视特征(如纹理、形状和颜色等)有效表示图像的内容并且利用这些特征计算图像的相似度的方法，但从目前的现状看效果并不理想.为实现基于内容的图像检索，MPEG-7标准提出了图像内容描述子(如纹理描述子、形状描述子和颜色描述子等)的概念2,3，但目前还没有一种有效的得到公认的内容描述子.为激励学者们提出更好更有效的内容描述子，MPEG-7标准采用了开放式结构，人们可以根据自己的应用要求采用不同的内容描述子.纹理是图像的基本视觉特征之一.目前已有的纹理分析方法可分为三大类：统计方法、结构方法和基于模型的方法.早在70年代初，Haralick等4就提出用共生矩阵表示纹理，但用共生矩阵提取的纹理特征缺乏明确视觉意义.从人类视觉感知心理学角度出发，Tamura等提出6种纹理特征5：粗糙度(coarseness)、对比度(contrast)、方向性(directionality)、类线性(linelikeness)、规整度(regularity)和粗略度(roughness).这六种纹理特征和共生矩阵相比的明显好处是它们具有明确视觉意义，因此在实际中得到了较广泛的应用.从九十年代以来，随着小波理论的不断完善和发展，各种小波变换开始在纹理分析中得到广泛应用.在文献6中，Manjunath等对各种小波变换的性能进行了系统地比较，他们的实验结果表明在各种小波变换中，由于Gabor变换具有多方向选择性并且与哺乳动物视觉皮层中简单细胞感受野最为接近，利用Gabor小波变换进行纹理图像检索的准确率最高.这个研究成果被MPEG-7的参考模型采用，在该模型中将Gabor变换子带的一阶统计特征(即均值和能量)作为纹理描述子.然而Gluckman的最新研究结果7可能会很快改变这种状况.Gluckman研究了多种图像变换(包括Gabor变换)的频域特性，令人惊奇的是他可以根据图像变换的频域特性轻易构造出具有完全相同的子带统计特性而在视觉感受上完全不同的纹理图像，在文献7中他给出了大量的图例.Gluckman的研究成果并不是完全否定将子带统计特性作为纹理描述子的合理性，但至少说明这类纹理描述子是不充分的.基于这种思想，本节提出一种融合具有平移不变性的圆对称轮廓波变换8方向子带统计特性和图像局部二值模式(Local Binary Patterns, LBP)9特征的纹理图像检索算法.2 具有平移不变性的CSCT在轮廓波变换10的基础上，本文作者在文献8中构造了一种具有类似于视皮层变换频带划分的圆对称轮廓波变换(CSCT).CSCT的基函数与Gabor小波类似，但CSCT的冗余度比Gabor变换小得多.与轮廓波变换相比,圆对称轮廓波变换的基函数的光滑度(即正则性)高,并且没有明显的频谱混淆现象,方向选择性更强.CSCT的局限是不具备Gabor变换所具有的平移不变性.由于CSCT中的方向滤波器组 (Directional filter bank, DFB) 11存在下抽样操作，它对图像的位置十分敏感，即图像在空域的微小位移会造成CSCT系数分布的显著变化，因此CSCT不具备平移不变性.而平移不变性对于纹理图像检索性能的提高具有关键影响6.CSCT的这一缺点限制了它在纹理分析中的应用.为此本文先构造具有平移不变性的圆对称轮廓波变换(Translation-invariant circular symmetric contourlet transform, TICSCT).图1是TICSCT的原理图,图2是TICSCT的频带划分.TICSCT由圆对称塔式分解(Circular symmetric pyramid decomposition, CSPD)和非抽样方向滤波器组(Undecimated directional filter banks, UDFB)两部分实现.CSPD(如图3所示)将图像分解为多个不同分辨率的细节子带和一个低频逼近子带，而UDFB再将每个细节子带分解为多个方向子带.图1(b)画出了四方向UDFB的原理图.HiUDFBLo Mx(n)方向子带(a) TICSCTH1(Q0Tw)H0(w)H1(w)H0(Q0Tw)H1(Q0Tw)H0(Q0Tw)(b) UDFB，图中 w1w2(p,p)(-p,-p)图1 TICSCT原理图图2 TICSCT的频带划分Lo(w)Hi(w)Hi(w)Lo(w) Mx(n)y0(n)y1(n) My2(n)x1(n)图3 CSPD原理图在图3中，CSPD的两个圆对称滤波器Lo和Hi满足以下重构条件8: (1) (2)根据多分辨率抽样的基本关系12可以得出方向子带y1的频域表达式：(3)式中，,.根据式(1)可知Lo的频域支撑区是半径为p/2的圆形区域，式(3)中后三项已移到之外的区域，因此在内，式(3)可以简化为： (4)对x(n)进行平移：，则有 (5)对式(4)(5)进行傅立叶逆变换得：，即子带y1具有平移不变性.用同样的方法可证明子带,也具有平移不变性.这说明尽管CSPD中存在下抽样操作，但只要低通滤波器的频域支撑区是半径为p/2的圆形区域，则CSPD具有平移不变性.图1中的UDFB是根据等效易位关系12将文献8中设计的DFB中的下抽样操作去除后形成的，由于UDFB中无下抽样操作，因此UDFB具有平移不变性.而由具有平移不变性CSPD和UDFB实现的TICSCT也同样具有平移不变性.3 TICSCT系数的边缘分布图4是Barbara图像TICSCT一个方向子带的直方图.从图中可以看到，在幅值为零处有高尖峰，尖峰两边有长拖尾现象，即方向子带的大部分系数的幅值为零，只有少量大幅值系数.这些现象在其余图像的所有尺度的方向子带中都能观察到.因此TICSCT系数边缘分布具有非高斯性、高峰度和长拖尾等特点.这类分布可用广义高斯模型(Generalized Gaussian Density, GGD)描述，GGD的概率密度函数为13： (6)式中为GGD的尺度参数，它取决于随机变量的方差，用来控制的宽度；为GGD的形状参数，控制的形状.为伽玛函数：.图4 TICSCT系数的分布GGD中的模型参数和可采用距法估计.设符合GGD分布的M个样本，其一阶距和二阶距分别为： (7) (8)定义，将上面两式代入得： (9)即： (10)式中为G的反函数.需要注意无法写成解析式，因此必须用数值计算的方法求解.由于为单调递增函数，在实际应用中为提高运算速度可用查表和插值的方法得到，即在(0,10这个区间内根据式(9)先计算出一张表，根据从表中查找它处于表的哪两项之间，再进行线性插值算出.和的值用下面两式估计： (11) (12)算出后根据式(7)求出： (13)4 TICSCT方向子带相似度两个符合广义高斯分布的数据源之间可采用Kullback-Leibler距离(KLD)计算它们的相似度14： (14)式中.将式(6)代入化简得： (15)由上式可知，即KLD不具有对称性.这与我们平常理解的相似度概念不一致，为此本节定义一种具有对称性的KLD: (16)假设图像I1和I2通过TICSCT变换产生的j尺度k方向子带的概率密度函数分别为: (17)利用KLD定义I1和I2的相似度为：(18)式中Kj为j尺度的方向子带数.5 融合KLD和局部二值模式的图像相似性度量局部二值模式(Local binary pattern, LBP)是基于图像空域局部算子的纹理图像描述子.Ojala在文献9中定义了一种均匀局部二值算子： (19)式中是一个邻域中心像素点的灰度值，gp是以R为半径，P个等间距分布像素点的灰度值.函数定义为： (20)对图像的每一个像素根据上式进行运算得到它所对应的，的直方图能有效刻画图像的纹理信息.与KLD类似，根据的直方图定义两幅图像I1和I2的相似度为： (21)式中B为的总个数，和分别为I1和I2第b个出现的频数.同时考虑TICSCT变换的统计特性和图像本身的LBP特征，两幅图像I1和I2的相似度可定义为： (22)式中为加权系数，.6 实验结果从112幅Brodatz图像库中选取64幅尺寸为512512的纹理图像，将每幅图像分割为16个互不重叠的尺寸为128128的子图，且仅保留其中8幅，最终组成一个包含512幅纹理图(128128)的图库.该图库与文献15采用的图库是完全相同的.文献15在计算检索率时，分母是7，分子是检索出的15幅图像中与待查询图像相匹配的图像个数(8).为便于比较本文也利用同样的方法计算检索率.图5 上中下三幅图分别为k1=1, 0, 0.3时的检索结果 (检索结果中左上角为待检索图像D36-0.bmp)在实验中TICSCT变换的分解尺度为三级，各尺度的方向子带数分别为4、8、8.中的P和R分别为24和3.图5列出了D36-0.bmp的检索结果.当k1=1时，即单独采用TICSCT变换系数的统计特征进行检索，检索结果中只有五幅图像(D36-1.bmp、D36-5.bmp、D36-4.bmp、D36-7.bmp、D36-6.bmp)与D36-0.bmp匹配，检索率为71.43%(5/7).当k1=0时，即单独采用图像的LBP特征进行检索，检索率仍为71.43%，检索结果中与D36-0.bmp匹配的图像分别为D36-3.bmp、D36-7.bmp、D36-1. bmp、D36-5.bmp、D36-6.bmp.当同时融合两种特征(k1=0.3)进行图像检索时，与D36-0.bmp匹配的七幅图像都出现在结果集中，即检索率达到100%.从图5中还可以看出，检索出的15幅图像中与D36-0.bmp不匹配的另外八幅图像(D104-3.bmp除外)与D36-0.bmp在视觉感受上也是非常相似的.这个结果说明将两种特征融合能更好地刻画纹理图像的本质.对图库中的每幅图像进行检索，根据每幅图像的检索率可计算出整个图库的平均检索率(Average Retrieval Rate, AVRR) .表1列出了k1取不同值时的平均检索率.从表中可以看出，当k1=0.3时AVRR最高，它比单独采用LBP进行图像检索的AVRR高4.02%，比单独采用方向子带统计特性进行图像检索的AVRR高2.21%.这个结果表明将两种特征融合能显著提高平均检索率.表1 当k1取不同值时的平均检索率kAVRR94.2898.2798.3098.2198.0296.8596.09表2列出了本文提出的图像检索算法与近年来有关文献中提出的纹理检索算法的比较结果.这些算法包括：Gabor加权欧几里德算法(Gabor-Weighted-Euclid，GWE. Gabor变换取4个尺度6个方向)6，轮廓波-隐马尔可夫树算法 (Contourlet-HMT,CTHMT) 15，小波变换-广义高斯算法(Wavelet-GGD,WTGGD)14，LBP算法 ()9.从表中可以看出，本文算法的AVRR最高，它比Gabor加权欧几里德算法的AVRR高0.89%.表2 与其它检索算法的比较算法GWECTHMTWTGGDLBP本文算法AVRR(%)97.4193.2994.9894.3198.307 算法的复杂度分析本文算法的计算量分析可分为三部分：TICSCT变换、特征提取和相似度计算.相似度计算需要的运算量较小，并且其计算复杂度和其余算法类似，因此这里仅分析前两项的计算量.在进行TICSCT变换之前，先求出各个方向子带对应的等效滤波器，利用2D FFT算法获得等效滤波器的频谱，再通过频域相乘实现空域卷积.图像的尺寸记为NN(N=128)，则由2D FFT算法的复杂度可以求出实现TICSCT变换需要 (20.5log2N+5.25) N2次复数乘加运算，即(82log2N+21) N2次浮点乘加运算.特征提取部分的计算量包括子带统计参数和LBP特征提取两部分.提取子带统计参数的主要计算量是计算各方向子带的一阶距和二阶距，它们总共需要执行10.25N2次浮点乘加运算.根据LBP定义可知，提取LBP特征的时间主要花费在非整型坐标的像素点的插值运算上.当P=24，R=3时，每个像素点的24点圆周形邻域中有20个非整型坐标的像素点，每点的插值运算需要4次浮点乘加运算，因此提取LBP特征共需执行80N2次浮点乘加运算.将TICSCT变换和特征提取两项计算量相加，当N=128时总共需执行685.25N2次浮点乘加运算.当k1=1时，即单独用方向子带统计特性进行检索，则其运算量为605.25N2次浮点乘加运算，计算复杂度为本文算法的88%.当k1=0时，即单独用LBP特征进行检索，本文算法的运算复杂度与LBP相同.在GWE算法中Gabor变换同样由2D FFT实现，共需要 (48log2N+24) N2次复数乘加运算，即(192log2N+96) N2次浮点乘加运算.提取特征需要执行24N2次浮点乘加运算.两项相加共需要(192log2N+120) N2次浮点乘加运算.当N=128时，本文算法的计算复杂度仅为GWE算法的46.8%.8 结论在圆对称轮廓波的基础上构造了一种具有平移不变性的圆对称轮廓波变换(TICSCT)，并提出了一种融合TICSCT子带统计特性和局部二进制模式特征的纹理图像检索算法.由于两种特征是分别在空域和变换域提取的，它们具有一定的互补性.而视觉感受明显不同的纹理图像可能具有相同的子带统计特性，因此将两种特征融合为纹理描述子进行纹理图检索能获得更好的检索效果.致谢 作者诚挚地感谢审稿老师提出的宝贵意见！参 考 文 献1 Smeulders A W M, Worring M, Santini S, Gupta A, Jain R. Content-based image retrieval at the end of the early years. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(12):1349-13802 Manjunath B S, Ohm J R, Vasudevan V V, Yamada A. Color and texture descriptors. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(6):703-7153 Borber M. MPEG-7 visual shape descriptors. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(6):716-7194 Haralick R M, Shanmugam K, Dinstein I. Texture feature for image classification. IEEE Transactions on Systems, Man, and Cybernetics, 1973, 3(6):610-6215 Tamura H, Mori S, Yamawaki T. Texture features corresponding to visual perception. IEEE Transactions on Systems, Man, and Cybernetics, 1978, 8(6):460-4736 Manjunath B S, Ma W Y. Texture features for browsing and retrieval of image data. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(8):837-8427 Gluckman J. Visually distinct patterns with matching subband statistics. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005,27(2):252-2648 Lian Qiu-Sheng, Kong Lin-Fu. Construction of the circular symmetric contourlet transform. Chinese Journal of Computer, 2006, 29(4): 652-657 (In Chinese)(练秋生，孔令富. 圆对称轮廓波构造. 计算机学报, 2006, 29(4):652-657)9 Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-98710 Do M N, Vetterli M. The contourlet transform: An efficient directional multiresolution image representation. IEEE Transactions on Image Processing, 2005, 14(12):2091-210611 Bamberger R H, Smith M J T. A filter bank for the directional decomposition of images: theory and design. IEEE Transactions on Signal Processing, 1992, 40(4):882-89312 Viscito E, Allebach J P.The analysis and design of multidimensional fir perfect reconstruction filter banks for arbitrary sampling lattices. IEEE Transactions on Circuits and Systems, 1991,38(1):29-4113 Mallat S. A theory for multiresolution signal decomposition: the wavelet representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(7):674-69314 Do M N, Vetterli M. Wavelet-based texture retrieval using generalized gaussian density and Kullback-Leibler distance. IEEE Transactions on Image Processing, 2002,11(2):146-15815 Po D D Y, Do M N. Directional multiscale modeling of images using the contourlet transform. IEEE Transactions on Image Processing, 2006, 15(6): 1610-1620 LIAN Qiu-Sheng, born in 1969, Ph.D.,associate professor. His current research interests include multiscale geometric analysis, image processing and biometrics recognition. LI Qin, born in 1983, master candidate. Her main research include texture analysis and image retrieval. KONG Ling-Fu, born in 1957, Ph.D., professor and Ph.D. supervisor. His research interests include machine vision, intelligent information processing, parallel robotics and autocontrol. BackgroundContent-based image retrieval is a hot research domain in information science. As one of the visual characters of images, texture is used in image retrieval broadly. So far the texture analysis methods could be classified three kinds: statistics method, structure method and model-based method. The sparse image representation plays an important role in content-based image retrieval. Since Gabor transform is similar to the receptive field of simple cell in mammal visual cortex, and can provided sparse image