基于内容的图象检索方法研究

1、1基于内容的图象检索方法研究基于内容的图象检索方法研究231.1意义意义理论意义 基于内容的图像检索涉及智能信息处理、图像处理、模式识别及数据库技术，是一门交叉性学科。应用价值 基于内容的图像检索在卫星地球资源照片的查找 和 分析、个人信息和产品形状及商标的查找、医学图像的存储与检索、新闻图片查找以及公安领域人脸查找等领域有广泛的应用前景。45解决方法：解决方法：以往的图像检索方法：以往的图像检索方法：基于元数据检索基于元数据检索基于关键字的图像检索基于关键字的图像检索存在问题：存在问题：图象内容难以客观地用文本描述。标签的创建困难。手工输入工作量大不支持相似性查询。基于内容的图像检索6Myr

2、on Flickner (IBM )Rosalind W.Picard (MIT)Thomas S.Huang (Illinois)H.J. Zhang (Microsoft Research)J.K. Wu (新加坡国立大学）新加坡国立大学）相关研究单位及本领域有影响的学者相关研究单位及本领域有影响的学者: :7lQBIChttp:/lViragehttp:/lPhotoBooklMARSlVisualSEEK lCORElSTARlRereievalWare http:/lNetra h

3、ttp://Netra典型系统典型系统89(1) 很少考虑图象的亮度变化。(2) 图象特征表示方法不完善。 (3) 多数系统只考虑按单一属性索引，没有 考虑多种属性的索引结构建立。(4) 用户语义无法嵌入。(5) 不能提供有效的查询表达方式。10图像数据模型建立图像数据模型建立图像相似性度量方法图像相似性度量方法低层特征的自动提取低层特征的自动提取多维索引多维索引语义特征的自动提取语义特征的自动提取基于内容的基于内容的WWW图像浏览器设计图像浏览器设计基于内容的图像检索系统性能评价基于内容的图像检索系统性能评价1112图像信息描述与检索模型图像信息描述与

4、检索模型特征提取与描述方法特征提取与描述方法相似性度量方法相似性度量方法多维索引方法多维索引方法系统设计中的关键技术系统设计中的关键技术132.12.1图像信息描述与检索模型图像信息描述与检索模型14语义层映射数据库映射属性层物理层特征层伪语义层映射1510102,210101010,),(),(),(),(xiyjyxnmyxnmxiyjxiyjyxnmyxnmSjiSTjiTSSTjiTnm10101010,),(,),(xiyjxiyjyxnmyxnmyxjiTTyxjiSS其中：直接计算模板与目标图象的相关度：16fid,dclass,extrf,simf,ftypevaluecomp

5、lexyArbitrarilFTYPEFTYPEFTYPESIMFFTYPEDOEXTRFIdentifierFIDFTYPESIMFEXTRFDCLASSFIDFEATURE 1 , 0)()(17单区域查询多区域查询空间对象关系的匹配18对象具有语义对象间关系比伪语义层更为明确特特点点语义对象查询对象空间关系查询查查询询19语义层的空间关系操作表1 二维空间操作符的定义符号含义ABA与B不相接A=BA等于BA|BA与B边接边A %BA与B的无相同边界且A包含BABA与B的左边界相同且A包含BABA与B的右边界相同且A包含BA/BA与B重叠表2 相似度函数值SIM的定义SIM/%|=t时，表

6、明两图象相似。其中，查询图象与虚图象间的相似度d定义为相似的对象数和必选对象间的空间关系与总对象及其空间关系的比值：21FG查询图象Q虚图象Pvd(Q,Pv)=(2+1+1+2+2+2.8)/(2+2+5+4)=0.83设t=0.8,则dt,两幅图象相似。22QFinalRetrievedImagesQfRQfFQfSDBfRDBfFDBfSRRRFRPRSMergingResults23输入层隐层输出层1z2znzoV1y输入层：按每层查询时的相似度输出层：整体相似度242.2 2.2 颜色特征提取与表示颜色特征提取与表示25Nihhhh,.,.,21颜色直方图颜色直方图颜色矩颜色矩Njij

7、iPN11NjiijiPN1212)(1(NjiijiPNs1313)(1(26缺点缺点 RGB颜色空间与人的视觉不一致。 对颜色分布的位置信息考虑不足。 对图像光照变化也敏感。 27步骤：步骤：(1) 颜色空间转换(2) 光照归一化(3) 尺度归一化(4) 直方图平滑特点：特点：实现了亮度和尺度的归一化28 仍存在的问题：仍存在的问题：没有考虑位置信息上面两幅图像的传统颜色直方图完全一致，但它们实际上并不相似。29（1）等权：权值相等（2）加权3161616161W3031注：第1幅为查询图象，后14幅为对应的查询结果32注：第1幅为查询图象，后14幅为对应的查询结果33注：第1幅为查询图象

8、，后面为对应的查询结果34纹理353637(1)空间自相关函数的纹理结构描述(2)灰度共生矩阵表示方法(3)Tamura(4)基于Fourier变换的纹理描述(5)基于DCT的纹理描述 383940理论依据：(1)人的视觉在感知纹理时，存在三种重要的感知元，即“重复性、方向性、粒度的复杂度” 。(2)纹理图像可以看成是一个二维的均匀随机场，并能分解成相互正交的三个分量 。(3)规则均匀随机场的三个分量可通过分离谱分布函数获得。),(),(),(),(gpwyFFFF41(1)谐波测试，目的是提供纹理图像结构化程度与非结构化纹理判决依据（置信度）。(2)基于置信度进行纹理分类。 4243分类结果

9、分类结果规则纹理不规则纹理4445(1)在平滑后的自相关函数中寻找峰值并确定对应位置。 (2)提取纹理基元。 (3)计算共生矩阵。 (4)从共生矩阵计算特征矢量，如能量、熵、相关、局部均匀性、惯性等。 46(1)计算图像的小波变换系数(2)计算像素r=(x,y)处的局部特征110011,),(),(),(dydxyyxxgyxfyxWkjkj)(,|) (|51),(rNrkjrkjrWkjf(3)用聚类算法获取纹理图像的整体特征47 采用策略：（1）采用半峰的幅度支撑集相互接触的Gabor小波族 。（2）计算小波变换系数的均值和标准偏差dxdyyxWnmnm| ),(|,dxdyyxWnmn

10、mnm2,)| ),(|(3)生成特征矢量.353501010000f4849 采用极坐标表示Gabor函数，并将图像转换为Gabor空间中的近似表示。然后从相位信息和幅度信息中推导出旋转不变特征。50计算过程计算过程 51*2*2*22222222|DYDYDYDFDFDFDADADAYYFFAAYFADMYDMFDMAYMFMAMCYCFCAfEfEfEfEfEfEfEfEfEfEfEfEfEfEfEtfEtfEtfEFFFFFFFFFFfA，fF，fY,是幅度、频率、方向的包络信息。fDA，fDF，fDY,是由相位导出的方向信息。52注：第1幅为查询图象，后9幅为对应的查询结果532.4

11、形状特征提取与描述方法研究54问题1：为什么进行形状特征的提取？问题2：如何进行形状提取？55算法思想： 首先将图像转换到与人的视觉一致的颜色空间，然后以色调为主进行对象粗分。对具有相同色调的对象再按亮度或饱和度进行细节划分，并标明不同区域。最后对这些区域进行去噪，生成有意义的区域。 56(1)颜色空间的选择 (2)HSL概率密度计算 (3)基于联合概率密度的颜色区域标号 (4)区域进行合并 57(a)原图像 (b)色调分割图 (c)色调和亮度联合分割图 (d)去噪声后的分割图像58(a)平滑处理前色调直方图 (b)平滑处理后色调直方图 (c)亮度直方图 (d)色调满足一定条件的亮度直方图59

12、基本思想: 图像边缘反映了图像变化的局部信息，它由一些细小的边界点组成，而区域反映了对象在灰度上的一致性。对象的区域和对象的边缘是高度相关的，因此，为了获得有意义的对象边缘，可以用边缘元和对象区域相互补充来获取对象边缘。60l(1) 对模极值二值化，生成边缘点l(2)以主对象为中心，选取长度超过给定长度边缘段，并用 l (begin_line，end_line，code_line)表示，其中begin_line l 为边缘段的起始位置(xb,yb)，end_line为边缘段的终止位置l (xe,ye)，code_line为边缘段的链码。l(3)选定最长边缘段，查找与begin_line最近的边

13、缘段的端点l (x0,y0)，与end_line最近的边缘段的(x1,y1)。l(4)以(xb,yb)为起点，(x0,y0)为终点，连接成新的边缘，以同样l 的方法生成以(xe,ye)为起点，(x1,y1)为终点的新边缘段，通l 过虫随法得到区域边界，取新边缘段和区域边界的平均作为修l 正后的新边缘。l(5) 当所有边缘段处理完毕，算法结束，否则转(3)。61622.563基于Hausdorff距离进行度量。一般形状匹配方法：一般形状匹配方法：将形状表示成一个特征矢量，然后用欧氏距离、明氏距离等方法进行度量。存在问题：存在问题：在很多情况下，精确分割出图像边界轮廓并用特征矢量表示它们相当困难。

14、解决途径：解决途径：64(1)首先提取查询图像和数据库中图像的边缘并二值化。(2)分别表示成点集A和B。(3)计算点集A和B之间的Hausdorff距离。(4)按Hausdorff距离选取最相似的图像。特点：特点： 该方法不强调图像中点对的一一匹配，点与点之间的关系是模糊的。 65对应的二值图像对应的二值图像原图像原图像66采用采用Hausdorff距离度量的结果。第一列为模距离度量的结果。第一列为模板，后五列为匹配结果板，后五列为匹配结果672.6多维特征的索引结构研究多维特征的索引结构研究68(1)随着特征维数增加查询时间花费 以指数形式增加。(2)没有嵌入视觉特性(1)维数压缩(2)多维

15、索引69),(1xnxffX),(1ynyffY),(11xnnxwfWfWX),(11ynnywfWfWY),(),(wwwYXdYXd将查询向量于数据库中的向量然后以权距离基本思想：转换为权向量：为基础按SS算法进行索引。70QFMd0didxM:模板图像Q:查询图像F:数据库中 的图像71顺序搜索平均花费时间等距索引搜索平均花费时间7273 图象库特征提取低层特征伪语义语义查询处理查询界面索引生成相关反馈用户搜索引擎数据库建立数据库检索74（1）一是利用查询语言直接操纵信息 特点：描述精确，但界面不够友好。 （2）即开发查询接口 特点：界面可视化 ，但描述不够精确。现有的信息获取及其特点：75l查询语言中图像信息的描述l查询的可视化提交 l可视化查询到目标查询的转换 76carcolorshapeBA 图8.9查询的可视化表达实例77)|,|,(nonrjjrelrjjDddDddqfq)|,| ,(nonrjjrelrjjDddDddwgw第一种：修改查询矢量的相关反馈。第一种：修改查询矢量的相关反馈。第二种：修改数据库概率分布的相关反馈。第二种：修改数据库概率分布的相关反馈。