基于内容的网络图像信息搜索

1、基于内容的网络图像信息搜索 作者：赖庆摘要：网络上图像信息数据越来越多，需要更好的检索技术准确、高效检索。本文介绍了基于内容的网络图像信息检索技术，详细阐述图像信息检索的原理、方法和图像信息的标准化技术，最后指出网络图像信息检索技术的不足和发展趋势。关键字：图像信息；检索；内容基于内容的图像信息搜索方法CBIR(Content-Based Image Retrieval)，是目前图像信息搜索研究的一个热点，该方法很好地避免基于文本方法的很多不足。譬如说它直接面向图像特征本身，不需要人工标注，就很好地避免了人工描述的主观性，也大大减小了工作量。一、基于内容的图像信息搜索原理基于内容的检索，是指直

2、接利用图像的各种图像特征进行检索。这些图像特征，指的是图像的原始特征，原始属性。本质上来讲，CBIR是一项结合了计算机视觉，图像处理，图像理解以及数据库技术的综合体。常用于内容检索的图像特征由图像的颜色，纹理，形状，图像边缘特征，以及语义特征。其中，颜色，纹理，形状，图像边缘特征，是基于人的视觉原理：而语义特征是基于用户查询中对于图像内容的描述。这点和基于文本的图像检索不同的是，假如用户输入”天使之翼”这个词语，在基于文本的方法中，凡是没有与“天使之翼”相匹配的文本，将不能显示出你的搜索结果。但是CBIR的要求却是，不管是否有相关的文本特征标注，只要图像中有“天使”“翼”的形象，就会给予充分的

3、提取。但是这项技术需要人工辅助，也需要计算机理解，知识推理的能力，由于受到人工智能技术的瓶颈，这项技术并不是很成熟1。另外的一种可行的方法是将图像转换为所需要的格式，所需要的数据流，然后对这些被加工过的数据流进行匹配。而在实际操作的过程中，用户可以通过对于自己想要找到的图像做一个描述，或者是用户自身提供一幅自己想要图片的范例，来得到跟自己所提供图像相似度很高的其它图像。其技术实质是图像检索系统提取图像的图像特征，然后跟数据库中已经存在的特征项匹配，然后将查询特征相似的图像返还给用户。二、颜色特征提取方法颜色特征是图像本身最基本，最直观的特征之一。目前基于颜色特征的提取，已经在搜索引擎中得到了很

4、好的应用。颜色特征对于图像质量的退化，尺寸，分辨率和方向变化具有很强的鲁棒性。鲁棒是Robust的音译，也就是健壮和强壮的意思。所谓“鲁棒性”，是指控制系统在一定（结构，大小）的参数摄动下，维持某些性能的特性。根据对性能的不同定义，可分为稳定鲁棒性和性能鲁棒性。颜色特征的提取主要有四种方法：(1)颜色直方图：(2)颜色相关图：(3)颜色矩：(4)颜色一致性向量。2其中，颜色直方图描述了颜色图像统计的分布特征。这些特征因具有平移、尺度、旋转不变性而具有使用价值，其方法是在颜色空间中采用量化的方法对颜色进行量化，然后统计这些量化通道在所要检索的图像中所占的比重。进行图像搜索必须在一定的颜色空间内进

5、行，其中RGB，CIE，HSI，HSV是最常用的颜色空间。也是进行算法的基础。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。CIE指国际照明委员会规定红、绿、蓝三原色的波长分别为700nm、546.1nm、435.8nm。HSI色彩空间是从人的视觉系统出发，用色调（Hue）、色饱和度（Saturation或Chroma）和亮度（Intensity或Brightness）来描述色彩。HSV色

6、彩模型从CIE三维颜色空间演变而来，它采用的是用户直观的色彩描述方法，它跟孟塞尔显色系统的HVC球型色立体较接近。量化方法就有图像分割，参考颜色。颜色空间划分，颜色空间聚类等方法。颜色相关图其实质是颜色对相对于距离的分布来描述信息，反应的是像素对的空间相关性，以及举步像素分布，总体像素分布的相关性。它的优点是特征范围小，效果好，并且容易计算。颜色矩和颜色一致性向量是对颜色直方图技术的改进。其中颜色矩方法是计算出每个颜色通道的均值，方差，偏差代替颜色分布特征：一致性向量方法是分区域统计出最大区域像素数量。颜色特征提取的三种方法中，直方图方法是最常用的方法。直方图颜色直方图是表示图像中颜色分布的一

7、种方法，它的横轴表示颜色等级，纵轴表示在某一个颜色等级上具有该颜色的像素在整幅图像中所占的比例，直方图颜色空间中的每一个刻度表示了颜色空间中的一种颜色。采用直方图计算图像间的相似性比较简单，但它不能反映图像中对象的空间特征。直方图的定义为3：If Q(T*Ix,y)=m 图像的每个像素点P（x，y）有三个颜色分量，I（Ir，Ig，Ib），I经过变换过程T，量化过程Q而最终得到一个量化值Z。其中T变换采用RGB向HIS的转换。Q变换采用将HIS变量标准量化。hm表示具有颜色量化值为Z的所有像素点的个数，H是直方图的向量表示。在颜色特征匹配中，直方图采用二次型距离：D（Hq，Hi）（Hq-Hi）A

8、（Hq-Hi）T，An*nai，j，。其中ai，j表示Hq中第i个元素HqCi，Hi中第j个元素HqCj的相似程度。三、纹理特征提取方法纹理特征本质是刻画像素的邻域灰度空间分布规律，即在构造灰度共生矩阵的基础上，抽取角二阶矩和熵等纹理特征系数进行相似性度量。与此相关的技术是将图像转化为灰度图像.任何颜色都有红、绿、蓝三原色组成，假如原来某点的颜色为RGB(R，G，B)，那么，我们可以通过下面几种方法，将其转换为灰度：(1)浮点算法：Gray=R*0.3+G*0.59+B*0.11；(2)整数方法：Gray=(R*30+G*59+B*11)/100；(3)移位方法：Gray=(R*28+G*15

9、1+B*77)>>8：；(4)平均值法：Gray=（R+G+B）/3：；(5)仅取绿色：Gray=G。通过上述任一种方法求得Gray后，将原来的RGB(R，G，B)中的R，G，B统一用Gray替换，形成新的颜色RGB(Gray，Gray，Gray)，用它替换原来的RGB(R，G，B)就是灰度图了。纹理描述方法有统计法，结构法，模型法，频谱法。其中统计法是通过图像中灰度级分布的随机属性来描述纹理特征。常用的方法是利用灰度直方图的矩来描述，缺点是缺少这种方法没有加入像素的空间位置信息。结构法是假定纹理模式由纹理基元以一定的，有规律的形式重复排列组合而成，特征提取就是要确定这些基元并且定

10、量分析他们的排列规则。这种方法的缺点是实际的纹理都是无规则的，分解的数学模型比较难以找到理想的。模型法则是利用一些成熟的图像模型来描述纹理。频谱法是借助于频率特性来描述纹理特征。常用的有傅里叶功率谱法、Gabor变换、塔式小波变换(Pyramid Wavelet Transform，PWT)、树式小波变换(Tree Wavelet Transform，TWT)等方法。根据纹理特征进行实际检索时，主要研究基于粗糙性、方向性、对比性三个特征。而用户一般使用示例查询的方式来进行操作，也就是用户给出示例的全部或者部分区域特征。四、形状特征提取方法状特征是图像最本质也是最难描述的图像特征，目前基于形状特

11、征的提取主要有利用图像边缘信息和利用区域图像灰度分布信息进行检索的基于边缘和基于区域算法。基于边缘的形状特征提取用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等特征来描述物体的形状，适用于图像边缘较为清晰、容易获取的图像。具体步骤可以先对图像进行了高斯平滑，接着使用经典的兴趣点检测算法发现兴趣点，然后用兴趣点的测度值作为图像特征进行匹配。提出将图像边缘上的角点作为特征点，然后使用Delaunay三角形进行划分，记录三角形的形状特征来描述图像的形状特征。这种方法由于是基于边缘上的一些特殊点，因此对噪声和点位置的变化较为敏感。采用边缘方向直方图来刻画形状特征，具有简单、平移不变性

12、等优点，但也存在不具备尺度、旋转不变性等缺点。好的边缘检测应该能达到对于每一实际存在的边缘点和检测到的边缘点一一对应，不漏检也不多检4。基于区域的形状特征提取的主要思路是通过图像分割技术提取出图像中感兴趣的物体，依靠区域内像素的颜色分布信息提取图像特征，适合于区域能够较为准确地分割出来、区域内颜色分布较为均匀的图像。应用变形模板技术，把用户提供的形状看作模板，与图像库中的形状进行匹配。由于是直接比较两个形状，因此具有较高的精度，但同时计算量也较大。还有一种形状弹性匹配算法，该方法首先确定感兴趣区域，在这些区域中采用爬山优化算法获取图像边缘，并用这些边缘代表物体形状。这种方法的优点是对图像边缘进

13、行了筛选，缺点是需要人工干预。五、网络图像信息搜索技术发展展望5.1 检索技术集成化。用户的图像检索要求是多样化的，关键词检索、示例图像检索、图像特征检索都有可能成为用户偏爱的检索方式，因此可以说基于关键词的图像检索技术(TBIR)与基于内容的图像检索技术(CBIR)都能在一定程度上满足用户的检索要求。这样，为了更好地满足用户的检索要求，为其提供多样化、个性化的检索服秀，将TBIR技术和CBIR技术相结台开发图像搜索引擎就成为必然趋势，将与图像相关的文本信息分析和图像内容特征提取相结合，有效莉用各特征之间的互补能力，综合提取图像内容的多维特征，然后通过算法匹配结果的归一化来实现检索，既降低了图

14、像内容识别和分析的难度，又能改善用户界面钓友好性和提高图像检索的准确度。5.2 搜索范围广泛化。网络信息飞速增长，任何搜索引擎都无法涵盖互联网上的所有信息，再加上图像资源本身和图像标引的复杂性，图像搜索引擎所能搜索的图像范围一直都无法令用户满意，不过随着多媒体搜索技术的进步以及各机构之间合作意的蹭强，图像搜索引擎的搜索范围逐渐呈广泛化的趋势5，具体体现在：A.图像搜索引擎与网上已有的图像库联合，图像库通过联合可以提高其知名度和库中图像资源的利用率，并获得较好的经济效益，而图像搜索引擎可以借比扩大其搜索范围，赢取更多的用户和竞争优势，用户也可以通过搜索引擎获得丰富的图像资源，从而在图像库开发商、

15、图像搜索引擎与用户之间形成良性循环。目前已有少数图像搜零引擎如Ahavista、ycos等开始了这方面的工作。B.运用协作策略，改变搜索技术，优化搜索引擎的工作模式和工作机制，开发图像元搜索引擎，集合互联网上多个图像搜索引擎，共同为用户提供服务。各图像搜索引擎所能搜索的图像资源各不相同、各有特点，而图像元搜索引擎能整合利用各个搜索引擎的图像资源，并通过搜索引擎选择模块为用户选择合适的图像搜索引擎，达到更范围内为用户服务的目的。5.3 用户接口智能化。目前图像搜索引擎的用户接口比较单一，交互能力较差，并且有的还只能提供描述查询接口，即关键词搜索，而在理想的图像搜索引擎中，人应该是主动的，用户接口

16、不仅能使用户方便地获取所需资源，还能充分考虑为用户的不同需求提供个性化的服务。因此未来的图像搜索引擎的一个重要特征便是用户接口的智能化，除了提供示例和描述查询等基本接口之外，还能为用户查询提供丰富的交互能力，使用户能够在主动交互过程中通过调整搜索参数，表达对图像的语义感知，最终获取满意的结果。5.4 图像处理标准化。图像搜索的难度不仅仅是提取图像特征的算法和技术进展制约造成，网络图像的文本标注，网络图像格式的杂乱，也是不能开发一个广泛适用的检索模型，检索算法的重要原因。信息在网站的存储和关键字标注是杂乱无章的，并没有统一的标准。由此，我们想到互联网发展过程中的协议标准。今天internet的辉

17、煌和超高速的发展，很大的一方面是因为各个硬件厂商是遵守同样的网络协议，网络标准。那么如果在信息的标注上，每个网站都会遵守同样的标注标准，其结果必然是大大减轻搜索的技术负担，同时提高图像搜索的精确度。而在图像的文本标注上，对于人工标注标准这个不容忽视的问题，国际上并没有采取措施。文本人工标注标准重要的原因有四：(1)基于内容的图像搜索技术，在很长一段时间内，都无法满足用户的需求，尤其是在基于语义检索方面。因此，图像检索在很长的一段时间内，仍然需要借助关键词搜索等文本操作。(2)基于文本的搜索技术趋于成熟，近年来技术上并没有得到突破性发展。因此，要想使文本搜索技术变得更加有效率，图像文本标注的标准

18、化不失为一种好的尝试。(3)可以使小范围内图像搜索，更为精确。图像文本标注，固然需要大量的人力，但在如医学图像等领域内，却是值得的。医学图像等最需要的是达到精准，而不是所有相关联的图像。而且，图像数据库本身，因为图像的专属性而数量大大减少。(4)图像处理软件的开发，使网络上出现了越来越多的自制图像。因此，在基于内容的图像搜索中，就会出现许多的假图像，难以保证图像信息的真实性，可靠性。结束语：未来网络信息发展的方向是将会有越来越多的图像信息出现在各种网络平台上，越来越多的图像搜索需求也将产生，图像信息搜索技术将在医学等各个领域得到广泛的使用。同时网络图像信息搜索在满足用户需求，也具有巨大的市场开发潜力。而网络图像信息搜索技术因其依赖于计算机视觉，数据库等多项技术的发展，