基于内容的图像检索(信息存储与检索专业论文).doc

基于内容的图像检索信息082 魏金露 200853275220摘要：常人在平日的生活中只能记住自己听到过内容的10%，记住自己阅读过内容的30%，却能记住自己看过内容的80%。视觉是人类获得信息的重要途径。越来越多的图像搜索引擎亮相公众,人们的图片检索更加快捷,对图像检索的要求就有了更高层次的要求。本文介绍了基于内容图像检索技术的原理及基于这些原理的近几年出现的图像搜索引擎。另外还有对图像信息搜索技术未来发展方向的展望。关键词：搜索引擎；图像检索；特征提取；CBIR；技术发展Research on the Content-based Image Search EnginesAbstract：In the daily life of ordinary people can only remember what he had heard the contents of 10%, remember their 30% read the contents, but it can read the contents of his mind 80%. Human vision is an important way to obtain information. Image search engines more and more public appearances, it is more efficient image retrieval, image retrieval requirements have a higher level of demand. This article describes the content-based image retrieval technology, principle and based on these principles emerged in recent years, image search engine. There is also the image information search technology in the future development prospectsKeywords: search engine; image retrieval; feature extraction; CBIR; technology development1引言随着多媒体技术、网络技术和信息数字化处理的高新技术的飞速发展，互联网上的多媒体信息迅速膨胀，与此同时计算机所能处理的信息媒体范围也迅速扩大。一方面，图像作为一种内容丰富、表现直观的媒体，已经应用在各类领域；另一方面，人们面对越来越多的各种各样的图像信息，如何在这些海量图像信息中检索出自己需要的部分，是近年来网络信息处理已经面临的“瓶颈”，已成为国内外多媒体检索研究的热点之一1。传统的数据库检索采用基于关键词或描述性文本的检索方式，查询时需要指明文本特征，要求用户对文本特征的描述具有一定的准确性和规范性。但是由于图像内容的丰富内涵以及人们对图像内容进行抽象的主观性，图像的视觉特征难以用关键字来描述。因此不能客观反映图像内容的多样性，而且其数学模型、系统结构、查询方式及用户接口等也不具备有效管理和检索图像数据的能力，使得这种方法往往不能满足人们的需要，具体表现为：1.不能有效管理具有时空关系的多媒体数据，会直接影响到数据库的数据模型和索引方式；2.没有图像特征提取的工具，无法对图像进行内容的识别和解释；3.缺乏能表达图像特征多样性的查询方式，图像的许多特征并不能用简单的数值和字符来精确表达。2基于内容的图像信息搜索原理基于内容的图像检索(Content-Based Image Retrieval，简称CBIR)是一种新的检索技术，指直接利用图像的各种图像特征进行检索。这些图像特征，指的是图像的原始特征，原始属性。本质上来讲，CBIR是一项结合了计算机视觉，图像处理，图像理解以及数据库技术的综合体。常用于内容检索的图像特征由图像的颜色，纹理，形状，图像边缘特征，以及语义特征。其中，颜色，纹理，形状，图像边缘特征，是基于人的视觉原理：而语义特征是基于用户查询中对于图像内容的描述2。这点和基于文本的图像检索不同的是，假如用户输入”天使之翼”这个词语，在基于文本的方法中，凡是没有与“天使之翼”相匹配的文本，将不能显示出你的搜索结果。但是CBIR的要求却是，不管是否有相关的文本特征标注，只要图像中有“天使”“翼”的形象，就会给予充分的提取。但是这项技术需要人工辅助，也需要计算机理解，知识推理的能力，由于受到人工智能技术的瓶颈，这项技术并不是很成熟3。另外的一种可行的方法是将图像转换为所需要的格式，所需要的数据流，然后对这些被加工过的数据流进行匹配。主要具有如下特点：1.直接从媒体内容中提取信息线索；2.基于内容的检索是一种近似匹配，这一点与常规数据库检索的精确匹配方法有明显不同；3.特征提取和索引建立可由计算机自动实现，避免了人工描述的主观性，也大大减少了工作量；4.整个过程是一个逐步逼近和相关反馈的过程。自20世纪90年代以来，人们已经开发了许多研究性质的或商用的图像搜索引擎，如：QBIC、Photobook、VIRAGE、VisualSEEK、WebSEEK等。然而，现阶段的大部分图像搜索引擎还基本停留在视觉特征上面。3基于内容的图像检索方法基于内容的图像检索技术实际是一种模糊查询技术，通过对图像提取一定的特征，在特征空间进行相似性分析，从而找出符合用户要求的图像集合3。主要实现方法有：颜色特征提取、形状特征提取及纹理特征提取。3.1颜色特征提取方法颜色特征是使用最广的视觉特征检索方法。颜色特征是一种全局特征，它描述了图像或图像某个区域所对应的景物的表面性质。在同一类事物中，事物之间通常有着相同或相似的颜色特征，因此可以利用颜色特征来区分不同物体。图像被放大缩小，图像质量被噪声破坏，图像被旋转都不会对图像自身的颜色特征有较大的影响。因此，颜色特征得到了研究人员的广泛关注。然而，颜色特征的缺点在于并不能高效捕捉图像中某事物的局部特征，也没有表达出颜色空间分布的信息更无法体现事物的空间关系。特征提取与匹配方法主要采用：颜色直方图法、累积直方图法、颜色矩法、颜色一致性矢量法、颜色相关向量法、颜色相关图、颜色聚类法和基于主色调的方法等。颜色特征提取的三种方法中，直方图方法是最常用的方法。直方图颜色直方图是表示图像中颜色分布的一种方法，它的横轴表示颜色等级，纵轴表示在某一个颜色等级上具有该颜色的像素在整幅图像中所占的比例，直方图颜色空间中的每一个刻度表示了颜色空间中的一种颜色。采用直方图计算图像间的相似性比较简单，但它不能反映图像中对象的空间特征4。3.2形状特征的提取5一般来说一个物体可以有不同的颜色，但它的形状不会有很大差别。物体的形状是物体自身的一个重要特征，形状特征检索可以比较有效地抓取图像中某一物体作为目标来进行检索。形状描述方法主要有两类：基于边缘和基于区域的形状方法。基于边缘的形状特征提取用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等特征来描述物体的形状，适用于图像边缘较为清晰、容易获取的图像。具体步骤可以先对图像进行了高斯平滑，接着使用经典的兴趣点检测算法发现兴趣点，然后用兴趣点的测度值作为图像特征进行匹配。提出将图像边缘上的角点作为特征点，然后使用Delaunay三角形进行划分，记录三角形的形状特征来描述图像的形状特征。这种方法由于是基于边缘上的一些特殊点，因此对噪声和点位置的变化较为敏感。采用边缘方向直方图来刻画形状特征，具有简单、平移不变性等优点，但也存在不具备尺度、旋转不变性等缺点。好的边缘检测应该能达到对于每一实际存在的边缘点和检测到的边缘点一一对应，不漏检也不多检。基于区域的形状特征提取的主要思路是通过图像分割技术提取出图像中感兴趣的物体，依靠区域内像素的颜色分布信息提取图像特征，适合于区域能够较为准确地分割出来、区域内颜色分布较为均匀的图像。应用变形模板技术，把用户提供的形状看作模板，与图像库中的形状进行匹配。由于是直接比较两个形状，因此具有较高的精度，但同时计算量也较大。还有一种形状弹性匹配算法，该方法首先确定感兴趣区域，在这些区域中采用爬山优化算法获取图像边缘，并用这些边缘代表物体形状。这种方法的优点是对图像边缘进行了筛选，缺点是需要人工干预。3.3纹理特征的提取纹理特征描述的是图像或图像某一区域所对应景物的表面特性。纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。作为一种统计特征，纹理特征常具有旋转不变性，并且对噪声有较强的抵抗能力。但是纹理特征也有缺点。一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理有时会出现较大偏差。纹理特征作为一种表面特性也并不能完全反映出物体的本质属性，仅仅利用纹理特征无法获得高层次图像内容，因而将纹理信息应用于检索时，一些具有相似纹理的不同事物会对检索造成误导。根据纹理特征进行实际检索时，主要研究基于粗糙性、方向性、对比性三个特征。而用户一般使用示例查询的方式来进行操作，也就是用户给出示例的全部或者部分区域特征。纹理特征描述方法大致可分为四类：统计法、结构法、模型法、频谱法6。统计法通过图像中灰度级分布的随机属性来描述纹理特征；几何法结构法假定纹理模式由纹理基元以一定的、有规律的形式重复排列组合而成，特征提取就变为确定这些基元并定量分析它们的排列规则；模型法利用一些成熟的图像模型来描述纹理；频谱法借助于频率特性来描述纹理特征。4图像搜索引擎4.1普通图像搜索引擎介绍目前图像搜索引擎有很多很多，常用的引擎及其地址如下：百度图片搜索/ 有道图片搜索/ Google 图片搜索/雅虎图片搜索 / 中搜图片搜索 / 搜狗图片搜索/live 图片搜索 /?scope=images TOM图片搜索/p.html 爱问图片搜索 / 网易图片搜索 / soso搜搜图片搜索/ GoGraph图象搜索 / 必应Bing图片搜索 /images?FORM=Z9LH SoWang图片搜索/picsearch.htm 但是这些搜索引擎都主要通过用户输入关键词这个途径来检索需要的图片，即使在高级检索选项里面也只是增加了诸如图片类型，图片大小，图片色调，文件类型等一些选项来缩小范围。基于内容的图像搜索引擎提供的各种独特的检索入口大大加快了检索速度，明显提高了查全率、查准率。4.2基于内容的搜索引擎介绍4.1.1 TinEye软件TinEye 是一款先进的图像识别和视觉搜索软件，是第一款在互联网上使用图像识别技术的图像搜索引擎，TinEye“用图片搜索图片”，并非利用关键词，元数据或水印来进行检索。在TinEye主页上有相关的检索实例，通过阅读实例或者检索一张图片便可以更加深刻体会这款搜索引擎的强大之处。TinEye的工作原理是，当提交的图片进行检索时， TinEye创造一个独特的，紧凑的数字签名或指纹，然后通过在数据库中比对图片的指纹来索引每一个与这个指纹有联系的图片7。 TinEye通常不会找到类似的图片（即不同的图片同一主题事项）；它找到完全匹配的，包括那些已经出现过，修改过过或调整的图片。TinEye 的用途有很多当给出一个检索图案，TinEye可以搜索相似的图片，搜索包含该图案的图片，还会查找和图片本身的内容相关的图片。提交的图片可以通过TinEye找出它是从哪里来的，它在哪里被使用过，是否修改后的版本存在，或寻找更高分辨率的图片资源，TinEye还可以利用网站自有的图片找到其网站网页。4.1.2 M ulticolr SearchMulticolr Search搜索通过选择图片包含的颜色代替传统关键字搜索。这种彩色搜索方法与现有的方法相比非常具有创新性。彩色搜索算法利用图片的颜色构成，是基于人类感知的色彩和简单的颜色直方图方法自然返回结果。但是这款搜索引擎还不能支持指定图片中各颜色在图像中分布位置，各颜色在图像中占有比例的检索。这款搜索引擎基于两个数据库中的图片：Multicolr Search索引三百万张Alamy的彩色图片，最多支持使用10个颜色的搜索；索引来自Flickr的一千万张创作共享图片。示例：图一4.1.3 Visual Similarity SearchBYO Image Search根据给定的图片颜色构成进行匹配搜索。使用图片来检索视觉类似图像集。搜索引擎使用复杂的算法来分析数以百计的图片属性，如颜色，形状，质地，光度，复杂性等。这些属性组成一个独特的视觉标签，并记录到视觉索引中。包含众多属性的图片视觉标签计算迅速，有效地存储和使用，并使用准确的比较算法以促进类似的图像搜索优化。一般情况下根据图片相似性程度排列，相似性越高排列越靠前。这个搜索功能已经在Photoshop中成为一款插件，使用户能够搜索他们自己的照片库中类似的图片。其工作原理如下：图二4.1.4 XcavatorXcavator也是一款基于内容的图像搜索引擎。Xcavator图像搜索引擎可以迅速而容易地在大型的图像数据库中通过图片颜色、形状、图像组成等来检索相关图片。Xcavator将人类的视觉与功能强大的电脑结合起来。Xcavator最大的卖点便是充分利用了Cognisign公司研发的智能图像识别技术，在搜索界面上，Xcavator为一般用户提供了三种相关联的搜索选项。用户既可以像使用其他图像搜索引擎一样输入关键词进行检索，也可以使用另外两种智能图像搜索方式进行检索：一种是依据图片含有的颜色，在Xcavator的左侧有一个颜色适配器，只需要在调色面板中选择自己要查找的颜色，Xcavator便可以很迅速的展示出期望的结果；另一种是用户可以上传一张图片，也可以从搜索结果中选择任何一张图片拖到图片框中，依据给定的图像进行搜索，然后就会搜索到与指定图片相似的同类图片。通过以上方法，大大缩小了搜索范围，提高了检索效率。图三4.1.5 Picitup Picitup是一个专注于图片领域的搜索引擎，而且是一款支持中文搜索的相似图像搜索引擎。Picitup首先要输入关键字确定查找内容，当搜索到一组图片后可以对每一张图片进行下一步的相似搜索，这样就可以得到更多与之类似的图片，继续寻找类似图片直到搜索到自己满意的图片为止。Picitup 提出了的是一种“层次性搜索”的概念，用户只需要输入第一个关键词，接下来就是浏览搜索了。Picitup搜索界面设计简洁，配备使用说明，初次使用也不会有陌生感。如图输入关键词之后还有多种方法过滤结果。可以通过分类，色调，形状，图片尺寸，资料来源缩小检索范围。图四 图五基于内容的搜索引擎还有很多，比如检索技术相关教材中经常提到的QBIC图像检索系统，NETRA系统，VIRAGE系统 RETRIEVALWARE系统，PHOTOBOOK系统等等。基于内容的图像搜索引擎与传统的图像检搜索引擎相比有着诸多无可比拟的优势，这些搜索引擎不仅给我们带来了全新的检索体验，还提供了富有创意的新型检索入口。然而，基于内容的图像搜索引擎这个国际研究热点还存在很多技术难关有待解决。5图像信息搜索技术发展展望5.1检索技术集成化用户的图像检索要求是多样化的，关键词检索、示例图像检索、图像特征检索都有可能成为用户偏爱的检索方式，因此可以说基于关键词的图像检索技术(TBIR)与基于内容的图像检索技术(CBIR)都能在一定程度上满足用户的检索要求8。这样，为了更好地满足用户的检索要求，为其提供多样化、个性化的检索服秀，将TBIR技术和CBIR技术相结台开发图像搜索引擎就成为必然趋势，将与图像相关的文本信息分析和图像内容特征提取相结合，有效莉用各特征之间的互补能力，综合提取图像内容的多维特征，然后通过算法匹配结果的归一化来实现检索，既降低了图像内容识别和分析的难度，又能改善用户界面钓友好性和提高图像检索的准确度。5.2搜索范围广泛化网络信息飞速增长，任何搜索引擎都无法涵盖互联网上的所有信息，再加上图像资源本身和图像标引的复杂性，图像搜索引擎所能搜索的图像范围一直都无法令用户满意，不过随着多媒体搜索技术的进步以及各机构之间合作意的蹭强，图像搜索引擎的搜索范围逐渐呈广泛化的趋势，具体体现在：A.图像搜索引擎与网上已有的图像库联合，图像库通过联合可以提高其知名度和库中图像资源的利用率，并获得较好的经济效益，而图像搜索引擎可以借比扩大其搜索范围，赢取更多的用户和竞争优势，用户也可以通过搜索引擎获得丰富的图像资源，从而在图像库开发商、图像搜索引擎与用户之间形成良性循环。目前已有少数图像搜零引擎如Ahavista、ycos等开始了这方面的工作。B.运用协作策略，改变搜索技术，优化搜索引擎的工作模式和工作机制，开发图像元搜索引擎，集合互联网上多个图像搜索引擎，共同为用户提供服务。各图像搜索引擎所能搜索的图像资源各不相同、各有特点，而图像元搜索引擎能整合利用各个搜索引擎的图像资源，并通过搜索引擎选择模块为用户选择合适的图像搜索引擎，达到更范围内为用户服务的目的。5.3图像处理标准化图像搜索的难度不仅仅是提取图像特征的算法和技术进展制约造成，网络图像的文本标注，网络图像格式的杂乱，也是不能开发一个广泛适用的检索模型，检索算法的重要原因。信息在网站的存储和关键字标注是杂乱无章的，并没有统一的标准9。由此，我们想到互联网发展过程中的协议标准。今天internet的辉煌和超高速的发展，很大的一方面是因为各个硬件厂商是遵守同样的网络协议，网络标准。那么如果在信息的标注上，每个网站都会遵守同样的标注标准，其结果必然是大大减轻搜索的技术负担，同时提高图像搜索的精确度。而在图像的文本标注上，对于人工标注标准这个不容忽视的问题，国际上并没有采取措施。文本人工标注标准重要的原因