多媒体信息检索技术

多媒体信息检索技术与方法基于内容的图像检索技术基于文本的信息检索方法多媒体检索概念理解多媒体检索是一种基于内容特征的检索（CBR：content-basedretrieval）。所谓基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。多媒体检索的特点(1)相似性检索：CBR采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。(2)直接从内容中提取信息线索：CBR直接对文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引并进行检索。(3)满足用户多层次的检索要求：CBR检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用要求。(4)大型数据库(集)的快速检索：CBR往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。基于内容的多媒体信息检索体系结构媒体数据特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统多媒体信息检索过程用户需求媒体资源内容查询内容索引匹配多媒体信息检索分类文本检索多媒体检索图像检索视频检索音频检索基于内容的图像检索--图像检索的过程就是图像特征的提取、分析及匹配。特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，比如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现特征提取模块。特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组合，用到检索领域。特征匹配：选择何种模型来衡量图像特征间的相似度。*基于内容的图像检索工作原理图像特征库数字图像源用户相关反馈图像检索特征提取图像索引基于内容的图像索引技术：图像特征提取技术颜色特征纹理特征形状特征图像索引主要技术颜色直方图、颜色矩颜色集、颜色聚合向量、颜色相关图Tamura纹理特征自回归纹理模型基于小波变换的纹理特征傅里叶性状描述符形状无关矩其他形状特征空间关系特征基于图像分割的方法基于图像子块方法图像颜色特征颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外，与其他特征相比，颜色特征计算简单，同时对图像本身的尺寸、方向、视角的依赖性较小，具有较好的紧致性。，定定义义如如下下：：其中中ni为图图像像中中颜颜色色取取值值为为i的像像素素个个数数，，N为像像素素总总数数，，K为可可能能的的颜颜色色取取值值范范围围。。这这样样计计算算得得到到的的颜颜色色直直方方图图就就是是一一个个K维的的特特征征向向量量。。颜颜色色直直方方图图所所描描述述的的是是不不同同色色彩彩在在整整幅幅图图像像中中所所占占的的比比例例，，而而并并不不关关心心每每种种色色彩彩所所处处的的空空间间位位置置，，所所以以特特别别适适合合描描述述那那些些不不需需要要考考虑虑特特定定物物体体空空间间位位置置的的图图像像内内容容。。颜色特征——颜色直方图颜色特征——颜色矩这种方法的数数学基础在于于图像中的任任何颜色分布布均可用他的的矩来表示。。由于颜色分分布信息主要要集中在低阶阶矩中，所以以只采用颜色色的一阶矩、、二阶矩和三三阶矩就可以以表达图像的的颜色分布。。与颜色直方方图比较，该该方法的一个个好处就是无无需对于特征征进行量化。。设pij是图像中第j个像素的第i个颜色分量，，则该颜色分分量上矩的计计算如下：图像的颜色矩矩一共有九个个分量，每个个颜色通道均均有三个低阶阶矩。颜色矩矩仅仅使用少少数几个矩，，从而导致过过多的虚警，，因此颜色矩矩常和其他特特征结合使用用。颜色特征——颜色集为了提高检索索的速度，Smith和Chang提出了用颜色色集的方法，，首先将RGB颜色空间转换换成视觉均衡衡的颜色空间间（HSV），并将颜色色空间量化成成若干个bin，然后运用颜颜色自动分割割技术将图像像分为若干个个区域，每个个区域用量化化颜色空间的的某个颜色分分量来索引，，从而将图像像表达成一个个二进制的颜颜色索引表。。在图像匹配配中，比较不不同图像颜色色集之间的距距离和颜色区区域的空间关关系。因为，，颜色集表达达为二进制的的特征向量，，可以构造二二分查照树来来加快检索速速度，对大规规模的图象集集合十分有力力。颜色特征——颜色聚合向量量针对颜色直方方图和颜色矩矩无法表达图图像色彩的空空间位置的缺缺点，Pass提出了图像的的颜色聚合向向量（colorcoherencevector）。它是颜色色直方图的一一种演变，其其核心思想是是将属于直方方图每一个bin的像素进行分分为两部分：：如果该bin内的某些像素素所占据的连连续区域的面面积大于给定定的阈值，则则该区域内的的像素作为聚聚合像素，否否则作为非聚聚合像素。由由于包含了颜颜色分布的空空间信息，颜颜色聚合向量量相比颜色直直方图可以达达到更好的检检索效果。颜色特征——颜色相关图颜色相关图（（colorcorrelogram）是图像颜色色分布的另一一种表达方式式。这种特征征不但刻画了了某一种颜色色的像素数量量占整个图像像的比例，还还反映了不同同颜色对之间间的空间相关关性。实验表表明，颜色相相关图比颜色色直方图和颜颜色聚合向量量具有更高的的检索效率，，特别是查询询空间关系一一致的图像。。如果考虑到任任何颜色之间间的相关性，，颜色相关图图会变得非常常复杂和庞大大(空间复杂度为为O(N2d))。一种简化的的变种是颜色色自动相关图图（colorauto-correlogram），它仅仅考考察具有相同同颜色的像素素间的空间关关系，因此空空间复杂度降降到O(Nd)。纹理特征纹理特征也是是一种全局特特征，它也描描述了图像或或图像区域所所对应景物的的表面性质。。但由于纹理理只是一种物物体表面的特特性，并不能能完全反映出出物体的本质质属性，所以以仅仅利用纹纹理特征是无无法获得高层层次图像内容容的。与颜色色特征不同，，纹理特征不不是基于像素素点的特征，，它需要在包包含多个像素素点的区域中中进行统计计计算。在模式式匹配中，这这种区域性的的特征具有较较大的优越性性，不会由于于局部的偏差差而无法匹配配成功。作为为一种统计特特征，纹理特特征常具有旋旋转不变性，，并且对于噪噪声有较强的的抵抗能力。。但是，纹理理特征也有其其缺点，一个个很明显的缺缺点是当图像像的分辨率变变化的时候，，所计算出来来的纹理可能能会有较大偏偏差。另外，，由于有可能能受到光照、、反射情况的的影响，从2-D图像中反映出出来的纹理不不一定是3-D物体表面真实实的纹理。纹理特征——Tamura纹理特征基于对纹理的的视觉感知心心理学研究，，Tamura等人提出了纹纹理特征的表表达方法。Tamura纹理特征的6个分量对应于于心理学角度度的纹理特征征的6种属性，分别别是粗糙度（（coarseness）、对比度（（contrast）、方向度（（directionality）、线像度（（linelikeness）、规整度（（regularity）、粗略度（（roughness），其中粗糙糙度、方向度度和对比度在在检索中最为为重要。在Tamura表示中的所有有纹理性质都都是有意义的的，与人的主主观感受比较较吻合，这使使得Tamura纹理表示在图图象检索中非非常具有吸引引力，而且可可提供一个更更有友好的用用户界面。形状特征形状是描述图图像内容的一一个重要特征征。它常与目目标联系在一一起，又一定定的语义含义义，因而可以以看作是比颜颜色或纹理要要高层一些的的特征。但另另一方面，对对形状的表达达比对颜色或或纹理的表达达从本质上要要复杂得多，，常需要先对对图像进行分分割。由于当当前的技术无无法做到准确确和通用的自自动图像分割割，图像检索索中的形状特特征只能在特特定应用场合合使用。在这这些应用中，，利用特定领领域知识可以以从图像中分分割获得包含含的目标（物物体或区域））。形状特征一般来说，形形状特征有两两种表示方法法，一种是轮轮廓特征，一一种是区域特特征。前者适适用于对形状状边界的描述述，而后者则则适用于表达达形状包含的的整个区域。。这两类形状状特征的最典典型方法分别别是傅立叶描描述符（FourierDescriptor）和形状无关关矩（MomentInvariants）。形状特征——傅立叶描述符符傅立叶描述符符的主要思想想是将经过傅傅立叶变换后后的边界作为为形状特征。。从轮廓上的的任一点开始始绕轮廓一周周可以定义一一个复数序列列：对其进行离散散傅立叶变换换，就得到轮轮廓的傅立叶叶描述：在此基础上，，文献提出了了一种改进的的傅立叶算法法，这种算法法不仅对噪音音具有很好的的鲁棒性，而而且对几何变变换具有不变变性，更加适适合图像检索索的需要。图像空间关系系特征图像空间关系系特征主要用用来描述图像像中的对象或或者物体。在在图像处理过过程中有时会会出现上面的的特征相似的的情况，此时时就需要利用用空间关系来来描述图像图像空间关系系特征的提取取通常有两种种方法：一种种是现对图像像进行自动分分割，划分出出图像中所包包含的对象或或者颜色区域域，然后根据据这些颜色区区域来对图像像进行索引；；另一种是将将图像均匀的的划分若干个个规则的子块块，然后针对对每个图像子子块分别提取取特征并建立立索引基于内容的图图像检索方法法基于图例的图像检索方法法外部图像查询询内部图像查询询草图查询综合检索方法法利用检索系统统外部图像进进行检索查询提问的图图像是检索系系统内部的图像用户先画出一一幅草图，再再根据草图在系统中查查询自己想要要的图像现有的图像检检索系统通常常都是综合利用上述述方法图像综合检索索方法示意图图草图数字图像抽象特征用户输入草图检索外部图像检索索直接检索浏览图像综合检索索示意图图像图像图像图像相似度比比较方法基于内容的图图像检索是通通过计算查询询与候选图像像之间视觉特特征的相似度度来完成。在在对图像内容容进行描述的的时候主要采采用特征向量量的方式，因因此，常用的的图像相似度度比较方法也也是基于向量量空间模型的的，可以将向向量特征看作作是向量空间间中的点，通通过计算两点点之间的接近近程度来衡量量图像之间的的相似度。常常用的图像相相似度比较方方法如下：直方图相交、、二次距离、、马氏距离、、欧拉距离、、非几何的相相似度方法相关反馈相关反馈是一一种查询逐步步求精技术，，最初用于文文本检索系统统中，主要特特点是将用户户引入查询过过程，根据用用户的反馈信信息调整查询询要求，从而而进一步优化化查询结果，，直到用户满满意为止。用用户的参与使使系统能更好好地揣测用户户的意图，也也使得在低层层可视特征和和高层语义概概念之间建立立某种联系成成为可能。图象检索中的的相关反馈方方法大致可以以分为两种类类型：参数调调整方法和机机器学习方法法基于内容的图图像检索系统统举例——IMEDIAIMEDIA按照数据库的的内容划分为为五个功能系系统。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3DretrievalIMEDIA之——VisualRetrieval图像库VisualRetrieval(generalistdatabases)和VisualRetrieval(biodiversitycollections)的界面是基本本一致的，但但是VisualRetrieval(biodiversitycollections)更加专业，主主要是生物学学图像库。下下面以VisualRetrieval(biodiversitycollections)为例介绍一下下该系统的界界面操作。VisualRetrieval(biodiversitycollections)界面示意图利用fadebackmode检索的结果该系统的最上上角是settings系统设置按钮钮，用来设置置系统参数。。点击设置按钮钮将进入一一个设置面板板，如下：IMEDIA之—VisualRetrievalwithrelevancefeedback（satelliteimages）图像库在这个库中存存放的都是地地图卫星照片片，可以进行行地理图像检检索显示与原图之之间的数值距距离显示的是图片片出自的数据据库显示图片名字字IMEDIA之—partialvisualqueries(localdescriptors)图像库该数据库支持持点模式，选选择摸个图像像之后就可以以启动点模式式，在点模式式下，用户可可以进行图像像区域检索。。支持点模式检检索IMEDIA之—3Dretrieval图像库该库中主要存存储3D图像。该库不支持各各种扩展检索索补充一点基于于文本检索的的方法的小技技巧—以Google为例Google用减号“-”表示逻辑“非非”操作。““A–B”表示搜索包含含A但没有B的网页。示例：“搜索索引擎历史史-文化-中国历史-世界历史”Google用大写的“OR”表示逻辑“或或”操作。搜搜索“AORB”，意思就是说说，搜索的网网页中，要么么有A，要么有B，要么同时有有A和B。实例：“搜索索引擎现状百百度OR蜘蛛OR北大天网-文化-历史””Google对搜索索的网网站进进行限限制Google在某一一类文文件中中查找找信息息“filetype:”是Google开发的的非常常强大大实用用的一一个搜搜索语语法。。也就就是说说，Google不仅能能搜索索一般般的文文字页页面，，还能能对某某些二二进制制文档档进行行检索索。目目前，，Google已经能能检索索微软软的Office文档如如.xls、.ppt、.doc，.rtf，WordPerfect文档，，Lotus1-2-3文档，，Adobe的.pdf文档，，ShockWave的.swf文档（（Flash动画））等。。其中中最实实用的的文档档搜索索是PDF搜索。。示例：：搜索索几个个资产产负债债表的的Office文档。。搜索：：“资资产负负债表表filetype:docORf