多媒体信息检索技术.ppt

1、a，1，多媒体信息检索技术和方法，基于内容的图像检索技术基于文本的信息检索方法，a，2，多媒体检索概念理解，多媒体检索是基于内容特征的检索(CBR :基于内容的重复) 基于内容的搜索是对媒体对象的内容和上下文意义环境的搜索，其例如包括图像中的颜色、纹理、形状、视频中的镜头、场景、镜头的移动、声音中的音调、响度、音色等。 基于内容的搜索突破了传统的基于文本的搜索技术的界限，直接分析图像、视频和音频内容，提取特征和意义，利用这些内容特征建立索引，进行搜索。 在这个检索过程中，以图像处理、模式识别、计算机视觉、图像理解等学科的几个方法为部分基础技术，是许多技术的合成。 a，3，多媒体检索的特征，(1

2、)相似性检索： CBR采用近似匹配(或局部匹配)的方法和技术，获得查询和检索结果，消除了传统的精确匹配技术，避免了因采用传统检索方法而导致的不确定性。 (2)从内容中直接提取信息线索： CBR直接分析文本、图像、视频和声音，从其中提取内容的特征，利用这些特征建立索引并搜索。 (3)满足用户多级搜索要求： CBR搜索系统通常由媒体库、特征库和知识库组成。 媒体库中包含文本、图像、声音、视频等多媒体数据。特征库中包含用户输入的特征和预处理中自动提取的内容的特征。知识库中包含区域知识和公共知识，其中的知识表示在各种领域的应用(4)大型数据库(成套)的高速检索： CBR通常具有庞大种类的多媒体数据库，

3、能够实现多媒体信息的高速检索。 a， 4、基于内容的多媒体信息检索架构、媒体数据、特征提取、目标标签、媒体库、特征库、知识库、知识辅助、用户、查询界面、搜索引擎、索引/过滤、 数据库检索子系统，a，5，多媒体信息检索过程，a，6，多媒体信息检索分类，多媒体检索，a，7，基于内容的图像检索-图像检索过程是图像特征的提取、分析和匹配。 特征提取：提取颜色、纹理、形状等特征。 利用提取的特征提取形状特征等，为了采取不同的处理，首先需要图像分割和边缘提取等步骤。 选择合适的算法，在效率和精度方面进行改进，适应检索需要，实现特征提取模块。 特征分析：分析图像的各种特征，选择提取效率高、信息浓缩性好的特征

4、，或结合几个特征用于检索领域。 特征匹配：选择测量图像特征间相似度的模型。a，8，*基于内容的图像搜索的工作原理，图像特征库，数字图像源，用户，相关反馈，图像搜索，特征提取，图像索引，a， 9、基于内容的图像索引技术：图像特征提取技术、颜色特征、纹理特征、形状特征、Tamura纹理特征自回归纹理模型基于小波变换的纹理特征，傅立叶性状描述符的形状与矩的其他形状特征无关基于空间关系特征，图像分割方法是基于图像子块方法，a，10，图像颜色特征，颜色特征是最广泛应用于图像搜索的视觉特征，并且主要原因是颜色与图像中包含的物体或场景非常有关。 此外，与其他特征相比，颜色特征的计算简单，对图像自身的尺寸、方

5、向、视场角的依赖性小，在紧凑性方面优异。 其中，ni被定义为图像中的取色值为I的像素的个数，n是像素的总数，k是可能的取色值的范围。 这样计算的颜色直方图是k维的特征向量。颜色直方图表示不同颜色在整个图像中的比例，由于不介意各色所处的空间位置，因此适合于描述不需要考虑特定物体的空间位置的图像内容。 另外，颜色特征色直方图、a、12、颜色特征色矩，该方法的数学基础是，图像内的任何颜色分布都可以用他的矩表示。 因为颜色分布信息主要集中在低次矩上，所以只能用颜色的一次矩、二次矩、三次矩来表现图像的颜色分布。 与颜色直方图相比，此方法的一个优点是不需要量化特征。 假设pij是图像中第j个像素的第I个颜

6、色分量，则计算该颜色分量上的矩，其中，图像的颜色矩共有9个分量，并且为每个色通道存在3个低阶矩。 力矩只使用少数的力矩，招致很多虚警察，所以力矩总是和其他特征结合使用。 为了提高a、13、颜色特征色集和检索的速度，Smith和Chang首先将RGB颜色空间转换为视觉平衡的颜色空间(HSV )，将颜色空间量化为一些bin，并使用颜色自动分割技术将图像分成几个区域，每个区域被量化图像匹配将不同图像颜色集之间的距离与颜色区域之间的空间关系进行比较。 因为颜色集作为二进制的特征向量表现，所以能够构筑二叉树而加快检索速度，对大规模的图像集合非常有力。 针对a、14、颜色特征色聚合向量、颜色直方图和颜色矩

7、不能表现图像颜色的空间位置的缺点，Pass提出了图像的颜色聚合向量(colorcoherencevector )。 这是颜色直方图的进化，其核心思想是将直方图的属于各bin的像素分为两个部分。 当bin内的某个像素占据的连续区域的面积大于预定阈值时，该区域内的像素设为汇集像素，否则设为非汇集像素。 由于包含颜色分布的空间信息，所以颜色汇集向量比颜色直方图检索效果高。a、15、颜色特征色调相关图、色调相关图是图像颜色分布的另一表现。 此特征不仅描述某一颜色的像素数量占整个图像的比例，而且反映了不同的颜色对之间的空间相关性。 根据实验，色调关系图比颜色直方图和颜色汇集向量检索效率高，特别是检索空间

8、关系一致的图像。 考虑到颜色之间的相关性，色调关系图变得非常复杂且庞大(空间复杂度为O(N2d ) )。 简化的变种之一是颜色自动相关图，并且因为仅考虑具有相同颜色的像素之间的空间关系，所以空间复杂度下降了O(Nd )。 另外，a、16、纹理特征和纹理特征都是全局特征，还描述了相应于图像或图像区域的场景的表面性质。 然而，由于该纹理仅仅是物体的表面特性，而不能完全反映物体的本质属性，因此不能仅通过该纹理的特征来获得高级别的图像内容。 与颜色特征不同，纹理特征应该在包含多个像素点的区域进行统计计算，而不是在像素点的特征上。 在模式匹配中，这种地区特征具有很大的优势，由于局部偏差，匹配无法成功。

9、作为统计特征，纹理的特征经常有旋转不变性，对噪声有很强的抵抗力。 然而，纹理的特征也具有缺点，一个明显的缺点是在图像分辨率改变时计算的纹理可能大大偏移。 此外，由于可能受到光和反射的影响，因此在2 d图像中反映的纹理不一定是3 d物体表面的真实纹理。 基于a、17、纹理特征Tamura纹理特征和对纹理的视觉心理学研究，Tamura等人提出了纹理特征的表达方法。“Tamura”纹理特征的六个分量对应于心理学角度纹理特征的六个属性，分别是“粗糙度”、“对比度”、“方向”、“线性分辨率”和“规则性”。 “Tamura”表示中的所有纹理性质都有意义，与人的主观感觉相比，“Tamura”纹理表示在图像检

10、索中非常有魅力，可以提供更友好的用户界面。 a、18、形状特征和形状是描述图像内容的重要特征。 因为它经常和目标联系在一起并且具有意义，所以可以被认为是比颜色和纹理更高水平的特征。 然而，形状的表示本质上比颜色或纹理的表示更复杂，并且必须分割图像。 由于目前的技术不能进行准确、通用的自动图像分割，图像检索中的形状特征只能用于特定的应用场合。 在这些应用中，能够利用特定区域的知识来分割和获得从图像中包括的对象(物体或区域)。 a、19、形状特征，一般而言，形状特征有两种表示方法，一种是轮廓特征，另一种是区域特征。 前者用于描述形状边界，后者用于描述包含在形状中的整个区域。 这两种形状特征的最典型

11、的方法分别是傅里叶描述符和形状无关矩。a、20、形状特征傅立叶描述符、傅立叶描述符的主要思想以傅立叶变换的边界为形状特征。 从轮廓上的任意点围绕轮廓可以定义一个多序列：对其进行离散傅立叶变换可以得到轮廓的傅立叶描述：而且，文献提出了一种改进的傅立叶算法。 该算法不仅对噪声稳健，而且对几何变换有不变性，更适合图像检索的需要。a、21、图像空间关系的特征，图像空间关系的特征主要用于描述图像中的对象或物体。 在图像处理中有时上述特征类似，但在这种情况下，需要利用空间关系来记述图像空间关系的特征的提取，是因为，现在，自动分割图像、分割图像中包含的对象和颜色区域，基于这些颜色区域对图像进行索引的方法的另

12、一种， 将图像均等地分割成多个有规则子块，并且对每个图像子块提取特征并建立索引的方法，a， 22、基于内容的图像检索方法、基于图例的图像检索方法、外部图像检索、内部图像检索、草图检索、综合检索方法、及基于草图在系统中查询自己想要的图像的以往的图像检索系统中，综合利用上述方法的情况较多用户输入、草图搜索、外部图像搜索、直接搜索、阅览、图像综合搜索图像、图像、图像、a、24、图像相似度比较方法、基于内容的图像搜索是通过计算查询和候选图像之间的视觉特征的相似度来实现的。 在描述图像的内容时，主要采用特征向量的方式，因此一般的图像类似度的比较方法也基于向量空间模型，将向量特征量视为向量空间的点，通过计

13、算两点间的接近度能够测定图像间的类似度。 常用的图像相似度比较方法为直方图交集、二次距离、Mahalanobis距离、Euler距离、非几何相似度方法、a和25、相关反馈以及相关反馈是一种查询的连续技术，最初用于文本检索系统，其主要特征在于用户具有：用户的参与使系统能更好地推测用户的意图，并能在低层视觉特征与高层意义概念之间建立某种联系。 图像检索中的相关反馈方法大致分为5个功能系统，参数调整方法和机器学习方法，a、26，基于内容的图像检索系统的例子，imadia、imadia根据数据库的内容。 visual retrieval (通用数据库)、visual retrieval (bidive

14、rsitycollections )、visualretrievalwithrelevancefeedback (satellite 局部描述符和3 d重复，a，27，a，28， IMEDIA的VisualRetrieval画廊VisualRetrieval (通用数据库)和visual retrieval (bidiversitycollections )的界面大致匹配，但其次，以visual retrieval (bidiversitycollections )为例，介绍该系统的接口操作。 通过a，29，visual retrieval (bidiversitycollections )接

15、口图像，a，30，fadebackmode搜索的结果，a，31，该系统的顶部是settings系统设置按钮点击设定按钮后，会显示如下的设定面板： a，32，IMEDIA的virealretrievealwithrelevancefeedback (satellite images )图像库存储在该库中的是，表示与原始图的数值距离的是图像的原始数据库，图像名，a，34，IMEDIA的partialvisualqueries (local descriptor )图像库，该数据库支持点阵图形支持点模式搜索、a、35，IMEDIA的3Dretrieval映像库，该库主要包含3D映像。 以不支持各种高

16、级搜索的a、36、补充基于文本搜索的方法的诀窍谷歌为例，谷歌用减号“-”表示逻辑“非”操作。 “AB”表示搜索包含a但没有b的网页。 例如：“搜索引擎的历史-文化-中国的历史-世界的历史”，a，37，谷歌用大写的“OR”表示逻辑“OR”操作。 如果搜索“AORB”，则意味着搜索到的页面中有a、有b或同时有a和b。 例如：“搜索引擎的现状百度OR蜘蛛OR北大天网-文化-历史”，a、38和谷歌限制了搜索网站，“site”表示搜索结果仅限于特定网站和网站频道。 要排除某个站点或域名范围内的页面，请使用“-站点/域名”。 /在新浪新闻中心()搜索关于凤凰女子跳跃事件的新闻报道。 搜索：“凤凰女跳楼site:”、a、39、a、40、谷歌在某一类文件中搜索信息，“f