第七章-多媒体信息检索课件

1、多媒体信息检索南京中医药大学文献检索教研室教学内容多媒体信息检索基础知识多媒体信息检索的方式多媒体信息检索的分类检索概述多媒体：把不同的但相互关联的媒体集成在一起而产生的一种存储、传播和表现信息的载体，通常包括文本、音频、图形、图像、动画和视频。多媒体信息：是各种媒体的组合体，即将音频、视频、图像和计算机技术、通信技术集成到同一数字环境中，以协同表示更丰富和复杂的信息。多媒体信息检索：是多媒体信息的特征元数据提取、索引建库，相似度匹配运算，识别和返回用户所需信息，通过与用户之间的反馈，不断优化、调整显示结果的过程。多媒体信息的特点数据量庞大数据类型繁多相关性强，同步性高动态性强多媒体信息的分类

2、按作用于人体感官形式划分视觉类媒体：点阵图像、矢量图形、动画、视频、符号和文字等听觉类媒体：波形声音、语音和音乐等触觉类媒体：环境媒体，如皮肤感觉的温度、湿度活动媒体抽象事实媒体按照国际电信联盟ITU-T 建议划分感觉媒体表示媒体表现媒体存储媒体传输媒体重点讨论的是感觉媒体和表示媒体，即声音、图形、图像、文字、视频和动画等图形与图像图形与图像文件通常混称为图片文件。特性分辨率 ：图片文件都要在计算机的显示器屏幕上显示出来，显示器是用均匀排列的像素来显示画面的，因此文件也是由许多的像素来组成。一张图片其横行的像素个数和竖列的像素个数便决定了该图片的大小。如800600，1024768颜色数：通常

3、，图片颜色数的可能的取值有：2色(这时图片只有黑白两色)、16色、256色、16位增强色(共216即65536种颜色)、24仿真彩色(共224即16777216种颜色)等。自然图片的颜色数越多，图片的视觉效果就越好。图片文件的格式类型位图：是由许多个像素点组成的图片，相应的图片文件记录了图形或图像的每一个像素点的位置及代表该像素颜色的数值等信息。根据有无压缩或压缩的方法等，该类型的图片文件又分为许多种格式，如：.bmp图 、.tif图 、.gif图 、.jpg图。矢量图：是计算机通过数学运算而产生的图形，而不是像位图那样逐点描述的，因此，该图形所占容量很小，而且它的显示效果不受大小或显示器分辨

4、率的影响。矢量图的文件格式视生成它的软件的不同而不同。矢量图形格式也很多，如AdobeIllustrator的*.AI、*.EPS和SVG、AutoCAD的*.dwg和dxf、CorelDRAW的*.cdr、windows标准图元文件*.wmf和增强型图元文件*.emf等等。声音波形音频：是从真实的声音录制并数字化后而得到的一种声音文件，这样的一个过程称为声音采样。采样频率越高，录制的声音效果就越好，需要花费的代价是声音文件需要的存储空间加大了。波形音频文件常见的格式有： Wave文件（*.wav） 、MPEG音频文件（.mp1.mp2.mp3）、RealAudio文件(ra.rm.ram)

5、、WMA（.wma）格式 。MIDI是乐器数字接口（Musical Instuments Digital Interface）的英文缩写，是数字音乐电子合成乐器的统一的国际标准。MIDI音乐是利用电子合成技术来模拟各种乐器音效的方法生成，它并不对声音进行采样和量化，记录的也不是声音本身，它只是像记录乐谱一样将每个音符记录为一个类似乐谱符号的数字，并且规定了各种音调的混合发音，最后通过合成器将这些数字转化为对应的音效进而组合成为音乐播出。MIDI文件的数据量要比波形音频文件小得多，可用于满足播放较长时间的音乐需要。MIDI音乐毕竟是电子合成模拟的，其声音效果远不如真实乐器的效果，而且回放的质量受

6、声卡的影响比较大。视频帧 ：数字视频利用人的眼睛的视觉暂留原理，将一系列顺序排列的静态画面连续播放，从而产生动态效果，其中的每一个画面就是该视频文件的一帧。 全运动播放：播放速度在30帧s以上，播放的效果才不会感到跳跃和闪烁，这样的播放速度即所谓全运动播放。 全屏幕播放：视频的播放满足画面大小为640 x 480以上、颜色在256色以上，即可以在整个显示器屏禁区域播放，而不仅仅是在一个小窗口播放，即为全屏幕播放。数字视频文件格式动画文件：指由相互关联的若干帧静止图象所组成的图象序列，这些静止图象连续播放便形成一组动画，通常用来完成简单的动态过程演示；该类型的图片文件又分为许多种格式，如：GIF

7、文件.GIF。影像文件：主要指那些包含了实时的音频、视频信息的多媒体文件，其多媒体信息通常来源于视频输入设备，由于同时包含了大量的音频、视频信息。 如AVI文件（.AVI ） 、QuickTime文件（.MOV/.QT ）、MPEG文件 （.MPEG/.MPG/.DAT ）、RealVideo文件 （.RM ）。数字视频文件格式AVI：Video for Windows所使用的文件称为音频-视频交错文件（Audio-Video Interleaved），文件扩展名为AVI。AVI格式的文件将视频信号和音频信号混合交错地存储在一起，是一种不需要专门硬件参与就可以实现大量视频压缩的视频文件格式。在

8、各种多媒体演示系统中被广泛应用。AVI文件使用的压缩方法有好几种，主要使用有损压缩，压缩比高。MOV文件：MOV文件格式是Quick for Windows视频处理软件所选用的视频文件格式，与AVI文件格式相同，MOV文件也采用Intel公司的Indeo视频有损压缩技术以及视频信息与音频信息混排技术，一般认为，MOV文件的图像质量较AVI格式好。它是Macintosh计算机用的视频文件格式。MPG文件格式：PC机上的全屏幕活动视频的标准文件为MPG格式文件，也称为系统文件或隔行数据流。DAT文件格式：DAT是Video CD或Karaoke CD（卡拉 OK）数据文件的扩展名，也是基于MPEG

9、压缩方法的一种文件格式。 DIR文件格式：DIR是Macromedia公司使用的Director多媒体著作工具产生的电影文件格式。数字视频文件格式多媒体应用中使用的动画文件主要有GIF、AVI、SWF等等。GIF文件：可保存单帧或多帧图像，支持循环播放。GIF文件小，是网络唯一支持的动画图形格式，在因特网上非常流行。GIF与JPG的区别在于它支持透明格式，虽然图像压缩比不及JPG文件，但是具有更快的传送速度。SWF文件：是Macromedia公司的Flash动画文件格式，需要用专门的播放器才能播放，所占内存空间小，在网页上使用广泛。多媒体数据库是多媒体技术与数据库相结合产生的一种新型数据库。常

10、包括图像数据库、视频数据库和音频数据库构造方法在关系数据库的基础上构造多媒体数据库在面向对象数据库的基础上构造多媒体数据库分布式超媒体数据库多媒体数据库与传统数据库的区别处理的数据对象、数据类型、数据结构、数据模型和应用对象都不同、处理方式也不同。多媒体数据库存储和处理复杂对象，其存储技术需要增加新的功能，如数据压缩和解压。多媒体数据库面向应用，没有单一的数据模型适应所有情况多媒体数据库强调媒体独立性多媒体数据库强调对象的物理表现和交互方式，强调最终用户界面的灵活性和多样性。多媒体数据库具有更强的对象访问手段。多媒体数据模型扩充关系模型：关系数据库中存储了多媒体对象的位置信息，如关键词、 文本

11、标题、数据的存储路径及名称等描述信息面向对象的数据模型： OODB，利用ODQL语言实现数据库的查询，在SQL功能的基础之上增加了适合基于内容检索的机制，如复杂的信息建模能力。超媒体数据模型P297多媒体信息检索的流程主要工作流程： 内容获取、内容描述、内容操作先对原始媒体进行处理，提取内容，然后用标准形式对它们进行描述，来支持用户对内容的操作。内容获取通过各种内容分析和处理，而获得媒体内容的过程，它包括信息分割、特征提取两个部分。信息分割分成图像分割与视频分割。内容获取核心是特征提取。特征提取就是提取内容显著的特征和人的视觉、听觉方面的感知特征来表示媒体和媒体对象的性质，特征提取有自动特征提

12、取和人工交互或提取两种方式。多媒体信息检索的方式基于文本方式的多媒体信息检索基于内容的多媒体信息检索基于文本方式的多媒体信息检索首先对多媒体进行人工分析并抽取反映该多媒体物理性和内容特征的关键词,然后对这些关键词进行文字著录或标引,建立类似于文本文献的标引著录数据库,从而将对多媒体信息检索转变成对上述关键词的检索。普及程度：是现行网络检索系统中的主流方式。检索方式：信息分类、扩展名、关键词优势：实现原理相对简单，技术成熟劣势：具有主观性，仁者见仁、智者见智；多媒体信息的多维性，人工描述难以穷尽普通搜索引擎搜索图片、图像格式：image:文件名功能：检索含有指定文件名图像的所有网页。搜索多媒体信

13、息格式：media: text功能：检索文件的名字中含有指定文字的多媒体信息图像搜索引擎图像搜索引擎是专门用来搜索图形图像的搜索引擎。它与文字搜索引擎不同的是，查到的最终结果，不是文字形式的类目名、网站名和网页内容，而是一幅幅缩微图片，以及与图片相关的介绍和地址链接。Google图片搜索（http:/）Yahoo图片搜索（http:/）百度图片搜索（http:/）WebSEEK (:8008/)Lycos (http:/) Alltheweb图像搜索(http:/) 视频搜索引擎Google视频搜索http:/.hk/videohp?hl=zh-CN百度视频搜索http:/ SoSo视频搜索/

14、音乐搜索引擎搜刮网（ http:/ ）百度MP3搜索/ 雅虎MP3搜索 http:/ 中搜Mp3搜索 /搜狗音乐搜索 http:/ 爱问音乐搜索引擎 http:/音乐方面的专业共享网站九天音乐网（）基于内容的多媒体信息检索基于内容特征的信息检索技术（Content Based Retrieval,简称CBR），是一种新的检索技术，是对多媒体对象的内容及上下文语义环境进行检索原理：提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。常用多媒体文件特征： 图像：颜色、纹理及时空关系等 视频：对象运动特征、颜色和光线变化等 音频：时域、频域

15、、时频、短时帧和音频特征等普及程度：局限在较小的数据集合上，大多只是实验室研究成果优势：源于多媒体内容本身的特征信息，具有客观性劣势：复杂度高 语言鸿沟 选取好的特征的难度大、特征的量化、建模、建立向量空间复杂。基于内容的多媒体信息检索系统体系结构媒体数据特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统基于内容的多媒体信息检索特点(1) 相似性检索：CBR采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。(2) 直接从内容中提取信息线索：CBR直

16、接对文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引并进行检索。(3) 满足用户多层次的检索要求：CBR检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用要求。(4) 大型数据库(集)的快速检索：CBR往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。基于内容的多媒体信息检索步骤对入库的多媒体数据进行特征提取以提取的媒体特征建立索引输入用户描述将用户描述与库中媒体进行相似

17、性匹配在相似性匹配的结果中选择最终结果检索过程用户需求媒体资源内容查询内容索引匹配基于内容的图像检索基于内容图像检索（Content Based Image Retrieval,简称CBIR），即从图像库中查找含有特定目标的图像，也包括从连续的视频图像中检索含有特定目标的视频片段。步骤：特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，比如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现特征提取模块。特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组

18、合，用到检索领域。特征匹配：选择何种模型来衡量图像特征间的相似度。CBIR的基本原理CBIR的基本原理形式化定义：任给定一个检索图像示例P，计算其特征向量F=(F1，F2，F3，Fn)，其中Fi为图像的第i种特征；根据F检索图像特征索引库，得到与F距离最小的特征向量F，则F所对应的图像P即为与P最相似的检索结果。CBIR系统典型的架构如右所示 基于内容的图像索引技术图像特征提取技术颜色特征纹理特征形状特征图像索引主要技术颜色直方图、颜色矩颜色集、颜色聚合向量、颜色相关图Tamura纹理特征自回归纹理模型基于小波变换的纹理特征傅里叶性状描述符形状无关矩其他形状特征CBIR的特点属于模糊查询，检索

19、结果不是唯一的基于内容的图像检索与文字检索的一个主要区别是，基于内容的检索都是属于模糊查询，一般不会给出单一的检索结果，输出的是一个结果排序集合，按照图像的相似程度，从最像到最不像。最后需要由人来判断最终的结果是否满足检索需要，是人机结合的典范；由计算机来做大量简单烦琐的工作，由人做分析工作。检索结果是逐渐逼近：检索过程中不断修订检索条件，可以逐步达到最终的检索结果；通过调整特征参数组合，可以得到不同的检索结果。计算工作量大：每次查询都需要根据临时提交的特征标准，对全部特征值进行匹配运算；数据计算时对计算机的要求高，查询时间相对长一些。CBIR的应用防止犯罪等司法部门：应用人脸识别技术，根据专

20、家对犯罪嫌疑人的头像特征的描绘图像，定位犯罪人的真实面目。军事领域：可以用于武器的精确制导，通过实时获取的图像信息，对其进行解译，保证打击的准确性。版权保护领域：针对商标与设计专利类的图像进行检索，防止专利纠纷的产生。建筑和工程设计：通过对建筑及工程设计物体的图像检索，可以聚类相同风格特色的建筑及工程设计产品。广告业、艺术设计：应用图像检索，可以找到需要的各种素材，进行艺术设计的再创造。CBIR的应用医学领域：对各种医学透视CT图像进行检索，可以快速定位类似病例，及时快速的帮助病人找到病因，会对临床、医学研究、远程医疗、异地会诊乃至医学教育等方面产生积极和深远的影响。古生物学、考古学：通过对古

21、生物化石图像的解释，确定古生物所属类型等信息，便于发现新的物种；应用于古文物的图像检索，通过对比，签定文物的真伪、所属历史时期等。地理信息系统和遥感：对遥感图像的检索，主要是解译影像数据中的建筑、村庄、耕地等不同种类地物信息，制作实时、准确、逼真效果的专题图件，应用于地理信息系统中矢量处理模块。安全技术：应用指纹、眼膜识别技术，对用户的指纹或者眼膜提取图像特征进行匹配，鉴定用户真实身份。颜色检索图像检索系统中应用最基本的方法基于颜色特征的图像检索需要解决三个问题：颜色的表示颜色特征的提取基于颜色的相似度量 颜色的表示取决于色彩空间的选择，不同的场合采用的方式也是不同，常见的有RGB、 HSI（

22、色调（H），饱和度（S），亮度（I）模型等在基于颜色特征的索引算法中通常用颜色统计直方图、累积直方图来表示图像的颜色特征 颜色特征索引的相似度匹配算法根据其颜色索引内容和算法的不同而不同，主要包括直方图相交法、Manhattan距离、绝对距离(L1)、二次距离(L2)、欧几里德距离等 颜色空间颜色特征颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外，与其他特征相比，颜色特征计算简单，同时对图像本身的尺寸、方向、视角的依赖性较小，具有较好的紧致性。颜色特征其中nk为图像中颜色取值为k的像素个数，n为像素总数，K为可能的颜色取值范围。 这样计

23、算得到的颜色直方图就是一个K维的特征向量。颜色直方图所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，所以特别适合描述那些不需要考虑特定物体空间位置的图像内容。颜色特征形状检索基于形状的检索包括两种：一是基于轮廓线的检索，二是直接针对特定形状的图形进行检索。灯管 杯子基于轮廓线的检索 特定形状 形状特征形状是描述图像内容的一个重要特征。它常与目标联系在一起，又一定的语义含义，因而可以看作是比颜色或纹理要高层一些的特征。但另一方面，对形状的表达比对颜色或纹理的表达从本质上要复杂得多，常需要先对图像进行分割。由于当前的技术无法做到准确和通用的自动图像分割，图像检索中的形状

24、特征只能在特定应用场合使用。在这些应用中，利用特定领域知识可以从图像中分割获得包含的目标（物体或区域）。形状特征一般来说，形状特征有两种表示方法，一种是轮廓特征，一种是区域特征。前者适用于对形状边界的描述，而后者则适用于表达形状包含的整个区域。这两类形状特征的最典型方法分别是傅立叶描述符（Fourier Descriptor）和形状无关矩（Moment Invariants）。形状特征傅立叶描述符傅立叶描述符的主要思想是将经过傅立叶变换后的边界作为形状特征。从轮廓上的任一点开始绕轮廓一周可以定义一个复数序列：对其进行离散傅立叶变换，就得到轮廓的傅立叶描述：在此基础上，文献提出了一种改进的傅立叶

25、算法，这种算法不仅对噪音具有很好的鲁棒性，而且对几何变换具有不变性，更加适合图像检索的需要。纹理特征纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候

26、，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。 纹理特征Tamura纹理特征基于对纹理的视觉感知心理学研究，Tamura等人提出了纹理特征的表达方法。Tamura纹理特征的6个分量对应于心理学角度的纹理特征的6种属性，分别是粗糙度（coarseness ）、对比度（contrast）、方向度（directionality）、线像度（linelikeness）、规整度（regularity）、粗略度（roughness），其中粗糙度、方向度和对比度在检索中最为重要。在Tamura表示中的所有纹理性质都是

27、有意义的，与人的主观感受比较吻合，这使得Tamura纹理表示在图象检索中非常具有吸引力，而且可提供一个更有友好的用户界面。 各特征的优缺点比较基于内容检索各类技术颜色特征纹理特征形状特征综合特征优点平移、尺度、旋转不变性，良好的稳定性反映图像本身的面貌旋转不变性任何两种图像的形状不会相同，形状包含的语义信息更多不同特征优势互补，提高检索的灵活性缺点颜色对图像大小、方向等不敏感当图像的分辨率发生变化，计算出来的纹理可能会有较大偏差不具备尺度、旋转不变性最优权重自动分配的实现比较困难不同特征的相对特点 相对特点颜色VS纹理颜色VS形状纹理VS形状前者充分利用色彩信息侧重图像整体信息的描述平移、旋转

28、、尺度不变性纹理特征比较容易获得后者利用图像的灰度信息更偏重于局部平移不变性形状特征的计算比较复杂基于内容的图像检索方法基于图例的图像检索方法外部图像查询内部图像查询草图查询综合检索方法利用检索系统外部图像进行检索查询提问的图像是检索系统内部的图像用户先画出一幅草图，再根据草图在系统中查询自己想要的图像现有的图像检索系统通常都是综合利用上述方法图像综合检索方法示意图草图数字图像抽象特征用户输入草图检索外部图像检索直接检索浏览图像综合检索示意图图像图像图像图像相似度比较方法基于内容的图像检索是通过计算查询与候选图像之间视觉特征的相似度来完成。在对图像内容进行描述的时候主要采用特征向量的方式，因此

29、，常用的图像相似度比较方法也是基于向量空间模型的，可以将向量特征看作是向量空间中的点，通过计算两点之间的接近程度来衡量图像之间的相似度。常用的图像相似度比较方法如下：直方图相交、二次距离、马氏距离、欧拉距离、非几何的相似度方法图像的相似度度量方法 Minkowsky距离二次式距离、直方图相交法、余弦距离等检索效果评价设R为检索到的结果图像数，S为检索结果中相关的图像数，D为整个图像库中相关图像数，则查全率为：查准率为：检索效果评价命中准确率排序测评法、匹配百分数、ANMRR等基于内容的图像检索系统QBICViragePhotobookVisualSEEK WebSEEKRetrieval Wa

30、re MMISQBIChttp:/IBM Almaden研究中心开发的第一个商用基于内容的图像及视频检索系统提供对静止图像及视频信息基于内容的检索手段支持图像例子、绘制草图或定制图像特征模板来检索图像库颜色使用RGB,YIQ,Lab和MTM颜色空间纹理使用改进的Tamura表示：粗糙度，对比度和方向性等形状特征有目标面积、各阶矩、离心率和主轴方向等草图特征，如边界各点的切线方向等开发了基于聚类的索引技术VirageVirage的VIR Image Engine类似于QBIC系统特色：将特征进行归类，用户查询时可以对特征进行任意组合Photobookhttp:/vismod/demos/phot

31、obook/由MIT的媒体实验室开发研制图像在存储时按人脸、形状或纹理特性自动分类图像根据类别通过显著语义特征压缩编码VisualSEEK/ln/dvmm/researchProjects/MultimediaIndexing/VisualSEEk/VisualSEEk.htm美国哥伦比亚大学开发的图像查询系统主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征Retrieval Ware http:/tools/retrievalware.html是由 Excalibur 科技有限公司开发的一种基于内容的图像检索工具。早期版本中，可以看到该系统的重点在于运用神经网络算法实现图

32、像检索。在比较新的版本中r提供基于6种图像属性的检索，分别是颜色、形状、纹理、颜色结构、亮度结构和纵横比。颜色属性是对图像的颜色及其所占的比率进行测定，但并不包括对颜色的结构或位置的测定，这一项是由颜色结构属性控制的；形状属性指图像中物体的轮廓或线条的相对方位、弯曲度及对比度；纹理属性是指图像的平滑度或粗糙度，一幅图的表面特性；亮度属性是指构成图像的象素组合的亮度。 香港公共图书馆的多媒体信息系统（MMIS）.hk/web/guestIBM和分包商ICO于1999年底开始承建190万美元的数字图书馆项目被认为是世界上最大且最复杂的“中文/英文”双语图书馆服务之一采用的DB2 Text 和Image Extenders既支持文本查找，也支持图片查找相似颜色相似形状相似内容基于内容的视频检索通过对非结构化的视频数据进行结构化分析和处理，采用视频分割技术，将连续的视频流划分为具有特定语义的视频片段镜头，作为检索的基本单元，在此基础上进行代表帧(representative frame)的提取和动态特征的提取，形成描述镜头的特征索引镜头组织和特征索引，采用视频聚类等方法研究镜头之间的关系，把内容相近的镜头组合起来，逐步缩小检索范围，