多媒体内容检索与管理20130524ppt课件

1、多媒体内容的搜索和管理，李颖吴昊赵艳，2，2，多媒体内容的搜索和管理，3，3， 1.1多媒体概念、多媒体信息、媒体、多媒体技术、多媒体，即媒体、媒体、信息的承载和表达手段是指数据、字符、图形、图像、声音和视频等集成的综合媒体信息用于将多种媒体信息(如视频和视频)集成到处理中并进行交互的计算机应用分支，4，页4，1.2多媒体数据库系统，多媒体数据的特征，数据量大，结构复杂，数据传输的连续性，以及1.2多媒体数据库系统多媒体数据库、传统数据库、复杂对象的存储和处理应用程序的不同应用程序对象强调媒体独立性处理。 处理方式也更强的对象访问手段强调最终用户界面的灵活性和多样性，存储和处理格式数据的单个数据模型的简单查询方式提供了正确的查询，6，1.2多媒体数据库系统， MDBS分层结构多媒体数据库系统的核心任务是实时集成视图、文本、语音信息，其中集中式a用单个MDBMS构建和管理不同的媒体数据库，并用该MDBMS管理目标空间和目标数据的集成。 另外，协作型c、协作型MDBS由多个数据库管理系统构成，在这些数据库管理系统之间虽然没有主从的区别，但也可以相互通信，协调地工作。 另外，主从型b，各数据库有自己的管理系统，称为从MDBMS，分别管理自己的数据库。 这些从MDBMS还受到被称为主MDBMS的统一控制和管理。7，1.2多媒体数据库系统，集中型组织结构，8，1.2多媒体数据库系统，主从型组织结构，9，1.2多媒体数据库系统，合作型组织结构，10，1.3多媒体数据库系统(MDB 传统数据库系统的主要处理对象是整数、实数、字符串等简单类型的数据，但是这种形式的数据很难实现脸部、指纹、人的声音等的有效记述。 传统数据库的分层结构包括： 11，1.3多媒体数据库(MDB )，传统数据库的分层结构可在用户给出查询条件后立即检索正确的信息，但对于没有格式的数据，例如图像、音频、视频因此，需要寻找合适的结构分层形式，包括扩展到传统数据库、扩展到目标数据库、扩展超级媒体级别等各种分层划分。 虽然各不相同，但从最下层增加了多媒体数据的控制和支持，在最上层支持多媒体的综合表现和用户询问描述，中间增加了与多媒体数据的关联和超链接的处理。 12.1.3多媒体数据库(MDB )，分层结构用于集成每个多媒体数据： 13，1.4多媒体数据库管理系统(MDBMS )，包括传统的计算机应用系统比仅存在文字、数值扩展更大，新的管理系统需要管理多媒体数据库。 MDBMS可以像传统数据库一样高效地组织、管理和访问多媒体数据，并且可以定义多媒体数据库对象、多媒体数据访问、多媒体数据库的运行控制、多媒体数据库的建立和访问14、页面14、1.4多媒体数据库管理系统(MDBMS )、数据操作功能、各种媒体数据、网络功能、MDBMS的基本功能、15、1.4多媒体数据库管理系统(MDBMS )， 多媒体数据库管理系统多媒体数据库管理系统多数据库管理系统(MDB ms )通常包括用户界面、存储子系统、特征数据库、索引子系统、搜索子系统和解。其中，用户界面是以B/S方式实现的，用户需要以图形方式支持基于内容的查询，同时还需要支持传统的文本方式的查询。 其体系如下图：16，1.4多媒体数据库管理系统(MDBMS )，17，17，多媒体内容检索和管理，、概念级别的内容，感知特性、逻辑关系，特别是特征、多媒体数据的内容概念的层次视觉对象、纹理、素描、形状、体积、空间关系、轮廓等听觉特性、音调、音色、音质等。 音频视频对象的时间和空间关系，意义和上下文关系等。人的体型特征、脸特征、指纹特征等与应用相关的媒体特征。 利用对象的意义表达，例如文本描述，在分类和目录中组织层次阅览，在链中组织上下文相关。 如图下面所示，附图标记19、2.1多媒体内容处理、多媒体内容处理被分为三个部分： a、内容获取、b、内容描述和c、内容操作。 首先处理原始媒体，提取内容，以标准格式描述提取的内容，支持各种内容的搜索、搜索、索引等内容操作。 此外，20、2.1多媒体内容处理、内容获取是通过分析和处理各种内容获取媒体内容的处理。 多媒体数据的重要要素是空间和时间结构，其必须首先分割图像对象、视频的时间结构、运动对象及其之间的关系，然后提取显着的差异特征和人的视觉、听觉特征以表现媒体和媒体对象的性质此外，21、2.1多媒体内容处理、内容描述描述了所获取的内容。 为了支持数据管理的灵活性、数据资源全球化和互操作性，描述必须基于一定的标准。 MPEG-7标准被称为“多媒体内容描述接口”，其主要使用描述符和描述模式来描述媒体的特性和关系。 描述符是特征的表现法，一个描述符是定义特征的语法和语义学。 MPEG-7标准定义了一系列描述结构、详细描述描述结构的语言、描述定义语言(DDL )和多种编码描述方法。 22、2.1多媒体内容处理、内容操作主要是用户对内容的操作和应用。 有很多这方面的名词和术语。 查询是面向用户的术语，数据库操作，搜索是在索引支持下的快速信息检索方法，搜索是互联网上常用的搜索引擎、摘要，搜索和搜索是一个典型的例子。 是适合于定时媒体(如视频和音频)的特殊操作，而过滤是与搜索相反的信息访问方法，其可以线性地或非线性地访问结构化内容。 23、2.2基于内容的多媒体信息检索和基于内容的检索从媒体数据中提取特定信息的提示，并基于这些提示从数据库中大量存储的媒体中进行检索以检索具有相似特征的媒体数据。 多媒体数据的“内容”代表多媒体信息的含义、摘要、主题和显着性质、实质内容、物理细节等，而多媒体内容处理技术基于内容的基本定义。24、page24、2.2基于内容的多媒体信息检索的特征、多媒体信息检索的特征、相似性检索： CBR采用近似匹配的方法和技术，依次求精度得到检索结果，各层的中间结果为一个集合，一个接一个地减少集合的范围直接从内容中提取信息提示，直到成为搜索对象： CBR直接分析文本、图像、视频和音频，提取内容特征，并利用这些内容特征建立索引进行搜索。 满足用户多级别搜索要求： CBR搜索系统通常由媒体库、特征库和知识库组成。 大型数据库(集)的快速检索： CBR通常有大量种类的多媒体数据库，能够实现多媒体信息的快速检索。在25、2.3内容检索的关键技术中，基于内容的多媒体数据库管理系统不仅解决媒体信息存储，而且期望可以分析、提取可从媒体数据中检索的内容特征、以用于信息检索。 其关键技术主要有特征提取、特征分析和特征匹配。 特征提取：提取颜色、纹理、形状等特征。 为了根据提取的特征提取不同的处理，例如形状特征，需要先进行图像分割和边缘提取等步骤。 选择合适的算法，在效率和精度方面进行改进，适应检索需要，实现特征的提取。 特征分析：分析图像的各种特征，选择提取效率高、信息浓缩性好的特征，或结合几个特征用于检索领域。 特征匹配：选择测量图像特征间相似度的模型。 26、2.3内容检索的关键技术、基于内容多媒体数据库管理系统的功能框架如下图所示。 27、2.4基于内容的多媒体信息搜索系统结构包括特征分析子系统、特征提取子系统、数据库、查询接口、搜索引擎和索引过滤器，基于内容搜索系统结构28，2.4基于内容的多媒体信息检索架构，特征分析：该子系统分割和分割应入库的媒体，确定需要的对象和内容点，进行符合目的的特征提取。 特征id可以通过用户输入或系统来定义。 特征提取执行关于由用户提供或系统指定的媒体对象的特征提取处理。 特征提取需要知识处理模块的支持，与标准化的知识定义直接相关。 数据库中包含多媒体数据库和特征数据库，分别存储有与多媒体数据对应的特征数据，它们彼此具有一定的对应关系。 特征库包含通过用户输入和预处理自动提取的特征数据，通过搜索引擎组织与媒体类型匹配的索引，实现了高速搜索的目的。基于29、2.4内容的多媒体信息检索系统的结构、查询接口、所谓的交互接口、友好的交互接口对检索系统是必不可少的。 在基于内容的搜索中，由于特征不直观，因此必须为用户提供视觉输入方法并为用户界面提供查询结果的阅览功能。 也就是说，用户提供首先返回查询结果，根据用户选择的排序标准(颜色、旋律、节拍等)按相似度的大小排列结果并返回给用户。 搜索引擎将特征提取值与特征库的值进行比较以获得相似度。 不同媒体具有不同的相似度算法，这些算法也称为相似度测度函数。 搜索引擎使用相似性测度函数集来进行比较，以标识最接近基于特征的值的多媒体数据。 索引滤波在大规模多媒体数据检索的过程中，为了提高检索效率，多采用在搜索引擎进行匹配之前的索引滤波方法，提取高维特征并将其用于匹配。 基于30，2.4内容的多媒体信息搜索架构，如果用户不满意系统返回的查询结果，怎么办？ 相关反馈技术、31和用于基于内容的多媒体信息检索的相关反馈技术是相关反馈在基于内容的检索过程中很重要的过程。 由于仅靠图像低层特征很难得到满意的结果，主要原因是图像低层特征与高层意义之间存在很大差异。 相关反馈技术是为了解决这个问题而提出的，一方面需要找到更有效的多媒体表现方法，另一方面需要通过人机交互来把握并建立低层特征与上层意义的关联。 相关反馈技术的基本思想是建立用户参与的对话过程，在对话过程中逐步求出正确的查询结果。在检索过程中，系统根据用户的询问请求返回检索结果，用户评价并标记检索结果，将这些信息反馈给系统，系统根据这些反馈信息学习，并返回新的询问结果，从而使检索结果成为用户32，2.5在基于内容的多媒体信息检索中的相关反馈技术，相关反馈结构图如下： 33，参考文献，1郑继文，吴吉义.多媒体数据库管理系统的关键技术分析J .微机和应用，2007 徐保险峰.基于内容的多媒体信息检索技术J .现代信息，2005 25(3):134-136.3李松涛，钟建宁.基于内容的多媒体数据库管理系统的研究J .计算机技术和发展，2008， 18(12):214-216.4柳群英.基于内容的音频信息检索技术J .现代信息2005(6):91-93.5黄丽娟.基于内容的多媒体信息检索J .现代图书信息技术，2000 (5)。 米志强.内容信息检索技术研究J .计算机知识和技术，2009， 5(8):13-1924.7李广建黄永文.基于内容的信息检索J .中国图书馆学会2000年的论文，2000:111-118.8黄敬泉，韩冰.基于内容的检索新进展J .现代计算机，201033603 曾斌.多媒体数据库技术M .北京：国防工业出版社2005:91-115.10高阳.数据库技术和应用M .北京：电子工业出版社，2003:316-318 .34，多媒体内容检索1、模式识别模糊地匹配用户提供的目标媒体数据对象和数据库中的源媒体数据对象，以便读取和显示该数据。 这种搜索方式精度低，查询的执行时间长。 2 .将基于特征提取媒体内容的搜索转换为基于媒体内容的特征的搜索。 特征检索是从媒体数据提取特定的信息线索特征，并基于该数据特征从数据集合中检索具有相似特征的媒体数据。36、page36、3.1内容搜索的实现技术、多媒体特征的多维空间特征、对象的纹理和形状特征、对象的空间关系等某些时间特征存在对象随时间变化的轨迹，如音乐片段的持续时间。 特征表达是多层的： (1)客观特征：反映多媒体数据本身具有的特性，如对象的颜色、形状、纹理、音频频率等。 (2)主观特征：指人对多媒体数据的主观感觉，如感情(喜悦、愤怒)和风格的描写。 (3)作品特征：作者、制造商、监督等信息。 (4)合成特征：包括场景合成、编辑信息、用户喜好等。 (5)概念(上层的特征):用于记述事件和活动等概念。 基于37，page 37，3.1内容检索的实现技术，基本检索步骤：提取入库的多媒体数据，将提取的媒体特征建立索引并输入用户描述，从用户描述和库媒体的相似性匹配结果中选择最终结果例如纹理、形状等，视频的特征，例如声音特征的音量、频率分布、静音率等，是关键帧、运动对象等38、页38、3.2多媒体内容检索过程，整体过程分下一步骤： (1)初始用户搜索对象后，最初可以用示例查询(QBE )或查询语言创建查询。 提取此示例的特征，或者将查询描述映射到特定的特征向量。 (2)相似性匹配。 用一定的匹配算法类似地匹配查询的特征和特