多媒体数据库及基于内容检索ppt课件.ppt

第六章多媒体数据库及基于内容检索 信息量爆炸式增长 数据库系统 数据库作为一种独立的应用领域已得到了计算机界的认可 数据库已和计算机 网络一起成为用户应用系统的三大支柱 数据库系统 DBS 由四个要素组成 用户 数据库 数据库管理系统 DBMS 以及支持它的硬件和软件 DBMS是管理数据库的系统软件 它是DBS中最主要的成分 数据库管理系统 数据库管理系统具有哪些功能实施对数据的管理 包括存储 查询 处理和故障恢复等 同时也保证能在不同用户之间进行数据共享 数据库管理系统的三种模式 物理模式 物理模式的主要职能是定义数据的存储组织方法 如数据库文件的格式 索引文件组织方法 数据库在网络上的分布方法等概念模式 定义抽象现实世界的方法 概念模式通过数据模型来描述 数据库系统的性能与数据模型直接相关 外部模式 又称子模式 是概念模式对用户有用的那一部分 数据库管理系统 数据库系统的三级管理模式结构 6 1 1传统的数据管理 层次型网络型关系型采用关系框架来描述数据之间的关系 通过把数据抽象成不同的属性和相互的关系 建立起数据的管理机制 具有比较完整的理论基础 同时 表格 等概念易于被用户理解 在数据库市场上占有明显的主导地位 6 1 1传统的数据管理 层次模型用树形结构来表示各类实体以及实体间的联系 每一结点表示一个记录类型 实体型 每个记录类型包含若干个字段 实体的属性 多媒体数据库多媒体数据库需处理的数据包括数值 字符 文本 图形 图像 声音 动画和视频等多种类型 对这些类型的数据进行管理 运用和共享的数据库就是多媒体数据库 6 1 1传统的数据管理 6 1 2多媒体带来的问题 数据量巨大且媒体之间量的差异也极大 从而影响数据库的组织和存储方法媒体种类的增多增加了数据处理的困难数据库不仅改变了数据库的接口 使其声 图 文并茂 而且也改变了数据库的操作形式 接口的多媒体化 对查询提出了更复杂 但对用户更友好的设计要求 传统的事物一般短小精悍 在多媒体数据库管理系统中长事务较多 多媒体数据库管理环境 多媒体数据的存储环境容量大 质量好 存取速度快 价格合适 4类存储介质可更换的硬盘 既可做工作介质也可做档案介质 磁带备份介质 容量一般为1 2 3GB 平均存取时间小于1分钟 光盘档案介质 磁盘阵列 有效存储海量多媒体数据的介质 支持用户并发读写 多媒体数据的传输环境 多媒体数据在不同硬件结构和不兼容的操作系统之间传输 使用可更换的介质进行人工传输 适合小范围操作 使用串口实行点到点传输 使用网络系统 实现计算机之间的传输 6 1 3多媒体数据与数据库管理 在数据库中 一般常用的多媒体数据有字符 数值 文本 图像 图形一类的静态数据 也有像声音 视频 动画等基于时间的媒体类型 字符数值文本数据关键字检索全文检索声音数据MIDI 波形 6 1 3多媒体数据与数据库管理 图形数据描述图形数据的关键是要有可以描述层次结构的数据模型 图形数据可以分解为点 线 弧等基本图形元素图像数据图像数据库较早就有研究 已提出许多方法 包括属性描述法 特征提取 分割 纹理识别 颜色检索等 视频数据对视频的管理还要在时间空间上进行 检索和查询的内容可以包括镜头 场景 内容等许多方面 多媒体数据库的软件环境 文件管理系统Windows的文件管理器或资源管理器 图形 图像浏览工具软件 文件系统方式一般只适用于小的项目管理或较特殊的数据对象 所表示的对象及相互之间逻辑关系比较简单 如管理单一媒体信息 建立特定的逻辑目录传统的字符 数值数据库管理系统把文件管理系统和传统的字符 数值数据库管理系统结合起来 由文件管理系统来建立和管理非常规数据 音频 视频 图形等 把数据文件的全文件名作为一个字符串数据纳入传统的数据库系统进行管理 多媒体数据库的软件环境 扩充关系数据库的方式引入新的数据类型 以便存储多媒体对象字段 大小可以达到GB字节 用于存储文本信息和任何形式的二进制信息 包括图像 声音 用专用字段存放全部多媒体文件 多媒体资料分段存放在不同字段中 播放时间重新构建 超媒体方式超媒体的方式就是以超文本的思想来实现对多媒体数据的存储 管理和检索 一种非线性的网状结构 这种非线性技术可以按照人脑的联想思维方式把相关信息联系起来 供读者浏览 超媒体是由称为结点和表达结点之间联系的链组成的有向图 用户可以对其浏览 查询 修改等操作 多媒体数据库的基本功能 多媒体数据库系统必须能表示和处理多媒体数据 在多媒体数据库中 数据在计算机内的表示方法比传统数据库的表示形式复杂 对非格式化的媒体数据往往要用不同的形式来表示 多媒体数据库管理系统要提供管理这些异构表示形式的技术和处理方法 多媒体数据库系统必须能反映和管理各种媒体数据的特性 或各种媒体数据之间的空间或时间的关联 在客观世界里 各种媒体信息有其本身的特性或各种媒体信息之间存在一定自然关联 包括时序关系 如多媒体对象在表达时必须保证时间上的同步特性 和空间结构 如必须把相关媒体的信息集成在一个合理布局的表达空间内的有关特性 因此 在多媒体数据库管理系统中 除了要对多媒体数据的内容与结构建模外 还要提供对各种媒体数据的特性和集成机制的时空关联的组织和管理方法 多媒体数据库系统除必须满足物理数据独立性和逻辑数据独立性外 还应满足媒体数据独立性 物理数据独立性是指物理数据组织 存储模式 改变时 不影响概念数据组织 逻辑模式 逻辑数据独立性是指概念数据组织改变时 不影响用户程序使用的视图 外模式 媒体数据独立性是指在多媒体数据库管理系统的设计和实现时 要求系统能保持各种媒体的独立性和透明性 即用户的操作可最大限度地忽视各种媒体的差别 而不受具体媒体影响和约束 同时要求他不受媒体变换的影响 实现复杂数据的统一管理 由于多媒体数据库的数据种类繁多 语义关联丰富 内部结构表示各异 故各种模式及映像比传统数据库复杂得多 涉及的数据量也大得多 要真正做到物理数据独立性 逻辑数据独立性和媒体数据独立性并非易事 多媒体数据库的基本功能 多媒体数据库的数据操作功能提供比传统数据库管理系统更强的适合非格式化数据查询的搜索功能 允许对Image等非格式化数据做整体和部分搜索 允许通过范围 知识和其它描述符的确定值和模糊值搜索各种媒体数据 允许同时搜索多个数据库中的数据 允许通过对非格式化数据的分析建立图示等索引来搜索数据 允许通过举例查询和通过主题描述查询使复杂查询简单化 提供浏览功能允许浏览数据库信息的目录结构允许对某一具体题目 浏览与此题目有关的一般信息 允许浏览数据库去寻找用户假设的信息支持 多媒体数据库的基本功能 多媒体数据库的数据操作功能提供构造解功能使用一系列的应用约束和触发条件 解决要求访问大容量数据问题和数据库的一致性问题 对非格式数据还应视不同多媒体提供不同的操纵如下 图类数据 覆盖 邻接 镶嵌 交接 比例 剪裁 颜色转换 定位等 声音数据 声音合成 声音信号的调度 声调和声音强度的增减调整等 多媒体数据系统的网络功能多媒体数据库由于它的数据来源 应用 数据量等原因 往往被分布于网络的不同结点上 对于此种情况 应解决分布在网络上的多媒体数据库中数据的定义 存储 操纵问题 并对数据的一致性 安全性 并发性进行管理 多媒体数据库的基本功能 多媒体数据库的数据操作功能信息重组织应支持符合媒体在各通道分离后存入数据库 例如 将Vedio分解为影像 配音等信息 把这些信息分别存储到数据库中 必要时各种分离的信息可以重新组织后输出 多媒体数据库管理系统应具有开放功能提供多媒体数据库的应用程序接口API ApplicationProgramInterface 多媒体数据系统还应提供事务和版本管理功能长事务 在MDBMS中 长事务的运行意味着在一个可靠的方式下花费大量的时间传输大容量的数据 检索一场电影就是长事务的典型例子 多媒体数据库的基本功能 多媒体数据库的体系结构 协作型结构针对各种媒体单独建立数据库 每一种媒体的数据库都有自己独立的数据库管理系统 虽然他们是相互独立的 但是可以通过相互通信进行协调和执行相应的操作 特点 对多媒体数据库的管理是分开进行的 可以利用现在的研究成果直接进行 组装 每一种媒体数据库的设计也不用考虑与其他媒体的区别和协调 缺点 对不同类型媒体的联合操作实际上是交给用户去完成了 使得对多种媒体的联合操作 合成处理 概念查询等较难完成 多媒体数据库的体系结构 协作型结构 多媒体数据库的体系结构 集中统一型结构只存在一个单一的多媒体数据库和单一的多媒体数据库管理系统 各种媒体被统一的建模 对各种媒体的管理与操纵被集中到一个数据库管理系统中 各种用户的需求被统一到一个多媒体用户接口上 优点 建模统一 管理 操作统一 用户接口统一 查询和检索结果统一表示 理论上 能够充分的做到对多媒体数据进行有效的管理和使用 但实际上这种多媒体数据库系统是很难实现的 多媒体数据库的体系结构 集中统一型结构 多媒体数据库的体系结构 主从型结构不同数据类型的媒体数据仍然相互独立 系统将每一种媒体的管理和操纵各用一个服务器来实现 所有服务器的综合和操纵也用一个服务器来完成 与用户的接口采用客户进程来实现 优点 可以针对不同的需求采用不同的服务器 客户进程组合 所以很容易符合应用的需求 对每一种媒体也可以采用与这种媒体相符合的处理方法 缺点 但采用这种体系结构必须对服务器和客户进行仔细的规划和统一的考虑 采用标准化和开放的接口界面 多媒体数据库的体系结构 主从型结构 多媒体数据库的体系结构 超媒体结构强调对数据时空索引的组织 在这种结构的理论下 世界上所有计算机中的信息和其他系统中的信息都应该连接在一起 而且信息也要能够随意扩展和访问 多媒体数据库的层次结构 最低层增加对多媒体数据的控制和操作最高层支持多媒体数据的综合演示与用户查询的描述中间层增加多媒体数据的关联和超链接 多媒体数据库基于内容的检索 由于多媒体数据库中包含大量的图像 声音 视频等非格式化数据 对它们的查询和检索比较复杂 往往需要根据媒体中表达的情节内容进行检索 基于内容的检索 CBR 就是对多媒体信息检索使用的一种重要技术 多媒体数据库基于内容的检索 基于内容检索的特点从媒体内容中提取信息线索力图突破传统的基于关键字检索的局限 直接对图像 视频 音频进行分析 抽取特征 使得检索更加接近媒体对象 提取特征的方法多种多样以图像的特征为例 可以提取形状特征 颜色特征 纹理特征 轮廓特征等 检索过程人机交互进行一般来说 人对于特征比较敏感 能迅速分辨出目标的轮廓 音乐的旋律等 但是 对于大量的对象 一方面难以记住这些特征 另一方面人工地从大量的数据中查找目标效率较低 而这正是计算机的长处基于内容的检索是一种近似的匹配一般来说 在检索的过程中 采用逐步求精的办法 每一层的中间结果是一个集合 不断减少集合的范围 知道定位目标 这一点与数据库检索的精确匹配算法有明显的不同 多媒体数据库基于内容的检索 媒体的特征音频常利用的音频特征包括基音 共振峰等音频底层特征 以及声纹 关键词等高层次的特征 静态图像其底层特征包括颜色直方图 纹理 轮廓 高层次特征包括人脸部特征 表情特征 物体 或零件 和景物特征 视频视频包含的信息最丰富最复杂 其底层特征包括镜头切换类型 特技效果 摄像机运动 物体运动轨迹 代表帧 全景图等 高层特征包括描述镜头内容的事件等 图形由一定空间关系的几何体构成 几何体的各种形状特征 周长 面积 位置 几何体空间关系的类型等 被选为图形内容属性 多媒体数据库基于内容的检索 提取媒体对象内容属性的方式手工方式虽然音频 视频等多媒体信息内容难以用文字描述 但由于文本处理技术简单成熟 所以关键词属性是一种常采用的方法 手工方式是最常见的提取关键词属性的方法 它还可以提取图像的纹理 边缘特征 视频镜头所含的摄像动作等 手工方式简单但是工作量大 提取尺度因人而异 增加了不确定性 自动方式对内容属性自动提取是一种理想的方式 是人们研究和应用的目标 自动提取过程设计对媒体分析和具体技术 如图像理解 视频序列分析 语音识别技术等 混合方式 多媒体数据库基于内容的检索 基于内容检索的体系结构 各个模块的主要功能目标标识为用户提供一种工具 以全自动或半自动 需要用户干预 的方式标识图像 视频镜头等媒体感兴趣的区域 以及视频序列中的动态目标 以便针对目标进行特征提取并查询 特征提取对多媒体数据进行特征提取 提取用户感兴趣的 适合检索要求的特征 两种类型的特征提取 全局性的 如整幅读写的总体特征 针对某个目标 如图中的人 视频中的运动对象等 是基于内容检索的一个重要基础 也是难点所在 特征分类低层特征 原始特征 高层特征 逻辑特征 如语义 多媒体数据库基于内容的检索 各个模块的主要功能特征提取静态图像特征提取一般特征 颜色 纹理 形状特定领域特征 人脸 指纹 手写体 动态视频特征提取一般特征 镜头切换类型 摄像机运动 运动轨迹 关键帧高层特征 描述镜头中内容的事件 语音信号特征提取一般特征 基音 共振峰 线性预测倒谱系数高层特征 声纹特征 关键词特征 多媒体数据库基于内容的检索 各个模块的主要功能数据库 生成的数据库由媒体库 特征库和知识库组成 媒体库包含多媒体数据 特征库包含用户输入的特征和视频处理自动提取的内容特征 知识库中存放知识表达 人工智能领域 专家系统等经常会用到的概念 知识表达可以更换 以适用于不同的应用领域 查询接口 友好的人机界面是一个成功检索系统不可缺少的条件 它可以大大提高检索的效率 一般来说 有3种方式 操纵交互输入方法 模板选择输入方式 用户提交特征样本的输入方式 同时应支持多种方式的组合 检索引擎 检索是利用特征之间的距离函数来进行相似性检索 模仿人类的认知过程 对不同类型的媒体数据有各自不同的相似性侧度算法 检索引擎中包括一个较为有效可靠的相似性测量函数集 索引 过滤器 检索引擎通过索引 过滤模块达到快速搜索的目的 多媒体数据库基于内容的检索 基于内容检索的处理过程 多媒体数据库基于内容的检索 基于内容检索的处理过程提交查询要求 用户查找一个数据对象时 利用系统人机界面提供的输入方式 可视化的输入界面或查询语言 形成一个查询条件 与传统的文本查询不同的是 在将查询条件传递给搜索引擎之前 一般要对所提交的数据进行预处理 在分布式中这一点尤为重要 相似性匹配 将查询特征与数据库中的特征按照一定的匹配算法进行匹配返回候选结果 满足一定相似性的一组候选结果按相似度大小排列返回给用户特征调整 对系统返回的一组初始特征的查询结果 用户可以通过浏览挑选到满意的结果 也可以从候选结果中选择一个示例 进行特征调整 最后形成一个新的查询 如此逐步缩小查询范围 直到用户对查询结果满意为止 多媒体数据库基于内容的检索 基于颜色直方图检索所谓颜色直方图就是记录一幅图中各种颜色像素点数量的比例图 若一幅图像的颜色 灰度 有N级 具有每种颜色的像素数为h1 h2等等 这组像素统计值称为图像的颜色直方图 指明颜色的构成 如查询 约35 红色 45 蓝色的图像 实际上限定了红色和蓝色在直方图的比例 系统将查询转换为对颜色直方图的匹配模式 查询中获得的结果图像颜色分布是符合模式的图像 尽管查到的大多数不是所要的图像 但缩小了查询空间指明一幅图像 从而也得到它的颜色直方图 然后用该颜色直方图与数据库中的图像颜色直方图进行匹配 最后确定所要找的图像集合 指明图像的一块子图 它可能是图像分割后的一块子区域 或利用对象轮廓法确定的一个对象 利用这个子图确定相应的颜色直方图 再从数据库中确定具有相似图像颜色特征的目标图像集合 图像内容的分析与检索 基于轮廓的检索基于轮廓的检索使用户通过勾勒图像的大致轮廓 从数据库中检索出轮廓相似的图像 取图像的轮廓线是一个困难的事情 较好的方法是采用图像自动分割的方法结合识别目标的前景和背景模型来得到比较精确的轮廓 对轮廓进行检索的过程是交互完成的首先 对图像的轮廓进行提取 并计算轮廓特征 存于特征库中 检索时 通过计算用户手绘轮廓的特征与特征库的轮廓特征的相似度来决定匹配程度 轮廓特征也可以结合颜色特征检索 图像内容的分析与检索 基于纹理的检索纹理是通过色彩或明暗度的变化体现出来的图像表面细节 其特征包括粗糙性 方向性 对比度等 纹理的分析方法主要有统计法和结构法统计法用于分析橡木纹 沙地 草坪等细密而规则的对象 并根据像素间灰度的统计性质对纹理规定出特征 以及特征与参数的关系 结构法适于像布纹图案 砖墙表面等排列规则对象的纹理 可根据纹理基元及其排列规则描述纹理的结构和特征 以及特征与参数的关系基于纹理的检索往往采用示例法检索时首先将一些大致的图像纹理以小图像形式全部呈现给用户 一旦用户选择其中某个和查询要求最接近的纹理形式 则以查询表的形式让用户适当调整纹理特征 并逐步返回越来越精确的结果 图像内容的分析与检索 视频检索视频数据是连续的图像序列将此连续的视频流划分为具有特定语义的视频片段来作为检索的基本单元 在此基础上才能作为进一步的描述和组织 视频检索就包括视频分割和描述建立两部分内容视频分割直方图同一镜头中的两幅相邻图像特征相差不多 如果发生镜头转换 直方图的差值会很明显 这样我们就可基于一个设定的阈值来判断镜头是否切换 图像内容的分析与检索 视频检索视频分割双重比较法对于渐变的图像切换来说 直方图的差值不很明显 我们可采用双重比较法来解决这个问题 即采用两个阈值 第一个较低阈值来确定出潜在渐变切换的起始帧 确定这个帧后 将它与后续帧进行比较 得到的差值来取代帧间的差值