多媒体技术应用教学PPT

1、2021-5-151 e=mc2 a=x+y+z 燕山大学信息科学与工程学院计算机科学与技术系 唐 勇 email: t 2021-5-152 参考文献：有用吗？ 多媒体技术及应用多媒体技术及应用.(美) tay vaughan著.清华大学出版社. 2008 多媒体技术多媒体技术.第第2版版.吴玲达.电子工业出版社. 2007 多媒体计算机与虚拟现实技术多媒体计算机与虚拟现实技术.钟玉琢.清华大学出版社. 2009 多媒体多媒体技术基础及应用技术基础及应用.第第3版版 .钟玉琢.清华大学出版社. 2012 多媒体技术基础多媒体技术基础.黄荣怀，陈莉，李松.高等教育出版社. 2008【美】 je

2、rry.gibson.多媒体数字压缩原理与标准.电子工业出版社.2000 2021-5-153 参考文献： 虚拟现实系统.张茂军. 科学出版社.2001 虚拟现实基础及实用算法.石教英. 科学出版社.2002 虚拟现实技术虚拟现实技术.申蔚, 曾文琪.清华大学出版社. 2009 灵境技术的理论.现实及应用.汪成为. 清华大学出版社.1996.9 虚拟现实技术虚拟现实技术.(美) grigore c. burdea, (法) philippe coiffet著. 电子工业出版社. 2005 虚拟现实技术与艺术虚拟现实技术与艺术.李勋祥.武汉工业大学出版社. 2007 2021-5-154 fir

3、st of all 1.介绍背景 2.课程的层次(偏理论) 3.课程的重要性和实用性 4.如何学好该课程 5.对该课程的设想(教学形式 手段 交互方式) 6.我的认识 课程安排（一） n人员：2个老师，8个硕士 n内容：6个专题 n特点：经典、深入、新颖、前沿、科普 n要求：全体出席，缺席2次取消考试资格 n希望：收获、自信、狂想、享受 n实惠：建立专业自信心、发掘兴趣本源 2021-5-155 课程安排（二）我的内容 n多媒体技术基础（序，媒体元素，压缩） n多媒体硬件（时代性、透过硬件看科技） n多媒体软件（实用性、每一个都是技能） n时间的故事（数学之美、生活的抽象） 2021-5-15

4、6 课程安排（三）今天的内容 n序（观念，透视身边的世界） n媒体元素（审视我们如何感受世界，转换） n压缩（假设我们也生活在那个时代） n时间的故事（奇妙无比） 2021-5-157 2021-5-158 多媒体技术的基本概念 多媒体技术的发展历程 多媒体技术的研究内容 第一节 多媒体的基本概念 1 媒体与多媒体 媒体（感觉,表示,显示,存储,传输）； 多媒体技术的定义；多媒体的技术组成：计算机、电视、广播 通信、印刷、心理学、行为科学 2 多媒体的关键特性 信息载体的多样性、交互性、集成性 第一章第一章 概概 论论 2021-5-159 第二节 多媒体技术的产生和发展 （科学技术的发展来源

5、于人性的原始欲望，生产力的时代性） 1 多媒体是技术和应用发展的必然 2 多媒体改善了人类信息的交流：在计算机描绘的世界中找寻现实 世界的感受 3 多媒体缩短了人类传递信息的路径：让神话和梦想成为现实，接 近人类的想象世界 第一章第一章 概概 论论 2021-5-1510 第三节 多媒体技术研究的主要内容 （多媒体技术、多媒体系统；分类技巧） 1 多媒体技术的基础 媒体的性质和相应的处理方法；数据压缩技术 （媒体的基本特性、媒体数据压缩编码基本方法2章） 2 多媒体软硬件平台 （多媒体硬件环境、多媒体软件基础2章） 3 多媒体操作系统技术 （媒体的时间关系、多媒体操作系统2章） 第一章第一章

6、概概 论论 2021-5-1511 4 多媒体信息管理技术 （超媒体与web系统、多媒体数据库与基于 内容检索2章） 5 多媒体通信与分布应用技术 （多媒体通信与网络、分布式多媒体 应用系统2章） 学习的历程、规划知识树的历程、认识世界和自己的历程学习的历程、规划知识树的历程、认识世界和自己的历程 是一段充满苦和乐、喜与忧的历程是一段充满苦和乐、喜与忧的历程 祝大家体会到学习的快乐祝大家体会到学习的快乐 第一章第一章 概概 论论 2021-5-1512 第一节 媒体的之类和特点 1 常见的媒体元素 文本（text) 、图形（graphic）、图象（image）、 视频（video）、音频（au

7、dio）、动画（animation） 含义，基本内容，基本概念，主要技术，技术参数 2 媒体的种类 视觉类媒体、听觉类媒体、触觉类媒体 3 媒体的性质和特点 四种性质：格式、表达方式和程度、相互转换、相互关系 第二章第二章 媒体与媒体技术媒体与媒体技术 2021-5-1513 n重新审视人类信息获取机能 n试图用抽象的方法揭示信息感知模型 n构划出多媒体技术的生理和理论基础 2021-5-1514 空间性质：表现空间、空间结构（关系）；视觉空间、听觉空间、 触觉空间（获取和再现） 时间性质：表现时间、时间结构（关系）；周期、非周期；同步、 实时 媒体的语义：二进制位流 、抽象层次不同语义的重点

8、不同 媒体结合的影响：被理解程度（视觉83、听觉11、触觉3、 其余4）；记忆驻留效果（谈话 2小时后70，72小时后10； 观看 2小时后72，72小时后20；视听并举 2小时后85，72小 时后65）感觉相乘效应 隐喻（metaphor）:与多媒体系统交互的概念模型（心智模型）隐 喻技术虚拟现实空间。 第二章第二章 媒体与媒体技术媒体与媒体技术 2021-5-1515 第2节 听觉媒体技术 心理学、数字化和符号化、三维处理 1 声音心理学 声音的量纲：波：频率、振幅、相位 声强：分贝两个波峰幅度a和b之比 db=20log109(a/b) 声音与参照声之间的差指就是它的分贝数 0db=2.

9、83x10-4 dyn(达因)/cm2 痛苦限为100120db 心理上（响度、音调） 他们和强度与频率的关系（3点） 见表2。1 听觉曲线、掩蔽、临界频带、相位、自然声音的识辨现象、听觉 空间、听觉的频谱特性、声音的心理模拟 第二章第二章 媒体与媒体技术媒体与媒体技术 2021-5-1516 2 音频的数字化和符号化 音频信号的处理3点：人机、机人、人机人 两个方向：采样和处理（压缩、符号化）；再现 奈奎斯特采样定理：只要采样频率高于信号中最高频率的2倍， 就可以从采样中完全恢复原始信号的波形。 20hz20khz 11.025khz 22.05khz 44.1khz pcm(pulse c

10、ode modulation,脉冲编码调制） 声音的数据量（采样频率x量化精度x声道数）/8(byte/s) 数字音频文件格式表2。2 声音的符号化 midi(musical instrument digital interface) 适合的情况 第二章第二章 媒体与媒体技术媒体与媒体技术 2021-5-1517 3 音频媒体的三维化处理 三维虚拟声音空间(three dimensional virtual acoustic,3dva) 达 到的5个目标 3dva的基本理论 hrtf方法（双耳相关函数法）（head-related transfer function, 与头部有关的转移函数）

11、nasa ames 研究中心音响实验室 第二章第二章 媒体与媒体技术媒体与媒体技术 2021-5-1518 第三节 视觉媒体技术 1 视觉心理学 心理特征：心理变量和物理变量的关系表2。3 视觉特性：亮度、时间特性、彩色、注视点和视野范围 2 模拟视频原理 宽高比 4：3 16：9 制式：pal ntsc secam 彩色空间：rgb yuv yiq 3 视觉媒体数字化 位图图象与数字视频 第二章第二章 媒体与媒体技术媒体与媒体技术 2021-5-1519 图形 与图象的关系 符号与文字 数字视觉媒体文件格式表2。4 4 视觉媒体的三维立体显示 立体显示原理 视差（零视差、正视差、负视差、发散

12、视差） 立体图象的产生（旋转法、投影变换法）、显示（2种方法：交 替显示、分别显示） 第二章第二章 媒体与媒体技术媒体与媒体技术 2021-5-1520 第四节 触觉媒体技术 1 概述 环境媒体 位置跟踪、力量反馈 2 简单指点设备与技术（任务5项、指点设备） 3 位置跟踪（手指动作测量和数字化、空间位置跟踪） 超声波发射器、六自由度 4 力反馈（例子）、触觉反馈（数据手套）、热觉反馈 逼真和危险 第二章第二章 媒体与媒体技术媒体与媒体技术 本章思考本章思考，terribly funny itu-t的g3、g4 jpeg: 无损预测编码算法、基于dct的有损编码算法（6步）、基 于dct的增强

13、系统（2种累进操作方式）、基于dct的分层操作方式 （编码过程5步） jpeg2000:6部分主要内容、算法（离散余弦变换算法dct、离散小 波变换算法dwt）、特点（高压缩率、无损压缩、渐进传输、感兴 趣区域压缩、色彩模式、图像处理简单） 第三章第三章 多媒体数据压缩多媒体数据压缩 2021-5-1530 3 视频压缩标准 mpeg-1 mpeg-2 mpeg-4 mpeg-7 mpeg-21； h.261 h.263；运动jpeg mpeg-1: 目标、内容、压缩技术（基于16x16子块的运动补偿，减 少帧序列的时域冗余、基于dct的压缩技术减少空间冗余） 内码帧（i） 预测帧（p）插补帧

14、（b）d帧及其编码 时间冗余量的减少：运动补偿预测法、运动补偿插补法 空域冗余量的减少：变换编码技术、矢量量化技术 mpeg的分层结构和位流 6个层次（块层、宏块层、宏块片层、图 像层、图像组层、图像序列层） 基本要求 第三章第三章 多媒体数据压缩多媒体数据压缩 2021-5-1531 mpeg-2： 目标、内容（mpeg-2系统（5项基本功能）、 mpeg-2 视频（多需求、特色（框架和级别、压缩编码的数据结构、比特流的 语义规则）层次要求 mpeg-4：以内容为中心的描述方法，视频对象vo(video object),音 频对象ao(audio object) 内容要求 基于内容的视频编码

15、（3步）, 基于vop的编码（形状编码、运动估 计和运动补偿、纹理编码、分级扩展编码） mpeg-7：内容描述接口的编码方案（描述原则、多媒体特征类型、 视觉数据的描述、听觉数据的描述）网络要求 mpeg-21：将标准集成起来支持和谐的技术以管理多媒体商务 欲望要求 第三章第三章 多媒体数据压缩多媒体数据压缩 2021-5-1532 光存储 音频接口 视频接口 多媒体i/o设备 多媒体计算机 透过硬件看科学、 技术的发展 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1533 第一节 光存储设备 20多年了，光学、微电子技术、光电子技术及材料科学的发展 光学存储技术 优点：存储容量

16、大、工作稳定、密度高、寿命长、介质可换、便 于携带、价格低廉 系统组成：光盘驱动器、光盘盘片 工作过程： 1 光存储的类型：只读型、一次写、可重写型（各自的含义） 2 光存储系统的技术指标：尺寸（12英寸、 4.72英寸、 14.12英寸、 5.25英寸、 3.5英寸、容量（格式化容量、用户容量）、 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1534 n试图在知识的海洋中找到一条航线，通向大 家兴趣的顶点 n硬件产业的游戏规则 n我国工业基础的差距 n体会各种科学分支是多么的亲近 2021-5-1535 平均存取时间 平均寻道时间 平均等待时间、数据传输率（数据传 输率、同步传

17、输率 异步传输率 dma传输率、突发传输率、持续传输 率）、误码率、平均无故障时间 3 光存储格式标准和类型 （数据格式、编码方法、物理尺寸、cd技 术） 如表4.1 4 cd-rom光存储系统：盘片物理层次（漆膜保护层、反射铝层、聚 碳酸酯基层）；驱动器构造（光头、聚焦伺服、道跟踪伺服、clv伺 服、efm解调、错误检测和校正处理） 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1536 5 cd-r光存储系统：1991.11 philips(compact disc recordable)、一次 写多次读的可刻录光盘系统 盘片物理层次（漆膜保护层、反射金层、 染料记录层、聚碳酸

18、酯基层）；刻录和读取原理（激光照射产生热量 将有机染料烧熔并使其变成光痕） 6 磁光（mo)存储系统： 盘片物理层次（氮化硅保护层、铝合金反射 层、记录层铁钴合金、树脂基层）；刻录和读取原理（300度居里点） 7 相变（pd)光存储系统：相变式可重复檫写光盘驱动器（phase change rewritable optical disk drive,pd) 最引人注意，松下电气产业 1995最早 被cd-rw和dvd-ram冲击 盘片物理层次（电介质层、 相变记录层、冷却层、保护层、树脂基层）；刻录和读取原理（600 度 400度 晶体和非晶体两种状态） cd-rw 第四章第四章 多媒体硬件环

19、境多媒体硬件环境 2021-5-1537 8 dvd光存储系统：利用mpeg2的压缩技术来储存影像 规格及他们 的功能介绍（dvd-rom dvd-video dvd-audio dvd-r dvd-ram)、 盘片物理结构（单面单层、单面双层、双面单层、双面双层） 9 光盘库系统 图4.4 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1538 第二节 音频接口 1 音频卡的工作原理(3种媒体：数字化声音（wave),合成音乐 （midi),cd音频） 录制和播放：7项技术指标p88 编辑与合成：声音特效（倒播、增加回音、静噪、淡入和淡出、往 返放音、交换声道、声音移位） mid

20、i接口与音乐合成 文语转换和语音识别 游戏接口 cd-rom驱动器接口 支持全双工功能：同时录音和放音 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1539 音频卡的体系结构 组成部件：midi输入/输出电路，midi合成器芯片，多输入混合电 路，模数转换器，压缩芯片，语音合成器，语音识别电路输出电路 体系结构如图4.5 数字化声音处理工作原理（图4.6) fm合成器工作原理（图4.8) 多声源混音的工作原理（图4.7) 同时参看windows的mixer 2.音乐合成和midi接口规范 音乐合成与midi：midi的实质、合成方法、性能参数 midi术语 midi接口 midi

21、技术规范 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1540 3 语音合成：概述、合成方法（3种2个策略）、语音基元数据库的构 建（2个问题）、韵律模拟（待解决的问题） 4 语音识别：语音识别系统的分类（4个分类方法）、最终目标（4个 要求）、研究的难点（4方面）、应用领域 人机交互的最高境界（人类的梦想）自然语言理解 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1541 第三节 视频接口 视频采集、播放和显示设备的功能 1 视频图像显示 显示系统技术：vga混合、可伸缩的vga混合、双缓冲vga混合/ 伸缩、使用数字信号处理器（dsp） 视频显示技术标准：共4代

22、（mda philips的 trimedia; chromatic research的mpact media engine 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1547 intel的mmx技术：multi media extension(多媒体扩展）；4个新特 性（新的数据类型、扩充的饱和型运算方式、扩充的57条新指令、与 ia结构的全兼容性） 2 多媒体总线 pci（peripheral component interconnect)总线：6大特点； agp(accelerated graphics port)总线：三维图形技术的发展必然 3 多媒体个人计算机（mpc)

23、 mpc规范：1 2 3版的最低功能要求 表4.5 mpc的性能：图像处理能力、声音的处理能力、midi乐器数字接 口、动画处理能力、多媒体数据的存储、mpc之间的信息传递 第四章第四章 多媒体硬件环境多媒体硬件环境 2021-5-1548 知识点： 多媒体软件的系统层次 多媒体素材制作软件 多媒体节目著作工具 多媒体程序设计基础 多媒体应用设计 第五章第五章 多媒体软件基础多媒体软件基础 2021-5-1549 第一节 多媒体软件的层次 5类4层：驱动软件、多媒体操作系统、多媒体数据准备软件、多媒 体编辑创作软件、多媒体应用软件 各类软件的作用和分工：对象的概念（交融、多态） 第五章第五章

24、多媒体软件基础多媒体软件基础 2021-5-1550 第二节 多媒体素材制作软件 1 文本编辑和录入软件 2 图形与图像编辑与处理软件 3 音频编辑与处理软件 4 视频编辑 5 动画编辑 了解制作的要点和各类软件应具备的一般功能 了解目前流行的一些素材制作软件 第五章第五章 多媒体软件基础多媒体软件基础 2021-5-1551 第三节 多媒体著作工具 目的：让普通的工作人员能够高效率地制作适合不同专业地多媒体 应用系统 1 概述 几个概念：创作环境、创作系统、创作工具、集成工具 多媒体著作工具的标准：8个功能和特性：p151 多媒体创作模式： 8种 图5.14 类型：2种分类方法11种类型 2

25、 authorware 3 director 4 toolbook 第五章第五章 多媒体软件基础多媒体软件基础 2021-5-1552 第四节 多媒体程序设计基础 1 媒体控制接口（media control interface, mci)：在控制音频、视频 外围设备方面，提供了与设备无关的应用程序 mci编程接口：命令字符串和命令消息 mci命令集：表5.1 mci设备：类型（表5.2）、设备名（win.ini)、打开mci设备 客户/服务器思想 2 多媒体api函数 api函数调用规则：声明、使用值和参数传递 多媒体的api函数 波形声音函数 表5.4 第五章第五章 多媒体软件基础多媒体软

26、件基础 2021-5-1553 第五节 多媒体应用设计 1 多媒体应用分类：6类 2 多媒体应用设计过程 选题 脚本设计 创意设计 人机界面设计：10大设计原则 多媒体应用（节目）是一部交互式电影，需要各类人员的参与 第五章第五章 多媒体软件基础多媒体软件基础 2021-5-1554 第一节 多媒体同步的基本概念 1 基本概念 组织时基的、非时基的多种媒体序列通过传输、合成达到 某种表现效果，称为多媒体同步或合成；时间同步、空间同步。 2 同步的种类：应用同步、合成同步、现场同步、系统同步 3 同步的分层服务模型 图6.2 媒体层、流层、对象层、描述层 再次体会规范的含义，理解数学的魅力-人类

27、最伟大的语言 第六章第六章 多媒体的时间表示与同步多媒体的时间表示与同步 2021-5-1555 第二节 时间模型 1 时间依赖的定义 表6.1 2 时间的概念模型：13种两个区间在时间上所具有的相互关系；图6.4 描述7种基本的关系：before,start,meets,overlap,during,finishes,equals； 前6种都有逆关系； 第六章第六章 多媒体的时间表示与同步多媒体的时间表示与同步 2021-5-1556 第三节 时间的规范与表示 1 时间规范的目的：为了向在创建时和合成时所要求同步的数据 对象提供一种时间关系表达的手段 2 相对时间规范与绝对时间规范 时态瞬时

28、（temporal instants） 时态区间（temporal intervals)：层次化方法；参考点方法 并行和顺序关系：用串行和并行表示时间关系；非周期性区 间的转换 第六章第六章 多媒体的时间表示与同步多媒体的时间表示与同步 2021-5-1557 第四节 多媒体同步的表示方法 基于语言、基于流图；最有意义的要求是能够具有表示并发 及实时表现计时的能力 1 基于图形的表示法： 时间现、流图、petri网（ocpn）、时间 层次法 注意图6.11ocpn与时间关系的对应；图的理解 2 基于脚本的表示法 几个概念：表现、演员、角色、活动、场景 脚本的同步关系（场景运算、场景表达式） 脚

29、本语言的表示：事件、情节、场、实现方法 脚本编程语言：必须有明确的时间语义的定义 3 交互和同步 第六章第六章 多媒体的时间表示与同步多媒体的时间表示与同步 2021-5-1558 第五节 时间同步与系统支持 1 概述 2 系统支持的有关问题 时间表示的数据结构 数据压缩的影响 同步的系统支持 同步异常 第六章第六章 多媒体的时间表示与同步多媒体的时间表示与同步 2021-5-1559 第一节 概述 1 面临的问题 2 主要原因 4大原因 第七章第七章 多媒体操作系统多媒体操作系统 2021-5-1560 第二节 操作系统的问题 1 基本概念（略） 2 多媒体的引入与os的限制 实时服务与时间

30、要求 中断等待 优先权倒置管理 周期性活动 时限和恢复管理 服务质量（qos）管理和许可控制 第七章第七章 多媒体操作系统多媒体操作系统 2021-5-1561 第三节 操作系统对连续媒体的支持 1 体系结构的支持 图7.1 2 资源管理的支持 基于qos的资源控制 实时调度 基于qos的内存管理 基于时间的i/o管理 3 程序设计的支持 实时线程 时限管理 实时同步 第七章第七章 多媒体操作系统多媒体操作系统 2021-5-1562 4 实时进程间通信（ipc) 消息排队 优先权交出 优先权继承 消息分发 第七章第七章 多媒体操作系统多媒体操作系统 2021-5-1563 第四节 支持连续媒

31、体的文件系统 问题的实质：4点 1 单流情况 读取函数、消耗函数与缓冲函数 图7.2 最早起始时间 最少缓冲器 2 多流情况 3 介质调度 传统磁盘调度算法 最早时限优先法（earliest deadline first,edf） scan-edf算法 分组移动调度算法（grouped sweeping scheduling,gss） 第七章第七章 多媒体操作系统多媒体操作系统 2021-5-1564 第一节 超媒体系统的组成 1 超媒体的概念和发展历史 超文本和超媒体的概念： 为了适应人类思维的习惯，研究信 息的表现手段；文本结构的变革；媒体的多样性产生了超媒体。 简史：v.bush 193

32、9 as we may think memex; douglas engelbart 1959 on line system; ted nelson 1960s hypertext; 1980s 著名的系统、国际性会议；1990s 信息高速公路 2 超媒体的组成要素：节点（媒体类节点、动作和操作节点、组 织型节点、推理型节点）；链（基本结构链（基本链、交叉索 引链、节点内注释链）、组织链和推理链（索引链、执行链、 推理链）、其他链（自动连接、类型链）、热标（字、区、元、 点、属性）、宏节点 第八章第八章 超媒体与超媒体与webweb系统系统 2021-5-1565 3 超媒体系统的dexter

33、模型：3层（存储层 storage layer、运行层 run-time layer、元素内部层within-component layer)；2个接口 （锚定接口anchoring、表现规范presentation specification) 4 超媒体系统的组成：3个子系统（作者、读者、支持） 了解各个子系统的功能要求：与写书和读书联系起来学习和 理解。 第八章第八章 超媒体与超媒体与webweb系统系统 2021-5-1566 第二节 web超媒体系统 1 分布式超媒体系统www：超文本抽象机（html和http）； 3层结构（表现层、超文本抽象机器层、超文本信息库层）；统 一资源定位

34、url(universe resourse locator)的作用 2 www中的超媒体协议与标记语言：sgml大家庭：html （固定的标记）、xml（可自由定义的标记） 了解sgml、http、html、xml 3 www的缺陷和未来：存在问题（5个）、局限性（5个）、人 们的工作（hyper-g) 第八章第八章 超媒体与超媒体与webweb系统系统 2021-5-1567 第三节 智能超媒体系统 1 概念：关键是能否提供智能计算 expertext 2 expertext的节点和链：对象节点、规则节点；链要有计算和推 理能力（is-a链、has-a链、藴含链） 3 智能超媒体的推理模型：

35、语义网模型、流控模型 第八章第八章 超媒体与超媒体与webweb系统系统 2021-5-1568 第一节 多媒体数据管理的问题 1 概述：真实世界、计算机世界、映射、表示方法；面向对象数 据库、基于内容检索技术、超媒体技术；另一种管理信息的方 法（数据库） 2 多媒体数据管理的问题：多媒体带来的问题（8大问题）；请 大家思考一下：你怎么来解决这些问题。 3 有哪些多媒体数据：字符、文本、声音、图形、图像、视频 第九章第九章 多媒体数据库与基于内容检索多媒体数据库与基于内容检索 2021-5-1569 第二节 多媒体数据库体系结构 1 结构形式：联邦型、集中统一型、客户/服务型、超媒体型 2 多

36、媒体数据库的层次结构：传统的（物理模式、概念模式、外 部模式），寻找三层模式的感觉；多媒体数据库的层次划分， 三方面的工作：从最低层增加对多媒体数据的控制与支持、在 最高层支持多媒体的综合表现和用户查询描述、在中间增加对 多媒体数据的关联和超链的处理；四层结构：媒体支持、存取 与存储数据模型、概念数据模型、多媒体用户接口 第九章第九章 多媒体数据库与基于内容检索多媒体数据库与基于内容检索 2021-5-1570 第三节 多媒体数据模型 数据模型的3大基本要素：数据对象类型的集合、操作的集合、 通用完整型规则的集合 1 nf2数据模型： nf2（non first normal form)非第一

37、范式，允 许表中有表，理解他们的实现方法；原因是充分利用关系型数 据库的已有成果；该方法的局限性。 2 面向对象的数据模型：关于对象的一些基本概念（对象、属性、 方法、消息、对象类、类层次、继承性）；几种常用的语义关 联（聚集关联（aggregation association,a关联）、概括关联 （generalization association,g关联）、相互作用关联 （interaction association,i关联）、示例关联（instance association)、has-method和has-rule关联 第九章第九章 多媒体数据库与基于内容检索多媒体数据库与基于内容

38、检索 2021-5-1571 运算体系：定义、查询、操纵（引入类和对象后的变化）；3 种运算在类和对象上的新的含义 面向对象多媒体数据模型的特点：共10条；重点从封装、继 承、对象类和实例、复合对象等几方面考虑 3 其他数据模型：超媒体数据模型（网、有向图）、文献模型 （树）、专有媒体数据模型（针对特定领域） 第九章第九章 多媒体数据库与基于内容检索多媒体数据库与基于内容检索 2021-5-1572 第四节 基于内容检索系统的结构和方法 这是一个新兴的领域，大家可以在这里施展才华 1 多媒体与媒体语义：数据、信息、信息表示方法；抽象（引入 语义）；基于内容检索（content based re

39、trieval）的主要研究 内容：如何使系统直接从各种媒体中获取信息线索，并将线索 用于数据库中的检索操作，帮助用户从数据库中检索出合适的 多媒体信息对象，也是能缩小人和计算机之间鸿沟的一个领域 2 基于内容检索系统的一般结构： 图9.10、图9.11；插入子系 统、特征提取子系统、数据库、查询子系统 3 基于内容检索的过程和指标：图9.12；初始检索说明、相似性 匹配、特征调整、重新检索；分割；主要指标：查全率、查准 率 第九章第九章 多媒体数据库与基于内容检索多媒体数据库与基于内容检索 2021-5-1573 4 特征匹配的过程及方法：模糊值（模糊集、隶属函数）；特征 值分类和计算；特征调整；相似特征偏差；相似度及最终求值 第九章第九章 多媒体数据库与基于内容检索多媒体数据库与基于内容检索 2021-5-1574 第五节 图像内容分析及检索方法 1 基于颜色直方图检索：颜色直方图原理及性质（4个性质）； 检索方法（qbe方法：指明颜色组成、指明一幅图像、指明图 像中的一个子图）；颜色直方图的相似性匹配 2 图像轮廓和纹理特征检索：基于骨架和轮廓的检索、基于纹理 的检索 第九章第九章 多媒体数据库与基于内容检索多媒体数据库与基于内容检索