多媒体胡晓峰版.ppt

1、2020/7/30,1,多媒体技术应用,E=mc2 A=X+Y+Z,燕山大学信息科学与工程学院计算机科学与技术系 唐 勇 Email: T,2020/7/30,2,参考文献： 多媒体技术及应用.(美) Tay Vaughan著.清华大学出版社. 2008 多媒体技术.第2版.吴玲达.电子工业出版社. 2007 多媒体计算机与虚拟现实技术.钟玉琢.清华大学出版社. 2009 多媒体技术基础.黄荣怀，陈莉，李松.高等教育出版社. 2008【美】Jerry.Gibson.多媒体数字压缩原理与标准.电子工业出版社.2000,2020/7/30,3,参考文献： 虚拟现实系统.张茂军. 科学出版社.200

2、1 虚拟现实基础及实用算法.石教英. 科学出版社.2002 虚拟现实技术.申蔚, 曾文琪.清华大学出版社. 2009 灵境技术的理论.现实及应用.汪成为. 清华大学出版社.1996.9 虚拟现实技术.(美) Grigore C. Burdea, (法) Philippe Coiffet著.电子工业出版社. 2005 虚拟现实技术与艺术.李勋祥.武汉工业大学出版社. 2007,2020/7/30,4,First of All,1.介绍背景 2.课程的层次(偏理论) 3.课程的重要性和实用性 4.如何学好该课程 5.对该课程的设想(教学形式 手段 交互方式) 6.我的认识,2020/7/30,5,

3、多媒体技术的基本概念 多媒体技术的发展历程 多媒体技术的研究内容 第一节 多媒体的基本概念 1 媒体与多媒体 媒体（感觉,表示,显示,存储,传输）； 多媒体技术的定义；多媒体的技术组成：计算机、电视、广播通信、印刷、心理学、行为科学 2 多媒体的关键特性 信息载体的多样性、交互性、集成性,第一章 概 论,2020/7/30,6,第二节 多媒体技术的产生和发展 （科学技术的发展来源于人性的原始欲望，生产力的时代性） 1 多媒体是技术和应用发展的必然 2 多媒体改善了人类信息的交流：在计算机描绘的世界中找寻现实世界的感受 3 多媒体缩短了人类传递信息的路径：让神话和梦想成为现实，接近人类的想象世界

4、,第一章 概 论,2020/7/30,7,第三节 多媒体技术研究的主要内容 （多媒体技术、多媒体系统；分类技巧） 1 多媒体技术的基础 媒体的性质和相应的处理方法；数据压缩技术 （媒体的基本特性、媒体数据压缩编码基本方法2章） 2 多媒体软硬件平台 （多媒体硬件环境、多媒体软件基础2章） 3 多媒体操作系统技术 （媒体的时间关系、多媒体操作系统2章）,第一章 概 论,2020/7/30,8,4 多媒体信息管理技术 （超媒体与WEB系统、多媒体数据库与基于内容检索2章） 5 多媒体通信与分布应用技术 （多媒体通信与网络、分布式多媒体应用系统2章） 学习的历程、规划知识树的历程、认识世界和自己的历

5、程 是一段充满苦和乐、喜与忧的历程 祝大家体会到学习的快乐,第一章 概 论,2020/7/30,9,第一节 媒体的之类和特点 1 常见的媒体元素 文本（Text) 、图形（Graphic）、图象（Image）、视频（Video）、音频（Audio）、动画（Animation） 含义，基本内容，基本概念，主要技术，技术参数 2 媒体的种类 视觉类媒体、听觉类媒体、触觉类媒体 3 媒体的性质和特点 四种性质：格式、表达方式和程度、相互转换、相互关系,第二章 媒体与媒体技术,2020/7/30,10,重新审视人类信息获取机能 试图用抽象的方法揭示信息感知模型 构划出多媒体技术的生理和理论基础,202

6、0/7/30,11,空间性质：表现空间、空间结构（关系）；视觉空间、听觉空间、触觉空间（获取和再现） 时间性质：表现时间、时间结构（关系）；周期、非周期；同步、实时 媒体的语义：二进制位流 、抽象层次不同语义的重点不同 媒体结合的影响：被理解程度（视觉83、听觉11、触觉3、其余4）；记忆驻留效果（谈话 2小时后70，72小时后10；观看 2小时后72，72小时后20；视听并举 2小时后85，72小时后65）感觉相乘效应 隐喻（metaphor）:与多媒体系统交互的概念模型（心智模型）隐喻技术虚拟现实空间。,第二章 媒体与媒体技术,2020/7/30,12,第2节 听觉媒体技术 心理学、数字化

7、和符号化、三维处理 1 声音心理学 声音的量纲：波：频率、振幅、相位 声强：分贝两个波峰幅度A和B之比 dB=20log109(A/B) 声音与参照声之间的差指就是它的分贝数 0dB=2.83X10-4 dyn(达因)/cm2 痛苦限为100120dB 心理上（响度、音调） 他们和强度与频率的关系（3点） 见表2。1 听觉曲线、掩蔽、临界频带、相位、自然声音的识辨现象、听觉空间、听觉的频谱特性、声音的心理模拟,第二章 媒体与媒体技术,2020/7/30,13,2 音频的数字化和符号化 音频信号的处理3点：人机、机人、人机人 两个方向：采样和处理（压缩、符号化）；再现 奈奎斯特采样定理：只要采样

8、频率高于信号中最高频率的2倍，就可以从采样中完全恢复原始信号的波形。 20HZ20kHZ 11.025kHZ 22.05kHZ 44.1kHZ PCM(Pulse Code Modulation,脉冲编码调制） 声音的数据量（采样频率X量化精度X声道数）/8(Byte/s) 数字音频文件格式表2。2 声音的符号化 MIDI(Musical Instrument Digital Interface) 适合的情况,第二章 媒体与媒体技术,2020/7/30,14,3 音频媒体的三维化处理 三维虚拟声音空间(Three Dimensional Virtual Acoustic,3DVA) 达到的5个

9、目标 3DVA的基本理论 HRTF方法（双耳相关函数法）（Head-Related Transfer Function,与头部有关的转移函数） NASA Ames 研究中心音响实验室,第二章 媒体与媒体技术,2020/7/30,15,第三节 视觉媒体技术 1 视觉心理学 心理特征：心理变量和物理变量的关系表2。3 视觉特性：亮度、时间特性、彩色、注视点和视野范围 2 模拟视频原理 宽高比 4：3 16：9 制式：PAL NTSC SECAM 彩色空间：RGB YUV YIQ 3 视觉媒体数字化 位图图象与数字视频,第二章 媒体与媒体技术,2020/7/30,16,图形 与图象的关系 符号与文字

10、 数字视觉媒体文件格式表2。4 4 视觉媒体的三维立体显示 立体显示原理 视差（零视差、正视差、负视差、发散视差） 立体图象的产生（旋转法、投影变换法）、显示（2种方法：交替显示、分别显示）,第二章 媒体与媒体技术,2020/7/30,17,第四节 触觉媒体技术 1 概述 环境媒体 位置跟踪、力量反馈 2 简单指点设备与技术（任务5项、指点设备） 3 位置跟踪（手指动作测量和数字化、空间位置跟踪） 超声波发射器、六自由度 4 力反馈（例子）、触觉反馈（数据手套）、热觉反馈 逼真和危险,第二章 媒体与媒体技术,2020/7/30,18,知识点 1 数据压缩的基本原理和方法 2 音频压缩编码的基本

11、方法 3 各种音频压缩标准 4 图象和视频压缩编码的基本方法 5 静止图像压缩标准 6 视频压缩标准,第三章 多媒体数据压缩,2020/7/30,19,第一节 数据压缩的基本原理和方法 数字化后数据量太大；数据的冗余大 1 数据压缩技术的性能指标：压缩比（压缩比特流中每个象素所需的比特数bpp(bits per pixel)、图像质量(有损、无损 尺度评分法项目）、压缩和解压速度（视频有帧速） 2 数据冗余的类型与压缩方法分类 空间、时间、信息熵（比特分配不能达到最佳引起的）、视觉、听觉和其他 失真、不失真；预测、变换、统计、分析合成、混合和其他 各有优缺点,第三章 多媒体数据压缩,2020/

12、7/30,20,3 常用数据压缩方法的基本原理 统计编码（行程编码（Run Length Coding)、LZW编码、霍夫曼编码、算术编码） 预测编码（DPCM 差分脉冲调制编码、ADPCM 自适应差分脉冲调制编码） 变换编码（最佳变换K-L变换、离散余弦变换DCT）：变换、变换域采样、量化 分析合成编码（量化、小波变换、分形图象、子带）：通过对原数据的分析，将其分解成一系列更适合于表示的“基元”或从中提取若干具有更本质意义的参数，编码仅对这些基本单元或特征参数进行；译码则借助于一定的规则或模型，按照一定的算法将这些基元或参数再综合成原数据的逼近。,第三章 多媒体数据压缩,2020/7/30,

13、21,霍夫曼编码 霍夫曼(Huffman)在1952年提出了另一种编码方法，即从下到上的编码方法。初始化，根据符号概率的大小按由大到小顺序对符号进行排序。 符号 出现的次数(Pi) log2(1/pi) 分配的代码 需要的位数 A 15(0.3846) 1.38 0 15 B 7(0.1795) 2.48 100 21 C 6(0.1538) 2.70 101 18 D 6(0.1538) 2.70 110 18 E 5(0.1282) 2.96 111 15 * 把概率最小的两个符号组成一个节点P1。 * 重复步骤2，得到节点P2、P3和P4，形成一棵“树”，其中的P4称为根节点。,第三章

14、多媒体数据压缩,2020/7/30,22,按照仙农理论，这幅图像的熵为: H（S）=(15/39) log2(39/15) + (7/39) log2(39/7) + (7/39) log2(39/7) + (6/39) log2(39/6) + (5/39) log2(39/5) = 2.1859,第三章 多媒体数据压缩,2020/7/30,23,N=1* 0.3846+3*( 0.1795+ 0.1538+ 0.1538+ 0.1282)=2.2305 H=2.1859 对上例总结如下： （1）NH （2）保证解码的唯一性，短码不构成长码的前缀 （3）在接收端保存一个与发送端相同的霍夫曼码

15、表,第三章 多媒体数据压缩,2020/7/30,24,第二节 音频的压缩 语音300HZ3.4kHZ；调幅广播50HZ7kHZ ；高保真度音频10HZ20kHZ 1 音频压缩编码的基本方法 如图3.1 2 电话质量语音压缩标准（采样、量化、编码、比特率、标准）G.711 G.721 G.723 G.728 表3。2 3 调幅广播质量的音频压缩标准G.722 4 高保真立体声音频压缩标准MPEG音频 编码器原理图3。2,第三章 多媒体数据压缩,2020/7/30,25,第三节 图象和视频的压缩 1 基本方法 如图3.3 彩色空间的转换（电视卡、全频道） 2 静止图像压缩标准 ISO的JPEG、J

16、BIG;ITU-T的G3、G4 JPEG: 无损预测编码算法、基于DCT的有损编码算法（6步）、基于DCT的增强系统（2种累进操作方式）、基于DCT的分层操作方式（编码过程5步） JPEG2000:6部分主要内容、算法（离散余弦变换算法DCT、离散小波变换算法DWT）、特点（高压缩率、无损压缩、渐进传输、感兴趣区域压缩、色彩模式、图像处理简单）,第三章 多媒体数据压缩,2020/7/30,26,3 视频压缩标准 MPEG-1 MPEG-2 MPEG-4 MPEG-7 MPEG-21；H.261 H.263；运动JPEG MPEG-1: 目标、内容、压缩技术（基于16X16子块的运动补偿，减少帧

17、序列的时域冗余、基于DCT的压缩技术减少空间冗余） 内码帧（I） 预测帧（P）插补帧（B）D帧及其编码 时间冗余量的减少：运动补偿预测法、运动补偿插补法 空域冗余量的减少：变换编码技术、矢量量化技术 MPEG的分层结构和位流 6个层次（块层、宏块层、宏块片层、图像层、图像组层、图像序列层） 基本要求,第三章 多媒体数据压缩,2020/7/30,27,MPEG-2： 目标、内容（MPEG-2系统（5项基本功能）、 MPEG-2 视频（多需求、特色（框架和级别、压缩编码的数据结构、比特流的语义规则）层次要求 MPEG-4：以内容为中心的描述方法，视频对象VO(Video Object),音频对象A

18、O(Audio Object) 内容要求 基于内容的视频编码（3步）, 基于VOP的编码（形状编码、运动估计和运动补偿、纹理编码、分级扩展编码） MPEG-7：内容描述接口的编码方案（描述原则、多媒体特征类型、视觉数据的描述、听觉数据的描述）网络要求 MPEG-21：将标准集成起来支持和谐的技术以管理多媒体商务 欲望要求,第三章 多媒体数据压缩,2020/7/30,28,光存储 音频接口 视频接口 多媒体I/O设备 多媒体计算机 透过硬件看科学、 技术的发展,第四章 多媒体硬件环境,2020/7/30,29,第一节 光存储设备 20多年了，光学、微电子技术、光电子技术及材料科学的发展光学存储技

19、术 优点：存储容量大、工作稳定、密度高、寿命长、介质可换、便于携带、价格低廉 系统组成：光盘驱动器、光盘盘片 工作过程： 1 光存储的类型：只读型、一次写、可重写型（各自的含义） 2 光存储系统的技术指标：尺寸（12英寸、 4.72英寸、 14.12英寸、 5.25英寸、 3.5英寸、容量（格式化容量、用户容量）、,第四章 多媒体硬件环境,2020/7/30,30,试图在知识的海洋中找到一条航线，通向大家兴趣的顶点 硬件产业的游戏规则 我国工业基础的差距 体会各种科学分支是多么的亲近,2020/7/30,31,平均存取时间 平均寻道时间 平均等待时间、数据传输率（数据传输率、同步传输率 异步传

20、输率 DMA传输率、突发传输率、持续传输率）、误码率、平均无故障时间 3 光存储格式标准和类型 （数据格式、编码方法、物理尺寸、CD技术） 如表4.1 4 CD-ROM光存储系统：盘片物理层次（漆膜保护层、反射铝层、聚碳酸酯基层）；驱动器构造（光头、聚焦伺服、道跟踪伺服、CLV伺服、EFM解调、错误检测和校正处理）,第四章 多媒体硬件环境,2020/7/30,32,5 CD-R光存储系统：1991.11 Philips(Compact Disc Recordable)、一次写多次读的可刻录光盘系统 盘片物理层次（漆膜保护层、反射金层、染料记录层、聚碳酸酯基层）；刻录和读取原理（激光照射产生热量

21、将有机染料烧熔并使其变成光痕） 6 磁光（MO)存储系统： 盘片物理层次（氮化硅保护层、铝合金反射层、记录层铁钴合金、树脂基层）；刻录和读取原理（300度居里点） 7 相变（PD)光存储系统：相变式可重复檫写光盘驱动器（Phase Change Rewritable Optical Disk Drive,PD) 最引人注意，松下电气产业1995最早 被CD-RW和DVD-RAM冲击 盘片物理层次（电介质层、相变记录层、冷却层、保护层、树脂基层）；刻录和读取原理（600度 400度 晶体和非晶体两种状态） CD-RW,第四章 多媒体硬件环境,2020/7/30,33,8 DVD光存储系统：利用M

22、PEG2的压缩技术来储存影像 规格及他们的功能介绍（DVD-ROM DVD-Video DVD-Audio DVD-R DVD-RAM)、盘片物理结构（单面单层、单面双层、双面单层、双面双层） 9 光盘库系统 图4.4,第四章 多媒体硬件环境,2020/7/30,34,第二节 音频接口 1 音频卡的工作原理(3种媒体：数字化声音（Wave),合成音乐（MIDI),CD音频） 录制和播放：7项技术指标p88 编辑与合成：声音特效（倒播、增加回音、静噪、淡入和淡出、往返放音、交换声道、声音移位） MIDI接口与音乐合成 文语转换和语音识别 游戏接口 CD-ROM驱动器接口 支持全双工功能：同时录音

23、和放音,第四章 多媒体硬件环境,2020/7/30,35,音频卡的体系结构 组成部件：MIDI输入/输出电路，MIDI合成器芯片，多输入混合电路，模数转换器，压缩芯片，语音合成器，语音识别电路输出电路 体系结构如图4.5 数字化声音处理工作原理（图4.6) FM合成器工作原理（图4.8) 多声源混音的工作原理（图4.7) 同时参看WINDOWS的MIXER 2.音乐合成和MIDI接口规范 音乐合成与MIDI：MIDI的实质、合成方法、性能参数 MIDI术语 MIDI接口 MIDI技术规范,第四章 多媒体硬件环境,2020/7/30,36,3 语音合成：概述、合成方法（3种2个策略）、语音基元数

24、据库的构建（2个问题）、韵律模拟（待解决的问题） 4 语音识别：语音识别系统的分类（4个分类方法）、最终目标（4个要求）、研究的难点（4方面）、应用领域 人机交互的最高境界（人类的梦想）自然语言理解,第四章 多媒体硬件环境,2020/7/30,37,第三节 视频接口 视频采集、播放和显示设备的功能 1 视频图像显示 显示系统技术：VGA混合、可伸缩的VGA混合、双缓冲VGA混合/伸缩、使用数字信号处理器（DSP） 视频显示技术标准：共4代（MDA Philips的Trimedia; Chromatic Research的Mpact Media Engine,第四章 多媒体硬件环境,2020/7

25、/30,43,Intel的MMX技术：Multi Media eXtension(多媒体扩展）；4个新特性（新的数据类型、扩充的饱和型运算方式、扩充的57条新指令、与IA结构的全兼容性） 2 多媒体总线 PCI（Peripheral Component Interconnect)总线：6大特点； AGP(Accelerated Graphics Port)总线：三维图形技术的发展必然 3 多媒体个人计算机（MPC) MPC规范：1 2 3版的最低功能要求 表4.5 MPC的性能：图像处理能力、声音的处理能力、MIDI乐器数字接口、动画处理能力、多媒体数据的存储、MPC之间的信息传递,第四章 多

26、媒体硬件环境,2020/7/30,44,知识点： 多媒体软件的系统层次 多媒体素材制作软件 多媒体节目著作工具 多媒体程序设计基础 多媒体应用设计,第五章 多媒体软件基础,2020/7/30,45,第一节 多媒体软件的层次 5类4层：驱动软件、多媒体操作系统、多媒体数据准备软件、多媒体编辑创作软件、多媒体应用软件 各类软件的作用和分工：对象的概念（交融、多态）,第五章 多媒体软件基础,2020/7/30,46,第二节 多媒体素材制作软件 1 文本编辑和录入软件 2 图形与图像编辑与处理软件 3 音频编辑与处理软件 4 视频编辑 5 动画编辑 了解制作的要点和各类软件应具备的一般功能 了解目前流

27、行的一些素材制作软件,第五章 多媒体软件基础,2020/7/30,47,第三节 多媒体著作工具 目的：让普通的工作人员能够高效率地制作适合不同专业地多媒体应用系统 1 概述 几个概念：创作环境、创作系统、创作工具、集成工具 多媒体著作工具的标准：8个功能和特性：p151 多媒体创作模式： 8种 图5.14 类型：2种分类方法11种类型 2 Authorware 3 Director 4 ToolBook,第五章 多媒体软件基础,2020/7/30,48,第四节 多媒体程序设计基础 1 媒体控制接口（Media Control Interface, MCI)：在控制音频、视频外围设备方面，提供了

28、与设备无关的应用程序 MCI编程接口：命令字符串和命令消息 MCI命令集：表5.1 MCI设备：类型（表5.2）、设备名（WIN.INI)、打开MCI设备 客户/服务器思想 2 多媒体API函数 API函数调用规则：声明、使用值和参数传递 多媒体的API函数 波形声音函数 表5.4,第五章 多媒体软件基础,2020/7/30,49,第五节 多媒体应用设计 1 多媒体应用分类：6类 2 多媒体应用设计过程 选题 脚本设计 创意设计 人机界面设计：10大设计原则 多媒体应用（节目）是一部交互式电影，需要各类人员的参与,第五章 多媒体软件基础,2020/7/30,50,第一节 多媒体同步的基本概念

29、1 基本概念 组织时基的、非时基的多种媒体序列通过传输、合成达到某种表现效果，称为多媒体同步或合成；时间同步、空间同步。 2 同步的种类：应用同步、合成同步、现场同步、系统同步 3 同步的分层服务模型 图6.2 媒体层、流层、对象层、描述层 再次体会规范的含义，理解数学的魅力-人类最伟大的语言,第六章 多媒体的时间表示与同步,2020/7/30,51,第二节 时间模型 1 时间依赖的定义 表6.1 2 时间的概念模型：13种两个区间在时间上所具有的相互关系；图6.4描述7种基本的关系：before,start,meets,overlap,during,finishes,equals；前6种都有

30、逆关系；,第六章 多媒体的时间表示与同步,2020/7/30,52,第三节 时间的规范与表示 1 时间规范的目的：为了向在创建时和合成时所要求同步的数据对象提供一种时间关系表达的手段 2 相对时间规范与绝对时间规范 时态瞬时（Temporal Instants） 时态区间（Temporal Intervals)：层次化方法；参考点方法 并行和顺序关系：用串行和并行表示时间关系；非周期性区间的转换,第六章 多媒体的时间表示与同步,2020/7/30,53,第四节 多媒体同步的表示方法 基于语言、基于流图；最有意义的要求是能够具有表示并发及实时表现计时的能力 1 基于图形的表示法： 时间现、流图、

31、Petri网（OCPN）、时间层次法 注意图6.11OCPN与时间关系的对应；图的理解 2 基于脚本的表示法 几个概念：表现、演员、角色、活动、场景 脚本的同步关系（场景运算、场景表达式） 脚本语言的表示：事件、情节、场、实现方法 脚本编程语言：必须有明确的时间语义的定义 3 交互和同步,第六章 多媒体的时间表示与同步,2020/7/30,54,第五节 时间同步与系统支持 1 概述 2 系统支持的有关问题 时间表示的数据结构 数据压缩的影响 同步的系统支持 同步异常,第六章 多媒体的时间表示与同步,2020/7/30,55,第一节 概述 1 面临的问题 2 主要原因 4大原因,第七章 多媒体操

32、作系统,2020/7/30,56,第二节 操作系统的问题 1 基本概念（略） 2 多媒体的引入与OS的限制 实时服务与时间要求 中断等待 优先权倒置管理 周期性活动 时限和恢复管理 服务质量（QoS）管理和许可控制,第七章 多媒体操作系统,2020/7/30,57,第三节 操作系统对连续媒体的支持 1 体系结构的支持 图7.1 2 资源管理的支持 基于QoS的资源控制 实时调度 基于QoS的内存管理 基于时间的I/O管理 3 程序设计的支持 实时线程 时限管理 实时同步,第七章 多媒体操作系统,2020/7/30,58,4 实时进程间通信（IPC) 消息排队 优先权交出 优先权继承 消息分发,

33、第七章 多媒体操作系统,2020/7/30,59,第四节 支持连续媒体的文件系统 问题的实质：4点 1 单流情况 读取函数、消耗函数与缓冲函数 图7.2 最早起始时间 最少缓冲器 2 多流情况 3 介质调度 传统磁盘调度算法 最早时限优先法（Earliest Deadline First,EDF） SCAN-EDF算法 分组移动调度算法（Grouped Sweeping Scheduling,GSS）,第七章 多媒体操作系统,2020/7/30,60,第一节 超媒体系统的组成 1 超媒体的概念和发展历史 超文本和超媒体的概念： 为了适应人类思维的习惯，研究信息的表现手段；文本结构的变革；媒体的

34、多样性产生了超媒体。 简史：V.Bush 1939 As We may Think Memex; Douglas Engelbart 1959 oN Line System; Ted Nelson 1960s Hypertext; 1980s 著名的系统、国际性会议；1990s 信息高速公路 2 超媒体的组成要素：节点（媒体类节点、动作和操作节点、组织型节点、推理型节点）；链（基本结构链（基本链、交叉索引链、节点内注释链）、组织链和推理链（索引链、执行链、推理链）、其他链（自动连接、类型链）、热标（字、区、元、点、属性）、宏节点,第八章 超媒体与Web系统,2020/7/30,61,3 超媒体

35、系统的Dexter模型：3层（存储层 storage layer、运行层run-time layer、元素内部层within-component layer)；2个接口（锚定接口anchoring、表现规范presentation specification) 4 超媒体系统的组成：3个子系统（作者、读者、支持） 了解各个子系统的功能要求：与写书和读书联系起来学习和理解。,第八章 超媒体与Web系统,2020/7/30,62,第二节 Web超媒体系统 1 分布式超媒体系统WWW：超文本抽象机（HTML和HTTP）；3层结构（表现层、超文本抽象机器层、超文本信息库层）；统一资源定位URL(Uni

36、verse Resourse Locator)的作用 2 WWW中的超媒体协议与标记语言：SGML大家庭：HTML（固定的标记）、XML（可自由定义的标记） 了解SGML、HTTP、HTML、XML 3 WWW的缺陷和未来：存在问题（5个）、局限性（5个）、人们的工作（Hyper-G),第八章 超媒体与Web系统,2020/7/30,63,第三节 智能超媒体系统 1 概念：关键是能否提供智能计算 Expertext 2 Expertext的节点和链：对象节点、规则节点；链要有计算和推理能力（Is-a链、Has-a链、藴含链） 3 智能超媒体的推理模型：语义网模型、流控模型,第八章 超媒体与We

37、b系统,2020/7/30,64,第一节 多媒体数据管理的问题 1 概述：真实世界、计算机世界、映射、表示方法；面向对象数据库、基于内容检索技术、超媒体技术；另一种管理信息的方法（数据库） 2 多媒体数据管理的问题：多媒体带来的问题（8大问题）；请大家思考一下：你怎么来解决这些问题。 3 有哪些多媒体数据：字符、文本、声音、图形、图像、视频,第九章 多媒体数据库与基于内容检索,2020/7/30,65,第二节 多媒体数据库体系结构 1 结构形式：联邦型、集中统一型、客户/服务型、超媒体型 2 多媒体数据库的层次结构：传统的（物理模式、概念模式、外部模式），寻找三层模式的感觉；多媒体数据库的层次

38、划分，三方面的工作：从最低层增加对多媒体数据的控制与支持、在最高层支持多媒体的综合表现和用户查询描述、在中间增加对多媒体数据的关联和超链的处理；四层结构：媒体支持、存取与存储数据模型、概念数据模型、多媒体用户接口,第九章 多媒体数据库与基于内容检索,2020/7/30,66,第三节 多媒体数据模型 数据模型的3大基本要素：数据对象类型的集合、操作的集合、通用完整型规则的集合 1 NF2数据模型： NF2（Non First Normal Form)非第一范式，允许表中有表，理解他们的实现方法；原因是充分利用关系型数据库的已有成果；该方法的局限性。 2 面向对象的数据模型：关于对象的一些基本概念

39、（对象、属性、方法、消息、对象类、类层次、继承性）；几种常用的语义关联（聚集关联（Aggregation association,A关联）、概括关联（Generalization association,G关联）、相互作用关联（Interaction association,I关联）、示例关联（Instance association)、has-method和has-rule关联,第九章 多媒体数据库与基于内容检索,2020/7/30,67,运算体系：定义、查询、操纵（引入类和对象后的变化）；3种运算在类和对象上的新的含义 面向对象多媒体数据模型的特点：共10条；重点从封装、继承、对象类和实例

40、、复合对象等几方面考虑 3 其他数据模型：超媒体数据模型（网、有向图）、文献模型（树）、专有媒体数据模型（针对特定领域）,第九章 多媒体数据库与基于内容检索,2020/7/30,68,第四节 基于内容检索系统的结构和方法 这是一个新兴的领域，大家可以在这里施展才华 1 多媒体与媒体语义：数据、信息、信息表示方法；抽象（引入语义）；基于内容检索（Content Based Retrieval）的主要研究内容：如何使系统直接从各种媒体中获取信息线索，并将线索用于数据库中的检索操作，帮助用户从数据库中检索出合适的多媒体信息对象，也是能缩小人和计算机之间鸿沟的一个领域 2 基于内容检索系统的一般结构： 图9.10、图9.11；插入子系统、特征提取子系统、数据库、查询子系统 3 基于内容检索的过程和指标：图9.12；初始检索说明、相似性匹配、特征调整、重新检索；分割；主要指标：查全率、查准率,第九章 多媒体数据库与基于内容检索,2020/7/30,69,4 特征匹配的过程及方法：模糊值（模糊集、隶属函数）；特征值分类和计算；特征调整；相似特征偏差；相似度及最终求值,第九章 多媒体数据库与基于内容检索,2020/7/30,70,第五节 图像内容分析及检索方法 1 基于