多媒体技术应用教学PPT.ppt

2019 12 20 1 多媒体技术应用 e mc2a x y z 燕山大学信息科学与工程学院计算机科学与技术系唐勇email tangyong 2019 12 20 2 参考文献 有用吗 多媒体技术及应用 美 tayvaughan著 清华大学出版社 2008多媒体技术 第2版 吴玲达 电子工业出版社 2007多媒体计算机与虚拟现实技术 钟玉琢 清华大学出版社 2009多媒体技术基础及应用 第3版 钟玉琢 清华大学出版社 2012多媒体技术基础 黄荣怀 陈莉 李松 高等教育出版社 2008 美 jerry gibson 多媒体数字压缩原理与标准 电子工业出版社 2000 2019 12 20 3 参考文献 虚拟现实系统 张茂军 科学出版社 2001虚拟现实基础及实用算法 石教英 科学出版社 2002虚拟现实技术 申蔚 曾文琪 清华大学出版社 2009灵境技术的理论 现实及应用 汪成为 清华大学出版社 1996 9虚拟现实技术 美 grigorec burdea 法 philippecoiffet著 电子工业出版社 2005虚拟现实技术与艺术 李勋祥 武汉工业大学出版社 2007 2019 12 20 4 firstofall 1 介绍背景2 课程的层次 偏理论 3 课程的重要性和实用性4 如何学好该课程5 对该课程的设想 教学形式手段交互方式 6 我的认识 课程安排 一 人员 2个老师 8个硕士内容 6个专题特点 经典 深入 新颖 前沿 科普要求 全体出席 缺席2次取消考试资格希望 收获 自信 狂想 享受实惠 建立专业自信心 发掘兴趣本源 2019 12 20 5 课程安排 二 我的内容 多媒体技术基础 序 媒体元素 压缩 多媒体硬件 时代性 透过硬件看科技 多媒体软件 实用性 每一个都是技能 时间的故事 数学之美 生活的抽象 2019 12 20 6 课程安排 三 今天的内容 序 观念 透视身边的世界 媒体元素 审视我们如何感受世界 转换 压缩 假设我们也生活在那个时代 时间的故事 奇妙无比 2019 12 20 7 2019 12 20 8 多媒体技术的基本概念多媒体技术的发展历程多媒体技术的研究内容第一节多媒体的基本概念1媒体与多媒体媒体 感觉 表示 显示 存储 传输 多媒体技术的定义 多媒体的技术组成 计算机 电视 广播通信 印刷 心理学 行为科学2多媒体的关键特性信息载体的多样性 交互性 集成性 第一章概论 2019 12 20 9 第二节多媒体技术的产生和发展 科学技术的发展来源于人性的原始欲望 生产力的时代性 1多媒体是技术和应用发展的必然2多媒体改善了人类信息的交流 在计算机描绘的世界中找寻现实世界的感受3多媒体缩短了人类传递信息的路径 让神话和梦想成为现实 接近人类的想象世界 第一章概论 2019 12 20 10 第三节多媒体技术研究的主要内容 多媒体技术 多媒体系统 分类技巧 1多媒体技术的基础媒体的性质和相应的处理方法 数据压缩技术 媒体的基本特性 媒体数据压缩编码基本方法2章 2多媒体软硬件平台 多媒体硬件环境 多媒体软件基础2章 3多媒体操作系统技术 媒体的时间关系 多媒体操作系统2章 第一章概论 2019 12 20 11 4多媒体信息管理技术 超媒体与web系统 多媒体数据库与基于内容检索2章 5多媒体通信与分布应用技术 多媒体通信与网络 分布式多媒体应用系统2章 学习的历程 规划知识树的历程 认识世界和自己的历程是一段充满苦和乐 喜与忧的历程祝大家体会到学习的快乐 第一章概论 2019 12 20 12 第一节媒体的之类和特点1常见的媒体元素文本 text 图形 graphic 图象 image 视频 video 音频 audio 动画 animation 含义 基本内容 基本概念 主要技术 技术参数2媒体的种类视觉类媒体 听觉类媒体 触觉类媒体3媒体的性质和特点四种性质 格式 表达方式和程度 相互转换 相互关系 第二章媒体与媒体技术 2019 12 20 13 重新审视人类信息获取机能试图用抽象的方法揭示信息感知模型构划出多媒体技术的生理和理论基础 2019 12 20 14 空间性质 表现空间 空间结构 关系 视觉空间 听觉空间 触觉空间 获取和再现 时间性质 表现时间 时间结构 关系 周期 非周期 同步 实时媒体的语义 二进制位流 抽象层次不同语义的重点不同媒体结合的影响 被理解程度 视觉83 听觉11 触觉3 其余 4 记忆驻留效果 谈话2小时后70 72小时后10 观看2小时后72 72小时后20 视听并举2小时后85 72小时后65 感觉相乘效应隐喻 metaphor 与多媒体系统交互的概念模型 心智模型 隐喻技术 虚拟现实空间 第二章媒体与媒体技术 2019 12 20 15 第2节听觉媒体技术心理学 数字化和符号化 三维处理1声音心理学声音的量纲 波 频率 振幅 相位声强 分贝 两个波峰幅度a和b之比db 20log109 a b 声音与参照声之间的差指就是它的分贝数0db 2 83x10 4dyn 达因 cm2痛苦限为100 120db心理上 响度 音调 他们和强度与频率的关系 3点 见表2 1听觉曲线 掩蔽 临界频带 相位 自然声音的识辨现象 听觉空间 听觉的频谱特性 声音的心理模拟 第二章媒体与媒体技术 2019 12 20 16 2音频的数字化和符号化音频信号的处理3点 人机 机人 人机人两个方向 采样和处理 压缩 符号化 再现奈奎斯特采样定理 只要采样频率高于信号中最高频率的2倍 就可以从采样中完全恢复原始信号的波形 20hz 20khz11 025khz22 05khz44 1khzpcm pulsecodemodulation 脉冲编码调制 声音的数据量 采样频率x量化精度x声道数 8 byte s 数字音频文件格式表2 2声音的符号化midi musicalinstrumentdigitalinterface 适合的情况 第二章媒体与媒体技术 2019 12 20 17 3音频媒体的三维化处理三维虚拟声音空间 threedimensionalvirtualacoustic 3dva 达到的5个目标3dva的基本理论hrtf方法 双耳相关函数法 head relatedtransferfunction 与头部有关的转移函数 nasaames研究中心音响实验室 第二章媒体与媒体技术 2019 12 20 18 第三节视觉媒体技术1视觉心理学心理特征 心理变量和物理变量的关系表2 3视觉特性 亮度 时间特性 彩色 注视点和视野范围2模拟视频原理宽高比4 316 9制式 palntscsecam彩色空间 rgbyuvyiq3视觉媒体数字化位图图象与数字视频 第二章媒体与媒体技术 2019 12 20 19 图形与图象的关系符号与文字数字视觉媒体文件格式表2 44视觉媒体的三维立体显示立体显示原理视差 零视差 正视差 负视差 发散视差 立体图象的产生 旋转法 投影变换法 显示 2种方法 交替显示 分别显示 第二章媒体与媒体技术 2019 12 20 20 第四节触觉媒体技术1概述环境媒体位置跟踪 力量反馈2简单指点设备与技术 任务5项 指点设备 3位置跟踪 手指动作测量和数字化 空间位置跟踪 超声波发射器 六自由度4力反馈 例子 触觉反馈 数据手套 热觉反馈逼真和危险 第二章媒体与媒体技术 本章思考 terriblyfunny exciting 文本 图形 图像 视频 动画 音频六大媒体元素之间的转换牵引着当代科学技术和日常生活 我们一起来遐想 也许其中之一就是你一生的事业 2019 12 20 21 2019 12 20 22 知识点1数据压缩的基本原理和方法2音频压缩编码的基本方法3各种音频压缩标准4图象和视频压缩编码的基本方法5静止图像压缩标准6视频压缩标准 第三章多媒体数据压缩 2019 12 20 23 第一节数据压缩的基本原理和方法数字化后数据量太大 数据的冗余大1数据压缩技术的性能指标 压缩比 压缩比特流中每个象素所需的比特数bpp bitsperpixel 图像质量 有损 无损尺度评分法项目 压缩和解压速度 视频有 帧速 2数据冗余的类型与压缩方法分类空间 时间 信息熵 比特分配不能达到最佳引起的 视觉 听觉和其他失真 不失真 预测 变换 统计 分析 合成 混合和其他各有优缺点 第三章多媒体数据压缩 2019 12 20 24 3常用数据压缩方法的基本原理统计编码 行程编码 runlengthcoding lzw编码 霍夫曼编码 算术编码 预测编码 dpcm差分脉冲调制编码 adpcm自适应差分脉冲调制编码 变换编码 最佳变换k l变换 离散余弦变换dct 变换 变换域采样 量化分析 合成编码 量化 小波变换 分形图象 子带 通过对原数据的分析 将其分解成一系列更适合于表示的 基元 或从中提取若干具有更本质意义的参数 编码仅对这些基本单元或特征参数进行 译码则借助于一定的规则或模型 按照一定的算法将这些基元或参数再综合成原数据的逼近 第三章多媒体数据压缩 2019 12 20 25 霍夫曼编码霍夫曼 huffman 在1952年提出了另一种编码方法 即从下到上的编码方法 初始化 根据符号概率的大小按由大到小顺序对符号进行排序 符号出现的次数 pi log2 1 pi 分配的代码需要的位数a15 0 3846 1 38015b7 0 1795 2 4810021c6 0 1538 2 7010118d6 0 1538 2 7011018e5 0 1282 2 9611115 把概率最小的两个符号组成一个节点p1 重复步骤2 得到节点p2 p3和p4 形成一棵 树 其中的p4称为根节点 第三章多媒体数据压缩 2019 12 20 26 按照仙农理论 这幅图像的熵为 h s 15 39 log2 39 15 7 39 log2 39 7 7 39 log2 39 7 6 39 log2 39 6 5 39 log2 39 5 2 1859 第三章多媒体数据压缩 2019 12 20 27 n 1 0 3846 3 0 1795 0 1538 0 1538 0 1282 2 2305h 2 1859对上例总结如下 1 n h 2 保证解码的唯一性 短码不构成长码的前缀 3 在接收端保存一个与发送端相同的霍夫曼码表 第三章多媒体数据压缩 2019 12 20 28 第二节音频的压缩语音300hz 3 4khz 调幅广播50hz 7khz 高保真度音频10hz 20khz1音频压缩编码的基本方法如图3 12电话质量语音压缩标准 采样 量化 编码 比特率 标准 g 711g 721g 723g 728表3 23调幅广播质量的音频压缩标准g 7224高保真立体声音频压缩标准mpeg音频编码器原理图3 2 第三章多媒体数据压缩 2019 12 20 29 第三节图象和视频的压缩1基本方法如图3 3彩色空间的转换 电视卡 全频道 2静止图像压缩标准iso的jpeg jbig itu t的g3 g4jpeg 无损预测编码算法 基于dct的有损编码算法 6步 基于dct的增强系统 2种累进操作方式 基于dct的分层操作方式 编码过程5步 jpeg2000 6部分主要内容 算法 离散余弦变换算法dct 离散小波变换算法dwt 特点 高压缩率 无损压缩 渐进传输 感兴趣区域压缩 色彩模式 图像处理简单 第三章多媒体数据压缩 2019 12 20 30 3视频压缩标准mpeg 1mpeg 2mpeg 4mpeg 7mpeg 21 h 261h 263 运动jpegmpeg 1 目标 内容 压缩技术 基于16x16子块的运动补偿 减少帧序列的时域冗余 基于dct的压缩技术减少空间冗余 内码帧 i 预测帧 p 插补帧 b d帧及其编码时间冗余量的减少 运动补偿预测法 运动补偿插补法空域冗余量的减少 变换编码技术 矢量量化技术mpeg的分层结构和位流6个层次 块层 宏块层 宏块片层 图像层 图像组层 图像序列层 基本要求 第三章多媒体数据压缩 2019 12 20 31 mpeg 2 目标 内容 mpeg 2系统 5项基本功能 mpeg 2视频 多需求 特色 框架和级别 压缩编码的数据结构 比特流的语义规则 层次要求mpeg 4 以内容为中心的描述方法 视频对象vo videoobject 音频对象ao audioobject 内容要求基于内容的视频编码 3步 基于vop的编码 形状编码 运动估计和运动补偿 纹理编码 分级扩展编码 mpeg 7 内容描述接口的编码方案 描述原则 多媒体特征类型 视觉数据的描述 听觉数据的描述 网络要求mpeg 21 将标准集成起来支持和谐的技术以管理多媒体商务欲望要求 第三章多媒体数据压缩 2019 12 20 32 光存储音频接口视频接口多媒体i o设备多媒体计算机透过硬件看科学 技术的发展 第四章多媒体硬件环境 2019 12 20 33 第一节光存储设备20多年了 光学 微电子技术 光电子技术及材料科学的发展 光学存储技术优点 存储容量大 工作稳定 密度高 寿命长 介质可换 便于携带 价格低廉系统组成 光盘驱动器 光盘盘片工作过程 1光存储的类型 只读型 一次写 可重写型 各自的含义 2光存储系统的技术指标 尺寸 12英寸 4 72英寸 14 12英寸 5 25英寸 3 5英寸 容量 格式化容量 用户容量 第四章多媒体硬件环境 2019 12 20 34 试图在知识的海洋中找到一条航线 通向大家兴趣的顶点硬件产业的游戏规则我国工业基础的差距体会各种科学分支是多么的亲近 2019 12 20 35 平均存取时间平均寻道时间平均等待时间 数据传输率 数据传输率 同步传输率异步传输率dma传输率 突发传输率 持续传输率 误码率 平均无故障时间3光存储格式标准和类型 数据格式 编码方法 物理尺寸 cd技术 如表4 14cd rom光存储系统 盘片物理层次 漆膜保护层 反射铝层 聚碳酸酯基层 驱动器构造 光头 聚焦伺服 道跟踪伺服 clv伺服 efm解调 错误检测和校正处理 第四章多媒体硬件环境 2019 12 20 36 5cd r光存储系统 1991 11philips compactdiscrecordable 一次写多次读的可刻录光盘系统盘片物理层次 漆膜保护层 反射金层 染料记录层 聚碳酸酯基层 刻录和读取原理 激光照射产生热量将有机染料烧熔并使其变成光痕 6磁光 mo 存储系统 盘片物理层次 氮化硅保护层 铝合金反射层 记录层铁钴合金 树脂基层 刻录和读取原理 300度居里点 7相变 pd 光存储系统 相变式可重复檫写光盘驱动器 phasechangerewritableopticaldiskdrive pd 最引人注意 松下电气产业1995最早被cd rw和dvd ram冲击盘片物理层次 电介质层 相变记录层 冷却层 保护层 树脂基层 刻录和读取原理 600度400度晶体和非晶体两种状态 cd rw 第四章多媒体硬件环境 2019 12 20 37 8dvd光存储系统 利用mpeg2的压缩技术来储存影像规格及他们的功能介绍 dvd romdvd videodvd audiodvd rdvd ram 盘片物理结构 单面单层 单面双层 双面单层 双面双层 9光盘库系统图4 4 第四章多媒体硬件环境 2019 12 20 38 第二节音频接口1音频卡的工作原理 3种媒体 数字化声音 wave 合成音乐 midi cd音频 录制和播放 7项技术指标p88编辑与合成 声音特效 倒播 增加回音 静噪 淡入和淡出 往返放音 交换声道 声音移位 midi接口与音乐合成文语转换和语音识别游戏接口cd rom驱动器接口支持全双工功能 同时录音和放音 第四章多媒体硬件环境 2019 12 20 39 音频卡的体系结构组成部件 midi输入 输出电路 midi合成器芯片 多输入混合电路 模数转换器 压缩芯片 语音合成器 语音识别电路输出电路体系结构如图4 5数字化声音处理工作原理 图4 6 fm合成器工作原理 图4 8 多声源混音的工作原理 图4 7 同时参看windows的mixer2 音乐合成和midi接口规范音乐合成与midi midi的实质 合成方法 性能参数midi术语midi接口midi技术规范 第四章多媒体硬件环境 2019 12 20 40 3语音合成 概述 合成方法 3种2个策略 语音基元数据库的构建 2个问题 韵律模拟 待解决的问题 4语音识别 语音识别系统的分类 4个分类方法 最终目标 4个要求 研究的难点 4方面 应用领域人机交互的最高境界 人类的梦想 自然语言理解 第四章多媒体硬件环境 2019 12 20 41 第三节视频接口视频采集 播放和显示设备的功能1视频图像显示显示系统技术 vga混合 可伸缩的vga混合 双缓冲vga混合 伸缩 使用数字信号处理器 dsp 视频显示技术标准 共4代 mda cgaegavgaxga crt显示系统 共8项指标 屏幕尺寸 荫罩和点间距 荧光粉类型 刷新频率与闪烁 隔行和非隔行扫描 显示缓冲区与颜色定义 模拟信号接口与数字信号接口 视频bios 平板显示系统 4种技术 被动矩阵单色 主动矩阵单色 被动矩阵彩色 主动矩阵彩色 第四章多媒体硬件环境 2019 12 20 42 2视频卡工作原理视频卡的分类和功能简介 3类 视频采集卡 视频播放卡 电视转换卡 7项功能 8种转用视频卡工作原理 图4 116大部分 a d转换和数字解码 窗口控制器 帧存储器系统 数模转换和矩阵变换 视频信号和vga信号的叠加 数字式多制式视频信号编码 第四章多媒体硬件环境 2019 12 20 43 第四节多媒体i o设备1笔输入手写板 3种 电阻压力板 电磁式 电容式 手写笔 有线与无线 图形输入板 以读取图形信息为手段的图形输入设备2触摸屏 定位设备 分类 安装方式 外挂 内置 整体 投影仪式 结构特性与技术 红外 电阻膜 电容 表面声波 压力矢量 各触摸屏的技术指标和性能比较 表4 3 第四章多媒体硬件环境 2019 12 20 44 3扫描仪 利用光电转换原理的图像输入设备结构 电荷耦合器件 ccd 阵列 光源和聚焦透镜原理 光电转换 3次扫描 一次扫描分类 方式 手动 平板 滚筒 胶片 扫描幅面 a4 a3 a0 扫描分辨率 6000dpi 1200dpi 4800dpi 灰度和色彩 灰度和彩色 反射式和投射式技术指标 10个指标 原稿种类 扫描精度 扫描分辨率 色彩精度 扫描速度 阶调 灰阶 鲜锐度 色彩再现能力 接口标准 4数码相机 ccd矩形网格阵列 存储介质 接口 工作过程 成像 模数转换 第四章多媒体硬件环境 2019 12 20 45 5虚拟现实的三维交互工具 跟踪探测 数据手套 立体视觉 6输入输出接口scsi smallcomputersysteminterface 小型计算机系统接口usb universalserialbus 通用串行总线 第四章多媒体硬件环境 2019 12 20 46 第五节多媒体计算机1多媒体处理器2类方案 以多媒体和通信功能为主 融合cpu芯片原有计算功能 以通用cpu计算机功能为主 融合多媒体和通信功能设计原则 采用国际标准的设计原则 将多媒体和通信功能的单独解决变成集中解决 体系结构设计和算法相结合 把多媒体和通信技术做到cpu芯片中 几种典型的多媒体处理器 microunity的mediaprocessor philips的trimedia chromaticresearch的mpactmediaengine 第四章多媒体硬件环境 2019 12 20 47 intel的mmx技术 multimediaextension 多媒体扩展 4个新特性 新的数据类型 扩充的饱和型运算方式 扩充的57条新指令 与ia结构的全兼容性 2多媒体总线pci peripheralcomponentinterconnect 总线 6大特点 agp acceleratedgraphicsport 总线 三维图形技术的发展必然3多媒体个人计算机 mpc mpc规范 123版的最低功能要求表4 5mpc的性能 图像处理能力 声音的处理能力 midi乐器数字接口 动画处理能力 多媒体数据的存储 mpc之间的信息传递 第四章多媒体硬件环境 2019 12 20 48 知识点 多媒体软件的系统层次多媒体素材制作软件多媒体节目著作工具多媒体程序设计基础多媒体应用设计 第五章多媒体软件基础 2019 12 20 49 第一节多媒体软件的层次5类4层 驱动软件 多媒体操作系统 多媒体数据准备软件 多媒体编辑创作软件 多媒体应用软件各类软件的作用和分工 对象的概念 交融 多态 第五章多媒体软件基础 2019 12 20 50 第二节多媒体素材制作软件1文本编辑和录入软件2图形与图像编辑与处理软件3音频编辑与处理软件4视频编辑5动画编辑了解制作的要点和各类软件应具备的一般功能了解目前流行的一些素材制作软件 第五章多媒体软件基础 2019 12 20 51 第三节多媒体著作工具目的 让普通的工作人员能够高效率地制作适合不同专业地多媒体应用系统1概述几个概念 创作环境 创作系统 创作工具 集成工具多媒体著作工具的标准 8个功能和特性 p151多媒体创作模式 8种图5 14类型 2种分类方法11种类型2authorware3director4toolbook 第五章多媒体软件基础 2019 12 20 52 第四节多媒体程序设计基础1媒体控制接口 mediacontrolinterface mci 在控制音频 视频外围设备方面 提供了与设备无关的应用程序mci编程接口 命令字符串和命令消息mci命令集 表5 1mci设备 类型 表5 2 设备名 win ini 打开mci设备客户 服务器思想2多媒体api函数api函数调用规则 声明 使用值和参数传递多媒体的api函数波形声音函数表5 4 第五章多媒体软件基础 2019 12 20 53 第五节多媒体应用设计1多媒体应用分类 6类2多媒体应用设计过程选题脚本设计创意设计人机界面设计 10大设计原则多媒体应用 节目 是一部交互式电影 需要各类人员的参与 第五章多媒体软件基础 2019 12 20 54 第一节多媒体同步的基本概念1基本概念组织时基的 非时基的多种媒体序列通过传输 合成达到某种表现效果 称为多媒体同步或合成 时间同步 空间同步 2同步的种类 应用同步 合成同步 现场同步 系统同步3同步的分层服务模型图6 2媒体层 流层 对象层 描述层再次体会规范的含义 理解数学的魅力 人类最伟大的语言 第六章多媒体的时间表示与同步 2019 12 20 55 第二节时间模型1时间依赖的定义表6 12时间的概念模型 13种两个区间在时间上所具有的相互关系 图6 4描述7种基本的关系 before start meets overlap during finishes equals 前6种都有逆关系 第六章多媒体的时间表示与同步 2019 12 20 56 第三节时间的规范与表示1时间规范的目的 为了向在创建时和合成时所要求同步的数据对象提供一种时间关系表达的手段2相对时间规范与绝对时间规范时态瞬时 temporalinstants 时态区间 temporalintervals 层次化方法 参考点方法并行和顺序关系 用串行和并行表示时间关系 非周期性区间的转换 第六章多媒体的时间表示与同步 2019 12 20 57 第四节多媒体同步的表示方法基于语言 基于流图 最有意义的要求是能够具有表示并发及实时表现计时的能力1基于图形的表示法 时间现 流图 petri网 ocpn 时间层次法注意图6 11ocpn与时间关系的对应 图的理解2基于脚本的表示法几个概念 表现 演员 角色 活动 场景脚本的同步关系 场景运算 场景表达式 脚本语言的表示 事件 情节 场 实现方法脚本编程语言 必须有明确的时间语义的定义3交互和同步 第六章多媒体的时间表示与同步 2019 12 20 58 第五节时间同步与系统支持1概述2系统支持的有关问题时间表示的数据结构数据压缩的影响同步的系统支持同步异常 第六章多媒体的时间表示与同步 2019 12 20 59 第一节概述1面临的问题2主要原因4大原因 第七章多媒体操作系统 2019 12 20 60 第二节操作系统的问题1基本概念 略 2多媒体的引入与os的限制实时服务与时间要求中断等待优先权倒置管理周期性活动时限和恢复管理服务质量 qos 管理和许可控制 第七章多媒体操作系统 2019 12 20 61 第三节操作系统对连续媒体的支持1体系结构的支持图7 12资源管理的支持基于qos的资源控制实时调度基于qos的内存管理基于时间的i o管理3程序设计的支持实时线程时限管理实时同步 第七章多媒体操作系统 2019 12 20 62 4实时进程间通信 ipc 消息排队优先权交出优先权继承消息分发 第七章多媒体操作系统 2019 12 20 63 第四节支持连续媒体的文件系统问题的实质 4点1单流情况读取函数 消耗函数与缓冲函数图7 2最早起始时间最少缓冲器2多流情况3介质调度传统磁盘调度算法最早时限优先法 earliestdeadlinefirst edf scan edf算法分组移动调度算法 groupedsweepingscheduling gss 第七章多媒体操作系统 2019 12 20 64 第一节超媒体系统的组成1超媒体的概念和发展历史超文本和超媒体的概念 为了适应人类思维的习惯 研究信息的表现手段 文本结构的变革 媒体的多样性产生了超媒体 简史 v bush1939aswemaythinkmemex douglasengelbart1959onlinesystem tednelson1960shypertext 1980s著名的系统 国际性会议 1990s信息高速公路2超媒体的组成要素 节点 媒体类节点 动作和操作节点 组织型节点 推理型节点 链 基本结构链 基本链 交叉索引链 节点内注释链 组织链和推理链 索引链 执行链 推理链 其他链 自动连接 类型链 热标 字 区 元 点 属性 宏节点 第八章超媒体与web系统 2019 12 20 65 3超媒体系统的dexter模型 3层 存储层storagelayer 运行层run timelayer 元素内部层within componentlayer 2个接口 锚定接口anchoring 表现规范presentationspecification 4超媒体系统的组成 3个子系统 作者 读者 支持 了解各个子系统的功能要求 与写书和读书联系起来学习和理解 第八章超媒体与web系统 2019 12 20 66 第二节web超媒体系统1分布式超媒体系统www 超文本抽象机 html和http 3层结构 表现层 超文本抽象机器层 超文本信息库层 统一资源定位url universeresourselocator 的作用2www中的超媒体协议与标记语言 sgml大家庭 html 固定的标记 xml 可自由定义的标记 了解sgml http html xml3www的缺陷和未来 存在问题 5个 局限性 5个 人们的工作 hyper g 第八章超媒体与web系统 2019 12 20 67 第三节智能超媒体系统1概念 关键是能否提供智能计算expertext2expertext的节点和链 对象节点 规则节点 链要有计算和推理能力 is a链 has a链 藴含链 3智能超媒体的推理模型 语义网模型 流控模型 第八章超媒体与web系统 2019 12 20 68 第一节多媒体数据管理的问题1概述 真实世界 计算机世界 映射 表示方法 面向对象数据库 基于内容检索技术 超媒体技术 另一种管理信息的方法 数据库 2多媒体数据管理的问题 多媒体带来的问题 8大问题 请大家思考一下 你怎么来解决这些问题 3有哪些多媒体数据 字符 文本 声音 图形 图像 视频 第九章多媒体数据库与基于内容检索 2019 12 20 69 第二节多媒体数据库体系结构1结构形式 联邦型 集中统一型 客户 服务型 超媒体型2多媒体数据库的层次结构 传统的 物理模式 概念模式 外部模式 寻找三层模式的感觉 多媒体数据库的层次划分 三方面的工作 从最低层增加对多媒体数据的控制与支持 在最高层支持多媒体的综合表现和用户查询描述 在中间增加对多媒体数据的关联和超链的处理 四层结构 媒体支持 存取与存储数据模型 概念数据模型 多媒体用户接口 第九章多媒体数据库与基于内容检索 2019 12 20 70 第三节多媒体数据模型数据模型的3大基本要素 数据对象类型的集合 操作的集合 通用完整型规则的集合1nf2数据模型 nf2 nonfirstnormalform 非第一范式 允许表中有表 理解他们的实现方法 原因是充分利用关系型数据库的已有成果 该方法的局限性 2面向对象的数据模型 关于对象的一些基本概念 对象 属性 方法 消息 对象类 类层次 继承性 几种常用的语义关联 聚集关联 aggregationassociation a关联 概括关联 generalizationassociation g关联 相互作用关联 interactionassociation i关联 示例关联 instanceassociation has method和has rule关联 第九章多媒体数据库与基于内容检索 2019 12 20 71 运算体系 定义 查询 操纵 引入类和对象后的变化 3种运算在类和对象上的新的含义面向对象多媒体数据模型的特点 共10条 重点从封装 继承 对象类和实例 复合对象等几方面考虑3其他数据模型 超媒体数据模型 网 有向图 文献模型 树 专有媒体数据模型 针对特定领域 第九章多媒体数据库与基于内容检索 2019 12 20 72 第四节基于内容检索系统的结构和方法这是一个新兴的领域 大家可以在这里施展才华1多媒体与媒体语义 数据 信息 信息表示方法 抽象 引入语义 基于内容检索 contentbasedretrieval 的主要研究内容 如何使系统直接从各种媒体中获取信息线索 并将线索用于数据库中的检索操作 帮助用户从数据库中检索出合适的多媒体信息对象 也是能缩小人和计算机之间鸿沟的一个领域2基于内容检索系统的一般结构 图9 10 图9 11 插入子系统 特征提取子系统 数据库 查询子系统3基于内容检索的过程和指标 图9 12 初始检索说明 相似性匹配 特征调整 重新检索 分割 主要指标 查全率 查准率 第九章多媒体数据库与基于