多媒体技术基础.ppt

多媒体技术讲义 主讲人 张运林 多媒体技术教案 多媒体技术讲义 目录 第一章 多媒体技术基础 3 34 第二章 多媒体信息技术 35 59 第三章 多媒体关键技术 60 73 第四章 多媒体数据库 74 79 第五章 多媒体通信 80 86 第六章 多媒体新技术展望 87 87 多媒体技术讲义 第一章多媒体技术基础 重点内容 1按国际电信联盟的定义对媒体的分类 2多媒体及多媒体技术的定义 3多媒体技术特性 4多媒体技术的应用情况 5多媒体系统的组成 多媒体技术讲义 一媒体及媒体的种类 媒体是信息表示和传输的载体 媒体的种类 1 感觉媒体 是指能直接作用于人的感官 使人能产生感觉的一种媒体 2 表示媒体 是为了加工 处理和传输感觉媒体而人为地研究 构造出来的媒体 语言编码 文字编码 多媒体技术讲义 3 表现媒体 是指感觉媒体和用于通信的电信号之间转换用的一类媒体 它又分输入 摄像机 扫描仪 和输出表现媒体 4 存储媒体 用来存放表示媒体 以便使用计算机对它们进行加工处理 5 传输媒体 将表示媒体从一处传送到另一处的物理载体 双绞线 同轴电缆 五种媒体的核心是感觉媒体和表现媒体 即信息的存在形式和表现形式 多媒体技术讲义 二多媒体及多媒体技术 1多媒体 通常是指信息感觉和表示媒体的多样化 即包括文字 图形 声音 图象等的多种信息媒体的综合 2多媒体技术 用计算机交互式综合处理多种媒体信息 包括文本 图形 图象 声音以及活动视频 在各种媒体间按某种方式建立逻辑连接 使其成为具有交互能力的系统 多媒体技术讲义 3多媒体技术特性 主要表现在媒体的多样性和处理信息的集成性 交互性 实时性上 多媒体技术讲义 1 信息媒体的多样性 多媒体技术将计算机所能处理的信息空间扩展和放大 不仅仅局限数字和文本 由原来的无声世界到有声世界 由原来的静止画面进入到动画画面乃至活动影像 多媒体技术讲义 2 信息处理的集成性 以计算机为中心的综合处理多种信息媒体的特性 它包括信息媒体的集成和处理这些媒体的设备的集成两方面 信息媒体的集成包括 信息的多通道统一获取 多媒体信息的统一组织和存储 多媒体信息表现合成等方面 即各种信息媒体不再是单独进行加工和处理 相互分离 而是一个统一的整体 多媒体技术讲义 媒体设备的集成 从硬件上来说应该具有能够处理多媒体信息的高速并行的CPU系统 大容量内存和外存 具有多媒体信息输入输出能力的外设 具有足够带宽的通信信道和通信网络接口 从软件上来说应该具有集成化的多媒体操作系统 适应于多媒体信息管理的操作系统 创作工具和应用软件 多媒体技术讲义 3 信息处理的交互性 所谓交互性就是把人的活动作为一种媒体加入到信息传播过程中 使信息交互的参与各方 不论是发送方还是接收方都可以对信息进行编辑 控制和传递的特性 交互性使我们在获取和使用信息时变被动为主动 增加了对信息的注意和理解 延长了信息的保留时间 多媒体技术讲义 4 实时性 实时性 在人的感官系统能够接受的情况下进行多媒体交互 无论交互者相距多远 就好像面对面一样 图像和声音是连续的 多种媒体之间的协同性及时间 空间的协同性是多媒体的关键技术之一 多媒体技术讲义 三多媒体技术的发展多媒体的研究始于20世纪80年代初 这项技术迅速崛起和飞速发展 多媒体技术使现代音像技术 计算机技术和通讯技术三大信息处理技术紧密的结合起来从各自的角度 向同一目标发展 专家预测21世纪初多媒体会无处不在它的发展和未来将改变人们的工作 通讯和生活方式 多媒体技术讲义 四多媒体技术的应用1多媒体会议系统 实现了处于不同地理位置上的人们进行 面对面 交流之功能 体现了超越空间的协同工作能力 2多媒体视频点播系统 vod 允许用户任意点播系统中的资料 并可随意切换等 由视频服务器 数字视频解码器 接收器 宽带交换网络和用户接收网络四部分组成 多媒体技术讲义 3多媒体监控及监测系统4支持协同工作 远程医疗 5教育与培训6咨询与演示7多媒体数据库 支持文字 文本 图形 图像 视频 声音等多种媒体的集中管理和综合描述 娱乐与游戏 多媒体技术讲义 五多媒体技术的研究内容 1多媒体数据压缩 解压算法与标准2多媒体数据存储技术3多媒体计算机硬件平台4多媒体计算机软件平台5多媒体开发和编著工具6多媒体数据库与基于内容的检索技术7超文本与Web技术8多媒体系统数据模型9多媒体通信与分布式多媒体系统10基于Internet的多媒体技术 多媒体技术讲义 六多媒体技术的发展前景 1家庭教育和个人娱乐是目前国际多媒体市场的主流2内容演示和管理信息系统是多媒体技术应用的重要方面 3多媒体通信和分布式多媒体系统是多媒体技术今后的发展方向 多媒体技术讲义 七Windows多媒体功能 1录制与播放声音2播放CD音乐3使用媒体播放机4画图工具5通过抓屏获取图象6对象的链接和嵌入 多媒体技术讲义 1 播放波形文件 WAV 程序 附件 娱乐 录音机 2 录制声音 可以录制麦克风的音频信号 外接音频信号 MIDI音乐 CD音乐等 通过控制面板选择多媒体属性对话框 在录音选项组选取音源设备 在录音机文件菜单中选择新建 单击录音按钮即可录音 多媒体技术讲义 3 删除声音片段 4 声音效果处理 改变音速 添加回响 反转声音 5 CD音乐 使用媒体播放机 6 利用画图工具 多媒体技术讲义 7 抓屏 屏幕任何时刻出现的画面 或者在动态视频播放时出现的某一帧画面 均可以捕捉并以文件的形式保存 整屏画面的捕捉 按PrintScreen键捕捉活动窗口中的画面 Alt PrintScreen把画面送入剪切板 多媒体技术讲义 9 对象的链接和嵌入 链接和嵌入是将一个对象放入到客户程序中的两种不同方法 无论哪种方法 都可以在客户程序的适当位置放置图标来表示对象 双击可以启动对象 链接和嵌入的主要区别在于插入的数据存储与何处 以及将数据放入目标文件后如何对其更新 与文件打包的关系 多媒体技术讲义 八 MPC系统设备 基本硬件结构 中央处理器CPU 大容量存储器空间 高分辨率显示设备与接口 音响设备与接口 图象处理设备与接口 大容量的存储器 多媒体技术讲义 MPC的各种功能卡配置 光盘驱动器 音频卡 视频卡 扫描卡 打印机接口 交互控制接口 网络接口 图形加速卡 多媒体计算机技术的发展趋势是这些功能卡和接口逐步集成到芯片或主板上 成为计算机的必备功能 多媒体技术讲义 一声音卡 一 声音卡的功能和作用 1 声音的录制和播放可以将外部的声音信号 通过声卡录入计算机 形成数字音频文件进行存储 对数字音频文件可以进行播放 数字音频文件有两种 一是Windows系统下的WAVE 文件扩展名为WAV 二是DOS系统下的VOC型 扩展名为voc 声卡还可以和CD ROM驱动器相连接 实现CD音乐盘的直接播放 2 编辑与合成功能 3 MIDI接口 数字乐器接口的国际标准 全双共同信接口 多媒体技术讲义 二 声音卡的结构与组成由声音输入输出接口 参数设置跳线和语音处理三部分组成 多媒体技术讲义 三 声音卡的主要技术指标 1 采样频率 单位时间内对声音信号的采集次数 通常有11 025KHZ 22 05KHZ 44 1KHZ 2 量化位数 对采样点的信号用多少位数据进行量化 有8位 16位 32位 衡量声音卡录制和重放声音质量的主要参数是采样频率和量化位数 采样频率和量化位数越大录制与重放的声音质量与原始声音就越接近 数据量越大 通常在44 1千赫和16位数字化录音即能达到良好的立体声效果 多媒体技术讲义 4 兼容性 声音卡的兼容性是购买声音卡是应该考虑的重点 兼容性好的声音卡可以与各种操作系统和各种软件较好的配合 多媒体技术讲义 二CD ROM驱动器 一 性能指标 1 平均寻址时间 随机寻找光盘上任意位置上的数据所需要的时间 单速为800毫秒 1000毫秒 双速为300毫秒 400毫秒 2 数据传输率 单位时间内向主机传送的数据量 单速 150KB S 双速 300KB S 四倍速 600KB S 3 突发数据传输率 光盘驱动器瞬间最大数据吞吐量 这个指标越高 占CPU时间越少 多媒体技术讲义 九 多媒体信息获取与显示设备 静态图象获取设备 扫描仪 数字照相机动态图象获取设备 摄象机显示设备 显示器CGA EGA VGA SVGA TVGA扫描仪的分类 平板式 手持式 滚动式 多媒体技术讲义 离散 空间位置和亮度电平的离散 图象数字化 空间采样 量化 模数转换 空间采样 分成M N个网格 每一网格的亮度用一亮度值表示量化 把连续的亮度值分为k个区间 每一个区间对应一个值 分为均匀量化和非均匀量化 上述量化过程称为模数变换 多媒体技术讲义 触摸屏 出现于70年代 90年代更加成熟组成 传感器 控制部件 驱动程序触摸屏分辨率 合理选取分类 按其工作原理来分可分为红外线 电阻式 电容式 表面声波 矢量压力测力触摸屏 软件支持 DOS设备驱动程序 仿真程序 软件辅助开发工具 多媒体技术讲义 十 VCD与DVD播放系统 VCD的三个核心部件 1 CD驱动器2 MPEG解码器3 微控制器DVD的核心部件1 DVD读出部件2 DVD DSP 转换 3 数字声音 视频解码器4 微处理器 多媒体技术讲义 作业 1按国际电信联盟的定义对媒体的分类 可分几类 都是什么 2多媒体及多媒体技术的定义 3多媒体技术特性 4多媒体技术的应用情况 5链接和嵌入的区别和联系 多媒体技术讲义 第二章多媒体信息技术 多媒体技术的核心是用计算机综合处理文本 图形 图像 动画 音频 视频等多种媒体信息 所有这些信息的获取 储存 处理 传输都是多媒体技术要解决的重要问题 本章概述各种媒体信息在计算机中的表示方法及其特性 多媒体技术讲义 重点内容 1采样频率与样本频率的关系2声音文件的格式3三基色原理 色彩空间4矢量图与位图的区别5分辨率与颜色深度6动画的种类7超文本和超媒体 多媒体技术讲义 一 文字1文字一直是计算机中主要的信息处理对象 是非多媒体计算机主要的信息交流方式 处理字符和文字是计算机应具备的基本功能 文字有其固有的特点 占用空间少 一般用ASCII表示西文字母和字符的编码 每一个字符占一个字节的存储空间 汉字通常采用国际码来表示 占两个字节的存储空间 汉字的输入通常用键盘 也有用写字板 扫描仪 语音识别等技术用于文字输入 输出文字时需要有供文字显示或打印用的字体库 多媒体技术讲义 计算机中文字编辑的软件很多 在DOS环境下较常用的是WPS 在WINDOWS环境下较常用的是WORD 多媒体技术讲义 二声音和音乐在多媒体系统中 语音和音乐是不可以缺少的 音频同步是视频图像具有更逼真的效果 1描述声音的方式有两种 1 对外部音源进行录制和播放 称数字音频 可获得高质量的声音 并能保留原音的音色 2 声音合成技术 语音合成和音乐合成 2声音卡在多媒体计算机中起着声音通道的作用 计算机接受和发送任何声音信息都必须通过它来进行 多媒体技术讲义 3描述声波的两个参数频率和振幅频率 声音信号每秒钟变化的次数周期 每次震动所需要的时间振幅 波形的最高点或最低点与时间轴之间的距离 它反映了声音信号的强弱程度 一般用分贝来表示 多媒体技术讲义 4声音按其频率的不同分次声 可听声和超声 20HZ 20000HZ 音频信号通常指的是可听生计算机中的音频信号主要有三种 语音 音乐和效果声 语音 主要用于说明 回答 叙述和命令 音乐 起到提示和加强效果的作用 效果声 是指自然界的各种声音 多媒体技术讲义 5音频信号的采样与量化 1 声音的数字化 把模拟的声音信号变为数字信号的过程 它是通过对声音信号采样 量化和编码来实现的 采样 以固定的时间间隔对当前的声音波形幅度进行测量 多媒体技术讲义 样本频率 声音信号自身的最高频率 采样频率 采样时每秒钟所抽取声波幅度的次数 根据奈奎斯特采样定理 为了重构原信号采样频率至少要为样本频率的两倍 采样频率一般为44 1KHz 可用的几种采样频率 44 1KHz 高保真效果 22 05KHz 音乐效果 11 025KHz 语音效果 多媒体技术讲义 2 量化就是把采样所得的值加以数字化 即用二进制表示 量化时采用的二进制位数称为量化精度 声道数 就是每一次生成的声波数据 产生一个数为单声道 产生两个数为双声道或立体声 6数字音频信号的数据量 S R D r 8 CR 采样频率D 录音时间r 量化精度C 声道数S 44100 60 16 8 2 10584000字节音频数字化占用大量存储空间 必须进行压缩 多媒体技术讲义 7声音文件的存储格式 多媒体声音技术中几种常见的存储格式是波形文件 WAV 声音文件 VOC MIDI文件 MID 文件信息量小 30分钟立体声音乐的文件只有200KB 而波形文件得数据量有300MB 多媒体技术讲义 三数字图象编码技术1彩色可用色调 饱和度 和亮度来描述 人们所看到的任何彩色光都是这三个特性的综合效果 亮度是光作用于人眼所引起的明亮程度的感觉 它与被观察物体的发光强度有关 色调是当人眼看到一种或多种波长的光是所产生的彩色感觉 它反映颜色的种类 饱和度是指颜色的纯度 是指颜色的深浅程度 通常把色调和饱和度统称为色度 自然界常见的各种常见光可以由红 R 绿 G 蓝 B 三种颜色按不同比例相配而成 三基色原理 RGB5 5 5 方式方式RGB8 8 8 多媒体技术讲义 2色彩空间 1 RGB色彩空间F r R g G b B 2 YUV彩色空间 电视信号 变换公式Y 0 3R 0 59G 0 11BU B YV R Y 多媒体技术讲义 3数字图象在计算机中通常有图形和图像两种 1 图形是各种绘图工具绘制的 由线 形 体和文字等图元构成 2 图像 是呈现给人们的一幅幅的画面 他一般是由图像输入设备捕获 以数字的形式存储在计算机中 是以像素为单位 多媒体技术讲义 4分辨率与颜色深度 1 决定数字图象的质量因素有分辨率和颜色深度两个指标 2 分辨率分显示器分辨率和图像分辨率 显示器分辨率是指屏幕的最大的显示区域 即水平方向和竖直方向的像素个数 图像分辨率是之一幅图水平方向和垂直方向所包含的像素个数 3 颜色深度 屏幕上的每一个像素的颜色信息用若干位数据来表示 这个数据的位数就是图像的颜色深度 例 求分辨率为640 480的256色屏幕的帧存储器的容量 多媒体技术讲义 5数字图象的获取和处理 1 用绘图程序绘制 画笔 2 用屏幕抓图程序从屏幕上直接抓取 3 用扫描仪或数字化视频图像抓取设备从照片 画片或或动态视频图像中抓取 4 图象库 多媒体技术讲义 6动画 一系列静止画面按一定的顺序排列而成 静态的画面称为帧 相邻帧略有不同 当帧面按一定的速度连续播放时 就产生了动态的效果 根据动画画面形成的规则和形式 动画可分为过程动画 指令 运动动画 数学公式 变形动画 颜色插值和路径变化 多媒体技术讲义 过程动画 根据程序员或用户提供的指令进行运动的动画 运动动画 物体的运动一般由运动物体的物理规律进行描述 变形动画 通过连续地颜色插值和路径变化 可将一幅画面渐变为另一种画面 多媒体技术讲义 影响动画质量的硬件因素 CPU速度 内存容量 屏幕分辨率 颜色深度 几种实现动画技术帧动画 位块动画 实时动画 调色板动画 多媒体技术讲义 7超文本和超媒体 以往组织信息是线性的和顺序的 这不适应多媒体信息的处理要求 而更符合人类记忆的联想方式的非线性网状结构来组织信息并实行快速检索 则就是超文本和超媒体技术 超文本技术是一种信息管理技术 它以信息快为基本信息单位每一个信息块成为一个节点 节点用链连接形成网状结构 快间无固定的顺序 从一个节点可以跳到另一个节点继续查询 这样的信息网络称超文本 超媒体 用超文本的方式组织和处理多媒体信息 多媒体技术讲义 超文本和超媒体的主要区别为超媒体的节点内容更丰富 超媒体包括节点 链和网络三个要素节点 是表达信息的基本单位 是围绕一个特殊主题组织起来得数据集合 可由文本等多媒体信息组成 链 按一定方式将节点连接起来表示被链接节点的关系 一个链由链源 链宿和链的属性组成 链的属性决定链的类型 以及链的版本 权限等 多媒体技术讲义 网络 超媒体中的节点和链构成的一个有向图 导航技术就是通过导航工具为读者提供一个支持环境 使读者能够访问和注释超媒体中的信息 创建它们自己通过的超媒体路径 勾画出它们所要去的地方 多媒体技术讲义 超媒体系统的体系结构 可分为三个层次 为 用户界面层 超媒体实现层和数据库层 超媒体系统开发 包括数据信息采集和系统开发两部分 数据采集实际上是为超媒体系统准备各种媒体素材 多媒体技术讲义 系统开发包括 1 数据库的设计 包括数据结构 数据类型 检索方法 2 超媒体实现层的设计 包括定义节点信息 构造节点之间的信息流程 定义链 实现链的功能 导航工具的设计 3 用户界面的设计 包括节点内容的显示 链源的显示 用户操作的控制等 多媒体技术讲义 作业 1采样频率与样品频率的关系2三基色原理3矢量图与位图的区别4分辨率与颜色深度5超文本和超媒体 多媒体技术讲义 第三章多媒体关键技术 多媒体是当今计算机界研究和生产中最热门的领域之一 目前在多媒体领域的研究热点有数据压缩与编码技术 大容量存储技术 多媒体网络与通讯技术 多媒体数据库技术 多媒体信息检索技术 这些也就是多媒体发展的关键技术 多媒体技术讲义 重点内容 1光盘的分类及容量 2数据压缩的必要性和可能性 3数据压缩方法及主要指标 4多媒体通信的特性及主要技术问题 5现有通信网络 多媒体技术讲义 多媒体信息存储的特点1 多媒体信息的存在和表现有多种形式 图元组成的向量图形 位图图象 数字化声音和高保真音响 数字化视频 2 多媒体信息量大 多媒体技术讲义 一光盘存储技术1光盘存储系统 由光盘和光盘驱动器组成2光盘的分类 按读写功能分为可写光盘系统和只读光盘 CD ROM 系统 可写光盘又分一次写光盘 WORM 和可重写光盘 Rewritable 可重写光盘有相变和磁光两种 3光盘刻录机 与CD ROM驱动器一样安装在计算机中作为逻辑驱动器 在Windows98环境下对光盘进行读写 多媒体技术讲义 4CD ROM光盘的结构 上下分三层压制而成 上层为保护层 印由光盘内容的标题 第二层为铝反射层 提高反射率 下层用聚碳酸脂压制出来的透明衬底 用来记录信息 光盘容量 CD ROM 5寸 700MB 3寸 210MB DVD 双层双面 17GB 单层单面 4 7GB 多媒体技术讲义 光盘系统的特点 与硬盘相比具有可拆卸性 容量相当 驱动器贵 盘片便宜 读写速度慢 激光头与介质不接触 不受环境影响而退磁 信息保存时间长 可达30年以上 多媒体技术讲义 二数据压缩技术及其标准1数据压缩的必要性 2数据压缩的可能性 1 空域数据冗余量 2 时域数据冗余量 3 编码 结构 知识冗余 4 人的视觉和听觉特性 多媒体技术讲义 3数据压缩方法 1 无损压缩又称无失真压缩压缩比一般为2 1到5 1 实用于文本 程序等要求数据完整性较高的情况 压缩可还原 算术编码 2 有损压缩压缩后不能完全恢复原始数据 实用于语音 图象和视频的压缩 根据人的视听特性影响不大 压缩比可达百倍以上 变换 预测编码 多媒体技术讲义 4数据压缩的主要指标 1 压缩比 2 信息质量 3 压缩与解压缩的速度 4 需要的软硬件的支持 多媒体技术讲义 5数据压缩编码 1 预测编码 2 变换编码 3 量化和向量量化编码 4 信息熵编码 5 子带编码 6 模型编码 多媒体技术讲义 6多媒体通信与分布式多媒体系统 1 多媒体信息通信的特点 交互性 实时性 延时敏感性 数据量大 时间相关 同步性 需要较长的持续时间 广播服务 弹性的带宽和服务质量 2 多媒体通信的主要技术问题 高速带宽的多媒体网络 综合的网络能力 高效的数据压缩编码标准 信息同步标准 多媒体技术讲义 3 分布式多媒体系统 分布式多媒体系统从宏观上讲是多媒体信息系统和多媒体通讯系统的集成 分布式多媒体系统把多媒体信息的获取 表示 传输 存储 加工处理为一体 运行在一个分布式计算机网络环境中 它把多媒体信息的综合性 实时性 交互性和分布式计算机系统资源的分散性 工作并行性和系统透明性融为一体 开拓了多媒体系统的新天地 它突破了计算机 电话 电视等传统产业的界限 向人们提供全新的信息服务 多媒体技术讲义 4 现有多媒体网络 电话交换网 以太网 分组交换远程网 FDDI网 综合业务数字网 宽带综合业务数字网 B ISDN 异步传输模式 ATM Internet Internet具备了多媒体信息传输功能 是唯一覆盖全球的计算机网络 前景非常乐观 多媒体技术讲义 作业 1光盘的分类及容量 2数据压缩的必要性和可能性 3数据压缩方法及主要指标 多媒体技术讲义 第四章多媒体数据库 一 多媒体数据管理环境 包括存储环境 传输环境和软件环境 1 存储环境 对于多媒体数据的存储环境总的要求是 容量大 质量好 存取速度快 价格合适 主要有如下四种存储介质 1 可更换的硬盘 2 磁带备份介质 容量一般为1 2 3GB 平均存取时间小于1分钟 3 光盘介质 是目前的流行介质 4 磁盘阵列 海量介质 支持多用户并发读写 是大容量多媒体数据库采用的工作介质 多媒体技术讲义 2 传输环境 多媒体数据一般需要在不同硬件结构和不兼容的操作系统之间进行传输 有三种传输介质 1 可更换的介质进行人工传输 易用适合小范围 2 使用串行接口实行点对点传输 用一根电缆线连接两台计算机 难以实现多台连接 3 使用网络系统 实现计算机之间的连接 是理想的传输环境 多媒体技术讲义 3 多媒体数据管理的软件环境 文件管理系统 建立特定的逻辑目录 多媒体数据管理系统 超文本和超媒体 多媒体技术讲义 二 多媒体数据库管理系统 多媒体数据库 长期储存在计算机内有组织可共享的相关数据的集合 数据库中的数据独立性 物理独立性与逻辑独立性 物理模式 内模式 模式 外模式MDBMS的组织结构 分三种类型 集中型 主从型 协作型 多媒体技术讲义 MDBMS的数据模型 数据模型是数据库管理系统中用于提供信息数据表示和操作手段的形式构架 通常由数据结构 数据操作及完整性约束构成 分类 层次模型 网状模型 关系模型 面向对象模型 解释模型 数据操作是数据库系统动态特性的描述 检索和更新 数据的约束条件是实现数据库完整性规则的集合 保证数据的正确性 有效性和相容性 多媒体技术讲义 扩充的关系模型传统的关系模型结构简