多媒体技术基础ppt课件.ppt

多媒体技术基础 6 1多媒体技术概述 6 1 1媒体在计算机中 媒体 一词有两种含义 一指信息的存储介质 如软盘 硬盘 光盘 磁带 半导体存储器等 二指携带信息的载体 如数字 文字 符号 图形 图像 声音 动画 视频等 这里 我们所说的 多媒体 指的是第二种 即多种信息的载体 6 1 2多媒体与多媒体技术 多媒体 Multimedia 顾名思义 即是将文本 声音 图形 图像 动画和视频等多种媒体元素有机地组合在一起所构成的 计算机处理的信息从时效上又分为静态媒体 文字 图像等 和时变媒体 声音 动画等 两大类 多媒体的第一个基本属性是信息形式的多样性 第二个基本属性是信息传递的交互性 多媒体技术就是计算机交互综合处理多种媒体信息 文本 声音 图形 图像 动画等 使多种媒体信息结合在一起 通过计算机及其他设备进行综合处理和控制 并支持完成一系列交互式操作的信息技术 1 多样性 指计算机处理媒体信息的多样化 它使人与计算机之间的交互不再局限于顺序的 单调的 狭小的范围 而有充分自由的余地 2 集成性 媒体种类一体化 包括两方面 一方面是指多媒体技术能将各种不同的媒体信息有机地进行同步组合 形成一个完整的多媒体信息 另一方面是指把不同的媒体设备集成在一起 形成多媒体系统 3 交互性 人 机对话 是多媒体技术的关键特征 在多媒体系统中 除了操作上控制自如之外 在媒体的综合处理上也可以随心所欲 多媒体的特点 6 1 3多媒体计算机与网络 多媒体技术是利用计算机技术 把文本 图形 静态图像 动画 声音和动态视频等进行集成处理 并对它们进行获取 压缩编码 编辑 加工处理 存储和展示 多媒体技术与网络技术的结合使得计算机的信息具有资源共享 信息交换和信息分布处理 分布控制等特点 6 2多媒体信息处理 6 2 1多媒体数据的特点 1 数据类型复杂2 数据信息量大3 数据的实时性要求高4 数据的分布性广5 数据的交互性要求强 6 2 2多媒体信息的组成 1 文字信息 文字也称文本是人与计算机进行信息交互的主要媒体 文本主要分为非格式化文本文件和格式化文本文件两种形式 非格式化文本文件 只有文本信息没有其他任何有关格式信息的文件 又称为纯文本文件 如 TXT 文件 格式化文本文件 带有各种文本排版信息等格式信息的文本文件 如 DOC 文件 特殊文字和符号 文字和符号 多媒体 多媒体 多媒体 如何从事多媒体教学 2 声音信息 音频信息在多媒体中的应用极为广泛 视频图像配以娓娓动听的音乐和语音 静态或动态图像配以解说和背景音乐 立体声音乐可增加空间感 游戏中的音响效果等 数字音频 Audio 可分为波形声音 语音和音乐 音频 目前常用的数字音频主要有3种格式 Wave波形音频 MIDI音频 CD音频 音频对象 Wave音频Wave音频文件又称为波形文件 是Windows使用的标准数字音频 文件的扩展名为 wav 波形文件的最大优点是忠实地记录了实际声音的采样数据 无论是CD音质的音乐还是不规则的噪音 也无论是单声道还是立体声 都能够重现原来的声音 而其最大的缺点是产生的文件太大 不适合长时间录制 Wave音频文件的制作可使用Windows自带的 录音机 录音 连接好麦克风之后 单击窗口最右边的 录音 按钮即可开始录音 录音结束后单击 停止 按钮即可停止录音 MIDI音频文件MIDI简介 MIDI MusicalInstrumentDigitalInterface 是电子乐器数字接口 是音乐合成器 MusicSynthesizers 乐器 MusicalInstruments 和计算机之间交换音乐信息的一种标准协议 MIDI技术最初应用在电子乐器上用来记录乐手的弹奏 随着在计算机中引入了支持MIDI合成的声卡之后才正式成为了一种音频格式 MIDI标准的优点 一是MIDI文件较小 二是易于编辑 三是适宜作背景音乐加强演示效果 CD音频文件CD音频文件的扩展名为 cda 也称CD音乐格式 是一种近似无损的格式 CD光盘可以在CD唱机中播放 也能用电脑里的各种播放软件来重放 一个CD音频文件是一个 cda文件 这只是一个索引信息 并不是真正的包含声音信息 所以不论CD音乐的长短 在电脑上看到的都是44字节长 注意 不能直接地复制CD格式的 cda文件到硬盘上播放 需要使用抓音轨软件把CD格式的文件转换后复制到计算机 MP3音频文件MP3音频文件是一种有损压缩 但是它以极小的声音失真换来了较高的压缩比 相同长度的音乐文件 用MP3格式来储存 一般只有WAV格式的1 10 MP4音频格式MP4其特点是音质更加完美而压缩比更大 MP4增加了对立体声的完美再现 比特流效果音扫描 多媒体控制 降噪等MP3没有的特性 使得在音频压缩后仍能完美的再现CD的音质 3 图形 图像信息 图形 Graphic 一般指用计算机绘制的画面 如直线 圆 圆弧 矩形 任意曲线和图表等 图形的格式是一组描述点 线 面等几何图形的大小 形状及其位置 维数的指令集合 在图形文件中只记录生成图的算法和图上的某些特征点 因此也称矢量图 由于矢量图形采用运算关系描述数据所以其数据量小 而且进行放大与缩小操作时不会影响到图形的各种特征 即不会造成失真 图形 通过计算而描述的矢量图形 图形 常见数字图形文件 图像 Image 是指由输入设备捕捉的实际场景画面 或以数字化形式存储的任意画面 静止的图像是一个矩阵 阵列中的各项数字用来描述构成图像的各个点 称为像素点pixel 的强度与颜色等信息 这种图像也称为位图 bit mappedpicture 位图的质量主要由图像的分辨率和色彩位数决定 分辨率越高色彩位数越大其质量越好 但是占用的存储空间也越大 图像 用像素点描述的自然影像 图像 常见数字图像文件 视频是由一幅幅单独的画面序列 帧frame 组成 这些画面以一定的速率 fps 连续地投射在屏幕上 使观察者具有图像连续运动的感觉 4 视频信息 视频 音频 视频AudioVedioInformation END 5 动画 动画是通过连续播放一系列画面 给视觉造成连续变化的画面 它的基本原理与电影 电视一样 都是利用了一种视觉原理 医学已证明 人类的眼睛具有 视觉暂留 的特性 就是说当人的眼睛看到一幅画或一个物体后 它的影像就会投射到我们的视网膜上 如果这件物体突然移开 它的影像仍会在我们的眼睛里停留一段极短的时间 在1 24秒内不会消失 这时如果有另一个物体在这段极短的时间内出现 我们将看不出中间有断续的感觉 这便就是 视觉暂留 的原理 所以当一系列图像以每秒25幅或以上的速度呈现时 眼睛就不会注意到所看到的影像是不连续的图像 动画 FRAME01FRAME02FRAME03FRAME04FRAME05FRAME06FRAME07 6 2 3声音信息处理 声音信息数字化 1 模拟信号和数字信号 模拟信号 时间和幅度都是连续的信号数字信号 时间和幅度都是离散的信号 一般包括三个阶段 采样 量化和编码 采样 量化 编码 多媒体信息 输入 数字化的多媒体信息 输出 采样 就是按照一定的规律每隔一定时间间隔抽取模拟信号的值 量化 就是对样本值进行离散化处理 即事先规定一组数据 每个数据按一定规则近似表示一组相关采样值 编码 经过量化后得到的数字信息 还必须按一定格式转换成计算机可以识别的二进制形式 才能在计算机中保存 用二进制形式表示量化值的过程称为编码 2 声音信号数字化 声音媒体的数字化 采样的对象是通过话筒等装置转换后得到的模拟电信号 即每隔一定时间间隔 称为采样周期 在模拟波形上取一个电压值 称为样本值 1 采样 声音媒体的数字化 事先把模拟电压取值范围划分为若干个区域 这个区域中的所有电压取值都用一个数字 称为样本值 表示 把采样得到的模拟电压值用所属区域对应的数字来表示 就称为量化 2 量化 声音媒体的数字化 把量化后的数据用二进制数据形式表示 3 编码 计算机中的数字音频文件 Wave格式文件 Wav 记录了真实声音的二进制采样数据 通常文件较大 MIDI格式文件 MID 数字音乐的国际标准 记录的是音符数字 文件小 MPEG音频文件 MP1 MP2 MP3 p209 3 声频文件存储格式 图像处理时要考虑三个因素 6 2 4图形图像信息处理 1 分辨率 2 图像深度和显示深度 图像深度 也称图像灰度 颜色深度 表示数字位图图像中每个像素上用于表示颜色的二进制数字位数 显示深度 表示显示器上每个点用于显示颜色的二进制数字位数 若显示器的显示深度小于数字图像的深度 就会使数字图像颜色的显示失真 颜色深度与显示的颜色数目 图像文件在计算机中的存储格式有多种 如BMP PCX TIF TGA GIF JPG等 一般数据量都较大 3 图像存储格式 视频是将一幅幅独立图像组成的序列按照一定的速率连续播放 利用视觉暂留现象在人的眼前呈现出连续运动的画面 视频可以分为模拟视频和数字视频两种 模拟视频是指在时间上和空间上都是连续的信号 如电视信号 数字视频是指在一段时间内 以一定速率对模拟视频进行捕获 并加以采样量化等处理后得到的媒体数据 模拟视频常用两种标准 NTSC制式和PAL制式 我国采用PAL制式 6 2 5视频信息处理 1 视频文件格式 1 AVI文件 avi AudioVideoInterleaved声音 影像交错 AVI是微软公司于1992年提出的一项多媒体容载技术 在Windows平台上使用广泛 大多数AVI文件可将视频和音频信号混合交错地存储在一起 采用了Intel公司的Indeo视频有损压缩技术 较好地解决了音频信息与视频信息同步的问题 因为它可以较好地使音频和视频流分开 方便编辑 常用作视频交换格式 2 MOV文件是QuickTimeforWindows视频处理软件所采用的视频文件格式 3 MPG文件MPG是MPEG MovingPictureExpertsGroup 运动图像专家组 制定出来的压缩标准所确定的文件格式 用于动画和视频影像 MPEG标准包括MPEG视频 MPEG音频和MPEG系统 视频 音频同步 三个部分 4 DAT文件DAT是VideoCD或KaraokeCD数据文件的扩展名 也是基于MPEG压缩方法的一种文件格式 它也是采用MPEG压缩 解压缩技术的一种文件格式 5 FLIC格式这种文件格式采用了无损压缩方法 画面效果十分清晰 在人工或计算机生成的动画方面使用这种格式的较多 播放FLIC动画文件一般需要Autodesk公司提供的MCI驱动和相应的播放程序AAPlay 2 视频处理与编辑 Windows集成的WMP媒体播放器能播放大多数视频格式文件 并可以通过Internet实时播放网上电视 视频点播等电视 电影节目 著名的其他视频播放软件有Real公司的流媒体播放器 RealOnePlayer Apple公司的专有格式播放器 QuickTime 各种音视频播放器 暴风影音 东方影都 POWERDVD 等等 6 3实用多媒体技术 6 3 1网络多媒体信息搜索 网络多媒体信息搜索是通过搜索引擎来完成的 搜索引擎也是专用计算机 可以理解为存在于网上的一个非常大的数据库 库里收集了大量的信息 通过输入关键字 词 等方式 可为用户查找出相关的资料或链接信息 著名的搜索引擎有百度 搜狐 Google等 搜索引擎是WWW环境中的信息检索系统 它包括目录服务和关键词搜索两种服务方式 目录服务可以帮助用户按一定的结构调理清晰地发现自己感兴趣的内容 关键字检索服务可以查找包含一个或多个特定关键词或词组的Web页 1 几种常用的搜索引擎 1 Altavista 它是目前互联网上采集范围最广 数据库容量最大同时查询功能也最为强大的一个搜索引擎 它提供目录查询和关键词查询 关键词检索分为简单检索和高级检索 利用高级检索你可以完成极其复杂的查询 它支持常用的布尔运算符 嵌套 近似搜索等 2 Yahoo 和中文雅虎 这一个非常优秀和流行的Internet搜寻工具 有各种语言的界面 包括简体中文 它将不同的网页分门别类 进入主页 HomePage 后 在搜巡 Search 框中输入medicine 医学 可找到很多条与医学相关的英文信息 包括新产品 Web地址 医学杂志 医学组织 研究所以及信息库等 3 搜狐 SOHU 搜狐的目录导航式搜索引擎完全是由人工加工而成 相比机器人加工的搜索引擎来讲具有很高的精确性 系统性和科学性 分类专家层层细分类目 组织成庞大的树状类目体系 利用目录导航系统可以很方便的查找到一类相关信息 4 新浪 新浪网搜索引擎是面向全球华人的网上资源查询系统 提供网站 网页 新闻 软件 游戏等查询服务 网站收录资源丰富 分类目录规范细致 遵循中文用户习惯 目前共有16大类目录 一万多个细目和二十余万个网站 是互联网上最大规模的中文搜索引擎之一 5 google Google搜索引擎是目前最优秀的支持多语种的搜索引擎之一 约搜索3 083 324 652张网页 提供网站 图像 新闻组等多种资源的查询 包括35个国家和地区的语言的资源 Google的使命就是要为您提供网上最好的查询服务 促进全球信息的交流 6 百度 百度是领先的中文搜索引擎 每分每秒 百度以超过亿计的中文网页 全球独有的 超链分析 技术 亚秒级的迅捷速度 庞大的服务器群 接受来自全球各个国家的中文搜索请求 每一年 通过对数十亿次搜索的响应 数千万的网民从百度分享到最纯粹的搜索体验 徜徉信息之海 7 Lycos 它是全球最大的网络资源的索引数据库 也是一种有效而方便的Web搜巡工具 它在搜索文件 内容以及文档的次序方面表现出一定的人工智能 但更新速度较慢 含有大量过时信息 8 Excite Excite是一种能在大型数据库中进行快速概念检索的搜索引擎 支持目录检索和关键词检索 Excite在处理关键词时使用了智能概念提取技术 因此 在查询时 不仅能检索出直接包含关键词的网页 也能检索出那些虽然没包含你的关键词 但包含了与这些关键词相关的其它词汇的网页 在检索结果显示上 将给出三种结果 专家选择的站点目录 结果网页和新闻报道 在高级检索中 你可以有各种检索选择 另外还提供了若干专题检索 P211 P212 2 多媒体搜索的使用 现在国内搜索引擎的多媒体搜索功能常作为条件或栏目之一的形式出现 少有将多媒体搜索功能单列出来的 对多媒体文件进行检索时 常采用关键字文本方式进行检索 在搜索的精度上有待提高 在输入框里输入想要查询的词 然后用鼠标点按上边的 图片 就可以看到查询结果了现在我们输入 医学解剖 表示要查找与 医学解剖 有关的图片 并点按 搜索 按钮 结果如下图 6 3 2多媒体素材整理与加工 1 图片素材的加工在设计和开发软件时 图片是应用最多的素材之一 但无论是从网上下载的图片 还是通过扫描 数码相机等仪器或抓屏的方法获得的图片 大多需要进行二次加工才能使用 对于图片的简单处理 一般只要求会调整图片的大小 剪切图像 切换格式 添加文字等操作 就可以初步满足平常课件设计过程中的图片开发需要 1 抓屏1 截取图片 打开要截取的图片 按一下键盘右上角的PrintScreen键 2 打开计算机画图工具 开始 程序 附件 画图 3 粘贴图片 按住Ctrl V键 4 保存图片 文件菜单 保存 2 图片加工1 调整图片大小2 剪切图片3 调整图片的格式4 添加文字5 设置背景 2 利用录音软件录制教学音频素材利用Windows提供的 录音机 录制声音 6 3 3多媒体光盘刻录与信息发布 1 刻录光盘 1 选择光盘类型将需要刻录的文件拷贝到一个新文件夹中 如临时刻录文件夹 将刻录盘 CD R或CD RW 插入刻录机 2 编辑刻录 2 多媒体信息发布一般多媒体信息发布系统都是以高质量的编码方式将视频信号 音频信号 图片信息和滚动字幕组合成一个流媒体 通过网络传输到网络播放器 然后由播放器将流媒体信息转换成显示终端 如液晶电视 的视频信号播出 6 4数据压缩技术 多媒体信息经过数字化后 产生巨大的数据信息 数据压缩的对象就是其中的冗余部分 对于各种媒体信息本身确实存在很大的压缩空间 一般允许在一定限度失真的前提下 对其进行较大程度的压缩 对图像的压缩 一般在人眼允许的误差范围内 不仔细观察 人们是很难觉察压缩前后图像的区别的 对于声音信号 人的听觉对部分频率的音频信号也是不敏感的 这就使多媒体数据压缩成为可能 数据压缩有两大功能 1 节省存储空间 2 减少对带宽的占用 数据冗余 数据压缩方法 数据压缩处理一般由两个过程组成 一是编码 Encoding 过程 即对原始数据经过编码进行压缩 二是解码 Decoding 过程 对编码数据进行解码 还原为可以使用的数据 压缩方法可分为6类 预测编码 变换编码 信息熵编码 结构编码 统计编码及行程编码 衡量一种数据压缩技术的好坏有三个重要的指标 一是压缩比要大 即压缩前后所需的信息存储量之比要大 二是实现压缩的算法要简单 压缩 解压速度快 尽可能地做到实时压缩解压 三是恢复效果要好 要尽可能地恢复原始数据 目前常用的压缩编码方法可以分为两大类 一类是冗余压缩法 也称无损压缩法 另一类是熵压缩法 也称有损压缩法 6 4 1数据压缩方法 JPEG标准适用于连续色调和多级灰度的静态图像MPEG标准适用于运动图像 音频信息 包括MPEG视频 MPEG音频 MPEG系统 视频和音频的同步 MPEG已制定了MPEG 1 MPEG 2 MPEG 4 MPEG 7和MPEG 21五种P221 6 4 2两大国际压缩标准JPEG标准与MPEG标准 6 4 3数据压缩的应用 1 MP3音乐 1 MP3与CD音乐和WAV文件可以通过相应的软件进行转换 2 MP3播放器Winamp2 利用软件播放VCD超级解霸P221暴风影音 6 5虚拟现实技术 虚拟现实 VR即VirtualReality 是一种可以创建和体验虚拟世界的计算机技术 它充分利用计算机硬件与软件资源的集成技术 提供了一种实时的 三维的虚拟环境 VirtualEnvironment 使用者完全可以进入虚拟环境中 观看计算机产生的虚拟世界 听到逼真的声音 在虚拟环境中交互操作 有真实感 可以讲话 并且能够嗅到气味 虚拟现实的发展史P222 6 5 1虚拟现实的特点 1 沉浸沉浸是指用户借助各类先进的传感器进入虚拟环境之后 由于他所看到的 听到的 感受到的一切内容非常逼真 因此 他相信这一切都 真实 存在 而且相信自己正处于所感受到的环境中 2 交互交互是指用户进入虚拟环境后 不仅可以通过各类先进的传感器获得逼真的感受 而且可以用自然的方式对虚拟环境中的物体进行操作 如搬动虚拟环境中的一个虚拟盒子 甚至还可以在搬动盒子时感受到盒子的重量 3 构想构想是由虚拟环境的逼真性与实时交互性而使用户产生更丰富的联想 它是获取沉浸感的一个必要条件 虚拟现实技术可以广泛应用于各个领域 如仿真建模 计算机辅助设计与制造 遥控机器人 娱乐与艺术 教育与培训 设计与规划及远程医疗等 6 5 2医学图像引导手术 图像引导手术相对于传统的外科手术是一种革命性的进步 这个技术有助于缩短手术时间 减少患者创口的大小 减少手术过程的步骤 这些都能提高手术的质量和缩短病人的恢复周期 图像引导手术系统包括图像获取 图像分割 创建三维模型 术前规划 图像空间到物理空间的配准 三维跟踪系统 手术导航 文档数据的存储等 图像引导手术系统的几个关键技术如下 基于体直方图分割算法的体绘制为了减少医学图像分割过程中耗费的时间以及参数设置和调整的复杂程度 采用体直方图分割算法产生不透明度函数 通过不透明度函数进行体绘制 目前 这个技术与大多数分割技术具有调整参数简单 费时少 体绘制结果好的优点 2 采用隐函数建模方法对三维模型进行随意剪切在术前规划和手术导航过程中 为了扩大医生的视野 让他们精确地看到他们想看到的区域 三维模型的随意剪切是一种必要的技术 采用VTK VisualizationToolkit 提供的隐函数建模技术 实现对三维模型的随意剪切 3 图像空间到物理空间的配准关于图像配准已经提出了大量的方法 所使用的分类标准包括维数 变换的范围 变换的类型等等 6 5 3基于微机的实用虚拟现实系统 计算机辅助手术也称影像导航手术就是虚拟现实系统在医学中的一个应用实例 例如通过骨科手术导航系统能够在术前制定手术计划和术中导航 可以在手术过程中跟踪手术器械 让手术医生随时知道手术器械的位置 为手术医生从技术上提供支援 使手术更安全更准确 实现影像辅助和微创技术 P223 6 5 3基于微机的实用虚拟现实系统 1 计算机辅助虚拟透视技术的临床意义手术过程中的X线透视是外科手术中的一个很有价值的工具 术中进行X射线透视扫描辅助定位 可明确手术器械与病人解剖结构的相对位置 提高手术精确度 减小手术的暴露范围 相比之下 计算机辅助的虚拟透视技术却有着如下优点 操作简单 精度高 不需要手术前的CT扫描 手术过程中透视成像与计算机辅助手术导航软件相结合 从而提供了一个实时的 多层面的成像 2 计算机辅助的虚拟透视系统的原理手术导航系统的设计原理源自 GPS Gl