多媒体计算机技术.ppt

多媒体计算机技术 鲁宏伟luhw 第一章多媒体技术概述 多媒体技术基本概念媒体的定义和分类多媒体的定义和特征多媒体信息处理的总目标多媒体计算机技术及其发展历史多媒体技术的主要内容多媒体的软硬件平台专用芯片多核处理器数据压缩及编码技术多媒体同步多媒体技术的应用多媒体技术促进了计算机 通讯和大众媒体的融合 思考题 多媒体网络与分布式处理技术信息的组织与管理多媒体数据存储虚拟现实技术人机界面技术高速多媒体通信技术 媒体的定义和分类 什么是媒体 媒体 Medium 在计算机领域中有两种含义 一是指用以存储信息的实体 如磁盘 磁带 光盘和半导体存储器 一是指信息的载体 如数字 文字 声音 图形图像和视频等 CCITT曾给媒体做了如下的分类 感觉媒体 PerceptionMedium 表示媒体 RepresentationMedium 显示媒体 PresentationMedium 存储媒体 StorageMedium 传输媒体 TransmissionMedium 媒体食物 价值 链 多媒体作品 文档 媒体集成 网络 媒体通信 媒体消费 文本 图像 音频 视频 内容 content 媒体显示 媒体消费 媒体显示 数字项 digitalitem 返回 几种媒体的关系 感觉媒体 感觉媒体是指能直接作用于人的感官 使人能直接产生感觉的一类媒体 感觉媒体有人类的各种语言 音乐 自然界的各种声音 图形 静止和运动的图像等 感觉媒体 类型名称分类 表示媒体 表示媒体是为了加工 处理和传输感觉媒体而人为地研究 构造出来的一种媒体 其目的是能将感觉媒体从一个地方向另一个地方传送 以便于加工和处理 表示媒体有各种编码方式如语音编码 文本编码 静止和运动图像编码等 表示媒体举例 时间属性 空间属性 生成属性 图象 image 图形 graphics 文本 text 视频 video 动画 animation 合成语音 MIDI音乐 MIDI MP3音乐 波形声音 wave 表示媒体的时间属性 time independent discrete media 离散媒体 值不会随着时间而变化 text graphics staticimage time dependent continuous media 连续媒体 值随着时间而变化 speech music video animation 表示媒体的空间属性 1D媒体单声道speech music 2D媒体双声道music text image 2Dgraphics 3D及多维媒体3Dgraphics 全景图像 空间立体声music 表示媒体的生成属性 自然媒体 使用数字化方法从现实世界获取的媒体 取样声音 image video合成媒体 使用计算机创建的媒体 合成语音 MIDI graphics animation 自然媒体与合成媒体的区别 自然媒体合成媒体来源获取创建表示方法取样表示符号表示表现能力真实感强真实感有限可编辑性有限全部存储数据量很大数据量很小检索困难容易传输要求高要求低展现处理容易处理复杂 返回 显示媒体 显示媒体是指感觉媒体与用于通信的电信号之间转换用的一类媒体 它包括输入显示媒体 如键盘 摄像机 话筒等 和输出显示媒体 如显示器 喇叭和打印机等 返回 存储媒体 存储媒体是用来存放表示媒体 以方便计算机处理加工和调用 这类媒体主要是指与计算机相关的外部存储设备 返回 传输媒体 传输媒体是用来将媒体从一个地方传送到另一个地方的物理载体 传输媒体是通信的信息载体 如双绞线 同轴电缆 光纤等 返回 多媒体的定义 多媒体 译自20世纪80年代初产生的英文词 multimedia 最早出现于美国麻省理工学院 MIT 递交给国防部的一个项目计划报告中 多媒体是指信息表示媒体的多样化 常见的多媒体有文字 图形 图像 声音 音乐 视频 动画等多种形式 多媒体技术是利用计算机技术把文本 声音 视频 动画 图形和图像等多种媒体进行综合处理 使多种信息之间建立逻辑连接 集成为一个完整的系统 多媒体的特征 多媒体从本质上来说具有三个最重要的特征 多维化 集成性 交互性除了以上三个特征 实际上多媒体还具有很多其它的特征 例如实时性 它主要指类似声音和视频这样的媒体 它们具有很强的时间相关性 返回 多维化 多维化是指信息媒体的多样化 它使人们思想的表达不再限于顺序的 单调的 狭小的范围内 而有充分自由的余地 多媒体信息多维化不仅是指输入 而且还指输出 目前主要包括听觉和视觉两个方面 返回 集成性 这不仅是指多媒体设备集成 而且也包含多媒体信息集成或表现集成 早期的各项技术都可以单一使用和应用 但很难有大的作为 因为它们是单一的 零散的 如声音 图像和交互式技术等 信息空间的不完整 例如 仅有静态图像而无动态视频 仅有声音而无图形等 都限制了信息空间中的信息组织 也就限制了信息的有效使用 返回 交互性 这是人们获取和使信息变被动为主动的最为重要的特征 多媒体信息空间中的交互性向用户提供更加有效地控制和使用信息的手段 同时也为应用开辟了更广阔的领域 交互可以增加对信息的注意和理解 延长保留的时间 返回 多媒体信息处理的总目标 使能跨越各种不同网络和设备 透明地 强化地使用多媒体资源 返回 多媒体信息处理空间 离散媒体 text image 连续媒体 audio video 返回 多媒体计算机技术及其发展历史 1984年Apple公司在苹果机Macintosh 也称为Mac 上引入了位图 Bitmap 概念进行图形处理 并使用了窗口 Windows 和图标 Icon 作为用户界面 标志了多媒体及多媒体技术的产生和应用 1986年 Philips公司和Sony公司联合推出了交互式紧凑光盘系统CD I CompactDiscInteractive 能够将声音 文字 图形图像等多媒体信息数字化并存储到光盘片上 多媒体计算机技术及其发展历史 1987年 RCA公司推出了交互式数字视频系统DVI DigitalVideoInteractive 以计算机为基础 使用标准光盘来存储 检索多媒体数据 1989年IBM公司推出AVC系统 AudioVisualConnection 提供了多媒体编辑功能 1990年Philips等十多家厂商成立了多媒体市场协会 并制定了MPC 多媒体计算机 的市场标准MPC1 多媒体计算机技术及其发展历史 1993年5月MPC联盟又制定了第二代多媒体计算机标准 MPC2 主要是提高了基本部件的性能指标1995年6月制定了MPC第三代的标准 增加了全屏幕 全动态 30帧 秒 视频及增强版CD音质的视频和音频硬件标准 返回 返回 多媒体的软硬件平台 软件及硬件平台是实现多媒体系统的物质基础 其中每一项重要的技术突破都直接影响到多媒体的发展与应用的进程 返回 专用芯片 数字化后的音频和视频数据量非常大 因此必须进行压缩并需要大容量的存储器 音频和视频的输入和输出是实时的 需要高速度 要实现以上最基本的要求 在很多情况下 需要专用硬件支持 多媒体计算机专用芯片可归纳为两种类型 一种是固定功能的芯片 一种是可编程的处理器片上系统 Systemonachip SOC 适应了人们对于提高性能 缩小尺寸 降低能耗 快速上市和降低成本等诸多方面的需求 专用芯片 NEC公司称其已开发出了一种用于图像识别的单芯片并行处理器 这种处理器每秒能处理50 2G 1G 10亿 条指令 这一速度是3GHz的PC处理器的4倍 能耗却只有1 10这个由3270万个晶体管构成的芯片由一个128个8位RISC处理单元和一个用于控制功能的16位处理器并行构成 每个处理单元只有100MHz的工作频率 从而大幅降低了能耗 其每个处理单元都拥有2KB的存储空间 用于存储图像数据这个处理器的功耗相当于PDA的处理器 图形处理性能相当于4台PC 而尺寸却只有11 11毫米 返回 多核处理器 目前最快的PC处理器上晶体管的数目已经达到了5500万个 保守一点估计 到2007年一个处理器将集成10亿只晶体管 频率大约是6GHz 巨大的晶体管数量意味着巨大的能耗 随之而来的散热问题也日益凸显 毫无疑问 工艺的提升有助于部分地解决散热问题 但生产工艺提升本身就是一个耗资巨大 一条0 18微米的生产线造价大约是20亿美元 的工程 多核处理器 从理论上讲 由于将两个或多个运算核封装在一个芯片内部 首先节省了大量的晶体管和封装成本 CPU的核很小 将多个核封装在一起给外形尺寸带来的变化并不显著 同时还能显著提高处理器的性能 多核处理器对外的 界面 还是统一的 有的多核产品甚至不会改变针脚数 所以整个计算机系统需要为此做出的改变就很有限 这意味着用户不会在主板 硬件体系方面做大的改变 从兼容性和系统升级成本方面来考虑有诸多的优势 多核处理器 双核或多核处理器早已有之 SOC 多媒体 网络等一些嵌入式处理器中都采用了多核技术IBMPower4处理器一样 将两颗完全一样的处理器封装在一个芯片内 达到双倍或接近双倍的处理性能 由于共享了缓存和系统总线 因此这种做法的优点是能节省运算资源 而Sun公司明年即将发布的双核处理器UltraSPARCIV则将两颗处理器集成在一个硅片上 这样封装面积更小 相对功耗也更低 多核处理器 采用0 13微米工艺的Madison芯片面积将降低到200 300mm2之间 到2004年采用0 09微米工艺的第五代安腾处理器Montecito的产品面积可能会进一步降低到150mm2 直到2005年65纳米工艺诞生 IA64处理器的大小可能会降低到100mm2以下 届时 这些技术进展会为Intel多核处理器的诞生打下坚实的基础 返回 数据压缩及编码技术 多媒体系统要求具有综合处理声 图 文的能力 面临的主要问题是巨大的数据量 尤其是对动态图形和视频图像多媒体信源引起了 数据爆炸 如果不进行数据压缩传输和存储都难以实用化 1分钟数字音频信号需要的存储空间 分钟数字视频信号需要的存储空间 1 时间域压缩 迅速传输媒体信源频率域压缩 并行开通更多业务空间域压缩 降低存储费用能量域压缩 降低发射功率 数据压缩的好处 返回 多媒体同步 多媒体信息本身的特点使得各种信息之间在时间上具有一定的相关性 最明显的例子是声音和图像 二者都是时间的函数在对多媒体数据进行综合处理时 不仅要考虑到各种媒体的相对独立性 为了达到较好的信息表示效果 还要注意保持媒体之间在时间和空间上的相关性 返回 多媒体网络与分布式处理技术 多媒体单机系统的研究目前已相对成熟 但对多媒体计算机网络的研究目前还不够成熟数字化的网络集多媒体信息的获取 存储 处理 编辑 综合 传输于一体 并运行于网络上 网络的任意节点都可以共享网上的多媒体信息多媒体技术要充分发展其对多媒体信息的处理能力 必须与网络技术相结合运行于网络环境下多媒体系统 因为它能够不受时空限制地使多个用户透明地共享网上的数据 特别是多个用户同时共同对一个数据文件进行编辑 这使得多媒体技术有了更广泛的应用 返回 信息的组织与管理 信息及数据管理是信息系统的核心问题之一多媒体的数据量巨大 种类繁多 每种媒体之间的差异又是那样明显 但这些信息又存在种种关联性 这些都给数据与信息的管理带来了新的问题有一种新型的信息管理方法 即超媒体 Hypermedia 有人称之为天然的多媒体信息管理方法 信息的组织与管理 无边无际的信息海洋中如何找到想要的信息 这真像大海捞针 探索者和研究者们早在20世纪60年代就已经开始了对 大海捞针 技术的研究与开发 并卓有成效 信息的组织与管理 IBM将推出一种新技术 这种被称为非结构化的信息管理架构 UIMA 的技术是一种基于XML的数据检索体系 它将极大地扩展和增强检索技术 当人们面对越来越多的音频 视频 文本等数据时 这种人工智能技术将极大地改善用户的数据存取状况 一个典型的应用是网上的数据检索 它将使用户检索到的数据只是用户真正想要的内容 而不是现在这样的数十页甚至更多的信息 返回 多媒体数据存储 随着网络技术的不断发展 对那些网络服务提供商而言 数据的增长速度促使硬件的存储能力必须不断提高 因此需要考虑存储能力的可扩展性目前一些新的技术 例如SAN StorageAreaNetwork 存域网 已经在实际中得到应用 这些技术的应用为系统的不断升级提供了可能 返回 虚拟现实技术 所谓虚拟现实 就是采用计算机技术生成一个逼真的视觉 听觉 触觉及嗅觉的感觉世界 用户可以用人的自然技能对这个生成的虚拟实体进行交互考察 这个概念包含三层含义 虚拟实体用计算机来生成的一个逼真的实体 用户可以通过人的自然技能 人的头部转动 眼动 手势或其它的身体动作 与这个环境交互 要借助于一些三维传感设备来完成交互动作 常用的如头盔立体显示器 数据手套 数据服装 三维鼠标等 虚拟现实技术 它综合集成了计算机图形学 人机交互技术 传感与测量技术 仿真 人工智能 微电子等科学技术虚拟现实技术主要应用于工程设计 数据可视化 飞行模拟 模拟实验 多媒体远程教育 远程医疗 旅游娱乐等方面网络通讯与虚拟现实技术的结合具有诱人的前景和巨大的潜在应用价值 它将在某种程度上改变人类的思维方式和时空观 实现真正意义上的远程交互式教育虚拟现实技术的发展必须有大容量的数据存储 快速的数据处理和宽频信息通道的技术支撑 返回 人机界面技术 人机界面设计的目的是通过对用户需求的解释达到一种人机之间较好的通信能力 为了达到这个目的 需要在以下几个方面进行研究 稳健的语言处理模式 包括语音识别和自然语言理解 手势分析和理解模型的设计 上述两个方面的通信模式的融合 因为二者之间在对用户需求的理解上是相互补充的 多模式环境中的对话管理 这是保证一个连续的对话过程所必需的 任务的优化的图形表示使得对象能够被用户以一种比较容易理解的方式出现 返回 高速多媒体通信技术 所谓高速多媒体通信技术 是指为满足新一代信息系统中实时多媒体信息传输的需要 网络的带宽可能要在1000Gbps以上 而且要能支持服务质量控制 QoS 以适应不同媒体对传输质量的要求 返回 多媒体技术的应用 多媒体技术的应用 多媒体宣传演示系统多媒体信息咨询系统地理信息系统服务行业多媒体应用多媒体教学系统多媒体训练系统多媒体电子出版多媒体娱乐系统 IP视频服务将进入高潮 无线视频服务将在两年内兴起 届时 它将成为宽带网络的新亮点人们对基于宽带网络的服务已经成为美国高科技工业和布什政府在科技政策领