多媒体计算机技术(1).ppt

多媒体计算机技术 第一章 多媒体技术概述 多媒体技术基本概念 媒体的定义和分类 多媒体的定义和特征 多媒体信息处理的总目标 多媒体计算机技术及其发展历史 多媒体技术的主要内容 多媒体的软硬件平台 专用芯片 多核处理器 数据压缩及编码技术 多媒体同步 多媒体技术的应用 多媒体技术促进了计算机、通讯和大众媒体的融合 思 考 题 多媒体网络与分布式处理技术 信息的组织与管理 多媒体数据存储 虚拟现实技术 人机界面技术 高速多媒体通信技术 媒体的定义和分类 什么是媒体？ 媒体（Medium）在计算机领域中有两种含义， 一是指用以存储信息的实体，如磁盘、磁带、光盘 和半导体存储器；一是指信息的载体，如数字、文 字、声音、图形图像和视频等。 CCITT曾给媒体做了如下的分类： 感觉觉媒体（Perception Medium） 表示媒体（Representation Medium） 显显示媒体（Presentation Medium） 存储储媒体（Storage Medium） 传输传输 媒体（Transmission Medium） 媒体食物(价值)链 多媒体作 品(文档) 媒体 集成 媒体 编辑 媒体 准备 媒体 编辑 媒体 准备 媒体 编辑 媒体 准备 媒体 编辑 媒体 准备 网络 媒体通信 媒体消费 文本 图像 音频 视频 内容 (content) 媒体 显示 媒体消费 媒 体 显 示 数字项 (digital item) 返回 几种媒体的关系 CPU Output Device Storage Input Device 表示媒体 存储媒体 显示媒体显示媒体 感觉 媒体 感觉 媒体 表示媒体 传输 媒体 感觉觉媒体 感觉媒体是指能直接作用于人的感 官，使人能直接产生感觉的一类媒体 。感觉媒体有人类的各种语言、音乐 ，自然界的各种声音、图形、静止和 运动的图像等。 感觉媒体 视觉媒体 文字 景象 听觉媒体 语言 声音 触觉媒体 嗅觉媒体 味觉媒体 力,运动,温度 气味 滋味 声音 景象 类 型 名 称 分类 表示媒体 表示媒体是为了加工、处理和传输 感觉媒体而人为地研究、构造出来的 一种媒体。其目的是能将感觉媒体从 一个地方向另一个地方传送，以便于 加工和处理。表示媒体有各种编码方 式如语音编码、文本编码、静止和运 动图像编码等。 表示媒体举例 时间属性/空间属性/生成属性 图象（image） 图形（graphics） 文本（text） 视频（video） 动画（animation） 合成语音 MIDI音乐(MIDI) MP3音乐 波形声音(wave) 表示媒体的时间属性 time-independent ( discrete ) media（离 散媒体，值不会随着时间而变化） text , graphics , static image, . time-dependent ( continuous ) media （连 续媒体，值随着时间而变化） speech , music , video , animation, . 表示媒体的空间属性 1D媒体 单声道speech , music , 2D媒体 双声道music ; text , image , 2D graphics , 3D及多维媒体 3D graphics , 全景图像 , 空间立体声music , 表示媒体的生成属性 自然媒体(使用数字化方法从现实世界 获取的媒体) 取样声音 , image , video 合成媒体(使用计算机创建的媒体) 合成语音, MIDI , graphics , animation 自然媒体与合成媒体的区别 自然媒体 合成媒体 来源获取创建 表示方法取样表示符号表示 表现能力 真实感强 真实感有限 可编辑性有限全部 存储数据量很大数据量很小 检索困难容易 传输要求高要求低 展现处理容易处理复杂 返回 显显示媒体 显示媒体是指感觉媒体与用于通信 的电信号之间转换用的一类媒体。它 包括输入显示媒体（如键盘、摄像机 、话筒等）和输出显示媒体（如显示 器、喇叭和打印机等）。 返回 存储储媒体 存储媒体是用来存放表示媒体，以 方便计算机处理加工和调用，这类媒 体主要是指与计算机相关的外部存储 设备。 返回 传输传输 媒体 传输媒体是用来将媒体从一个地方 传送到另一个地方的物理载体。传输 媒体是通信的信息载体，如双绞线、 同轴电缆、光纤等。 返回 多媒体的定义 “多媒体”译自20世纪80年代初产生的英文 词“multimedia”，最早出现于美国麻省理 工学院(MIT)递交给国防部的一个项目计划 报告中。 多媒体是指信息表示媒体的多样化，常见的 多媒体有文字、图形、图像、声音、音乐、 视频、动画等多种形式。 多媒体技术是利用计算机技术把文本、声音 、视频、动画、图形和图像等多种媒体进行 综合处理，使多种信息之间建立逻辑连接， 集成为一个完整的系统。 多媒体的特征 多媒体从本质上来说具有三个最重 要的特征: - 多维化 - 集成性 - 交互性 除了以上三个特征，实际上多媒体 还具有很多其它的特征，例如实时性 ，它主要指类似声音和视频这样的媒 体，它们具有很强的时间相关性。 返回 多维化 多维化是指信息媒体的多样化。它使 人们思想的表达不再限于顺序的、单 调的、狭小的范围内，而有充分自由 的余地。 多媒体信息多维化不仅是指输入，而 且还指输出，目前主要包括听觉和视 觉两个方面。 返回 集成性 这不仅是指多媒体设备集成，而且也包含多 媒体信息集成或表现集成。 早期的各项技术都可以单一使用和应用，但 很难有大的作为，因为它们是单一的、零散 的，如声音、图像和交互式技术等。 信息空间的不完整（例如，仅有静态图像而 无动态视频、仅有声音而无图形等）都限制 了信息空间中的信息组织，也就限制了信息 的有效使用。 返回 交互性 这是人们获取和使信息变被动为主动 的最为重要的特征。 多媒体信息空间中的交互性向用户提 供更加有效地控制和使用信息的手段 ，同时也为应用开辟了更广阔的领域 ，交互可以增加对信息的注意和理解 ，延长保留的时间。 返回 多媒体信息处理的总目标 使能跨越各种不同网络和设备, 透明地 、强化地使用多媒体资源。 返回 多媒体信息处理空间 离散媒体： text, image, 连续媒体： audio, video, . 媒体处理 媒体类型 单媒体复合媒体 应用模式 单机应 用模式 网络应 用模式 获取(创建) 编 辑 管 理 传 输 检 索 描 述 展 现 说 明 编 码 返回 多媒体计算机技术 及其发展历史 1984年Apple公司在苹果机Macintosh(也称为 Mac)上引入了位图(Bitmap)概念进行图形处 理，并使用了窗口(Windows)和图标(Icon)作 为用户界面，标志了多媒体及多媒体技术的 产生和应用。 1986年，Philips公司和Sony公司联合推出了 交互式紧凑光盘系统CD-I（Compact Disc Interactive），能够将声音、文字、图形图像 等多媒体信息数字化并存储到光盘片上 多媒体计算机技术 及其发展历史 1987年，RCA公司推出了交互式数字视频系 统DVI(Digital Video Interactive)，以计算机 为基础，使用标准光盘来存储、检索多媒体 数据； 1989年IBM公司推出AVC系统(Audio Visual Connection)，提供了多媒体编辑功能; 1990年Philips等十多家厂商成立了多媒体 市场协会，并制定了MPC(多媒体计算机)的 市场标准MPC1 多媒体计算机技术 及其发展历史 1993年5月MPC联盟又制定了第二代多 媒体计算机标准MPC2，主要是提高 了基本部件的性能指标 1995年6月制定了MPC第三代的标准。 增加了全屏幕、全动态(30帧/秒)视频 及增强版CD音质的视频和音频硬件标 准 返回 项目MPC1MPC2MPC3 RAM2MB4MB8MB 运算处理器16MHz 386SX25 MHz 486SX 75 MHz Pentium 同等级X86 CD-ROM 150kB/s 最大寻址时间1s 300kB/s 最大寻址时间 400ms CD-ROM XA 600kB/s 最大寻址时间 200ms CD-ROM XA 声卡 8bit数字声音 8个合成音 MIDI 16bit数字声音 8个合成音 MIDI 8bit数字声音 Wavetable(波表) MIDI 显示 640480 16色 640480 65536色 640480 65536色 硬盘容量30MB160MB540MB 彩色视频播放-352240 30fps 输入输出端口 MIDI I/O,摇杆端 口，串并联端口 MIDI I/O,摇杆 端口，串并联端 口 MIDI I/O,摇杆 端口，串并联端 口 返回 多媒体的软硬件平台 软件及硬件平台是实现多媒体系统的物质基础，其中每一项重 要的技术突破都直接影响到多媒体的发展与应用的进程。 返回 多媒体硬件 视频信号I/O接口卡 音频信号I/O接口板 视频、音频压缩解压缩 视频、音频信号实时处理 驱动软件(Driver) 驱动器接口模板 视频/音频支撑系统 或视频/音频核心部件 在初始化引导程序作用下把它安装到系统RAM 中常驻内存。一个驱动器对应一种硬件设备的接 口。 多媒体计算机的核心软件 专用芯片 数字化后的音频和视频数据量非常大，因此 必须进行压缩并需要大容量的存储器；音频 和视频的输入和输出是实时的，需要高速度 。要实现以上最基本的要求，在很多情况下 ，需要专用硬件支持。 多媒体计算机专用芯片可归纳为两种类型： 一种是固定功能的芯片；一种是可编程的处 理器 片上系统(System on a chip,SOC)适应了人们 对于提高性能、缩小尺寸、降低能耗、快速 上市和降低成本等诸多方面的需求 专用芯片 NEC公司称其已开发出了一种用于图像识别的单芯 片并行处理器。这种处理器每秒能处理50.2G(1G 10亿)条指令。这一速度是3GHz的PC处理器的4倍， 能耗却只有1/10 这个由3270万个晶体管构成的芯片由一个128个8位 RISC处理单元和一个用于控制功能的16位处理器并 行构成。每个处理单元只有100MHz的工作频率，从 而大幅降低了能耗，其每个处理单元都拥有2KB的 存储空间，用于存储图像数据 这个处理器的功耗相当于PDA的处理器、图形处理 性能相当于4台PC，而尺寸却只有1111毫米 返回 多核处理器 目前最快的PC处理器上晶体管的数 目已经达到了5500万个，保守一点 估计，到2007年一个处理器将集成 10亿只晶体管（频率大约是6GHz） 。 巨大的晶体管数量意味着巨大的能 耗，随之而来的散热问题也日益凸 显。 毫无疑问，工艺的提升有助于部分 地解决散热问题，但生产工艺提升 本身就是一个耗资巨大（一条0.18微 米的生产线造价大约是20亿美元） 的工程 多核处理器 从理论上讲，由于将两个或多个运算核封装 在一个芯片内部，首先节省了大量的晶体管 和封装成本（CPU的核很小，将多个核封装 在一起给外形尺寸带来的变化并不显著）， 同时还能显著提高处理器的性能。 多核处理器对外的“界面”还是统一的（有的 多核产品甚至不会改变针脚数），所以整个 计算机系统需要为此做出的改变就很有限， 这意味着用户不会在主板、硬件体系方面做 大的改变，从兼容性和系统升级成本方面来 考虑有诸多的优势 多核处理器 双核或多核处理器早已有之，SOC、多媒体 、网络等一些嵌入式处理器中都采用了多核 技术 IBM Power 4处理器一样，将两颗完全一样 的处理器封装在一个芯片内，达到双倍或接 近双倍的处理性能，由于共享了缓存和系统 总线，因此这种做法的优点是能节省运算资 源。而Sun公司明年即将发布的双核处理器 Ultra SPARC IV则将两颗处理器集成在一个 硅片上，这样封装面积更小，相对功耗也更 低 多核处理器 采用0.13微米工艺的Madison芯片面积 将降低到200300mm2之间；到2004 年采用0.09微米工艺的第五代安腾处理 器Montecito的产品面积可能会进一步 降低到150mm2；直到2005年65纳米工 艺诞生，IA64处理器的大小可能会降 低到100mm2以下，届时，这些技术进 展会为Intel多核处理器的诞生打下坚实 的基础 返回 数据压缩及编码技术 多媒体系统要求具有综合处理声、图、文的 能力，面临的主要问题是巨大的数据量，尤 其是对动态图形和视频图像 多媒体信源引起了“数据爆炸” 如果不进行数据压缩 传输和存储都难以实用化 多媒体 数据 1分钟数字音频信号需要的存储空间 分钟数字视频信号需要的存储空间1 时间域压缩迅速传输媒体信源 频率域压缩并行开通更多业务 空间域压缩降低存储费用 能量域压缩降低发射功率 数据压缩的好处 返回 多媒体同步 多媒体信息本身的特点使得各种信息 之间在时间上具有一定的相关性，最 明显的例子是声音和图像，二者都是 时间的函数 在对多媒体数据进行综合处理时，不 仅要考虑到各种媒体的相对独立性， 为了达到较好的信息表示效果，还要 注意保持媒体之间在时间和空间上的 相关性 返回 多媒体网络 与分布式处理技术 多媒体单机系统的研究目前已相对成熟，但对多媒 体计算机网络的研究目前还不够成熟 数字化的网络集多媒体信息的获取、存储、处理、 编辑、综合、传输于一体，并运行于网络上，网络 的任意节点都可以共享网上的多媒体信息 多媒体技术要充分发展其对多媒体信息的处理能力 ，必须与网络技术相结合 运行于网络环境下多媒体系统，因为它能够不受时 空限制地使多个用户透明地共享网上的数据，特别 是多个用户同时共同对一个数据文件进行编辑，这 使得多媒体技术有了更广泛的应用 返回 信息的组织与管理 信息及数据管理是信息系统的核心问题之一 多媒体的数据量巨大，种类繁多，每种媒体 之间的差异又是那样明显，但这些信息又存 在种种关联性，这些都给数据与信息的管理 带来了新的问题 有一种新型的信息管理方法，即超媒体 (Hypermedia)，有人称之为天然的多媒体信 息管理方法 信息的组织与管理 无边无际的信息海洋中如何找到想要 的信息，这真像大海捞针。 探索者和研究者们早在20世纪60年代 就已经开始了对“大海捞针”技术的研究 与开发，并卓有成效。 信息的组织与管理 IBM将推出一种新技术，这种被称为非结构 化的信息管理架构（UIMA）的技术是一种 基于XML的数据检索体系，它将极大地扩展 和增强检索技术。当人们面对越来越多的音 频、视频、文本等数据时，这种人工智能技 术将极大地改善用户的数据存取状况。一个 典型的应用是网上的数据检索，它将使用户 检索到的数据只是用户真正想要的内容，而 不是现在这样的数十页甚至更多的信息。 返回 多媒体数据存储 随着网络技术的不断发展，对那些网 络服务提供商而言，数据的增长速度 促使硬件的存储能力必须不断提高， 因此需要考虑存储能力的可扩展性 目前一些新的技术，例如SAN(Storage Area Network, 存域网)已经在实际中 得到应用，这些技术的应用为系统的 不断升级提供了可能 返回 虚拟现实技术 所谓虚拟现实 ，就是采用计算机技术生 成一个逼真的视觉、听觉、触觉及嗅觉的 感觉世界，用户可以用人的自然技能对这个 生成的虚拟实体进行交互考察。这个概念包 含三层含义： - 虚拟实体用计算机来生成的一个逼真 的实体； - 用户可以通过人的自然技能(人的头 部转动、眼动、手势或其它的身体动作)与这个 环境交互； - 要借助于一些三维传感设备来完成交 互动作，常用的如头盔立体显示器、数据手套、 数据服装、三维鼠标等。 虚拟现实技术 它综合集成了计算机图形学、人机交互技术、传感 与测量技术、仿真、人工智能、微电子等科学技术 虚拟现实技术主要应用于工程设计、数据可视化、 飞行模拟、模拟实验、多媒体远程教育、远程医疗 、旅游娱乐等方面 网络通讯与虚拟现实技术的结合具有诱人的前景和 巨大的潜在应用价值，它将在某种程度上改变人类 的思维方式和时空观，实现真正意义上的远程交互 式教育 虚拟现实技术的发展必须有大容量的数据存储，快 速的数据处理和宽频信息通道的技术支撑 返回 人机界面技术 人机界面设计的目的是通过对用户需求的解释达 到一种人机之间较好的通信能力，为了达到这个目 的，需要在以下几个方面进行研究： 稳健的语言处理模式，包括语音识别和自然语言 理解。 手势分析和理解模型的设计。 上述两个方面的通信模式的融合，因为二者之间 在对用户需求的理解上是相互补充的。 多模式环境中的对话管理。这是保证一个连续的 对话过程所必需的。 任务的优化的图形表示使得对象能够被用户以一 种比较容易理解的方式出现。 返回 高速多媒体通信技术 所谓高速多媒体通信技术，是指为满足新一代信息 系统中实时多媒体信息传输的需要，网络的带宽可 能要在1000Gbps 以上，而且要能支持服务质量控制 (QoS)，以适应不同媒体对传输质量的要求。 返回 网 络 多媒体技术的应用 多媒体技术的应用 多媒体宣传演示系统 多媒体信息咨询系统 地理信息系统 服务行业多媒体应用 多媒体教学系统 多媒体训练系统 多媒体电子出版 多媒体娱乐系统 IP视频服务将进入高潮 无线视频服务将在两年内兴起，届时 ，它将成为宽带网络的新亮点 人们对基于宽带网络的服务已经成为 美国高科技工业和布什政府在科技政 策领域的关键目标。同时，视频服务 的增长也将为网络建设的发