第1章-多媒体技术概述(北科大 杨扬版)

1、多媒体通信多媒体通信北京科技大学杨 扬第第1章章 多媒体技术概述多媒体技术概述l多媒体技术的基本概念l多媒体的特征l多媒体计算机技术的发展历史l多媒体技术的主要内容l多媒体技术的应用l多媒体技术的发展趋势1、基本概念、基本概念l什么是媒体？ 媒体（Medium）在计算机领域中有两种含义，一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；一是指信息的载体，如数字、文字、声音、图形图像和视频等。lCCITT曾给媒体做了如下的分类： 感觉媒体（感觉媒体（Perception MediumPerception Medium） 表示媒体（表示媒体（Representation MediumRe

2、presentation Medium） 显示媒体（显示媒体（Presentation MediumPresentation Medium） 存储媒体（存储媒体（Storage MediumStorage Medium） 传输媒体（传输媒体（Transmission MediumTransmission Medium）1、基本概念、基本概念CPUOutputDeviceStorageInputDevice表示媒体存储媒体显示媒体显示媒体感觉媒体感觉媒体表示媒体传输媒体1、基本概念、基本概念l什么是多媒体？ “多媒体”译自20世纪80年代初产生的英文词“multimedia”，最早出现于美国麻省

3、理工学院(MIT)递交给国防部的一个项目计划报告中。 l多媒体是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。 l多媒体技术是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。l单一媒体：文本、声音、 视频、动画、图形、图像l集成的多媒体系统l综合处理各种媒 体，建立信息间 的逻辑链接2、多媒体的特征、多媒体的特征多媒体从本质上来说具有三个最重要的特征:- 多维化 - 集成性 - 交互性 除了以上三个特征，实际上多媒体还具有很多其它的特征，例如实时性，它主要指类似声音和视频这样

4、的媒体，它们具有很强的时间相关性。2.1多媒体的特征多媒体的特征多维化多维化l多维化是指信息媒体的多样化。它使人们思想的表达不再限于顺序的、单调的、狭小的范围内，而有充分自由的余地。l多媒体信息多维化不仅是指输入，而且还指输出，目前主要包括听觉和视觉两个方面。2.2多媒体的特征多媒体的特征集成性集成性l这不仅是指多媒体设备集成，而且也包含多媒体信息集成或表现集成。 l早期的各项技术都可以单一使用和应用，但很难有大的作为，因为它们是单一的、零散的，如声音、图像和交互式技术等。 l信息空间的不完整（例如，仅有静态图像而无动态视频、仅有声音而无图形等）都限制了信息空间中的信息组织，也就限制了信息的有

5、效使用。2.3多媒体的特征多媒体的特征交互性交互性l这是人们获取和使信息变被动为主动的最为重要的特征。 l多媒体信息空间中的交互性向用户提供更加有效地控制和使用信息的手段，同时也为应用开辟了更广阔的领域，交互可以增加对信息的注意和理解，延长保留的时间。3、多媒体技术的发展历史、多媒体技术的发展历史l多媒体及多媒体技术产生于20世纪80年代l1984年Apple公司引入“位图”的概念进行图像处理，并使用窗口和图标作为用户界面，这标志着多媒体技术的产生和应用l1986年PHILIPS和SONY公司联合推出了交互式紧凑光盘系统，能够将声音、文字、图形、图像等数字化信息存储到光盘上l1990年PHIL

6、IPS等十多家厂商成立多媒体市场协会，并制定了MPC(多媒体计算机)市场标准MPC最低功能要求规格最低功能要求规格项目项目MPC1MPC1MPC2MPC2MPC3MPC3RAMRAM2MB4MB8MB运算处理器运算处理器16MHz 386SX25 MHz 486SX75 MHz Pentium同等级X86CD-ROMCD-ROM150kB/s最大寻址时间1s300kB/s最大寻址时间400msCD-ROM XA600kB/s最大寻址时间200msCD-ROM XA声卡声卡8bit数字声音8个合成音MIDI16bit数字声音8个合成音MIDI8bit数字声音Wavetable(波表)MIDI显示

7、显示64048016色64048065536色64048065536色硬盘容量硬盘容量30MB160MB540MB彩色视频播放彩色视频播放-352240 30fps输入输出端口输入输出端口MIDI I/O,摇杆端口，串并联端口MIDI I/O,摇杆端口，串并联端口MIDI I/O,摇杆端口，串并联端口4、多媒体技术的主要内容、多媒体技术的主要内容4.1多媒体的软硬件平台l软件及硬件平台是实现多媒体系统的物质基础，其中每一项重要的技术突破都直接影响到多媒体的发展与应用的进程。l除了硬件和操作系统，软硬件平台还包括多媒体制作、编辑和应用系统。4.1多媒体的软硬件平台多媒体的软硬件平台多媒体应用系统

8、多媒体创作编辑软件多媒体制作平台与工具多媒体核心系统软件多媒体计算机硬件系统4.2专用芯片专用芯片l数字化后的音频和视频数据量非常大，因此必须进行压缩并需要大容量的存储器；音频和视频的输入和输出是实时的，需要高速度。要实现以上基本的要求，在很多情况下需要专用硬件支持。l多媒体计算机专用芯片可归纳为两种类型： 固定功能的芯片 可编程的处理器4.3数据压缩及编码技术数据压缩及编码技术l多媒体系统要求具有综合处理声、图、文的能力，面临的主要问题是巨大的数据量，尤其是对动态图形和视频图像l一幅中等分辨率彩色图像(分辨率为640480，256色，8bit/像素)大约需0.293M字节的存储空间，如果用电

9、话线的标准速率(2400bps)传输约需17分钟，一幅同样分辨率的真彩色(24bit/像素)图像的数据量约为7.37Mbit，一个1000MB（等于8000Mbit）的硬盘只能存约1000帧静止画面，一秒钟全动态视频画面（25帧）约占23.03MB空间，650MB的CD-ROM只能存放约28秒图像信息。数数字字音音频频格格式式频频带带(Hz)带带宽宽(KHz)取取样样率率(KHz)量量化化位位数数存存储储容容量量(MB)电电话话20034003.2880.48会会议议电电视视伴伴音音507000716141.68C CD D- -D DA A20200002044.1165.2922D DA

10、AT T20200002048165.762数数字字音音频频广广播播20200002048165.7661分钟数字音频信号需要的存储空间1分钟数字视频信号需要的存储空间4.4多媒体同步多媒体同步l在对多媒体数据进行综合处理时，不仅要考虑到各种媒体的相对独立性，为了达到较好的信息表示效果，还要注意保持媒体之间在时间和空间上的相关性。l多媒体信息以三种方式相互集成：制约式协作式交互式4.5多媒体网络与分布式处理技术多媒体网络与分布式处理技术l多媒体单机系统的研究目前已相对成熟，但对多媒体计算机网络的研究目前还不够成熟 l数字化的网络集多媒体信息的获取、存储、处理、编辑、综合、传输于一体，并运行于网

11、络上，网络的任意节点都可以共享网上的多媒体信息l多媒体技术要充分发展其对多媒体信息的处理能力，必须与网络技术相结合 l运行于网络环境下多媒体系统，因为它能够不受时空限制地使多个用户透明地共享网上的数据，特别是多个用户同时共同对一个数据文件进行编辑，这使得多媒体技术有了更广泛的应用4.6信息的组织与管理信息的组织与管理l多媒体数据量巨大，种类繁多，每种媒体之间差异很明显，但又存在某种关联性。如何管理、组织这些数据？如何从各种数据中找出所要信息？如何表现这些多媒体信息？l新型的信息管理方法：超媒体（Hypermedia） 信息的组织不是线性的，而是按照某种方式以非线性的形式进行存储、管理和浏览。l

12、超文本和超媒体适合表达多媒体信息 4.7多媒体数据存储多媒体数据存储l随着因数字化、网络化而开展的各种应用的不断增加，对多媒体网络存储系统的要求也越来越高。l这些要求不仅体现在存储容量上，还包括以下几个方面。 可用性和可访问性可靠性可扩展性 灵活性 安全性 易管理性 良好的性价比4.8虚拟现实技术虚拟现实技术l所谓虚拟现实，就是采用计算机技术生成一个逼真的视觉、听觉、触觉及嗅觉的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。l这个概念包含三层含义： - 虚拟实体用计算机来生成的一个逼真的实体； - 用户可以通过人的自然技能(人的头部转动、眼动、手势或其它的身体动作)与这个环

13、境交互； - 要借助于一些三维传感设备来完成交互动作，常用的如头盔立体显示器、数据手套、数据服装、三维鼠标等。4.9人机界面设计人机界面设计l人机界面设计的目的是通过对用户需求的解释达到一种人机之间较好的通信能力。l需要以下几个方面的研究： 稳健的语言处理模式，包括语音识别和自然语言理 解。 手势分析和理解模型的设计。 上述两个方面的通信模式的融合，因为二者之间在 对用户需求的理解上是相互补充的。 多模式环境中的对话管理。这是保证一个连续的对 话过程所必需的。4.10高速多媒体通信技术高速多媒体通信技术l高速多媒体通信技术是指为满足新一代信息系统中实时多媒体信息传输的需要，网络的带宽可能要在1

14、000Gbps以上，而且能支持服务质量控制，以适应不同媒体传输质量的要求。l解决三个方面的难度：相对于传统的数据应用而言，网络多媒体应用通常需要更高的网络带宽；大多数的多媒体应用都要求实时传输；多媒体数据流通常都存在一定的突发性，仅仅增加带宽还不能解决突发性所带来的问题。5、多媒体技术的应用、多媒体技术的应用l音/视频点播 l电子出版物 l医疗卫生l游戏与娱乐 l计算机视频会议 l多媒体展示和信息查询系统 lMIS(管理信息系统)与OA(办公自动化) l传媒、广告 l教学管理系统 l移动卫星6、多媒体技术的发展趋势、多媒体技术的发展趋势l计算机技术和网络通信技术的结合为多媒体技术的进一步应用和

15、发展提供了巨大的可能性，目前这种可能性已经逐渐变为现实。l多媒体技术的未来将朝着智能化和三维化两个方向发展。6.1多媒体技术的发展趋势多媒体技术的发展趋势智能化智能化l多媒体技术中最主要的处理对象就是数字音频和数字图像，这里的数字图像包括了静态图像和动态图像（视频、动画）。对数字音频的研究，主要涉及的是压缩编码和语音识别，而对数字图像的研究包括了压缩编码、图像分析识别和图像理解。l无论是自然语言的理解还是图像理解，都将涉及“智能化”，而智能化的目标就是实现人与计算机的自然交互。l人类一般都是用概念来表达意志，但是计算机存储的都是低层的数据，因此很难把这些概念表述出来。这样就提出来一个如何智能化处理的问题。l人机交互、语义网6.2多媒体技术的发展趋势多媒体技术的发展趋势三维化三维化l多媒体技术的一个重要研究内容就是将计算机视觉技术和图形学技术的内容结合起来，即实现所谓的增强现实技术。这样做可以将诸如视频会议系统的现场图像和计算机生成的图像叠加在一起，使多媒体的应用效果产生极大的改观，应用范围也随之发生新的拓展。l计算机图形学从二维图形发展到复杂的、高质量的三维的环境，其相关的技术已经得到广泛的应用。在娱乐方面，电影和计算机游戏中广泛地使用计算机