多媒体技术概论课件

1、第一章 多媒体技术概述 主要内容多媒体技术的基本概念多媒体技术的研究内容多媒体技术的应用和发展多媒体系统的组成1.1 多媒体技术的基本概念1. 何谓“多媒体” ？“多媒体”译自英文“Multimedia”。 Multimedia = Multi词根：多 + medium词根：中间，介质7/31/20223媒体的名词解释媒体，介质：物体传输或变换时的中间物质；一种大众传播方式，如报纸、杂志或电视（摘自1991年出版的美国大百科电子词典）。7/31/202242. 什么是“媒体” ？媒体（medium）在计算机领域有两种含义：一是指存储信息的实体，如磁盘、光盘、磁带等，中文译为媒质；二是指传递信息

2、的载体，如数字、文字、声音、图形、图像等，中文译为媒介；多媒体中的“媒体 ”是指后者。7/31/20225五大类媒体1.感知媒体：指的是能直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。如语言、音乐、自然界中的各种声音、各种图像、动画、文字等。要解决的问题是：人在计算机环境中如何感知信息？7/31/202262.表示媒体：指的是为了传送感觉媒体而人为研究出来的媒体。即用计算机的内部表示来刻画信息。如语言编码、电报码、条形码等。要解决的问题是：计算机信息如何编码？3.表现媒体：指的是用于通信中使用电信号和感觉媒体之间产生转换用的媒体。如输入、输出设备等。要解决的问题是：信息通过何种媒体输

3、入到计算机中或从计算机中输出？7/31/202274.存储媒体：指的是能支持信息存储的数据载体，即用于存放某种媒体的媒体。如纸张、磁带、磁盘、光盘等。要解决的问题是：信息存储在什么地方？5.传输媒体：指的是用于传输某些媒体的媒体。如电话线、电缆、光纤、无线电波等。要解决的问题是：在什么上面传输信息？7/31/20228感觉媒体输入设备CPU输出设备感觉媒体存储设备表现媒体表示媒体存储媒体传输媒体表现媒体图 各种媒体之间的关系7/31/20229表示值和表示维数媒体的表示空间：例如可视的表示空间是纸和计算机屏幕。媒体的表示值：决定不同媒体的信息表示。表示值可以是离散的，也可以是连续的。表示维数：

4、每个表示空间由一个或多个表示维组成。在每个表示空间中，时间可作为另一维。7/31/202210媒体与时间的关系（1）独立于时间的媒体 这些媒体的信息由一组独立的元素组成，不包含时间信息。这种媒体的处理应该尽可能快，但这种处理不是限时的。（2）依赖于时间的媒体 这些媒体信息不仅用一系列的值表示，而且要指出相应值出现的时间。这些数据的处理是限时的，数据的有效性依赖于时间条件。7/31/202211感觉媒体静态媒体：文字、图形、图像动态媒体：声音、动画、活动影像3. 多媒体的定义定义1“多媒体”是指能够同时获取、处理、编辑、存储和展示两种以上不同类型信息媒体的技术。7/31/202212定义2多媒体

5、是融合两种以上媒体的人-机交互式信息交流和传播媒体。7/31/202213理解多媒体的概念多媒体是信息交流和传播媒体。从这个意义上说，多媒体和电视、报纸、杂志等媒体的功能是一样的。多媒体是人-机交互式媒体，这里的“机”目前主要是指计算机，或由微处理器控制的其它终端设备。7/31/202214多媒体信息都是以数字形式而不是以模拟信号形式存储和传输的。虽然融合任何两种以上的媒体就可以称为多媒体，但通常认为多媒体中连续媒体是人和机器交互的最自然的媒体。7/31/202215问题根据多媒体特性判断下面哪些属于多媒体的范畴？彩色电视有声图书立体声音乐交互式视频游戏7/31/202216多媒体计算机技术的

6、定义Multimedia Computer Technology的定义是： 计算机综合处理多种媒体信息，文本、图形、图像、音频和视频，使多种信息建立逻辑连接，集成为一个系统并有交互性。7/31/2022174. 多媒体计算机技术的特点集成性：建立在数字化的基础上的多种媒体的集成。交互性：可以和用户做交互性沟通，是多媒体和传统媒体最大的不同。实时性：是指在多媒体系统中声音及活动视频图像是强实时的。多媒体系统需要提供对这些与时间密切相关的媒体实时处理的能力。7/31/2022181.2 多媒体技术的研究内容1.多媒体数据压缩和解压缩技术数字化的声音和图像数据量非常大，例如： 使用11.025KHz

7、采样频率和8位量化精度的单声道的声音信号，一分钟的数据量为0.66MB;一秒钟全活动视频画面的数据量约为22.12MB。如果不使用压缩技术和解压缩技术，目前的微型机还无法实现对动态视频和立体声的实时处理。7/31/2022192.多媒体数据存储技术 多媒体信息需要大量的存储空间。因此存储技术成为影响多媒体应用发展的重要因素。高效快速的存储设备是多媒体系统的基本部件之一。 光盘存储器是目前主要的多媒体存储设备。3.多媒体硬件平台 多媒体系统的基础是计算机系统，配备配置较高丰富的外设。7/31/2022204.多媒体计算机系统软件平台 以支持多媒体信息管理的操作系统为基础；包括处理不同类型媒体的多

8、媒体素材制作工具及开发不同应用系统的开发工具，如Macromedia Director、3DStudio、多媒体节目编著工具Authorware等。7/31/2022215.多媒体数据库与基于内容的检索技术 与传统的数据库相比，多媒体的数据库包含着多种数据类型，必须支持大对象；需要提供基于相似性的检索，以及提供对连续媒体传输速度的保证。6.超文本与web技术超文本是一种非线性结构，以结点为单位组织信息，在结点和结点之间通过表示它们之间的链加以连接，构成表达特定内容的信息网络。7/31/2022227/31/2022231.3 多媒体技术的应用和发展推动多媒体系统发展的强大动力是多媒体应用，其中

9、一个主要动力是媒体娱乐业。当前多媒体应用的领域很广泛。其基本应用方式有：多媒体演示系统；多媒体网络；数字电视；等。7/31/202224多媒体技术的发展方向（1）智能化 图像理解、语音识别、多媒体数据检索、虚拟现实等基于内容管理的技术是研究的热点。（2）立体化 PC、家电设备、工业控制系统、现场监视系统全部实现数字化，并将随网络技术和通信技术的发展构建一个立体化的信息网络。7/31/202225多媒体技术的发展方向以虚拟现实环境为例，说明多媒体技术未来某些发展方向。7/31/202226虚拟现实虚拟现实（VirtualReality）是一种全新的人机交互系统。它能对介入者人产生各种感官刺激，如

10、视觉、听觉、触觉、嗅觉、并给人一种身临其境的感觉；人能以自然的方式与计算机生成的环境进行交互操作。7/31/202227VR的由来早在1965年美国I.E.Sutherland就提出了所谓“TheUltimateDisplay”，目标是使人在计算机生成的世界中产生亲临其境的感觉，并能与计算机进行自然、直接的交换。1968年I.E.Sutherland研制成功头盔式显示器和头部及手跟踪器，这些技术后来在飞行模拟器中起了重要作用。7/31/20222880年代中期，NASA研制成功第一套基于头盔显示器及数据手套的VR系统。VR正成为高科技和军事领域中不可缺的技术，正在开发的应用领域有飞行、空间技术

11、、医学、娱乐等。7/31/202229虚拟现实的本质虚拟现实是指用计算机生成的一种特殊环境，人可以通过使用各种特殊装置将自己“投射”到这个环境中，并操作、控制环境，实现特殊的目的，即人是这种环境的主宰。从本质上来说，虚拟现实就是一种先进的计算机用户接口，它通过给用户同时提供诸如视觉、听觉、触觉等各种直观而又自然的实时感知交互手段，最大限度地方便用户的操作。7/31/202230主要特征多感知性(Multi-Sensory)浸没感(Immersion) 交互性(Interactivity)构想性(Imagination)7/31/202231多感知性(Multi-Sensory)所谓多感知是指除

12、了一般计算机技术所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知，甚至包括味觉感知、嗅觉感知等。由于相关技术，特别是传感技术的限制，目前虚拟现实技术所具有的感知功能仅限于视觉、听觉、力觉、触觉、运动等几种。7/31/202232浸没感(Immersion) 又称临场感，指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假，使用户全身心地投入到计算机创建的三维虚拟环境中，该环境中的一切看上去是真的，听上去是真的，动起来是真的，甚至闻起来、尝起来等一切感觉都是真的，如同在现实世界中的感觉一样。7/31/202233交互性(Interactivity)

13、交互性(Interactivity)指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手去直接抓取模拟环境中虚拟的物体，这时手有握着东西的感觉，并可以感觉物体的重量，视野中被抓的物体也能立刻随着手的移动而移动。7/31/202234构想性(Imagination)强调虚拟现实技术应具有广阔的可想像空间，可拓宽人类认知范围:再现真实存在的环境;随意构想客观不存在的甚至是不可能发生的环境。7/31/202235VR技术用于远程医疗例如，通过远程医疗虚拟现实系统，对在偏远的山区的危急病人实施远程手术。医生对病人模型进行手术，他的动作通过卫星传送到远处的手术机

14、器人。手术的实际图像通过机器人上的摄像机传回医生的头盔立体显示器，并将其和虚拟病人模型进行叠加，为医生提供有用的信息。美国斯坦福国际研究所已成功研制出远程手术医疗系统。7/31/202236飞行训练模拟利用计算机动画技术实时生成具有真实感的周围环境图像，如机场、山脉和云彩等。此时，飞行员驾驶舱的舷舱成为计算机屏幕，飞行员的飞行控制信息转化为数字信号直接输出到电脑程序，进而模拟飞机的各种飞行特征。飞行员可以模拟驾驶飞机进行起飞、着落、转身等操作。7/31/202237三维交互设备确定人体空间方向、位置、速度及施力大小。数据手套数据衣数据头盔及眼镜力反馈仪7/31/202238数据手套数据手套跟踪

15、手部运动精确操作日本ATR实验室：筷子5DT公司Glove 16型传感器数据手套7/31/202239数据头盔数据头盔获得人头部的空间位置，并输出音频和视频信号；数据眼镜是图形图像输出设备。7/31/202240HMD7/31/202241Head-Mounted DisplaysTwo miniature display screens(LCD or CRT)An optical system that channels the images from the screens to the eyesPresenting a stereo view of a virtual world. A

16、motion tracker： continuously measures the position and orientation of the users head and allows the image generating computer to adjust the scene representation to the current view. As a result, the viewer can look around and walk through the surrounding virtual environment. 7/31/202242立体视觉立体视觉是人眼辨别

17、物体的空间位置，包括远近、前后、高低等相对位置的功能。在计算机视觉中关心的核心问题之一是空间知觉，也就是深度知觉。深度知觉既可以来自双眼线索也可以来自单眼线索。7/31/202243单眼深度觉相对大小（Relative size）纹理梯度（texture gradient）运动（motion）光与阴影（lighting and shadow）透视（Perspective） 聚焦调节（accomodation） 重叠与遮挡（interposition）7/31/202244单眼深度觉示例纹理梯度光与阴影 遮挡 相对大小 7/31/202245双眼深度觉双眼辅合作用。当人们注视近处物体时，两眼的视

18、线就必须向中间聚合，以便使视线的焦点落在物体上，这种通过眼球转动以聚合视线从而获得深度信息的双眼线索称为辅合作用。双目视差线索。双眼看同一景物时，由于左右眼的位置不同（对于成人来说，一般两眼的距离是2.5英寸或64毫米），所以看到的景象不完全一致，这种差别称之为双目视差。在虚拟现实技术中，利用双目视差来造成立体感是一个重要的方面。 7/31/202246立体显示原理7/31/202247立体视觉模型从立体视觉模型可知，要使计算机产生的图像具有立体感，就需要做到：A.以左右眼为观察点，产生两幅画面，我们分别称其为左画面和右画面。B.左眼只能看到左画面，右眼只能看到右画面。7/31/202248左

19、右画面交替显示对于后一个问题的解决方法有三种：用两个小型CRT显示装置分别显示左、右画面，并安装在头盔上，使左眼只看到左画面，右眼只看到右画面；用单独的显示器，但在眼睛前面加上控制快门。CRT依次显示左、右画面，两眼前的快门同步，而交替地开闭。当显示左画面时，左眼快门打开，右眼快门关闭；当显示右画面时，右眼快门打开，左眼快门关闭；7/31/202249(3) 双色立体显示。这是一种最简单的立体显示办法。它对左右画面分别采用红色和蓝色来显示，而在左右眼处分别用红蓝镜片对画面进行选择。7/31/202250当前虚拟现实需要解决的问题虚拟现实的交互能力依赖于立体显示和传感器技术的发展，现有的设备远远

20、不能满足需要。比如头盔式三维立体显示器有以下缺点:过重(1.5 kg至2kg)分辨率低(图像质量差)延迟大(刷新频率低)行动不便(有线)跟踪精度低视场不够宽眼睛容易疲劳等7/31/202251人与计算机之间的交流层次人机接口能力：人类的视觉和听觉；机器的视觉和听觉。人的感知系统和肌肉系统与计算机的结合作用。触觉、味觉、嗅觉、运动等。研究“人在实践中得到的感觉信息是怎样在人的大脑中存储和加工处理成为人对客观世界的认识”，人和信息处理系统间的隔阂能够被彻底的克服。7/31/202252人机交流的现状目前虚拟现实技术所取得的成就，绝大部分还仅仅限于扩展了计算机的接口能力；仅仅是刚刚开始涉及到人的感知

21、系统和肌肉系统与计算机的结合作用问题；还根本未涉及“人在实践中得到的感觉信息是怎样在人的大脑中存储和加工处理成为人对客观世界的认识”这一重要过程。7/31/2022531.4 多媒体系统的组成多媒体系统是指能对文本、图形、图像、音频、动画和视频等多媒体信息，进行逻辑互连、获取、编辑、存储和播放等功能的计算机系统。多媒体计算机需要计算机交互式地综合处理声、文、图信息，尤其是图像和声音信息数据量大，处理速度要求高。7/31/202254多媒体系统构成多媒体系统一般由四部分构成：多媒体硬件系统多媒体操作系统多媒体创作工具多媒体应用系统7/31/202255多媒体硬件系统音频部分：负责采集、加工、处理

22、波表、M I D I等多种形式的音频素材，需要的硬件有录音设备、M I D I合成器、高性能的声卡、音箱、话筒、耳机等。图像部分：负责采集，加工，处理各种格式的图像素材，需要的硬件有静态图像采集卡、数字化仪、数码相机，扫描仪等。7/31/202256视频部分：负责采集、编辑计算机动画、视频素材，对机器速度、存储要求较高，需要的硬件设备有动态图像采集卡、数字录像机、以及海量存储器等。存储部分：可以用刻录机刻录成光盘保存。硬盘（IDE硬盘、SCSI硬盘等），现在它的容量已极大提高，100多G硬盘已经出现，另外硬盘的转速也提高很快，目前已经达到一万转。7/31/2022577/31/202258多媒

23、体操作系统在多媒体系统中，离散和连续多媒体数据的集成要求操作系统提供额外的服务功能。连续媒体数据的实时处理。进程管理必须考虑到多媒体数据处理的时序要求，使用适当的调度方法；为应用系统提供设备访问功能，将设备与应用程序屏蔽开来；7/31/202259多媒体操作系统一体化的计算机控制媒体的生成、存储、通信等操作以及时间相关或不相关的媒体的独立表现。其中关键之一是各种媒体数据间的同步。操作系统需要提供各媒体对象间时序关系所需要的同步控制机制；友好的具有图形功能和声像功能的用户接口。7/31/202260多媒体系统开发软件工具媒体创作工具：用于建立媒体模型、产生媒体数据。多媒体著作工具：帮助开发者制作

24、多媒体应用系统的软件工具的统称。它可以对文本、图形、图像、动画、视频和音频数据进行控制和管理，并将它们按照要求连接成完整的多媒体应用系统。7/31/202261媒体播放工具：可以在计算机上播出视频序列（包括伴音）的软件系统。如Video for Windows。其他各类媒体处理工具： 如多媒体数据库管理系统等。7/31/202262多媒体应用系统称为多媒体应用软件。它是由各种应用领域的专家或开发人员利用计算机语言或多媒体创作工具制作的最终多媒体产品，是直接面向用户的。7/31/2022631.5 多媒体个人计算机多媒体个人计算机（Multimedia personal computer，简称M

25、PC）指具有特定多媒体功能的PC机。实际上，MPC并不是全新的个人计算机，它是在现有PC机基础上加上一些硬件板卡及其软件，使其具有综合处理声音、文字、图形、图像等信息的功能。7/31/202264MPC的技术标准MPC联盟规定多媒体计算机包括5个基本的部件：个人计算机、只读光盘驱动器（CD-ROM）、声卡、Windows 操作系统和一组音箱或耳机。在多媒体技术发展的早期和中期，多媒体计算机的硬件性能和参数有严格的工业标准，以使多媒体计算机保持良好的兼容性和一致性，这就是MPC标准。7/31/202265三个标准MPC1标准公布于1991年，由“多媒体个人计算机市场协会”提出。内容大概如后。19

26、93年5月，MPC2标准由“多媒体个人计算机市场协会”公布。内容大致如后。1995年6月，MPC3标准由“多媒体个人计算机工作组(Multimedia PC Working Group)”公布。7/31/202266MPC的技术标准内容项目MPC-1MPC-2MPC-3制定时间1990年1993年5月1995年6月RAM2MB4MB8MBCPU16MHz386SX25MHz486SX75MHzPentium硬盘容量30M160M540MCD-ROM150kB/s 1s300kB/s 400ms600kB/s 200ms声卡8bit 16bit16bit显示640480 16640480 655

27、3664048065536视频播放/352 240 30输入输出MIDIMIDIMIDI7/31/202267MPC系统的特点和功能图像处理：包括图像获取、编辑和变换。声音处理：声音的数字化方法是采样。每次采样数字化后的位数越多，音质就越好。声音的处理还分为单声道和立体声道MDI。MIDI乐器的数字接口：MIDI规定了电子乐器之间电缆的硬件接口标准和设备之间的通信协议。7/31/202268动画处理：计算机动画有两种，一种是造型动画，另一种是帧动画。多媒体数据的存储：硬盘介质；光盘介质；磁带备用介质。MPC之间的信息传递：可移动硬盘；可移动光盘；网络；串口通信。7/31/202269图 多媒体

28、个人计算机（MPC）结构原理7/31/202270MPC基本设备音频卡完成声音数据的采集，模/数转换或者数/模转换，音频过滤以及音频播放等功能。，分为8位和16位卡两种。7/31/202271视频卡有视频抓取卡、视频显示卡（VGA卡），视频转换卡（如TVCoder）以及动态视频压缩和视频解压缩卡等。它们完成的功能主要包括图形图像的采集、压缩、显示、叠加、淡入/淡出、转换和输出等。7/31/202272CD-ROM驱动器/ DVD驱动器CD-ROM(Compact Disc-Read Only Memory)系统包括CD-ROM驱动器和CD-ROM盘片两部分。其中CD-ROM盘片是多媒体信息的载

29、体；CD-ROM驱动器通过连线与计算机相连，主要任务是完成对CD-ROM盘片上的数据读取。DVD也是一种光学存储媒体，DVD在存储容量和带宽方面都有很大的提高。7/31/202273CD-ROM盘片CD-ROM盘片是用塑料压制成的圆盘，盘片的直径为120mm，中心定位孔为15mm，厚度为1.2mm。CD-ROM盘片用单面存储数据，另一面用来印刷商标。CD-ROM盘片的最上层是涂了漆的保护层，该层上印有商标。第二层是铝反射层，当驱动器读光盘时用来反射激光光束。第三层是用聚碳酸脂压制的透明衬底，同时压制出的预刻槽用来对光道径向定位，信息通常存储在光道上。7/31/202274CD-ROM光盘的光道

30、CD-ROM光盘的信息是沿着盘面由内向外螺旋形信息轨道(光道)的一系列凹坑的形式存储的。光道上不论内圈还是外圈，各处的存储密度是一样的。光道的间距为1.6m，光道宽度为0.6m，光道上凹坑深约为0.12m。7/31/202275只读光盘的存储原理注意：凹坑和非凹坑本身并不代表“0”或“1”，而是凹坑端部的前沿和后沿代表“1”，其它代表“0”。1 0 0 1 0 0 1 0 0 0 0 0 1 0光盘底板激光束7/31/202276MPC扩展设备开发一个多媒体产品，从素材的收集和整理，媒体数字化处理，到产品的保存、打印输出和演示，除了具备一台基本配置的多媒体计算机外，还需要一些专门完成特定工作的

31、设备。由于这些设备不属于多媒体计算机的基本配置，因此被叫做“扩展设备”，常用的扩展设备有以下几种。7/31/202277触摸屏一种无键盘交互操作的工具/输入设备/坐标定位装置。将触摸屏的检测装置放在显示器的前端，由于检测装置的透明度很高，因此在观看计算机显示信息的同时，可以用手触模检测装置，从而控制计算机的动作。7/31/202278 触摸屏 输入设备，坐标定位装置 触摸屏组成显示器触摸检测装置触摸屏控制卡驱动程序 作 用 将坐标信息送入计算机 触摸检测装置 特点：高透明度，可触摸 作用：获得触摸坐标信息 触摸屏控制卡 作用：分析触摸坐标信息 坐标信息数字化 经电缆传送至主机电缆 驱动程序 作用：提供数据分析方法 规范信号传送格式 控制硬件动作7/31/202279种类及基本特点红外线触摸屏 通过红外线传感器的触摸屏电容触模屏 利用人体可改变电容量的原理电阻触摸屏 用电阻膜作为传感器的触摸屏表面声波触摸屏 使用声波传感器和反射器的触摸屏矢量压力触摸屏 通过对矢量压力敏感的传感器进行检测的触摸屏7/31/202280+5V+5V0V0VX方向Y方向第1层 I T