多媒体技术介绍

1、三个问题 Why? What? How?Why?硬性规定、获得学分“广播电视编导”专业角度信息化社会中的一员人与媒体=鱼与水 3G手机（无线通信与多媒体通信相结合） 多媒体计算机、多媒体网络教室、多媒体课件 数字化电视（广播电视） 网页（文本、图像、声音、视频） 影院（3D电影） 游戏（手柄、方向盘、装备）信息多媒体技术媒体信息与多媒体技术的关系主要内容（what）第一章多媒体技术概述第二章多媒体系统环境第三章图形与图像第四章音频与视频第五章多媒体处理技术第六章网络多媒体应用第七章多媒体数据库技术第八章多媒体编辑与创作实验重点推荐书目（how）教材：多媒体技术与应用杨帆 高教多媒体技术及应用

2、游泽清 高教多媒体技术基础 林福宗 清华 第一章 多媒体技术概论 多媒体技术的基本概念 多媒体技术的发展历程 多媒体技术的研究内容 多媒体技术的应用及前景涉及到以下几个概念：媒体多媒体多媒体技术多媒体中的基本元素第一节 基本概念1.媒体古时，媒指做媒，婚姻介绍的中介。现代人引用过来，指表示和传播信息的载体。 媒体是指传播信息的介质，通俗的说就是传播信息的载体或平台。如：报纸刊物、广播、电视、互联网、移动网络等媒体形式。注意区分：通常提到的“媒体”与计算机领域中所提到的“媒体”。媒体在计算机领域中通常有两种含义：一种是指信息的物理载体，即存储和传递信息的实体。如硬盘、软盘、光盘等。另一种含义是指

3、信息的表现形式（或者说传播形式）。如文本、音频、视频、图形、图像和动画等。 从medium的译名来看： medium service（媒介服务中心，相当于我国的“电教中心”）medium指的是磁带、光盘等存储教学信息的物理介质 media player（媒体播放器）media（复数形式）指存储在硬盘、光盘上的图像、声音、文本、动画等教学信息的表现形式（或载体） 从多媒体的词组来看： 多媒体教室媒体：计算机、DVD、视频展示台、网络设备等 多媒体课件媒体：课件中数字、文本、图形图像、声音、视频等 为了便于描述媒体在存储、处理和传递信息等过程的相关问题，国际电话电报咨询委员会（CCITT后改ITU

4、）制定了媒体分类的标准（5类型）：（1）感觉媒体（ Perception Medium ）（2）表示媒体（ Representation Medium ）（3）显示媒体（ Presentation Medium ）（4）存储媒体（ Storage Medium ）（5）传输媒体（ Transmission Medium ）两个单位CCITT：International consultative committee on telecommunications and Telegraphy（国际电报电话咨询委员会）ITU：International Telecommunication Union

5、（国际电信联盟）1）感觉媒体（ Perception Medium ） 它指直接作用于人的感觉器官，使人直接产生感觉的媒体。如引起听觉反应的声音，引起视觉反应的图像等等。 主要包括数据、文本、图形、图像、声音、视频、动画等。2）表示媒体（ Representation Medium ）（再生媒体） 指各种编码，如语言编码、文本编码、图像编码等。这是为了表达、处理和传输信息（感觉媒体）而人为地研究、构造出来的一种媒体。传输和存储的一般是表示媒体。 表示媒体是这五类媒体的核心。3）表现媒体（ Presentation Medium ） 指把感觉媒体输入到计算机或通过计算机展示感觉媒体的物理设备，即

6、获取和还原感觉媒体的输入、输出设备。 鼠标、键盘、话筒、扫描仪、摄像机等是输入表现媒体；显示器、打印机、音箱等是输出表现媒体。4）存储媒体（ Storage Medium ）指用于存储表示媒体的物理设备。如软盘、硬盘、光盘、磁盘（带）、闪存等。5）传输媒体（ Transmission Medium ）指用于传输表示媒体的物理介质。如双绞线、同轴电缆、光纤和电磁波等。存储计算机显示输入设备显示存储输入设备计算机传输文本、图形、动画、数据 计算机信息媒体的传递过程文本、图形、动画、数据讨论：信息与媒体的关系以上观点：媒体既是信息的表现形式，又是信息的物理载体。另一种观点：媒体是信息的表现形式，媒介

7、是信息的物理载体。 第二种看法： 媒体是信息的载体，信息只有通过某一种或几种媒体形式才能表达出来，感觉媒体和经过处理后的表示媒体均属于媒体的范畴。 媒介是用于存储、呈现或传输媒体的物理介质。存储媒介、传输媒介和呈现媒介都属于媒介的范畴。 按照第二种观点，信息、媒体和媒介三者关系与电子信息领域中信息、信号和信道三者关系是对应的 信息总是通过某种信号形式表现出来的，如电视领域中视频信号、音频信号，计算机领域中的各种格式的数据信号等。 信号只能在其规定的信道中传送，如录像机中的视频通道、音频通道、计算机中的各种总线等。 2. 多媒体 从字面上看，多媒体就是多重媒体的意思，即是由两种以上媒体融合而成的

8、信息综合表现形式，是多种媒体的综合、处理和利用的结果。 多媒体的实质是将不同表现形式的媒体信息数字化并集成为有机整体，同时实现交互控制。多媒体的特性（与传统传媒区别）：1.两种以上不同媒体信息的有机集成。2.信息是数字化的。3.可以让人们主动地与信息媒体进行交互。举例：判断是不是属于多媒体范畴彩色电视电子有声图书交互视频 多媒体技术是计算机综合处理文字、图形图像、声音、视频和动画等多种媒体信息，使它们集成为一个系统并具有交互性的信息处理技术。 即多媒体技术是：一种计算机处理技术；一种信息处理技术；一种人机交互技术；是关于多种媒体和多种应用综合的技术。3. 多媒体技术多媒体技术的特点：1.集成性

9、：体现在两个方面。即多种信息媒体的集成与处理这些媒体的软硬件集成。前者指多媒体信息的多通道统一获取、存储组织及表现等各方面；后者中硬件集成指计算机系统及其外设的集成；软件集成指多媒体操作系统、多媒体信息处理系统、多媒体应用开发与创作工具的集成。多媒体技术的特点：2.交互性：有别于传统信息交流媒体的关键特征。交互性是指人机可以对话，多媒体技术的交互性将为用户提供更加有效的控制和使用信息的手段。 借助于交互人们不是被动地接受文字、图像、视频等，而是主动地随时进行编辑、处理、检索等。多媒体技术的特点：3.多样性（媒体种类和处理技术）4.数字化（计算机处理数字信号）5.实时性（实时处理视音频） 多媒体

10、应用的根本目的是以自然习惯的方式，有效地接受计算机世界的信息，并通过媒体展现。多媒体元素就是指多媒体应用中可以显示给用户的媒体组成元素。目前主要包括文本、图形、图像、音频、视频和动画等媒体元素。4.多媒体应用系统中的媒体元素4.1 文本（Text） 它是指各种文字。它是计算机文字处理程序的基础，也是多媒体应用程序的基础。是人和计算机交互作用的主要形式。文本主要有两种形式： 非格式化文本：仅能按一种形式和类型使用，不具备排版功能。如*.txt 格式化文本：可对文本进行编排，包括各种字体、尺寸、格式、色彩、段落格式、页面属性等等。常见格式：*.doc、*.rtf4.2 图形（Graphic） 图形

11、是指从点、线、面到三维空间的黑白或彩色几何图，也称为矢量图。 它是以一组描述点、线、面等大小、形状、位置、维数和其他属性的指令集合。通过读取指令可以将其转换为输出到显示器上的图像。4.3 图像（Image） 原指在印刷品上的图形、图画等。多媒体技术中的图像是由扫描仪、摄像机等输入设备捕捉实际的画面产生的数字图像，是由像素点阵构成的位图。 可以把图像进行二维空间分割，每个行、列的交点就是“像素点”，位图中的像素点是基本数据单位，用来定义每个像素点的颜色和亮度。它适合表现细腻、含有大量细节的对象。图形与图像的区别：1.基本概念 图形是指由外部轮廓线条构成的矢量图。即由计算机绘制的直线、圆、矩形、曲

12、线、图表等；而图像是由扫描仪、摄像机等输入设备捕捉实际的画面产生的数字图像，是由像素点阵构成的位图。2.数据描述 图形：用一组指令集合来描述图形的内容，如描述构成该图的各种图元位置维数、形状等。描述对象可任意缩放不会失真。 图像：用数字任意描述像素点、强度和颜色。描述信息文件存储量较大，所描述对象在缩放过程中会损失细节或产生锯齿。图形与图像的区别：3.屏幕显示 图形：使用专门软件将描述图形的指令转换成屏幕上的形状和颜色。 图像：是将对象以一定的分辨率分辨以后将每个点的信息以数字化方式呈现，可直接快速在屏幕上显示。 4.适用场合 图形：描述轮廓不很复杂，色彩不是很丰富的对象，如：几何图形、工程图

13、纸、CAD、3D造型软件等。 图像：表现含有大量细节（如明暗变化、场景复杂、轮廓色彩丰富）的对象，如：照片、绘图等，通过图像软件可进行复杂图像的处理以得到更清晰的图像或产生特殊效果。4.4 音频（Audio） 有时也泛称声音，除语音、音乐外，还包括各种音响效果。声音不仅能烘托气氛，而且还能增加活力，增强对其他类型媒体所表达的信息的理解。 通常，声音用一种模拟的连续波形表示；而多媒体中的声音是数字音频，它是指一个用来表示声音强弱的数据序列，由模拟声音经过采样、量化和编码后得到的。计算机、数字光盘中存储的都是数字声音。4.5 视频（Video） 视频是图像数据的一种，若干有联系的图像数据连续播放就

14、形成视频。视频常常与音频配合进行，二者的共同基础是时间连续性。一般意义上谈到视频时，往往也包括声音媒体。但在这里，视频特指不包含声音的动态图像。 计算机视频图像可来自摄像机、录像带等视频信号源的映像。视频图像使得多媒体应用系统功能更强、更精彩。4.6 动画（Animation） 动画就是通过以1220帧每秒的速度顺序地播放静止图像，利用人眼视觉暂留现象从而产生运动的错觉。动画的连续播放既指时间上的连续，也指图像内容上的连续，即播放的相邻两幅图像之间内容相差不大。 计算机动画是借助计算机生成一系列连续图像的技术。复习：1.媒体、多媒体、多媒体技术的概念2.多媒体的各媒体要素1.2 多媒体技术的发

15、展 多媒体技术的核心是计算机技术，多媒体技术的发展实质上就是计算机技术的发展，实质上就是通过计算机技术把各种信息媒体相互集成在一起并使之具有交互性的过程。 “多媒体”一词出现于20世纪80年代，至今，多媒体发展共经历了三个阶段： 孕育阶段（20世纪80年代初期 90年代初）计算机图形化以及数字光盘的出现 问世阶段（20世纪90年代初期 90年代中）计算机与视音频（电视）相结合 发展阶段（20世纪90年代中期 至今）计算机与通信网络的结合1. 孕育阶段 流行叫法：交互式视频(Interactive Video) 特点：计算机图形化（计算机应用开始深入到人们生活、工作的各个领域，要求其人-机接口不

16、断改善，即由字符方式、文本处理向图形方式、声音和图像处理发展。）和交互视频技术（大容量光盘的出现使得计算机处理体积庞大的视频成为可能）重要历程： 1984年苹果公司研制了Mac计算机，其中引入了位图（bitmap）、窗口（window）、图符（icon）等技术，并由此创建了图形用户界面（Graphical User Interface GUI），同时采用鼠标配合，使人机界面得到极大改善。 1985年微软公司也推出了Windows操作系统，并且不断更新版本，使之成为后来运行多媒体的一种普遍采用的工作平台。早期计算机使用的DOS命令行界面 Windows3.0图形用户界面 vista界面 虽然计算

17、机图形化使得计算机能处理视频的目标迈了一大步，但是由于当时计算机的存储容量较小，需尽快找到解决方案。 计算机采用随机存储方式的磁盘系统，但是存储容量小。而录像机采用是磁带存储系统的线性记录方式，不能快速检索和实时调用；于是研究者把注意力集中到光盘上来。当时看来光盘存储容量高，而且还能实现快速寻址。交互式视频的出现： 1986年索尼公司和飞利浦公司联合推出的交互式光盘系统，这项技术对大容量光盘的发展产生了巨大影响，为存储表示声音、文字、图像、视频等高质量的数字化媒体提供有效的手段。 1989年英特尔公司推出的交互式数字视频技术，它是由计算机专业公司在PC机上采用视频卡、音频卡的思路设计出来的。它

18、是以计算机技术为基础，用标准光盘来存储和检索静态图像、视频和声音等数据。交互式光盘系统和交互式视频技术这两者都是交互式视频领域中以光盘为存储介质的阶段性成果，二者技术分别在后来VCD和非线编系统中有所体现。至此，采用光盘的产品一发不可收。也就是这个时期，“多媒体”一词开始流传开来。 2. 问世阶段 流行叫法：多媒体（Multimedia） 这一时期的特点：计算机领域中的媒体与电视领域中的媒体有机结合，并且具有交互功能。电视设备（摄像机、录像机、监视器等）充当了计算机外部设备的角色；而传统的视频编辑、特技设备却被计算机的专业软件所取代；计算机中可播放视频、音频信号，在视频设备（如VCD）中增加计

19、算机软硬件，也能对播放的图像、声音实现互动控制。 重要历程： 1991年10月，由美国微软公司发起组建的多媒体个人计算机市场协会，提出了多媒体计算机技术规格：MPC1.0。该规格表达了计算机业界的一个共识：可以将电视领域中音频和视频引入其中的PC机可称为多媒体PC机。1993年提出了MPC2.0，1995年提出了MPC3.0。 1992年及以后，计算机、电视、微电子和通信等领域全方位的技术合作，主要是围绕解决存储容量、存储速度和提高MPC的处理能力的问题。PC机不断升级，运行速度不断提高硬盘容量及存储速度大幅度提高操作系统不断升级各种外部设备以及接口大量涌现各种软件（转换和编辑视音频）的开发各

20、种视音频压缩标准的制定 90年代中期的多媒体产品的两种类型代表：非线性编辑系统（交互式数字视频技术的延伸）和VCD（交互式光盘技术的延伸）。 这一时期，多媒体技术已日趋成熟，计算机与视频设备之间的界限已经模糊，两个领域中的媒体已被有机融为一体。3. 发展阶段 流行叫法：3C一体化（Computer, Consumer, Communication） 内涵：分布式多媒体技术成为热点，计算机、广播电视和通信等领域正在互相渗透。 特点：信息家电化、家电智能化、三网（计算机网、通信网、有线电视网）互相渗透 传统的电信网由语言通信向多媒体通信过渡：综合业务数字网（ISDN）应运而生；应用领域：可视电话、

21、电视会议、视频点播等。 传统的有限电视网由单向传输向双向传输过渡：数字多媒体广播系统应运而生。机顶盒的出现。下行单向广播网下行单向广播网 （光缆）（光缆）卫星电视节卫星电视节目目因特网因特网本地信息本地信息 （网页）（网页）演播室演播室（VCD、DVD）调制发送调制发送调谐器调谐器解解 调调电视电视编码编码电电视视机机有线电视台多媒体播送系统（中心）有线电视台多媒体播送系统（中心）视视 频频节节 目目数数 字字信信 息息上行指令上行指令（电话线（电话线）红外遥控器红外遥控器用户机顶盒（用户）用户机顶盒（用户）AVRF多媒体发展共经历了三个阶段： 孕育阶段（20世纪80年代初期-90年代初） 计

22、算机与电视相结合的准备期交互视频 问世阶段（20世纪90年代初期-90年代中） 计算机与电视相结合的蜜月期多媒体 发展阶段（20世纪90年代中期-至今） 多媒体与通信网络的结合3C一体化 多媒体技术是一种基于计算机的综合技术。到底多媒体技术究竟包含哪些技术？换句话说，就是哪些技术领域是属于多媒体技术的研究范畴？ 根据多媒体技术所处理的各媒体元素来划分 根据研制多媒体计算机系统本身要解决的技术和多媒体应用所涉及到的技术来划分1.3 多媒体技术的研究内容 根据多媒体技术所处理的各媒体元素来划分，主要包括三个方面： 多媒体计算机图形与图像处理技术 数字音频、视频处理技术 多媒体网络通信技术 1.多媒

23、体计算机图形与图像处理技术 ： 多媒体计算机图形与图像处理技术是研究如何借助于数学的方法和多媒体硬件技术的支持，在计算机上生成、处理和显示图形与图像的一门技术。 图像信息如何采集、存储、输出才能使人们得到逼真的视觉，这是图形图像处理技术要解决的基本问题。多媒体计算机图形与图像处理技术形式上：图形图像的获取（图形图像数字化）图形图像的存储（文件格式）图形图像的显示图形图像的处理（编辑）多媒体计算机图形与图像处理技术（内容上）： 图形处理技术 数字图像处理技术 图形、图像处理中的虚拟现实技术 图形处理技术 该技术包括二维平面及三维空间的图形处理两种。早期的图形处理技术主要集中于二维图形技术的研究，

24、但是二维图形仅能表现图形中各个部分简单的几何关系，无法表现出空间、位置、材质、明暗等接近自然的真实效果，现在的研究重点集中于三维图形技术的研究，以及对三维图形对象赋予运动属性后生成连续画面效果的研究。 数字图像处理技术 图像处理是指将客观世界中实际存在的物体映射成数字化图像，然后在计算机上用数学的方法对数字化图像进行处理。图像处理的具体内容主要包括： 图像变换：缩放、平移、旋转、变形和剪贴等 图像增强、复原和重建 图像分割和特征提取 图像识别 图像编码压缩 图形处理与图像处理的区别： 图形处理着重研究怎样将数据和几何模型变成可视的图形，这种图形可能是自然界根本不存在的。即是人工创造的画面。如商

25、标设计、室内设计等 图像处理侧重于将客观世界中原来存在的物体映像处理成新的数字化图像，关心的问题是如何对图像进行变换、如何增强、复原图像、图像的分割和特征提取、图像识别以及图像压缩等。如婚纱照处理等 图形、图像处理中的虚拟现实技术 虚拟现实（Virtual Reality）技术是利用计算机模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同生临其境一般，可实时观察三维空间内的事物。并且使用者可以进入这个三维空间，并且操纵场景中的对象，实现了在虚拟场景中的人机“可交互性。 虚拟现实的分类 桌面虚拟现实（屏幕作为虚拟空间的窗口） 沉浸型虚拟现实（头盔显示器、数据

26、手套） 增强型虚拟现实（增加功能） 分布式虚拟现实（多用户网络连接）2.数字音频、视频处理技术： 音频、视频技术是多媒体技术中不可分割的重要组成部分。它们采用了全新的纯数字技术，这是电子成像技术的一场重大变革。 数字视音频处理技术主要包括3部分：模拟音频、视频信号的数字化数字音频、视频的压缩编码数字音频、视频信息的存储与传输编码 模拟视音频信号的数字化编码（模/数转换） 模数转换是将人所能接受的模拟音频、视频信号转换为计算机能够识别的数字信息，它是数字音频、视频处理技术中的基础。 数字视音频的压缩编码（信源编码） 文字、图形图像、音频、视频和动画等各种数据本身的编码通常称为信源编码。信源编码是

27、将数字化后的视音频信号的数据根据不同的应用、按照不同的标准及其算法进行压缩处理，从而达到降低码率的目的，它是数字视音频技术的关键。 数字视音频的存储和传输编码（信道编码） 信道编码是将压缩后视音频数据根据存储与传输的不同介质进行相应的调制，使得调制后的数据格式符合该介质的要求，或者达到提高频率资源利用率的目的；同时，利用信道编码还可以对存储和传输的数据进行容错技术处理，以确保重放数据的准确性。信道编码是数字视音频技术的保证。 以上三种编码的过程均是可逆的，因为数字视音频处理技术最终的目的就是音频、视频信息的还原与重放，因此逆过程的顺序应该是：信道编码、信源编码和数/模转换。 3.多媒体网络通信

28、技术： 自从上世纪90年代以来，基于多媒体的网络通信为家庭、学校、企事业单位提供了更加丰富多彩的信息交流手段，用户能够创建自己的多媒体资料，也可以交互式地选择和接受多媒体信息。如视频点播、视频会议、远程教育、数字图书馆、交互电视等。 多媒体通信的研究领域十分广泛，其中包括一系列标准的制定、通信和网络基础设施建设，满足企业家庭用户需求的产品开发以及应用配套服务等。 根据研制多媒体计算机系统本身要解决的关键技术和多媒体应用所涉及的关键技术来划分：研制多媒体计算机要解决的技术多媒体应用所涉及到的技术多媒体数据压缩技术多媒体专用芯片技术多媒体输入输出技术多媒体存储技术多媒体系统软件技术多媒体素材采集与制作多媒体应用程序的开发多媒体创作工具及开发环境多媒体界面设计与人机交互多媒体网络通信技术虚拟现实技术基本多媒体硬件系统多媒体数据压缩技术：媒体的数据量非常大，要得到令人满意的图像和声音效果，必须要解决视音频信号数据的大容量存储和实时传输问题