第1章-多媒体技术基础知识

第一章多媒体技术基础知识1．多媒体技术的基本概念2．多媒体特征与关键技术3．多媒体计算机系统（软件和硬件）4．常见多媒体文件格式5．多媒体技术的发展与应用6．多媒体作品设计的一般流程内容提要§1.1多媒体技术的基本概念一、媒体的定义“多媒体”一词译自英文“Multimedia”，媒体（medium）原有两重含义：一是指存储信息的实体，如磁盘、光盘、磁带、半导体存储器等，中文常译作媒质；二是指传递信息的载体，如数字、文字、声音、图形等，中文译作媒介。从字面上看，多媒体就是由单个媒体复合而成的，因此上叫多媒体。媒体在计算机科学中有两层含义：一种含义是指信息的物理载体，如磁盘、光盘、磁带、卡片等；另一种含义指信息的存在和表现形式，如文字、声音、图像、动画等，多媒体中的媒体是指后者。多媒体计算机不仅能处理文字数据之类的信息媒体，而且能处理声音、图形、图像等各种形式的信息载体。§1.1多媒体技术的基本概念1.1.2媒体的分类国际电话电报咨询委员会CCITT把媒体分成5类：1.感觉媒体（PerceptionMedium）——指直接作用于人的感觉器官，使人产生直接感觉的媒体。如引起听觉反应的声音，引起视觉反应的图像等。2.表示媒体（representationMedium）——指传输感觉媒体的中介媒体，即用于数据交换的编码。如图像编码（JPEG、MPEG等）、文本编码（ASCII码、GB2312等）、声音编码和视频编码等。3.表现媒体（PresentationMedium）——指进行信息输入和输出的媒体，如键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体；显示器、打印机、喇叭等为输出媒体。4.存储媒体（StorageMedium）——又称存储介质，指用于存储表示媒体的物理介质。如硬盘、软盘、磁盘、光盘、ROM及RAM等。5.传输媒体（TransmissionMedium）——指传输媒体的物理介质。如各种导线、电缆、光缆、电磁波等。多媒体技术中所说的媒体通常分成如下3类：1．视觉类媒体视觉类媒体（visionmedia）包括图像、图形、符号、视频、动画等。图像（image）即位图图像（bitmap），将所观察的景物按行列方式进行数字化，对图像的每一点都用一个数值表示，所有这些值就组成了位图图像。图形（graphics）是图像的抽象，它反映图像上的关键特征，如从点、线、面到三维空间的黑白或彩色几何图，也称量图（VectorGraphic）。符号（symbol）包括文字和文本，主要是人类的各种语言。视频（video）又称动态图像，是一组图像按时间顺序的连续表现。动画（animation）是动态图像的一种，与视频不同之处在于，动画中的图像采用的是计算机产生出来或人工绘制的图像或图形，而视频中的图像采用的是真实的图像。动画包括二维动画、三维动画等多种形式。1.1.2媒体的分类2．听觉类媒体听觉类媒体包括话音、音乐和音响。话音（speech）也叫语音，是人类为表达思想通过发音器官发出的声音，是人类语言的物理形式。音乐是符号化了的声音，比语音更规范。音响则指自然界除语音和音乐以外的声音，包括天空的惊雷、山林的狂风、大海的涛声等，也包括各种噪声。3．触觉类媒体触觉类媒体通过直接或间接与人体接触，使人能感觉到对象位置、大小、方向、方位、质地等性质。1.1.2媒体的分类1.1.3多媒体技术的定义多媒体技术就是计算机综合处理声、文字、图信息的技术，具有集成性、实时性和交互性。它集文字、声音、图像、视频、通信等多项技术于一体，采用计算机的数字记录和传输传送方式，对各种媒体进行处理，具有广泛的用途。多媒体技术的研究涉及计算机硬件、计算机软件、计算机网络、人工智能、电子出版等，其产业涉及电子工业、计算机工业、广播电视、出版业和通讯业等。本教材主要讨论文字、图像、音频、视频、动画等处理技术。§1.2多媒体的特征与关键技术多媒体除了具有信息媒体多样化的特征之外，还具有以下4个特性：1．数字化——多媒体技术是一种“全数字”技术。以数字技术为基础进行生成、存储、处理和传送。2．交互性——指人机交互，使人能够参与对信息的控制、使用活动。3．集成性——是将多种媒体信息有机地组合到一起，共同表现一个事物或过程，实现“图、文、声”一体化。4．实时性——多媒体技术处理的信息有些和时间密切相关，必须实时处埋，比如新闻报导等，需及时采集、处理和传送。1.2.2多媒体的关键技术1．数据压缩与编码技术多媒体系统要处理文字、声音、图形、图像、动画、活动视频等多种媒体信息，高质量的多媒体系统要处理三维图形、高保真立体声音、真彩色全屏幕运动画面等。为了得到理想视听效果，还要实时处理大量的数字视频、音频信息。多媒体系统的数据量大的令人难以想象。因此，对多媒体信息进行压缩是十分必要的（如果没有这种技术，可以结论，多媒体技术便没有今天的繁荣且方兴未艾的大好景象）。1.2.2多媒体的关键技术（1）有损和无损压缩：在视频压缩中有损（Lossy

）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。1.2.2多媒体的关键技术（2）帧内和帧间压缩：帧内（Intraframe）压缩也称为空间压缩（Spatialcompression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。采用帧间（Interframe）压缩是基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。1.2.2多媒体的关键技术（3）对称和不对称编码：对称性（symmetric）是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。目前有多种视频压缩编码方法，但其中最有代表性的是MPEG数字视频格式和AVI数字视频格式。对于静态图像压缩的标准算法是JPEG。1.2.2多媒体的关键技术2．数字图像技术随着数字技术的不断发展和应用，现实生活中的许多信息都可以用数字形式的数据进行处理和存储，数字图像就是这种以数字形式进行存储和处理的图像。利用计算机可以对它进行常规图像处理技术所不能实现的加工处理，还可以将它在网上传输，可以多次拷贝而不失真。1.2.2多媒体的关键技术2．数字图像技术（1）获得图像的方法许多带有图像的文件都使用仿真图像如35mm幻灯片、透射片或反射片。要获得一个数字图像必须将图像中的像素转换成数字信息，以便在计算器上进行处理和加工。将仿真图像转换成数字图像的工作，通常可由扫描仪来完成。（2）设计规划数字化的方法一个应用范围广泛的软件可以支持数字化的图像处理，如产生数字图形，修改数字图片，进行一些诸如页面设计之类的技术加工，并将一些图素组合在一个图像中。1.2.2多媒体的关键技术（3）数字图像再现的方法利用不同的技术可以在一台宽幅输出设备上产生数字图像，其中液体喷墨技术、静电技术、固体喷墨技术、热转换技术和照相技术是当今采用的几种主要的技术。（4）后处理使用特殊的介质、油墨或滚压成像的图像，都能够经受得住日晒和日常气候条件变化的影响。计算机图像技术就是对图像进行计算机处理，使其更适合人眼或仪器的分辨，拾取其中信息。

1.2.2多媒体的关键技术计算机图像处理的过程包括输入、数字化处理和输出：输入即图像采集和数字化，就是要对模拟图像抽样、量化后得到数字图像，并存储到计算机中以待进一步处理。数字化处理是按一定要求对数字图像进行。诸如滤波、锐化、复原、重现、矫正等处理，以提取图像中的主要信息。输出则是将处理后的数字图像显示、打印或以其他方式表现出来。

1.2.2多媒体的关键技术3．数字音频技术

数字音频是一个数据序列，在时间上是断续的。数字音频是通过采样和量化，把模拟量表示的音频信号转换成由许多二进制数1和0组成的数字音频信号。计算机内的基本数制是二进制，为此我们也要把声音数据写成计算机的数据格式，这称之为编码音频数字化。计算机内的音频必须是数字形式的，因此必须把模拟音频信号转换成有限个数字表示的离散序列，即实现音频数字化。在这一处理技术中，涉及到音频的抽样、量化和编码。1.2.2多媒体的关键技术多媒体技术中的数字音频技术包括三个方面的内容：（1）声音采集及回放技术——把模拟音频转成数字音频，并按数字音频文件的格式保存，以及把数字音频播放出来的技术。（2）音识别技术——将声音转换成为文本（文字）或代码。（3）音合成技术——声音合成技术主要用于语音合成和音乐合成（MIDI音乐）。1.2.2多媒体的关键技术4．数字视频技术数字视频就是先用摄像机之类的视频捕捉设备,将外界影像的颜色和亮度信息转变为电信号，再记录到储存介质（如录像带、磁盘、光盘等）。播放时，视频信号被转变为帧信息，并以每秒约30帧的速度投影到显示器上，使人类的眼睛认为它是连续不间断地运动着的，电影播放的帧率大约是每秒24帧。1.2.2多媒体的关键技术数字视频技术的发展数字视频的发展主要是指在个人计算机上的发展，可以大致分为初级、主流和高级几个历史阶段：第—阶段是初级阶段，其主要特点就是在台式计算机上增加简单的视频功能，但是由于设备还未能普及，都是面向制作视频制作领域的专业人员。在普通PC用户还无法奢望在自己的电脑上实现视频功能。第二个阶段为主流阶段，在这个阶段数字视频在计算机中得到广泛应用，成为主流。第三阶段是高级阶段，在这一阶段，普通个人计算机进入了成熟的多媒体计算机时代。1.2.2多媒体的关键技术数字视频技术与数字音频技术相似，数字视频技术一般应包括：（1）视频采集回放——把模拟视频转成数字视频,并按数字视频文件的格式保存，以及把数字视频播放出来的技术。（2）视频编辑——是对磁盘上的视频文件进行剪辑、逐帧修编、加入特技等处理。（3）三维动画视频制作——是运用相应软件，将静止图像转换成为动画视频图像。视频编辑和三维动画视频制作可以在没有图像采集卡的环境下完成。1.2.2多媒体的关键技术5．多媒体网络技术可运行多种媒体的计算机网络称为多媒体网络，数字化的多媒体网络将多媒体信息的获取、处理、编辑、存储融为一体，并在网络上运行，这样的多媒体系统不受时空的限制，多个用户可以共享网上的多媒体信息。此外，多个用户还可以同时对同一个文件进行编辑。在进行多媒体网络通信时，有时需要实时同步传送音频和视频信号；有时传送非实时的多媒体信息。前者称为同步通信，后者称为异步通信。1.2.2多媒体的关键技术6．超媒体技术超媒体是收集、存储、浏览离散信息并建立和表示信息之间关系的技术，它可以理解为将多媒体用链连接而组成的网，媒体之间的链接是错综复杂的。用户可以对该网进行查询、浏览等操作。这种非线性网络结构由节点和链组成，其中节点是存储信息的单元，而链代表不同节点中所存信息之间的联系。在任意两个节点之间可以有许多不同的路径，用户可以根据需要选择使用。§1.3多媒体计算机系统多媒体系统是指能够提供交互式处理文本、声音、图像和视频等多种媒体信息的计算机系统。故通常认为其由4个部分组成：多媒体硬件系统、多媒体操作系统、媒体处理系统工具和用户应用软件。

1．多媒体硬件系统——包括计算机硬件、声音／视频处理器、多种媒体输入／输出设备及信号转换装置、通信传输设备及接口装置等。其中，最重要的是根据多媒体技术标准而研制成的多媒体信息处理芯片和板卡、光盘驱动器等。§1.3多媒体计算机系统多媒体计算机硬件系统主要包括以下几部分：（1）多媒体主机，如个人机、工作站、超级微机等。（2）多媒体输入设备，如摄像机、电视机、麦克风、录像机、视盘、扫描仪、CD-ROM等。（3）多媒体输出设备，如打印机、绘图仪、音响、电视机、喇叭、录音机、录像机、高分辨率屏幕等。（4）多媒体存储设备，如硬盘、光盘、声像磁带等。（5）多媒体功能卡，如视频卡、声音卡、压缩卡、家电控制卡、通信卡等。（6）操纵控制设备，如鼠标器、操纵杆、键盘、触摸屏等。§1.3多媒体计算机系统多媒体计算机软件系统包括多媒体操作系统、图形用户接口和支持多媒体数据开发的应用工作软件。多媒体计算机的软件系统是以操作系统为基础的。2．多媒体操作系统——或称为多媒体核心系统（Multimediakernelsystem），是指“除具有一般操作系统的功能外，还具有多媒体底层扩充模块，支持高层多媒体信息的采集、编辑、播放和传输等处理功能的系统”。它具有实时任务调度、多媒体数据转换和同步控制、对多媒体设备的驱动和控制以及图形用户界面管理等。§1.3多媒体计算机系统3．多媒体处理系统工具——或称为多媒体系统开发工具软件，是多媒体系统重要组成部分。4．用户应用软件——根据多媒体系统终端用户要求而研制的应用软件或面向某一领域的用户应用软件系统，它是面向大规模用户的软件产品。§1.4常见多媒体文件格式每一类多媒体信息，都可以一种或多种文件格式保存在电脑存储中。每一种文件格式通常会有一种或多种扩展名可以用来识别。1．4．1常见图形图像文件格式

BMP格式——BMP是一种与硬件设备无关的图像文件格式，使用非常广。它采用位映射存贮格式，除了图像深度可选以外，不采用其它任何压缩，因此，BMP文件所占用的空间很大。

PCX格式——PCX格式是PC画笔的图像文件格式。

TIFF格式——TIFF（TagImageFileFormat）文件是由Aldus和Microsoft公司为扫描仪和桌上出版系统研制开发的一种较为通用的图像文件格式。1．4．1常见图形图像文件格式

GIF格式——GIF（GraphicsInterchangeFormat）是CompuServe公司在1987年开发的图像文件格式。GIF的图像深度从1bit到8bit，也即GIF最多支持256种颜色的图像。GIF格式的另一个特点是其在一个GIF文件中可以存多幅彩色图像，如果把存于一个文件中的多幅图像数据逐幅读出并显示到屏幕上，就可构成一种最简单的动画。

SWF格式——SWF（ShockWaveFlash）是Macromedia公司软件Flash生成的一种动画文件格式。但需要Flash软件或插件才能播放。

JPEG格式——JPEG（JointPhotographicExpertsGroup）是由CCITT（国际电报电话咨询委员会）和ISO（国际标准化组织）联合组成的一个图像专家组制订的第一个压缩静态数字图像的国际标准。JPEG采用对称的压缩算法，也即在同一系统环境下压缩和解压缩所用的时间相同。采用JPEG压缩编码算法压缩的图像，其压缩比约为1:5至1:50，甚至更高。

PNG格式——PNG(PortableNetworkGraphicFormat，便携式网络图象格式)是W3C组织在20世纪90年代中期开始开发的一种无损位图文件存储格式，1996年10月1日正式公布，是一种轻便、无法律障碍、压缩性能好且规范好的一个标准，其目的是企图替代GIF和TIFF，同时增加一些它们文件格式所不具备的特性。1．4．1常见图形图像文件格式1．4．2常见音频文件格式1．MID音频文件格式2．MP3音频文件格式3．WMA音频文件格式4.RealAudio音频文件格式5．WAV音频文件格式6.CD音频文件格式1．4．3常见视频文件格式1．AVI视频文件格式2．WMV视频文件格式3．MPEG视频文件格式4．DV视频文件格式5．RM/RMVB视频文件格式6．MOV视频文件格式7．M4V8．3GP——是一种3G流媒体的视频编码格式，主要是为了配合3G网络的高传输速度而开发的，也是手机中的一种视频格式。9．FLV——全称为“Flashvideo”，是一种新兴的网络视频格式，已成为当前视频文件的主流格式。FLV格式来分享视频。1．4．4不同文件格式的转换格式转换器是将一种文件格式转换成为另一种文件格式的软件。包括有视频转换器、音频转换器、图片格式转换器、文档格式转换器等等。视频转换器可以通过视频转换，将rmvb、mov视频格式转DVD支持的格式，实现视频在影碟机的播放；或者将网上下载的视频转换成手机能播放的3GP格式，实现视频在手机上播放。转换器视频转换器