大学信息技术基础(第二版)第4章

第4章多媒体技术基础主要内容：§4.1多媒体的概念§4.2光盘存储系统§4.3多媒体音频信号处理§4.4多媒体图像信息处理*§4.5计算机图形处理技术简介§4.6多媒体视频信息处理本章小结思考与练习§4.1多媒体的概念4.1.1媒体的分类在计算机领域中媒体有两种含义：一种是指用以存储信息的实体（媒质）；另一种是指信息的载体。多媒体计算机技术中的媒体是指后者。媒体可分为以下五种，如图4-1所示。(1)感觉媒体(perception)(2)表示媒体(presentation)(3)显示媒体(display)(4)存储媒体(storage)(5)传输媒体(transmission)§4.1多媒体的概念§4.1多媒体的概念图4-1国际标准将媒体分为

5种类型各种媒体之间的关系如图4-2所示。§4.1多媒体的概念图4-2各种媒体之间的关系4.1.2多媒体与多媒体技术1.多媒体的定义通常所指的多媒体就是各种感觉媒体的组合，也就是声音、图像、图形、动画、文字、数据、文件等各种媒体的组合。定义1：所谓多媒体技术就是计算机交互式综合处理多种媒体信息——文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。定义2：“所谓多媒体就是在数值、文字、图形等由计算机处理的信息中，使静止图像、语音、影像等时间序列信息相互关联，同步处理的技术。”§4.1多媒体的概念2.多媒体技术多媒体技术是指利用计算机综合处理多种媒体信息的技术。3.多媒体技术的主要特性信息媒体的多样性、多种技术的集成性和处理过程的交互性。4.多媒体的关键技术大容量数据存储技术、多媒体数据压缩编码与解码技术、虚拟现实技术、多媒体数据库技术、智能多媒体技术、多媒体信息检索§4.1多媒体的概念4.1.3多媒体计算机系统1.多媒体计算机系统的层次结构§4.1多媒体的概念图4-3多媒体计算机系统的组成2.多媒体计算机的硬件系统多媒体计算机硬件系统由多媒体计算机主机、多媒体接口卡、多媒体外部设备、光盘存储器、网络接口卡等组成。一个常见的多媒体硬件系统如图4-4所示。§4.1多媒体的概念图4-4多媒体

计算机硬件系统§4.2光盘存储系统光盘存储系统由光盘和光盘驱动器组成。光盘存储系统具有一切存储介质的优点，如大容量、耐用、易保存、标准化等。4.2.1光盘及其特点CD意为高密盘，称之为光盘，因为它是通过光学方式来记录和读取二进制信息的。光盘在存储多媒体信息方面具有以下主要的特点。1.记录密度高2.存储容量大3.采用非接触方式读/写信息§4.2光盘存储系统4.信息保存时间长5.多种媒体融合6.价格低廉4.2.2光盘的标准与类型§4.2光盘存储系统按光盘的读写性能来讲，可分为三种类型：1.只读型光盘存储器只读光盘中的数据是用压模或化学刻写方法制成的，用户只能读取上面的数据，而不能写入或修改光盘中的数据。2.一次可写光盘存储器一次性可写光盘的每一个记忆单元只可以写入一次，不可抹去。3.多次可擦写光盘存储器多次可擦写光盘具有磁盘一样的可擦写性，允许用户存储、移动、修改光盘上的数据，适合作为计算机的新型标准外存设备。§4.2光盘存储系统4.2.3光盘系统记录与读取信息的原理光盘系统是由光盘驱动器和光盘盘片组成。光盘系统和磁盘系统的存储原理不同。以CD-ROM为例，其物理结构如图4-5所示。§4.2光盘存储系统图4-5CD-ROM的剖面结构图4-6激光探测器根据光强度的变化(凸凹的变化)来分辨“0”或“1”CD-ROM只读光盘是利用在盘上压制凹坑的机械办法，利用凹坑(Pit)和平面(Land)部分来记录“0”和“1”。光盘的读取过程是基于物理学的“光的反射”原理。CD-R光盘增加了一层有机染料作为记录层。CD-RW记录原理为在光盘的记录层镀上一层结晶层，这个结晶层的特色是能呈现出结晶与非结晶的状态，借助于激光的照射，可在这两种状态之间互换，而这两种状态也对光的反射不同，产生的0与1的信号，经过解码器分析后，获得所需的数据。§4.2光盘存储系统§4.3多媒体音频信号处理4.3.1音频信号的形式音频(Audio)信号可分为两类：语音信号和非语音信号。根据物理学原理，声音是一种在时间和幅度上都是连续的波形，是一种模拟信号。模拟音频信号有两个重要参数：频率和幅度。人们在日常说话时的语音信号频率范围在300～3000Hz之间。频率范围为20～20kHz的信号称为音频(audio)。信号的幅度是从信号的基线到当前波峰的距离。周期是指信号在两个峰点或谷底之间的相对时间。周期和频率之间的关系是互为倒数。(如图4-7所示)§4.3多媒体音频信号处理§4.3多媒体音频信号处理图4-7声音的幅度和周期4.3.2音频的数字化过程模拟音频信号的数字化过程需要三个步骤：采样、量化和编码。1.声音的采样声音的采样就是按一定的时间间隔将声音波形在时间轴（即横轴）上进行分割，把时间和幅度上都是连续的模拟信号转化成时间上离散、幅度连续的信号（图4-9a）。采样频率越高，即采样的间隔时间越短，则在单位时间内计算机得到的声音样本数据就越多，对声音波形的表示越精确，声音的保真度也越好，但所要求的存储空间也越大。§4.3多媒体音频信号处理2.量化我们把对声波波形幅度的数字化表示称之为“量化”，如图4-9b所示。量化把采样后在幅度轴上连续取值（模拟量）的每一个样本转换为离散值表示。§4.3多媒体音频信号处理图4-9声音的采样和量化示意图3.编码编码就是按照一定的格式把经过采样和量化后得到的离散数据记录下来，并在有用的数据中加入一些用于纠错、同步和控制的数据。4.数字化音频文件的存储容量计算采样频率、量化位数、声道数的值越大，形成的数字音频文件也就越大。数字音频文件的存储量以字节为单位，模拟波形声音被数字化后音频文件的存储量为：存储量（字节）=采样频率（Hz）×量化位数/8×声道数×时间（秒）§4.3多媒体音频信号处理4.3.3音频卡音频卡又称为声卡，是计算机进行声音处理的适配器，它用于处理音频信号。声卡与外部音频设备的连接如图4-10所示。§4.3多媒体音频信号处理图4-10声卡与外部音频设备的连接4.3.4数字音频的文件格式所谓格式，可以理解为数码信息的组织方式。一段模拟音频经过数字化处理后，所产生的数码信息可以用各种编码格式编排，而形成一个个音频格式文件。下面简要介绍目前较常用的声音文件格式(图4-11)。§4.3多媒体音频信号处理图4-11数字音频的常用文件格式1.WAV格式2.CDDA格式3.MPEG音频文件——MP3MPEG音频文件的压缩是一种有损压缩，根据压缩质量和编码复杂程度的不同可分为三层，分别对应MP1、MP2和MP3这三种声音文件。4.MIDI格式5.VOC文件6.其他格式§4.3多媒体音频信号处理§4.4多媒体图像信息处理4.4.1计算机图像处理的概念1.图像的数字化2.图像变换3.图像编码压缩4.图像增强和重构目的是为了提高图像的质量。5.图像分割(ImageSegmentation)6.图像识别(ImageRecognition)§4.4多媒体图像信息处理§4.4多媒体图像信息处理4.4.2图像的数字化过程1.图像的采样数字化图像的形成是计算机使用相应的软硬件技术把许多像素点的特征数据组织成行列，整齐地排列在一个矩形区域内，形成计算机可以识别的图像。图像采样就是将二维空间上连续的图像用许多等距的水平线与竖直线分割成网状的过程（如图4-13所示）。被分割的图像若水平方向有M个间隔，垂直方向上有N个间隔，则一幅图像画面就被表示成M×N个离散像素点构成的集合，M×N表示图像的分辨率。可以将连续变化的二维图像用f(x,y）函数离散值的形式表示出来。§4.4多媒体图像信息处理在进行采样时，采样点的间隔的选取是一个重要的问题。它决定了采样后的图像是否能真实地反映原图像的程度。图4-14给出在不同采样频率下获得不同的图像效果。图4-13采样是对图像在水平方向和垂直方向上分割成网状结构§4.4多媒体图像信息处理图4-14不同采样频率获得不同的图像效果2.图像的量化图像量化实际就是将图像采样后的样本值的范围分为有限多个段，把落入某段中的所有样本值用同一值表示，是用有限的离散数值量来代替无限的连续模拟量的一种映射操作。图像可表示的量化级数（颜色数或灰度值）就为2的幂次方，即28、216位、224种颜色。量化字长越大，所得到的量化级数也就越多，则越能真实地反映原有图像的颜色。图像文件的大小与图像的分辨率和图像颜色深度有关。一幅未经压缩的图像文件的存储容量可以按照下面的公式进行估算：图像存储容量（字节）=分辨率×颜色深度/8§4.4多媒体图像信息处理§4.4多媒体图像信息处理4.4.3图像的压缩与编码1.图像信息为什么能压缩从信息论的角度来看，压缩就是去掉信息中的冗余，即保留不确定的信息，去除确定的信息(可推知的)，也就是用一种更接近信息本质的描述来代替原有冗余的描述。连续多帧画面在很大程度上是相似的，而这些相似的信息(或称作冗余信息)为数据的压缩提供了基础。人的视觉和听觉对某些信号(如颜色，声音)不那么敏感的生理特性，至使信息被压缩之后还不知不觉，也不至对压缩后的信息产生误解。2.数据压缩与编码分类（1）数据压缩：分为有损压缩和无损压缩两类无损压缩算法是为保留原始多媒体对象而设计的。当图像的冗余度很少时，用无损压缩技术不能得到可接受的结果，这时就要采用有损压缩。（2）经典压缩编码：通常有预测编码、变换编码和统计编码三种类型预测编码根据离散信号之间存在着一定的相关性，利用前面的一个或多个信号对下一信号进行预测，然后对实际值和预测值的差进行编码。变换编码的基本方法是将数字图像分成一定大小的子图像块，用某种变换对子像块进行变换，得到变换域中的系数矩阵，然后选用其中的主要系数进行量化和编码。统计编码就是根据消息出现概率的分布特性而进行的压缩编码。§4.4多媒体图像信息处理