第二章多媒体信息处理1

1、第二章第二章 多媒体信息处理技术多媒体信息处理技术作业作业2.1 2.1 多媒体信息处理技术概述多媒体信息处理技术概述2.2 2.2 信息表示与编码信息表示与编码2.3 2.3 多媒体数据压缩技术多媒体数据压缩技术2.4 2.4 多媒体数据压缩技术标准简介多媒体数据压缩技术标准简介2.1 2.1 多媒体信息处理技术概述多媒体信息处理技术概述一、多媒体信息的一般处理过程一、多媒体信息的一般处理过程 媒体媒体数字化数字化变换与编码变换与编码存储传输存储传输数据管理数据管理各种应用处理各种应用处理表示表示二、媒体、数据与信息之间的关系二、媒体、数据与信息之间的关系 1.媒体是承载信息的载体，是信息的

2、表示形式媒体是承载信息的载体，是信息的表示形式。 不同的媒体就有不同的信息形式。由于各种不同的媒体就有不同的信息形式。由于各种媒体表达的信息方式不同，所能承载的信息量也媒体表达的信息方式不同，所能承载的信息量也就不同。就不同。 有的媒体可以直接表达信息，如文字、声音、图像、有的媒体可以直接表达信息，如文字、声音、图像、动画等，有的则必须转换成人类感觉器官可以接受的形式，动画等，有的则必须转换成人类感觉器官可以接受的形式，如物理定理、股票升跌规律等，即要转换成文字、符号或如物理定理、股票升跌规律等，即要转换成文字、符号或某种图形曲线等形式，才能被人们所理解和接受。某种图形曲线等形式，才能被人们所

3、理解和接受。 2.数据是记录信息的符号，信息是对数据的解释数据是记录信息的符号，信息是对数据的解释； 多媒体数据是以不同媒体形式记录下来的、可多媒体数据是以不同媒体形式记录下来的、可以解释的格式化符号。它有各种不同的形式，是客以解释的格式化符号。它有各种不同的形式，是客观的，而且总是具体为某种媒体。观的，而且总是具体为某种媒体。 而多媒体信息是对多媒体数据的解释，是主观而多媒体信息是对多媒体数据的解释，是主观的、抽象的，因人而异，以增加知识为目的。的、抽象的，因人而异，以增加知识为目的。 3.知识是高层次的信息知识是高层次的信息； 知识，是对客观规律的认识，是高层次的信息，知识，是对客观规律的

4、认识，是高层次的信息，需要人们对信息进行接收、归纳和总结等能动思维，需要人们对信息进行接收、归纳和总结等能动思维，才能获取对客观规律的认识。而且这种认识还与个才能获取对客观规律的认识。而且这种认识还与个人受教育程度、个人理解水平的差异等各种因素有人受教育程度、个人理解水平的差异等各种因素有关。关。 由此可见，由此可见，媒体以一定的客观状态而存在，不媒体以一定的客观状态而存在，不同状态以不同形式承载信息；同状态以不同形式承载信息； 数据经过处理解释过程形成信息；数据经过处理解释过程形成信息； 信息又经过人脑的思维处理过程形成知识；信息又经过人脑的思维处理过程形成知识； 知识是用信息表达的，信息则

5、是用数据表达的。知识是用信息表达的，信息则是用数据表达的。 这种层次，不仅反映了数据、信息和知识的因这种层次，不仅反映了数据、信息和知识的因果产生的关系，而且也反映了它们之间不同的抽象果产生的关系，而且也反映了它们之间不同的抽象程度程度。 媒体、数据、信息、知识之间关系示意图，如图媒体、数据、信息、知识之间关系示意图，如图2.1所示所示 知知识识信信息息媒媒体体数数据据数数据据解释、描述解释、描述解释、描述解释、描述分类、规格化分类、规格化分类、规格化分类、规格化记录、表达记录、表达记录、表达记录、表达联系、归纳、表达联系、归纳、表达承载、表达承载、表达图图2.1 媒体、数据、信息、知识之间的

6、关系示意图媒体、数据、信息、知识之间的关系示意图三、信息量的度量三、信息量的度量 信息论的创始人香农信息论的创始人香农(shannon)(shannon)以概率论的观点以概率论的观点方法，方法， 提供了一种度量信息量的方法。提供了一种度量信息量的方法。1 1、信息函数、信息函数 定义为：定义为： i(ai(ai i)= )= loglog2 2p pi i 或简写或简写 i(ai(ai i)= )= logplogpi i (i=1 (i=1，2 2，3 3，r) r) 其中，其中，p pi i(i=1(i=1，2 2，,r) ,r) 表示随机消息集表示随机消息集x:x:a a1 1，a a2

7、 2，a ar r中消息中消息 a ai i(i=1(i=1，2 2，r)r)的先验概率。的先验概率。i(ai(ai i) ) (i=1(i=1，2 2，r)r)即为即为a ai i所含的信息量，其基本所含的信息量，其基本单位为比特（单位为比特（bitbit）。）。2、信息熵、信息熵 在信息函数的基础上，信息熵定义为：在信息函数的基础上，信息熵定义为： （比特（比特/符号）符号） h（x）用来度量消息集用来度量消息集x中每一种消息所含的平中每一种消息所含的平均信息量，是信息函数均信息量，是信息函数i（ai）( i=1，2，r )在在x的先验概率空间的先验概率空间p：p1，p2，pr 中的统计中

8、的统计平均值。平均值。 1211( )(,)( )logrrriiiiiih xh p ppp i app 对于信息量（或信息熵），应有如下理解：对于信息量（或信息熵），应有如下理解： 一个消息所表示的内容对于接受者来说，应该一个消息所表示的内容对于接受者来说，应该是事先不知道的，这样的消息才是信息，否则对他毫是事先不知道的，这样的消息才是信息，否则对他毫无意义。无意义。 这个信息要有正确的表达方式，否则接收者无这个信息要有正确的表达方式，否则接收者无法理解，当然也就无法接收。法理解，当然也就无法接收。 该信息对使用者来说是有意义的，即要有使用该信息对使用者来说是有意义的，即要有使用价值。价值

9、。 我们可以利用上述两个公式来衡量某种媒体所承我们可以利用上述两个公式来衡量某种媒体所承载的信息量，尽量使得媒体承载的信息保持本来特性，载的信息量，尽量使得媒体承载的信息保持本来特性，以获取最大信息量，便于使用者理解和接受。以获取最大信息量，便于使用者理解和接受。四、媒体的不同表现形式四、媒体的不同表现形式 在计算机中，常按人的感觉来划分媒体，一般将在计算机中，常按人的感觉来划分媒体，一般将媒体划分为：媒体划分为：视觉类媒体视觉类媒体、听觉类媒体听觉类媒体、触觉类媒体触觉类媒体、活动媒体活动媒体、抽象事实媒体抽象事实媒体和和混合媒体混合媒体等。其中，视觉等。其中，视觉类媒体和听觉类媒体所承载的

10、信息占人们获取信息的类媒体和听觉类媒体所承载的信息占人们获取信息的绝大部分。对于这些媒体，根据不同的抽象程度可分绝大部分。对于这些媒体，根据不同的抽象程度可分成若干层次，每一层次对应不同的表现形式。成若干层次，每一层次对应不同的表现形式。 计算机中常见的媒体如表计算机中常见的媒体如表2.12.1所示。下面简单介所示。下面简单介绍这几类媒体的不同表现形式。绍这几类媒体的不同表现形式。(1)视觉类媒体视觉类媒体 主要包括以下几类：主要包括以下几类： 位图图像位图图像（bitmap）。将所观察的图像）。将所观察的图像（picture）按行列方式进行数字化，对图像的每一）按行列方式进行数字化，对图像的

11、每一点（称为像素点）数字化为一个值（称为灰度值），点（称为像素点）数字化为一个值（称为灰度值），所有这些值就组成了位图图像。所有这些值就组成了位图图像。 这是一种对视觉信号进行了直接量化的媒体形式，这是一种对视觉信号进行了直接量化的媒体形式，反映了信号的原始形式。反映了信号的原始形式。 根据量化的颜色深度的不同，又可分为根据量化的颜色深度的不同，又可分为二值二值和和灰灰度（彩色）度（彩色）图像两大类。图像两大类。 位图图像是所有视觉表示方法的基础。位图图像是所有视觉表示方法的基础。 矢量图形矢量图形。矢量图形一般也称为图形。矢量图形一般也称为图形（graphics），它是对图像进行抽象化的结果

12、，反），它是对图像进行抽象化的结果，反映了图像中实体最重要的特征，如点、线、面等。映了图像中实体最重要的特征，如点、线、面等。 它不直接描述图像数据的每一个点，而是描述产它不直接描述图像数据的每一个点，而是描述产生这些点的过程和方法。抽象化（矢量化）过程可以生这些点的过程和方法。抽象化（矢量化）过程可以由计算机自动进行，也可以由人工进行。在计算机中，由计算机自动进行，也可以由人工进行。在计算机中，矢量图形以一组指令的形式存在，而不用像位图那样矢量图形以一组指令的形式存在，而不用像位图那样对图像的每一个点进行量化存放。因此，它所需要的对图像的每一个点进行量化存放。因此，它所需要的存储量很小。存储

13、量很小。 在计算机图形学上，图形一般分为二维图形和三在计算机图形学上，图形一般分为二维图形和三维图形两大类。维图形两大类。 动态图像动态图像。这是利用人眼的视觉惰性，将若干。这是利用人眼的视觉惰性，将若干连续的静态图像或图形在时间轴上不断变化所产生的连续的静态图像或图形在时间轴上不断变化所产生的结果。结果。 如果单帧图像是真实图像，则为如果单帧图像是真实图像，则为动态影像视频动态影像视频（video）；若单帧图像是由计算机生成的真实感图）；若单帧图像是由计算机生成的真实感图像，则为像，则为三维真实感动画三维真实感动画(animation)，如果在连，如果在连续过程中变化的是图形，则是续过程中变

14、化的是图形，则是二维或三维动画二维或三维动画。 视频和动画序列都是由节段构成的，它们都是时视频和动画序列都是由节段构成的，它们都是时基类媒体。与传统的影视视频和动画不同的是，在多基类媒体。与传统的影视视频和动画不同的是，在多媒体计算机中，这些动态图像不仅要存储和播放，而媒体计算机中，这些动态图像不仅要存储和播放，而且要能进行变换、压缩、传输和编辑等处理。且要能进行变换、压缩、传输和编辑等处理。 符号。符号是人类对信息进行抽象的结果。符号。符号是人类对信息进行抽象的结果。符号可以表示数值，表示事物或事件，也可以表符号可以表示数值，表示事物或事件，也可以表示语言和文字。示语言和文字。 文本是具有上

15、下文相关特性的符号流。由于文本是具有上下文相关特性的符号流。由于符号是人类创造出来表示某种含义的符号，所以符号是人类创造出来表示某种含义的符号，所以它与使用者的知识有关，是比图形更高一级的抽它与使用者的知识有关，是比图形更高一级的抽象。必须具备特定的知识，才能解释特定的符号，象。必须具备特定的知识，才能解释特定的符号，才能解释特定的文本（如语言）。才能解释特定的文本（如语言）。 符号的表示是用特定值表示的，例如符号的表示是用特定值表示的，例如ascii码、中文图标码等。码、中文图标码等。(2) 听觉类媒体听觉类媒体 凡是通过声音形式以听觉传递信息的媒体，都凡是通过声音形式以听觉传递信息的媒体，

16、都属于听觉类媒体，这类媒体是连续的时基类媒体，属于听觉类媒体，这类媒体是连续的时基类媒体，具有过程性和时间性，它的范围比视觉类媒体要小具有过程性和时间性，它的范围比视觉类媒体要小得多，主要有以下几类：得多，主要有以下几类： 波形声音波形声音（wave voice）。所谓波形声）。所谓波形声音，实际上已经包含了所有的声音形式，因为任何音，实际上已经包含了所有的声音形式，因为任何声音都可以进行采样量化，并恰当恢复出来。事实声音都可以进行采样量化，并恰当恢复出来。事实上，波形声音就是自然界中所有声音的上，波形声音就是自然界中所有声音的“数字化声数字化声音音”，它的获取是通过声音的数字化接口进行的。，

17、它的获取是通过声音的数字化接口进行的。 一般来说，对声音的处理主要集中在声音的数一般来说，对声音的处理主要集中在声音的数据压缩、数据编辑和声音效果的处理上。据压缩、数据编辑和声音效果的处理上。 语音语音(voice)。语音主要是指人类说话的各种。语音主要是指人类说话的各种声音。它与波形声音不同，因为人的说话声不仅表声音。它与波形声音不同，因为人的说话声不仅表现为一种波形，而且还具有内在的语言、语音学内现为一种波形，而且还具有内在的语言、语音学内涵，可以经由特殊的方法而提取，即进行一次抽象，涵，可以经由特殊的方法而提取，即进行一次抽象，所以常把它作为一种特殊的媒体。所以常把它作为一种特殊的媒体。

18、 语音中包含了许多音节及其相互间过渡过程的语音中包含了许多音节及其相互间过渡过程的连接体，而且语音也与具体的语言有关。连接体，而且语音也与具体的语言有关。 音乐音乐(music)。音乐与语音相比形式就更为。音乐与语音相比形式就更为规范一些。事实上，音乐就是符号化了的声音，这规范一些。事实上，音乐就是符号化了的声音，这种符号就是乐曲，乐谱则是转变为符号媒体形式的种符号就是乐曲，乐谱则是转变为符号媒体形式的声音。声音。 就计算机媒体而言，基于乐器数字接口就计算机媒体而言，基于乐器数字接口midi(musical instrument digital interface)的音乐，就是十分规范的一种形

19、式。与的音乐，就是十分规范的一种形式。与波形声音不同，波形声音不同，midi数据是指令集合。因此，数据是指令集合。因此，midi的数据量很小，对其进行编辑处理很灵活方便，的数据量很小，对其进行编辑处理很灵活方便，在音序器的帮助下，用户可自由地改变音调、音色在音序器的帮助下，用户可自由地改变音调、音色等属性，直到理想的效果。等属性，直到理想的效果。（3）其他类媒体）其他类媒体 除视觉类、听觉类媒体之外，在信息传递过程除视觉类、听觉类媒体之外，在信息传递过程中还有许多其他种类的信息媒体（如触觉类媒体中还有许多其他种类的信息媒体（如触觉类媒体等）。有的使用其他感觉空间，如触觉、味觉或嗅等）。有的使用

20、其他感觉空间，如触觉、味觉或嗅觉等，有的则使用更为复杂的形式，如活动、自然觉等，有的则使用更为复杂的形式，如活动、自然规律、抽象数据等。规律、抽象数据等。 现在，在多媒体系统中，已经把触觉媒体作为现在，在多媒体系统中，已经把触觉媒体作为一种重要的媒体引入到实际系统中，有的甚至包括一种重要的媒体引入到实际系统中，有的甚至包括了嗅觉。特别是模拟类应用，如汽车驾驶训练系统、了嗅觉。特别是模拟类应用，如汽车驾驶训练系统、飞机驾驶训练系统、数据手套、数据衣服及头盔式飞机驾驶训练系统、数据手套、数据衣服及头盔式显示器等。这种对实际环境的模拟，实际上就是在显示器等。这种对实际环境的模拟，实际上就是在信息交互

21、的通道上更进了一步，使人与环境的信息信息交互的通道上更进了一步，使人与环境的信息交流更充分。交流更充分。 1. 媒体的性质媒体的性质 从信息表达的角度看，媒体具有如下四个方从信息表达的角度看，媒体具有如下四个方面的性质。面的性质。 (1)有格式的数据才能表达信息的含义。有格式的数据才能表达信息的含义。 (2)不同的媒体所表达的信息的程度不同。不同的媒体所表达的信息的程度不同。 (3)媒体之间的关系也代表着信息，甚至代表媒体之间的关系也代表着信息，甚至代表内在的更多信息。内在的更多信息。 (4)媒体之间可以进行相互转换。媒体之间可以进行相互转换。 五、五、 多媒体信息的特点多媒体信息的特点2.多

22、媒体的综合特性多媒体的综合特性 多媒体信息是多种媒体的综合集成。它不仅多媒体信息是多种媒体的综合集成。它不仅具有媒体单独特性，而且具有媒体集成后的综合具有媒体单独特性，而且具有媒体集成后的综合特性。特性。 (1)媒体之间的相对性质媒体之间的相对性质； (2)多媒体的交互特性多媒体的交互特性； (3)媒体之间的转换特性媒体之间的转换特性； (4)多媒体数据自身的特点多媒体数据自身的特点 (1)媒体之间的相对性质；媒体之间的相对性质；静止和运动静止和运动： 静止与运动是媒体表现的两种形式。静止与运动是媒体表现的两种形式。 “静止静止”指的是媒体在表现时间上不受媒体本身的限制，指的是媒体在表现时间上

23、不受媒体本身的限制，可以保留任意的时间；可以保留任意的时间； “运动运动”则指媒体在表现过程中与时间是紧密相连的，时则指媒体在表现过程中与时间是紧密相连的，时间将决定该媒体的保留时间。间将决定该媒体的保留时间。空间和时间空间和时间： 多媒体的时间意义是指在表现上需要时间和媒体的时间多媒体的时间意义是指在表现上需要时间和媒体的时间属性；属性； 而多媒体信息的空间意义有两种解释：第一种是指表现而多媒体信息的空间意义有两种解释：第一种是指表现空间，这主要是指显示空间的安排；第二种是强调媒体之间空间，这主要是指显示空间的安排；第二种是强调媒体之间相互的空间关系，这主要是指将多媒体信息在空间上进行有相互

24、的空间关系，这主要是指将多媒体信息在空间上进行有序地组织，这样有序的组织可以有助于反映信息的整体或全序地组织，这样有序的组织可以有助于反映信息的整体或全貌。貌。暂时和永久暂时和永久： 相对于媒体的数据而言，相对于媒体的数据而言，“暂时暂时”一般指的是在动态过一般指的是在动态过程中为了某一效果而插入的中间结果，如视频影像中的某些程中为了某一效果而插入的中间结果，如视频影像中的某些帧等；帧等；“永久永久”一般是指文件（数据）的定态表示，如一幅一般是指文件（数据）的定态表示，如一幅静态的图像。静态的图像。 媒体的单位和量级媒体的单位和量级： 依照媒体的特性，各种媒体所采用的单位可划分为元素级、依照媒

25、体的特性，各种媒体所采用的单位可划分为元素级、中间级、帧级和复合级，而不同的量级对应不同的单位。中间级、帧级和复合级，而不同的量级对应不同的单位。同步和异步同步和异步： 所谓异步，是指时间上不能预知何时发生，没有严格的限所谓异步，是指时间上不能预知何时发生，没有严格的限制，而同步则要求在时间上必须满足各种媒体的实际需要。制，而同步则要求在时间上必须满足各种媒体的实际需要。在多媒体信息处理中，媒体的同步和异步问题实质上就是媒在多媒体信息处理中，媒体的同步和异步问题实质上就是媒体之间的协调关系问题，而且这种协调往往是必须要考虑的体之间的协调关系问题，而且这种协调往往是必须要考虑的关键问题。关键问题

26、。一对一和一对多一对一和一对多： 这主要是指媒体的交互形式。目前使用最多的这主要是指媒体的交互形式。目前使用最多的是一对一形式，也有一对多的形式，如广播、电是一对一形式，也有一对多的形式，如广播、电视等，但缺乏交互性。未来网络的发展，则有望视等，但缺乏交互性。未来网络的发展，则有望解决这一问题，如视频点播（解决这一问题，如视频点播（vod）等。）等。 (2)多媒体的交互特性；多媒体的交互特性； “交互交互”是人与信息系统交换信息的全过程，具是人与信息系统交换信息的全过程，具有多层的含义。对数据的交换是最低层次的交互形有多层的含义。对数据的交换是最低层次的交互形式，只是将数据进行交换转移。式，只

27、是将数据进行交换转移。 若交互以信息为主，如对媒体的选择、形式的若交互以信息为主，如对媒体的选择、形式的变化、查询、命令和请求的转换以及用户本身的各变化、查询、命令和请求的转换以及用户本身的各种因素，则需要对数据进行解释，那就需要知识的种因素，则需要对数据进行解释，那就需要知识的辅助。辅助。 譬如，对每一种媒体进行程度不同的抽象，就譬如，对每一种媒体进行程度不同的抽象，就是对该媒体内容程度不同的理解。对对象信息的内是对该媒体内容程度不同的理解。对对象信息的内容进行处理，以求达到更新层次的理解，这是更高容进行处理，以求达到更新层次的理解，这是更高层次的交互，目前尚在不断探索和研究中。层次的交互，

28、目前尚在不断探索和研究中。 (3)媒体之间的转换特性；媒体之间的转换特性； “媒体转换媒体转换”不仅仅是格式转换，而且是在保不仅仅是格式转换，而且是在保持所需内容的情况下，对媒体形式进行的转换。大持所需内容的情况下，对媒体形式进行的转换。大多数的媒体转换都是多数的媒体转换都是“合成合成”或者或者“识别识别”，这是，这是媒体转换中的最重要的两个过程。媒体转换中的最重要的两个过程。 目前，较为成熟的有语音合成、语音识别目前，较为成熟的有语音合成、语音识别（ibm公司的语音输入法）、文字识别、图像识别公司的语音输入法）、文字识别、图像识别等。等。 (4)多媒体数据自身的特点；多媒体数据自身的特点；

29、多媒体数据与传统单个媒体的数据相比较，有以多媒体数据与传统单个媒体的数据相比较，有以下特点：下特点： 数据量巨大数据量巨大。这给数据的处理、存储、传输等技术带这给数据的处理、存储、传输等技术带来很大的问题来很大的问题。 数据类型繁多数据类型繁多。从媒体种类来说，有文字、声音、从媒体种类来说，有文字、声音、图形、图像、动画、视频等多种形式。无论在媒体的输入上，图形、图像、动画、视频等多种形式。无论在媒体的输入上，还是在媒体的表现上，尤其是多媒体综合上，都会带来一系还是在媒体的表现上，尤其是多媒体综合上，都会带来一系列的问题。同时，媒体的种类还在随着系统的不断进展而继列的问题。同时，媒体的种类还在随着系统的不断进展而继续增多续增多。数据类型之间的差别大数据类型之间的差别大。 首先体现在量上，有的媒体存储量很小，而有的媒体存储首先体现在量上，有的媒体存储量很小，而有的媒体存储量却大得惊人。量却大得惊人。 其次，体现在内容上，不同类型的媒体由于格式、内容的其次，体现在内容上，不同类型的媒体由于格式、内容的不同，相应的类型管理