第二章多媒体信息处理的必要性和可行性

1、第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v第第2 2章章 v多媒体信息处理的必要多媒体信息处理的必要性和可行性性和可行性第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 声音信号的传输声音信号的传输 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 2.1 2.1 多媒体信息的特点多媒体信息的特点 v多媒体信息主要有三个特征：多媒体信息主要有三个特征： v （1 1）数据量庞大）数据量庞大v （2 2）码率可变、突发性强）码率可变、突发性强v （3 3）复合性信息多，同步性、实时性）复合性信息多，同步

2、性、实时性要求高要求高第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 2.2 2.2 信息压缩的必要性信息压缩的必要性 v1. 1. 图像或视频信号图像或视频信号 v以彩色电视信号为例，设代表光强、色彩和以彩色电视信号为例，设代表光强、色彩和色饱和度的色饱和度的YIQYIQ空间中各分量的带宽分别为空间中各分量的带宽分别为4MHz4MHz、1.3MHz1.3MHz和和0.5MHz0.5MHz。v设各样点均被数字化为设各样点均被数字化为8bit8bit，从而，从而1s1s的数据的数据量为量为v（4 41.31.30.50.5） 2 2 8 bit = 92.8 8 b

3、it = 92.8 Mbit Mbit 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v因而一张因而一张640MB640MB的的CDROMCDROM能够存放的原始电视能够存放的原始电视数据数据( (每字节附有每字节附有2 2位校验位位校验位) )为：为：6406408 892.892.8(1+0.25)(1+0.25)=44 s=44 sv即一张普通光盘只能存放即一张普通光盘只能存放44 s44 s的原始数据。的原始数据。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v2. 2. 语音信号语音信号 v人在正常说话时的音频一般在人

4、在正常说话时的音频一般在200Hz200Hz3.4kHz3.4kHz，即人类语音的带宽为，即人类语音的带宽为3.4 kHz3.4 kHz。同。同样依据采样定理，并设数字化精度为样依据采样定理，并设数字化精度为8bit8bit，则每秒的数据量为则每秒的数据量为v 3.4kHz3.4kHz2 28=54.4 kbit8=54.4 kbitv在上述采样条件下讲一分钟话的数据量约为在上述采样条件下讲一分钟话的数据量约为400kB400kB。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 表表2.2-1 2.2-1 各种信号的特性和未压缩速率各种信号的特性和未压缩速率 第

5、第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v 未进行编码和压缩：未进行编码和压缩：窄带语音信号需要窄带语音信号需要128kb/s128kb/s的速率，即两倍于普通电话的速率。的速率，即两倍于普通电话的速率。宽带话音需要宽带话音需要256kb/s256kb/s的速率，双声道立体的速率，双声道立体声声CDCD音频需要音频需要1.41 Mb/s1.41 Mb/s的速率。的速率。v 在保持原始信号质量的前提下压缩：在保持原始信号质量的前提下压缩：窄带窄带语音语音4kb/s(3014kb/s(301的压缩比的压缩比) )，宽带话音，宽带话音1 6 k b / s ( 1

6、 5 11 6 k b / s ( 1 5 1 的 压 缩 比的 压 缩 比 ) ) ， C DC D 音 频音 频64kb/s(22164kb/s(221的压缩比的压缩比) )。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 2.3 2.3 信息压缩的可行性信息压缩的可行性 v数据中通常包含很大的冗余，数据的大小与数据中通常包含很大的冗余，数据的大小与所携带的信息量的关系由下式给出：所携带的信息量的关系由下式给出： v I=D-rI=D-r (2.3-1) (2.3-1)v其中其中I,D,rI,D,r分别为信息量、数据量与冗余量。分别为信息量、数据量与冗余量。

7、第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v1 1 空间冗余空间冗余v在任何一幅图像中，均有许多灰度或颜色都在任何一幅图像中，均有许多灰度或颜色都相同或相近的邻近像素组成的局部区域，它相同或相近的邻近像素组成的局部区域，它们形成了一个性质相同的集合块，们形成了一个性质相同的集合块， 即它们之即它们之间具有空间上的强相关性，表现为空间冗余。间具有空间上的强相关性，表现为空间冗余。v对空间冗余的压缩方法就是把这种集合块当对空间冗余的压缩方法就是把这种集合块当作一个整体。作一个整体。第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 图2

8、.3-1 空间冗余 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v2 2 时间冗余时间冗余v时间冗余是活动图像和语音数据中经常包含时间冗余是活动图像和语音数据中经常包含的冗余。活动图像中的两幅相邻的图像有较的冗余。活动图像中的两幅相邻的图像有较大的相关性，这反映为时间冗余。同理，在大的相关性，这反映为时间冗余。同理，在语音中，由于人在说话时其发出的音频是一语音中，由于人在说话时其发出的音频是一个连续和渐变的过程，而不是一个完全的时个连续和渐变的过程，而不是一个完全的时间上独立的过程间上独立的过程, , 因而存在着时间冗余。因而存在着时间冗余。v利用这种时间冗余

9、，可实现数据压缩。这种利用这种时间冗余，可实现数据压缩。这种压缩对运动图像往往能得到很高的压缩比，压缩对运动图像往往能得到很高的压缩比，这也称为时间压缩或帧间压缩。这也称为时间压缩或帧间压缩。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 图2.3-2 时间冗余 PTPF1F2第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v3 3 信息熵冗余（编码冗余）信息熵冗余（编码冗余）v

10、所谓熵就是平均信息量，信息熵的数学表达式所谓熵就是平均信息量，信息熵的数学表达式为：为：iikiIbPPH10（2.3-2） 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 10)(kiiiybPd第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v4. 4. 结构冗余结构冗余 v有些图像从整体上看存在着非常强的纹理结有些图像从整体上看存在着非常强的纹理结构，称它在结构上存在冗余构，称它在结构上存在冗余 图图2.3-3 结构冗余示意图（草席）结构冗余示意图（草席） 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可

11、行性 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v5 5 知识冗余知识冗余v人们通过认识世界而得到某些图像所具有的先人们通过认识世界而得到某些图像所具有的先验知识和背景知识，由此带来的冗余称为知识验知识和背景知识，由此带来的冗余称为知识冗余。冗余。第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v6 6 视觉冗余视觉冗余v以视觉为例，人类的视觉系统并不能对图像画以视觉为例，人类的视觉系统并不能对图像画面的任何变化都能感觉到，视觉系统对于图像面的任何变化都能感觉到，视觉系统对于图像场的注意是非均匀和非线性的，即注意主要部场的注意是

12、非均匀和非线性的，即注意主要部分质量，同时取画面的整体效果，不拘泥每一分质量，同时取画面的整体效果，不拘泥每一个细节。个细节。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 26灰度级灰度级28灰度级灰度级第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v7 7 其他冗余其他冗余v空间冗余和时间冗余是将图像信号看作随空间冗余和时间冗余是将图像信号看作随机信号时反映出来的统计特征，因此有时机信号时反映出来的统计特征，因此有时把这两种冗余称为统计冗余。它们也是图把这两种冗余称为统计冗余。它们也是图像数据处理中两种最主要的数据冗余。像数据

13、处理中两种最主要的数据冗余。v信息保持型压缩信息保持型压缩v信息非保持型压缩信息非保持型压缩 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 2.4 2.4 数据压缩技术的性能指标数据压缩技术的性能指标v1 1 压缩比（编码效率）压缩比（编码效率）v压缩过程中输入数据量和输出数据量之比。压缩过程中输入数据量和输出数据量之比。v在实际应用中，压缩比可以定义为比特流中在实际应用中，压缩比可以定义为比特流中每个样点所需要的比特数。每个样点所需要的比特数。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v （a）Lena图像图像 （b）Ba

14、rbara图像图像 （c）Mandrill图像图像 国际上流行的三幅标准图像国际上流行的三幅标准图像 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v2 2 重现质量重现质量v重现质量是指比较重现时的图像、声音信号重现质量是指比较重现时的图像、声音信号与原始图像、声音之间有多少失真，这与压与原始图像、声音之间有多少失真，这与压缩的类型有关。缩的类型有关。v对无损系统不必担心重现质量。对无损系统不必担心重现质量。 v有损压缩虽然可获得较大的压缩比，但还原有损压缩虽然可获得较大的压缩比，但还原后的图像、声音质量就可能降低。后的图像、声音质量就可能降低。v以图像信息压

15、缩为例。以图像信息压缩为例。 图像的主观评价采图像的主观评价采用用5 5分制，分制， 如表如表2.4-12.4-1所示。所示。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 表表2.4-1 图像主观评价性能表图像主观评价性能表 主观评价分主观评价分 质量尺度质量尺度 妨碍观看尺度妨碍观看尺度 5 非常好非常好 丝毫看不出图像质量变坏丝毫看不出图像质量变坏 4 好好 能看出图像质量变化，但不妨碍观看能看出图像质量变化，但不妨碍观看 3 一般一般 清楚地看出图像质量变坏，对观看稍有妨碍清楚地看出图像质量变坏，对观看稍有妨碍 2 差差 对观看有妨碍对观看有妨碍 1 非

16、常差非常差 非常严重地妨碍观看非常严重地妨碍观看第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 主观评价的不足之处：主观评价的不足之处： 观察者一般需要是一个群体，其中既包含观察者一般需要是一个群体，其中既包含未受过专业训练的未受过专业训练的“外行外行”，也包含训练，也包含训练有素的有素的“内行内行”。 图像内容与情节千变万化，观察者个体差图像内容与情节千变万化，观察者个体差异大，容易发生主观上的偏差。异大，容易发生主观上的偏差。 仅仅只有平均分，如果评测分数低，也无仅仅只有平均分，如果评测分数低，也无法确切定位问题出在哪里。法确切定位问题出在哪里。 第第2 2章章 多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性 v客观尺度：客观尺度： 2)()(1ixixnEin均方误差：均方误差： 22lg