第2章_多媒体信息处理的必要性和可行性

第 2章 多媒体信息处理的必要性和可行性 第 2章 多媒体信息处理的必要性和可行性 2.1 多媒体信息的特点 2.2 信息压缩的必要性 2.3 信息压缩的可行性 2.4 数据压缩技术的性能指标 练习与思考题 第 2章 多媒体信息处理的必要性和可行性 2.1 多媒体信息的特点 要对多媒体信息进行处理就必须了解多媒体信息的基本特征。 多媒体信息主要有三个特征： （ 1） 数据量庞大： 和文本信息相比， 语音、 图像的信息量就显得十分庞大。 例如， 用生动的语音表达和文本文字相同的一段内容， 语音所需要的数据量要比文本大 10倍以上。 若要用图像来大体表示同样的意思， 则图像所需要的数据量又不知道要大多少倍了。 第 2章 多媒体信息处理的必要性和可行性 （ 2） 码率可变、 突发性强： 代表多媒体信息的数据流其码率是随着不同的信息内容、 所处的不同时间而不断变化的。 人们讲话时的停顿、 所传场景图像中物体的运动等都会形成码流速率的波动， 而且这种波动往往呈现出极强的突发性。 再加上采用了种种信息压缩编码的方法， 就更加剧了这种变化。 （ 3） 复合性信息多， 同步性、 实时性要求高： 多媒体通信系统中传输的往往是两种或两种以上媒体的复合信息， 各类信息之间存在着很强的关联， 因此， 对信息传输的同步性及实时性的要求也就相当高了。 第 2章 多媒体信息处理的必要性和可行性 2.2 信息压缩的必要性 多媒体信息的压缩技术是多媒体通信领域中的关键技术之一， 不能对多媒体数据进行有效的压缩， 就难以保证通信的顺利进行。 以一般彩色电视信号为例， 设代表光强、 色彩和色饱和度的 YIQ空间中各分量的带宽分别为 4 MHz、 1.3 MHz和 0.5 MHz。 根据采样定理， 仅当采样频率大于或等于 2倍的原始 信号的频率时， 才能保证采样后的信号可被保真地恢复为原始信号。 第 2章 多媒体信息处理的必要性和可行性 再设各样点均被数字化为 8 bit， 从而 1秒钟的电视信号的数据量为（ 4 1.3 0.5） 2 8 bit = 92.8 Mbit因而一张 640 MB容量的 CDCD*2ROM能够存放的原始电视数据（每字节附有 2位校验位）为6408 92.8(1+0.25) =44 s也就是说， 一张普通光盘只能存放 44 s的原始数据。 第 2章 多媒体信息处理的必要性和可行性 很显然， 电视信号数字化后直接保存的方法是难以令人接受的， 因而必须采取某些措施进行保存， 例如， 对图像数据进行压缩后再保存。 我们再来看看语音信号的数据量， 人在正常说话时的音频一般在 200 Hz 3.4 kHz， 即人类语音的带宽为 3.4 kHz。 同样依据采样定理， 并设数字化精度为 8 bit， 则每秒的数据量为3.4 kHz28=54.4 kbit在上述采样条件下讲一分钟话的数据量约为 400 kbit。 表 2.2-1列出了支持语音、 图像、 视频等多媒体信号高质量存储和传输所必需的未压缩速率以及信号特性。 第 2章 多媒体信息处理的必要性和可行性 表 2.2-1 各种信号的特性和未压缩速率 第 2章 多媒体信息处理的必要性和可行性 从以上两个例子以及表 2.2-1可以看出： 未进行任何形式编码和压缩的窄带语音信号需要 128 kb/s的速率， 即两倍于普通电话的速率。 信号未被压缩的宽带话音需要 256 kb/s的速率， 未压缩的双声道立体声 CD音频需要 1.41 Mb/s的速率。 在保持原始信号质量的前提下， 窄带语音可以压缩到 4 kb/s（ 301的压缩比）， 宽带话音可以压缩到约 16 kb/s（ 151 的压缩 比）， CD音频可以压缩到 64 kb/s（ 221的压缩比）。 第 2章 多媒体信息处理的必要性和可行性 显然， 对于多媒体处理系统所要求的语音与音频、 图像、 视频、 文本、 数据的结合， 信号进行有效的存储和传输之前， 必须进行处理， 而最关键的处理方法是进行数据压缩。 多媒体信息压缩技术的对象主要是视频、 音频和文本信息这三大类。 例如， 现代数字压缩技术可以对多数图像实现大于 1001的压缩比， 而质量没有重大损失。 第 2章 多媒体信息处理的必要性和可行性 2.3 信息压缩的可行性 数据中通常包含很大的冗余， 数据的大小与所携带的信息量的关系由下式给出： I=D-r (2.3-1)其中， I、 D、 r分别为信息量、 数据量与冗余量。 以存储一本 200万字的中文百科全书为例， 每个汉字以 2字节计算， 该书的数据量为 4 MB。 我们只要使用后面介绍的 Huffman算法， 就可简单地将大约 2 MB左右的冗余数据寻找出来并压缩掉， 这样就可以节省出 2 MB的 存储空间。 第 2章 多媒体信息处理的必要性和可行性 图 2.3-1 空间冗余 第 2章 多媒体信息处理的必要性和可行性 1 空间冗余空间冗余是在图像数据中经常存在的一种冗余。 在任何一幅图像中， 均有许多灰度或颜色都相同的邻近像素组成的局部区域， 它们形成了一个性质相同的集合块， 即它们之间具有空间（或空域）上的强相关性， 在图像中就表现为空间冗余。 例如， 图 2.3-1 是一张俯视图， 图中央的黑色是一块表面均匀的积木块， 在图中， 黑色区域所有点的光强和色彩以及饱和度都是相同的， 因而黑色区域的数据表达有很大的冗余。 第 2章 多媒体信息处理的必要性和可行性 对空间冗余的压缩方法就是把这种集合块当作一个整体， 用极少的数据量来表示它， 从而节省了存储空间。 这种压缩方法叫空间压缩或帧内压缩， 它的基本点就在于减少邻近像素之间的空间（或空域）相关性。 第 2章 多媒体信息处理的必要性和可行性 2 时间冗余时间冗余是活动图像和语音数据中经常包含的冗余。 活动图像中的两幅相邻的图像有较大的相关性， 这反映为时间冗余。 同理， 在语音中， 由于人在说话时其发出的音频是一个连续和渐变的过程， 而不是一个完全的时间上独立的过程 , 因而存在着时间冗余。 图2.3-2中 F1帧中有一辆汽车和一个路标 P， 在经过时间T后的图像 F2仍包含以上两个物体，第 2章 多媒体信息处理的必要性和可行性 只是小车向前行驶了一段路程。 此时， F1和 F2是时间相关的， 后一幅图像 F2在参照图像 F1的基础上只需很少数据量即可表示出来， 从而减少了存储空间， 实现了数据压缩。 这种压缩对运动图像往往能得到很高的压缩比， 这也称为时间压缩或帧间压缩。 第 2章 多媒体信息处理的必要性和可行性 图 2.3-2 时间冗余 第 2章 多媒体信息处理的必要性和可行性 3 信息熵冗余（编码冗余）所谓信息熵， 是指数据所带的信息量。 信息量是指从 N个相等可能事件中选出一个事件所需要的信息度量或含量， 即在 N个事件中辨识一个特定事件的过程中需要提问 “是 ”或 “否 ”的最少次数。 将信源所有可能事件的信息量进行平均， 就得到信息的 “熵 ”（ Entropy）。 熵就是平均信息量。 通常， 信息熵的数学表达式为（ 2.3-2） 第 2章 多媒体信息处理的必要性和可行性 式中， Pi为任意一个数 i的概率， k为数据类数或码元的个数。 设单位数据量 d为（ 2.3-3） 第 2章 多媒体信息处理的必要性和可行性 图 2.3-3 结构冗余示意图 第 2章 多媒体信息处理的必要性和可行性 5 知识冗余人们通过认识世界而得到某些图像所具有的先验知识和背景知识， 由此带来的冗余称为知识冗余。 例如， 人脸的图像有固定的结构， 嘴的上方有鼻子， 鼻子的上方有眼睛， 鼻子位于正脸图像的中线上等等。 这类规律的结构可由先验知识和背景知识得到， 因此这类信息对一般人来说是冗余信息。第 2章 多媒体信息处理的必要性和可行性 6 视觉冗余在多媒体技术的应用领域中， 人的眼睛是图像信息的接收端。 而人类的视觉系统并不能对图像画面的任何变化都能感觉到， 视觉系统对于图像场的注意是非均匀和非线性的， 即注意主要部分质量， 同时取画面的整体效果， 不拘泥每一个细节。 例如， 人的视觉对于图像边缘的急剧变化不敏感， 对图像的亮度信息敏感， 对颜色的分辨率较弱等。 因此， 如果图像经压缩或量化发生的变化（或称引入了噪声）不能被视觉所感觉， 则认为图像质量是完好的或是够好的， 即图像压缩并恢复后 仍有满意的主观图像质量。 第 2章 多媒体信息处理的必要性和可行性 7 其他冗余多媒体数据除了具有上面所说的各种冗余外， 还存在一些其他的冗余类型。 例如， 图像的空间非定常特性所带来的冗余等。 空间冗余和时间冗余是将图像信号看作为随机信号时所反映出的统计特征， 因此有时把这两种冗余称为统计冗余。 它们也是多媒体图像数据处理中两种最主要的数据冗余。 第 2章 多媒体信息处理的必要性和可行性 在数字图像或语音信息中普遍存在着程度不同的冗余度， 在保证一定质量的前提下， 尽可能地除去这些冗余度， 这就是信息压缩技术的目的。 例如， 在可视电话中将原本为 36 Mb/s 的视频和音频信号压缩到 64 kb/s以下， 使它能在一个数字话路上传输。 按照压缩前后信息量的变化来分， 压缩技术可分为信息保持型压缩和信息非保持型压缩两大类。 信息保持型压缩编码（又称为无失真编码）是指解码以后的信息量和原信息量严格相同； 而信息非保持型压缩的方法则会给解码信息带来一定的失真， 但一般来说压缩比要远远大于保持型压缩的压缩比。 第 2章 多媒体信息处理的必要性和可行性 2.4 数据压缩技术的性能指标1 压缩比压缩性能常常用压缩比来定义， 也就是压缩过程中输入数据量和输出数据量之比。 压缩比越大， 说明数据压缩的程度越高。 在实际应用中， 压缩比可以定义为比特流中每个样点所需要的比特数。 第 2章 多媒体信息处理的必要性和可行性 2 重现质量重现质量是指比较重现时的图像、 声音信号与原始图像、 声音之间有多少失真， 这与压缩的类型有关。 压缩方法可以分为无损压缩和有损压缩。 无损压缩是指压缩和解压缩过程中没有损失原始图像或声音的信息， 所以对无损系统不必担心重现质量。 有损压缩虽然可获得较大的压缩比， 但压缩比过高， 还原后的图像、 声音质量就可能降低。 图像和声音质量的评估常采用客观评估和主观评估两种方法。 以图像信息压缩为例。 图像的主观评价采用 5分制， 其分值在 1 5分情况下的主观评价如表 2.4-1所示。 第 2章 多媒体信息处理的必要性和可行性 表 2.4-1 图像主观评价性能表 主观评价分 质量尺度 妨碍观看尺度5 非常好 丝毫看不出图像质量变坏4 好 能看出图像质量变化，但不妨碍观看3 一般 清楚地看出图像质量变坏，对观看稍有妨碍2 差 对观看有妨碍1 非常差 非常严重地妨碍观看第 2章 多媒体信息处理的必要性和可行性 而客观尺度通常有以下几种： 均方误差： 峰值信噪比： 信噪比： 第 2章 多媒体信息处理的必要性和可行性 3 压缩和解压缩的速度压缩与解压缩的速度是两项单独的性能度量。 有些应用中， 压缩与解压缩都需要实时进行， 这称为对称压缩， 如电视会议的图像传输； 在有些应用中， 压缩可以用非实时压缩， 而只要解压缩是实时的， 这种压缩称为非对称压缩， 如多媒体 CD-ROM的节目制作。 从目前开发的压缩技术看， 一般压缩的计算量比解压缩要大。 在静止图像中， 压缩速度没有解压缩速度要求严格 。 第 2章 多媒体信息处理的必要性和可行性 但对于动态视频的压缩与解压缩， 速度问题是至关重要的。 动态视频为保证帧间动作变化的连贯要求， 必须有较高的帧速。 对于大多数情况来说动态视频至少为 15帧 /s， 而全动态视频则要求有 25帧 /s或 30帧 /s。 因此， 压缩和解压缩速度的快慢直接影响实时图