第3讲-信息表示与编码(声音、图像、视频)

1、第三讲 信息编码（声音、图像、视频）第三讲 信息表示与编码内容提要声音图像视频数据存储数据存储存储音频模拟信号与数字信号模拟信号: 时间和幅度都是连续的信号数字信号: 时间和幅度都是离散的信号音频是一种随时间连续变化的模拟数据.数据存储存储音频一段时间内，拥有无限数量的观测值，不可能完全存储在计算机中。利用采样量化编码的策略，存储离散时间点上的音频信号强度。模拟信号如何存储？数据存储存储音频采样（离散化时间）在模拟信号上选择数量有限的点来度量他们的值并记录下来，通过记录的值来表现模拟信号。奈奎斯特理论（采样定理）: 采样频率不低于声音信号最高频率的两倍，即可将以数字表达的声音还原成原来的声音。

2、 采样率：每秒钟采样的次数；采样率越高，则占用更多的存储空间，效果越好；对于音频信号，每秒采样40000次的效果已经足够好。数据存储存储音频量化（离散化幅度）将幅值在最大值和最小值之间划分N个区间，一般采用等分方式。如上图所示的量化过程采用了8个量化区间（也称量化等级为8），把位于一个量化区间内的采样点的值归为一类，即赋予相同的量化值。 数据存储存储音频例如：假设声音的幅度值范围是0-4，将0-4之间的幅值分成了8等份，每份为0.5.则在0-0.5之间的所有数值均用0表示，0.5-1之间的数值均用0.5表示，1-1.5之间的数值均用1表示，3.5-4之间的数值用3.5表示。可见量化的作用是使幅

3、值数字化，即把无限个数值用有限个数来表示。 量化不可避免的存在偏差。如果分成16个量化区间（量化等级为16），每份为0.25.则0-0.25之间的数值用0表示，0.25-0.5之间的数值用0.25表示，3.75-4之间的数值用3.75表示，这时的偏差比分成8个区间要小。 数据存储存储音频编码（采样值如何表示）是指将量化后的样本值按照对应的量化等级，用若干二进制位（也叫量化位数）表示的过程。对于幅值为0-4，若量化等级为8，可用3位的二进制数来表示样本值的大小，如用000表示0，001表示0.5,010表示1，111表示3.5。同理，若量化等级为16，则用4位的二进制数来表示样本值的大小。位率：

4、单位时间内产生的音频数据位数。量化位数为B，采样率为S，则位率为SB（存储每秒音频需要的位数）数据存储存储音频对比不同的采样、量化、编码采样频率11KHz 8位量化采样频率22KHz 16位量化 数据存储存储音频数字化音频的数据量采样是对模拟信号在时间轴上进行数字化，而量化是对模拟信号在幅度上的数字化，编码则是将量化后得到的数据表示成二进制数据，数据量（B）=采样频率量化位数采样时间声道数8 例：人正常说话时的声音频率一般在20Hz4kHz。采样频率为8kHz，量化位数为8bit，求1秒的声音数字化后的数据量。8k88=8000（B）7.8KB 如果是高质量的CD音质效果，采样频率为44.1k

5、Hz，量化位数为16bit，双声道立体声，则1分钟的数据量为：44.1k162608=10584000B10.09MB 数据存储存储音频不同质量声音的性能指标质量采样频率（kHz）样本精度（b/s）声道数据率（kb/s）频率范围（Hz）电话88单声道64.02003400AM11.0258单声道88.2507000FM22.05016立体声705.62015000CD44.116立体声1411.22020000DAT4816立体声1536.02020000样本位数越多，声音质量越高，而需要的存储空间也越大Digital Audio Tape数字录音带数据存储存储音频声音文件（编码标准）Wave

6、格式文件（.wav）Wave文件的形成是用麦克风录音后，经计算机的声卡完成数字化过程形成扩展名为.wav的声音文件，存储在计算机的硬盘中。例如：“附件”中“录音机”产生的.wav文件播放时由声卡还原成模拟信号经扬声器输出。Wave格式文件采样频率44.1khz,16位，立体声（双声道），通常文件较大，多用于存储简短的声音片段（Windows XP系统自带一些Wave格式的声音文件，在C:WINDOWSMedia文件夹中有）。数据存储存储音频声音文件（编码标准）MIDI格式文件（.mid） MIDI是乐器数字接口（Musical Instrument Digital Interface）的英文缩

7、写，是声卡提供的一个接口，用于将电子乐器与计算机相连。播放MIDI格式的声音时，声卡根据数字代表的含义进行声音合成后由扬声器输出。可见，MIDI文件存放的不是声音的采样信息，相对于Wave文件，MIDI文件要小得多。同样10分钟的立体声音乐，MIDI文件大小不到70KB，而声音文件要100MB左右。 当乐器弹奏时，声卡记录下乐器的音调、声音的强弱、使用的何种乐器等信息，这些信息形成一连串的二进制数字，从而形成MIDI文件。数据存储存储音频声音文件（编码标准）MPEG音频文件（.mp3）MP3是一种音频压缩技术标准，其全称是动态影像专家组音频层面3（Moving Picture Experts

8、Group Audio Layer III），简称为MP3。利用人耳对高频信号无法识别的原理，将时域波形信号转换成频域信号，并划分成多个频段，对不同的频段使用不同的压缩率，对高频加大压缩比（甚至忽略信号）对低频信号使用小压缩比，保证信号不失真。可以实现110甚至112的压缩率。例如：将“录音机”产生的.wav文件另存为.mp3格式数据存储存储图像位图矢量图一般把位图称为图像，把矢量图称为图形。图形与图像在计算机上的显示结果基本相似，但实现方法完全不同。位图数据存储存储图像矢量图矢量图用一组指令集合来描述图形的内容，这些描述包括图形的形状、位置、大小、色彩等特征。数据存储存储图像例如：点（x1，

9、y1）到点（x2，y2）的一条直线可以用Line（x1，y1，x2，y2）表示。Circle（x，y，r）表示圆心位置为（x，y），半径为r的一个圆。存储空间（矢量图）例：一幅由1000条直线组成的矢量图形，计算存储空间。数据存储存储图像矢量图存储的是构造图形的线条信息，每条线的信息可由起点坐标（x1，y1）、终点坐标（x2，y2）、线条颜色、线条宽度、线条类型（虚线、实线等）等属性表示。其中4个坐标点每个用2个字节存储，其它5个属性用1个字节存储，则存储这幅图形的存储空间为：4（坐标点）2（字节）+5（属性）1（字节）1000（条）=12.7KB矢量图文件应用主要用于表示线框形图片、工程制图

10、、二维动画设计、三维物体造型、美术字体设计等。 矢量图文件格式CDR格式：矢量图形软件coredraw专用格式AI格式：Adobe公司矢量图形软件illustrator专用格式DWG格式：计算机辅助设计软件Auto CAD专用格式3DS格式：三维动画设计软件3DS MAX专用图形格式FLA格式：Flash动画设计软件专用格式VSD格式：微软公司绘图软件Visio专用格式数据存储存储图像 矢量图文件优点由于矢量图形的特点，通过软件可方便地将矢量图进行缩放、移动、旋转等，其尺寸可以任意变化而不会损坏图形的质量。由于矢量图形只保存算法和特征点参数，因此占用的存储空间较小。矢量图文件缺点当图形复杂时，

11、计算时间较长。对于某些复杂的彩色照片（如真实世界的照片）很难用数学公式来描述图形的构造，而采用位图来表示。数据存储存储图像色彩的三原色1）国际照明委员会(CIE) 规定以700nm(红)、546.1nm(绿)、435.8nm (蓝)三个色光为三基色。又称为物理三基色。2）自然界的所有颜色都可以通过这三基色按不同比例混合而成。数据存储存储图像原文为：Commission Internationale de LEclairage(法);或International Commission on illumination(英)颜色模型R:200 G:50B:120黄(255,255,0)黑(0,0,0

12、)绿(0,255,0)青(0,255,255)蓝(0,0,255)品红(255,0,255)白(255,255,255)红(255,0,0)数据存储存储图像以RGB的三元组来表示某一种颜色。（0，0，0）表示黑色；（255，255，255）表示白色等。位图对模拟的图像数据，不可能完全在计算机中进行存储。仍然需要通过空间采样的方法，测量离散点处的颜色值来进行存储。数据存储存储图像和音频类似，照片中的内容来自现实世界，是随空间连续变化的一些颜色值，是一种模拟数据。采样例如一幅1024768的图像，代表水平方向（横）上有1024个像素点，垂直方向（竖）上有768个采样点，图像的分辨率为1024768

13、。数据存储存储图像实质是把图像在空间上分割成N行M列的网格，每一个网格就是一个像素点，也代表一个采样点。也就是说每行获取M个像素点，总共采样N行。MN代表总的像素数，也称为图像的分辨率。同一幅图像，如果分辨率越高，则描述的图像细节越丰富，图像越细腻、逼真，但所需的存储空间也会越大。量化及编码黑白图像，图像中的每个像素点用1位二进制数表示，其中白色用1表示，黑色用0表示。数据存储存储图像量化是每一个采样点的颜色值用几位二进制来表示。编码是一个数值和颜色的对应关系。图像可分为三类：黑白、灰度、彩色。灰度图像，图像是由不同深度的灰色组成的，这时要把黑色和白色之间的颜色用不同的灰色表示出来，用8位二进

14、制数表示，即量化位数为8 ，可分为256种灰色。数据存储存储图像对于灰度，用0（二进制00000000）代表黑,255（11111111）代表白。0-255之间的数代表灰，显然数值越大，灰度越浅。灰度编码彩色图像，红色用8位，绿色用8位，蓝色用8位，则量化位数为24位，这样可以有256种红色（R）、256种绿色（G）、256种蓝色（B）。数据存储存储图像彩色编码量化位数称为色彩深度。24位深度的颜色称为真彩色。数据存储存储图像根据色彩形成原理，不同取值的R、G、B可表示256256256=224（约1677万）种色彩。特殊情况：如果R=0，G=0，B=0表示黑色；如果R=255，G=255，B

15、=255表示白色调色板技术（索引色，256色）真彩色可表示约1677万种颜色，许多应用中并不需要，且占用较大的空间。从大的颜色集中选择一些颜色（通常256种，深度为8）并对其建立索引（取值0255）扫描图像时，对每个像素，使用索引值表示其颜色。存储空间（位图）例：一幅图像的分辨率为640480，色彩深度为24位，则该图像文件的大小是多少？ 图像存储空间（字节）=分辨率量化位数8矢量图所需的存储空间要比位图小得多。640480248=921600B=900KB数据存储存储图像 位图文件优点可以表现出色彩丰富的图象效果可逼真表现自然界各类景物位图文件缺点文件占用存储空间大；放大图像会出现失真（马赛

16、克,mosaic）。数据存储存储图像BMP格式：BMP格式是Windows系统采用的图像文件格式，形成的图像文件较大，大多数图像处理软件都支持这种格式。GIF格式：GIF文件时一种压缩图像存储格式，该文件允许存放多幅彩色图像，图像可以连续播放而形成动画效果。这种文件所支持的颜色数最多为256种，文件的压缩率高，文件较小，适合在网上传输。 PNG格式：PNG格式文件采用无损压缩的方法，他的压缩率比GIF文件高。存储灰度图像的色彩位数可达16位，彩色图像的位数可达48位。是一种新兴的网络图像格式，缺点是不支持动画效果。 数据存储存储图像位图文件格式 JPEG格式：JPEG（Joint Photog

17、raphic Experts Group）是联合图像专家组制定的图像数据压缩标准，这是一个适用于黑白、灰度、彩色图像的压缩标准。它将不易被人眼察觉的图像颜色删除，有较高的压缩率（2:140:1），对图像质量影响不大。同一图像的BMP格式的大小是JPEG格式的510倍。而GIF格式最多支持256色，因此JPEG格式可处理256色以上的大幅面图像。由于其优越的性能，应用非常广泛，JPEG文件时网上的主流图像格式。数据存储存储图像数据存储存储图像黑白图像数据存储存储图像灰度图像数据存储存储图像位图效果数据存储存储图像矢量图效果数据存储视频模拟视频每秒显示25帧画面（即帧频），每帧画面水平扫描行数为6

18、25行。采用隔行扫描方式。每一帧分两场进行扫描，第一场扫描奇数行，第二场扫描偶数行。1秒钟显示25帧图像，完成50场的扫描，因此场频为50Hz。我国及西欧国家使用。是图像（帧）在时间上的表示，是一系列帧连续播放而形成的运动图像，是随空间和时间变化的色彩信息表示。分模拟与数字两种。（1）PAL制（Phase Alternating Line 逐行倒相）视频帧频为30，每幅画面水平扫描行数为525，隔行扫描方式，场频为60Hz。美国、加拿大、日本、韩国等均采用这种制式。（2）NTSC制（National Television Standards Committee，美国国家电视标准委员会）第一场：

19、奇数行 第二场 ：偶数行 数据存储视频YUV格式Y指亮度，U和V指色差，是构成彩色的两个分量。Y和U、V之间是可分离的。数据存储视频亮度Y：Y=0.3R + 0.59G + 0.11B 红色色差U：U=R-Y= 0.7R - 0.59G - 0.11B蓝色色差V：V=B-Y= -0.3R - 0.59G + 0.90B若只有Y分量，则表示的图像只是黑白灰度图像，加上U和V分量可形成彩色图像。彩色电视采用YUV格式可以实现与黑白电视兼容，使黑白电视也能接收彩色电视信号。PAL制和NTSC制采用的是YUV格式的色彩模式，而计算机采样的是RGB的色彩模式，因此视频数字化时还需考虑色彩模式的转换。（1

20、）采样 国际无线电咨询委员会（CCIR：International Radio Consultative Committee）提出CCIR 601标准（现在的ITU-R标准），对采样及色彩空间的转换做了严格的规定。ITU-R建议使用4:2:2的采样结构进行YUV彩色空间的采样。在每条扫描线上每4个连续的采样点取4个Y样本、两个色差U样本、两个色差V样本。数据存储视频数字视频按4：4：4格式采样：第1个像素点（Y0，U0，V0）第2个像素点（Y1，U1，V1）第3个像素点（Y2，U2，V2）第4个像素点（Y3，U3，V3）数据存储视频按4：2：2格式采样：第1个像素点（Y0，U0）第2个像素点（Y1，V1）第3个像素点（Y2，U2）第4个像素点（Y3，V3）例如：从扫描线上取4个采样点（像素点），每一像素点的颜色信息表示区别如下：（2）