媒体及媒体技术详解演示文稿

媒体及媒体技术详解演示文稿当前1页，总共66页。（优选）媒体及媒体技术当前2页，总共66页。媒体的种类人类的感觉：视觉、听觉、触觉、味觉和嗅觉。媒体可以分为：听觉类媒体（波形声音、语音和音乐）视觉类媒体（包括位图图像、矢量图形、动画视频、文本等）触觉类媒体（环境媒体）味觉类媒体嗅觉类媒体当前3页，总共66页。人类对信息理解途径当前4页，总共66页。听觉媒体技术声音心理学

音频的数字化和符号化

采样量化编码当前5页，总共66页。声音的量纲声音的物理量：频率（变化的速度）振幅（变化的强度）相位（开始的时刻）声音的强度相差很大，1kHz正弦波所能察觉的最弱音为2.83×10-4（达因/平方厘米），这个最弱音作为参照声的国际标准。采用分贝作为量纲。分贝是指两个波峰幅度A和B的比：dB＝20log10(A/B)

人耳朵感觉最弱的声音到产生痛感的声音的强度相差约一万倍。对于大多数人来说，感觉痛苦的限为100-120dB人的听觉频率范围是20-20kHz。当前6页，总共66页。声音的心理学量纲：响度音调其它还有音色、和谐、不和谐以及乐音等等强度增加，响度增加；频率增加，音调增高。心理学量纲和物理学量纲不能混淆：这些关系不是线性的，强度加倍不等于响度加倍这些关系不是孤立的，声音频率的变化既影响音调也影响响度这些关系不是完全固定的，对于一个音的响度和音调有什么样的知觉取决于出现的情景当前7页，总共66页。听觉心理变量和物理变量的关系听觉心理变量首要的物理变量次要的物理变量响度音调音色音量密度和谐（流畅或粗糙）噪声骚扰声声强度声波频率（Hz）声波复合频率和强度频率和强度谐波结构强度强度声波频率声强――－声乐技巧频率组合，各种时间参量频率组合当前8页，总共66页。听觉特性（1）等响曲线

等响曲线描述的是响度与频率、强度的关系。响度是与频率和强度有关的，在不同的频率上的强度是不同的。从声音心理学考虑，对同一响度的声音在频率上的强度上可以有很大的差别，这对于多媒体系统的声音表现有重要的意义。（2）掩蔽声音的响度不仅取决于自身的强度和频率，而且依赖于同时出现的其他声音。声音之间可以互相掩蔽，一种声音的出现可能使另一种声音难于辨别。由于声音的掩蔽效果，可以欺骗人的听觉。声音的掩蔽特性常用于声音的压缩。当前9页，总共66页。（3）临界频带

在频率的某一临界区里，这种声音强度是相互作用的，合成声音的响度由这些频率共同决定。如果超出临界区，声音的响度不再相互作用，随频率而变。这个临界区就是临界频带，其宽度视其中心频率而定。对于临界频带的确认，使得对声音响度的处理能够有的放矢。（4）相位

从声音的波形来看，声音的起点和方向也反映声音的特性，这就是声音的相位。当两个声音同方向但相位相反时，它们相互抵消；当两个声音同方向且相位也相同时，声音就会得到加强。相位的确定在多声道系统的设计中非常重要，它可以应用在回声抵消、会议系统的声音设计上等。当前10页，总共66页。（5）自然声音的时变现象声音的音调分成3个区域：起始区、稳定状态区和延迟区研究表明，音调的频谱分量随时间改变。在稳定状态区，频谱保持固定。在起始区，频谱随时间变化。因此自然声音的起始部分是非常难识别的。对于语音（人的说话，Speech），具有短时平稳性，一般认为5-50ms左右语音信号保持相对稳定一致的特征。对于语音信号的分析和处理是建立的“短时”的基础上。当前11页，总共66页。（6）听觉空间

人耳可听到来自各个方向的声音，并用不同的因素来决定声源，包括强度、时间和频谱。确定声源的位置无论对于增进人们的感受还是增进对声音的理解都是非常重要的。方位的线索是各种声音到达两耳的精确时间和强度。声音先到达离声源较近的一耳而且强度较大。声音的定位要靠双重机制，一般低频率主要依靠时差，高频率依靠强度。1-5kHz的频率范围是转换点，在转换点附件定位误差最大通过声音的精确再现，就可以构造出听觉空间，对于听觉空间的再现在虚拟现实系统中必不可少。当前12页，总共66页。（7）听觉的频谱特性

声音是时间函数，通过傅里叶变换可做出其频谱图。人耳对频谱成分的波峰和波谷是非常敏感的。在语言中，元音很少有频谱快速变换的区域。基频改变，人耳是很敏感的（8）声音的心理模拟

通过仿真的方法，可以对视觉空间的景物进行再造或虚构，也可以对听觉空间的声音进行心理的模拟，就是所谓的可听化（audiolization）。用声音可以表达出一些特殊效果。例如：对于虚拟的流体，用声音的高低可以表示流体的粘度，低音表示流体很粘，高音则不粘；用声音的单一频率可表示流体的密度小，而多种频率复合则表示密度大；用冷音色（如笛声）可以表示流体的温度低，而暖音色表示流体的温度较高；用声音脉冲的速度可表示流体的流动速度等等当前13页，总共66页。音频的数字化和符号化

（采样、量化和编码）声音在真实世界是模拟的，时间和幅度上是连续的。数字信号只在特定的位置取有限的值，数字表示的声音是一个数据序列，在时间上是不连续的。因此把模拟声音变成数字声音时，需要每隔一个时间间隔在模拟声音波形上取一个幅度值，这称为采样，这个时间间隔称为采样周期。量化是将具有连续幅度值的输入信号转换到只有有限个幅度值的输出信号的过程。对声音进行采样用奈奎斯特采样定理来决定采样频率。采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。当前14页，总共66页。讨论某数字语音系统的AD、DA（输入、输出）为宽带音频（48K采样），即每秒有48000个样点；但是在做信号处理的时候(如用G.723.1算法编解码）需要按照电话质量来处理（8K采样频率），即每秒8000个样点，应该如何做转换？当前15页，总共66页。模拟音频信号的采样和重建

当前16页，总共66页。低通信号的采样定理

x(t)频带限制(0,fH)在内，若采样频率fS大于或等于fH的两倍，则可以从采样后的序列x(nTS)无失真地恢复x(t)

。

采样后的信号可看成是理想采样序列同x(t)的乘积：当前17页，总共66页。当前18页，总共66页。采样脉冲序列付氏变换为由频域卷积定理，有：当前19页，总共66页。当前20页，总共66页。由采样后信号恢复原模拟信号----内差公式

当采样频率大于或等于的两倍时，对进行理想低通滤波，可以恢复原始信号。理想低通频域特性为：

时域冲激响应为：当前21页，总共66页。由时域卷积定理，有：选:当前22页，总共66页。可看出在

t=nTs

各点上，其它各点由这些点插值得到。说明连续信号x(t)可以展成正交抽样函数（Sa函数）的无穷数级，级数的系数等于抽样值x(nTs)。也就是说若在抽样信号xs(t)的每个抽样值上画一个峰值为x(nTs)的Sa波形，则合称的波形就是x(t)

。当前23页，总共66页。带通信号采样

设带通信号最高频率和最低频率分别为

fH

和fL，如果以两倍的fH

采样当然不会产生混叠，但并不一定效率最高的。

若-fL

~

fL在之间可以容纳

个信号频谱

那么在

-fH~

fH在之间可以容纳个信号频谱，最小采样频率可取

当前24页，总共66页。在2B到4B之间变化，当

fL是B的整数倍时：

子带编码分带满足这种条件可使采样率最小，称为整数带分割当前25页，总共66页。当前26页，总共66页。视觉媒体技术视觉心理学视频信号的数字化视频信号的采样彩色空间的线性变换标准彩色电视制式及电视图像数字化图像子采样当前27页，总共66页。视觉心理特征光学物理变量：光强、波长和光谱成分等视觉心理变量：亮度、彩色、浓度和对比度等同声音心理学相仿，与视觉相对应的光学物理性质与心理知觉也是不同的。虽然光的物理特性与心理知觉有关，但不是线性的。把物理波的强度加倍，感觉到的亮度并不是加倍。对光的色调和亮度的感觉不仅和它的频率和强度有关，而且还和它出现的背景有关，和同时出现的周围光有关。将物理性质和心理知觉区分开来，十分重要。当前28页，总共66页。视觉的心理变量和物理变量对应表视觉心理变量主要物理变量次要物理变量亮度色调（彩色）饱和度（彩色的浓度）对比度光强波长光谱成分光强、波长、周围光光的波长、眼的适应光谱成分，周围光的强度亮度和色调周围光当前29页，总共66页。视觉特性（1）亮度亮度是人眼对光强的感受（2）彩色考虑三种心理属性：色调、饱和度（浓度）和亮度色调就是通常意义下的彩色，它随波长的变化而变化，放映颜色的基本特性饱和度表示了产生所感知到的彩色在白光中必须混入的纯单色光的相对数量，或者说是颜色的深浅程度。对同一色调的彩色光，饱和度越深颜色越鲜艳。色调和饱和度通称为色度。可见光的波长从380-780nm。不同波长呈现不同颜色，随着波长的减小，可见光颜色依次为红、橙、黄、绿、青、蓝、紫自然界中的任何一种颜色都可以由红绿蓝三种颜色混合而成的。它们构成了一个3维的RGB矢量空间当前30页，总共66页。（3）视觉的时间特性（视觉惰性）人眼的视觉是有惰性的，这种惰性现象也称为视像暂留。当眼前实际的景物已经消失后，所看到的影响却不立即消失。视觉惰性被人们巧妙地运用到电影和电视中，使得本来在时间上和空间上都不连续的图像，给人以真实的、连续的感觉。在通常的电影银幕的亮度下，人眼的临界闪烁频率约为46Hz。电影中，普遍采用每秒向银幕投射24副画面的标准，而在每副画面停留的时间中，用一个机械遮盖阀将投射光遮挡一次，得到每秒48次的重复频率，使观众产生亮度是连续、不闪烁的感觉。对于高亮度的显像管而言，临界闪烁频率可能达到60-70Hz。当前31页，总共66页。（4）图像的对比度

对比度表示图像相邻面积或者相邻点之间的亮度差别。对比度C定义如下：

Imax,Imin

分别代表图像中的最大最小光强。在自然景物中，对比度经常可以达到200:1，甚至更高，而多数电视机和显示器给出50:1的对比度都很困难。当前32页，总共66页。（5）时间域的掩蔽效应实验表明，当相邻的画面发生剧烈变化（如场景切换）时，人眼的分辨率会突然下降（下降到原来的1/10）。也就是说当新场景突然出现时，人基本上看不清新景物，大约0.5秒之后，视力才恢复到正常水平。影响时域掩蔽效应的因素比较复杂，对于它的研究还处于初试阶级。（6）彩色的掩蔽效应在亮度剧烈变化的背景上（如黑白跳变的边沿上），人眼对色彩变化的敏感程度明显降低。当前33页，总共66页。视频信号的采样静止图像的采样：亮度是x,y坐标的函数，其值总大于等于零设x,y方向亮度变化的最高空间频率分别是采样间隔分别是那么由采样定理有：

采样后的信号为：当前34页，总共66页。采样前后频域关系为:

是原始图像信号的付氏变换。采用截止频率分别为

的矩形低通滤波器可以从采样后的信号中滤出原始图像信号。

通常图像尺寸有限，设为

采样点数为

那么应该有：

当前35页，总共66页。采样方式有正交结构和斜交结构，如图所示

当前36页，总共66页。各样点值可以用矩阵表示图像尺寸和采样点数确定后，要对原始图像信号进行合适的空间滤波，保证采样后不产生混叠。通过扫描方法实现采样，每样点用8~12bit量化。当前37页，总共66页。·活动图像采样:活动图像可以表示成：

按△t

间隔对活动图像进行抽取，再进行空间采样，从而得到活动图像的采样序列。活动图像可以看成是静止图像系列，一幅图像称为一帧图像。

理论上△t的取值应该满足采样定理的要求。实际上考虑人眼视觉特性和应用需求。约每秒30帧以上无闪烁感，为节省带宽，可采用隔行扫描。彩色图形的采样：根据三基色原理，彩色图像可以用红、绿、兰（RGB）合成。摄像机输出是经过校正的RGB信号，需要对RGB分别采样，每个信号分别用8~12bit量化。当前38页，总共66页。彩色空间的线性变换标准：

为了使用人的视角特性以降低数据量，通常把RGB空间表示的彩色图像变换到其他彩色空间。目前采用的彩色空间变换有三种：YIQ,YUV和YCbCr。每一种彩色空间都产生一种亮度分量信号和两种色度分量信号，而每一种变换使用的参数都是为了适应某种类型的显示设备。

·YIQ适用于NTSC彩色电视制式

·YUV适用于PAL和SECAM彩色电视制式

·YCbCr适用于计算机用的显示器。当前39页，总共66页。在彩色电视制式中，使用YUV和YIQ模型来表示彩色图像。在PAL彩色电视制式中使用YUV模型（YUV不是那几个英文单词的组合词，而是符号，Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量）；在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I、Q是两个彩色分量YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。此外，黑白电视能接收彩色电视信号也就是利用了YUV分量之间的独立性。当前40页，总共66页。YUV表示法的可以利用人眼的特性来降低数字彩色图像所需要的存储容量。人眼对彩色细节的分辨能力比对亮度细节的分辨能力低。若把人眼刚能分辨出的黑白相间的条纹换成不同颜色的彩色条纹，那末眼睛就不再能分辨出条纹来。由于这个原因，就可以把彩色分量的分辨率降低而不明显影响图像的质量，因而就可以把几个相邻像素不同的彩色值当作相同的彩色值来处理，从而减少所需的存储容量。无论是用YIQ、YUV和YCbCr还是用HSL模型来表示彩色图像，由于现在所有的显示器都采用RGB值来驱动，这就要求在显示每个像素之前，须要把彩色分量值转换成RGB值。这种转换需要花费大量的计算时间。这是一个要在软硬件设计中需要考虑的因素。当前41页，总共66页。YUV与RGB彩色空间变换：当前42页，总共66页。YIQ与RGB彩色空间变换

当前43页，总共66页。YIQ

和YUV的关系在NTSC制式中使用YIQ，Y与前面的Y相同，IQ是由UV坐标旋转33度得到

当前44页，总共66页。YCbCr与RGB彩色空间变换当R，G，B的取值范围为〔0，1〕，与RGB空间的转换关系如下：当R，G，B的取值范围为8位二进制的〔0，219〕，与RGB空间的转换关系如下：当前45页，总共66页。彩色电视制式目前世界上现行的彩色电视制式有三种：NTSC制、PAL制和SECAM制。NTSC(NationalTelevisionSystemsCommittee)彩色电视制是1952年美国国家电视标准委员会定义的彩色电视广播标准，称为正交平衡调幅制。美国、加拿大等大部分西半球国家，以及日本、韩国、菲律宾等国和中国台湾采用这种制式。当前46页，总共66页。PAL(Phase-AlternativeLine)制彩色电视广播标准，德国(当时的西德)于1962年制定的，称为逐行倒相正交平衡调幅制。它弥补了NTSC制存在相位敏感造成彩色失真的缺点。德国、英国等一些西欧国家，以及中国、朝鲜等国家采用这种制式。SECAM(法文：SequentialColeurAvecMemoire)是法国制定的彩色电视广播标准，称为顺序传送彩色与存储制。法国、苏联及东欧国家采用这种制式。世界上约有65个地区和国家试验这种制式。当前47页，总共66页。NTSC制、PAL制和SECAM制都是兼容制制式。这里说的“兼容”有两层意思：一是指黑白电视机能接收彩色电视广播，显示的是黑白图像，另一层意思是彩色电视机能接收黑白电视广播，显示的也是黑白图像，这叫逆兼容性。为了既能实现兼容性而又要有彩色特性，因此彩色电视系统应满足下列几方面的要求：

(1)必需采用与黑白电视相同的一些基本参数，如扫描方式、扫描行频、场频、帧频、同步信号、图像载频、伴音载频等等。

(2)需要将摄像机输出的三基色信号转换成一个亮度信号，以及代表色度的两个色差信号，并将它们组合成一个彩色全电视信号进行传送。在接收端，彩色电视机将彩色全电视信号重新转换成三个基色信号，在显象管上重现发送端的彩色图像。当前48页，总共66页。PAL电视制的主要扫描特性(1)625行(扫描线)/帧，25帧/秒(40ms/帧)(2)长宽比：4:3(3)隔行扫描，2场/帧，312.5行/场(4)颜色模型：YUV

一帧图像的总行数为625，分两场扫描。行扫描频率是15625Hz，周期为64μs；场扫描频率是50Hz,周期为20ms；帧频是25Hz，是场频的一半，周期为40ms。在发送电视信号时，每一行中传送图像的时间是52.2μs，其余的11.8μs不传送图像，是行扫描的逆程时间，同时用作行同步。每一场的扫描行数为625/2=312.5行，其中25行作场回扫，不传送图像，传送图像的行数每场只有287.5行，因此每帧只有575行有图像显示。当前49页，总共66页。NTSC彩色电视制的主要特性(1)525行/帧,30帧/秒(29.97fps,33.37ms/frame)(2)长宽比：电视为4:3，电影为3:2，高清晰度电视为16:9(3)隔行扫描，一帧分成2场(field)，262.5线/场(4)在每场的开始部分保留20扫描线作为控制信息，因此只有485条线的可视数据。(5)每行63.5微秒，水平回扫时间10微秒(包含5微秒的水平同步脉冲)，所以显示时间是53.5微秒。(6)颜色模型：YIQ

一帧图像的总行数为525行，分两场扫描。行扫描频率为15750Hz，周期为63.5μs；场扫描频率是60Hz，周期为16.67ms；帧频是30Hz，周期33.33ms。每一场的扫描行数为525/2=262.5行。除了两场的场回扫外，实际传送图像的行数为480行。当前50页，总共66页。

SECAM彩色电视制的主要特点这种制式与PAL制类似，其差别是SECAM中的色度信号是频率调制(FM)，而且它的两个色差信号：红色差(R‘-Y’)和蓝色差(B‘-Y’)信号是按行的顺序传输的。图像格式为4:3，625线，50Hz。6MHz电视信号带宽，总带宽8MHz。当前51页，总共66页。电视图像数字化

数字电视图像有很多优点：

例如，可直接进行随机存储使电视图像的检索变得很方便，复制数字电视图像和在网络上传输数字电视图像都不会造成质量下降，很容易进行非线性电视编辑。数字电视系统都希望用彩色分量来表示图像数据，如用YCbCr，YUV，YIQ或RGB彩色分量。因此，电视图像数字化常用“分量初始化(componentdigitization)”这个术语，它表示对彩色空间的每一个分量进行初始化电视图像数字化常用的方法有两种：（1）先从复合彩色电视图像中分离出彩色分量，然后数字化。通常的做法是首先把模拟的全彩色电视信号分离成YCbCr，YUV，YIQ或RGB彩色空间中的分量信号，然后用三个A/D转换器分别对它们数字化。（2）用一个高速A/D转换器对彩色全电视信号进行数字化，然后在数字域中进行分离，以获得所希望的YCbCr，YUV，YIQ或RGB分量数据。当前52页，总共66页。电视图像数字化的标准在20世纪80年代初，国际无线电咨询委员会CCIR(InternationalRadioConsultativeCommittee)就制定了彩色电视图像数字化标准，称为CCIR601标准，现改为ITU-RBT.601标准。该标准规定了彩色电视图像转换成数字图像时使用的采样频率，RGB和YCbCr两个彩色空间之间的转换关系等。当前53页，总共66页。ITU-RBT.601标准摘要ITU-RBT.601用于对隔行扫描电视图像进行数字化，对NTSC和PAL制彩色电视的采样频率和有效显示分辨率都作了规定。ITU-RBT.601推荐使用4∶2∶2的彩色电视图像采样格式。使用这种采样格式时，Y用13.5MHz的采样频率，Cb、Cr用6.75MHz的采样频率。采样时，采样频率信号要与场同步和行同步信号同步。当前54页，总共66页。彩色电视数字化参数摘要采样格式信号形式采样频率样本数/扫描行数字信号取值范围（A/D）（MHz）NTSCPAL4:2:2Y13.5858(720)864(720)220级（16～235）Cr6.75429(360)432(360)225级（16～240）（128±112）Cb6.75429(360)429(360)4:4:4Y13.5858(720)858(720)220级（16～235）Cr13.5858(720)858(720)225级（16～240）（128±112）Cb13.5858(720)858(720)当前55页，总共66页。CIF、QCIF和SQCIF为了既可用625行的电视图像又可用525行的电视图像，CCITT规定了称为公用中分辨率格式CIF(CommonIntermediateFormat)，1/4公用中分辨率格式(Quarter-CIF，QCIF)和(Sub-QuarterCommonIntermediateFormat，SQCIF)格式CIF格式具有如下特性：(1)电视图像的空间分辨率为家用录像系统(VideoHomeSystem，VHS)的分辨率，即352×288。(2)使用非隔行扫描(non-interlacedscan)。(3)使用NTSC帧速率，电视图像的最大帧速率为

30000/1001≈29.97幅/秒。(4)使用1/2的PAL水平分辨率，即288线。(5)对亮度和两个色差信号(Y、Cb和Cr)分量分别进行编码，它们的取值范围同ITU-RBT.601。即黑色=16，白色=235，色差的最大值等于240，最小值等于16。当前56页，总共66页。CIF和QCIF格式参数表CIFQCIFSQCIF行数/帧像素/行行数/帧像素/行行数/帧像素/行亮度（Y）288360（352）144180（176）96128色差（Cb）144180（176）7290（88）4864色差（Cr）144180（176）7290（88）4864当前57页，总共66页。图像子采样

对彩色电视图像进行采样时，可以采用两种采样方法。一种是使用相同的采样频率对图像的亮度信号和色差信号进行采样，另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样。如果对色差信号使用的采样频率比对亮度信号使用的采样