现代通信终端相关技术分析

1、北京化工大学信息科学与技术学院北京化工大学信息科学与技术学院谢晓明 制作现代通信技术 第2章 通信终端相关技术主要内容主要内容模拟与数字模拟与数字视音频技术视音频技术IP电话的关键技术电话的关键技术多媒体通信技术规范与标准多媒体通信技术规范与标准音频、图形、图像通信终端音频、图形、图像通信终端视频通信终端视频通信终端数据通信终端数据通信终端多媒体通信终端多媒体通信终端l视音频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码l彩色电视摄像机彩色电视摄像机l多媒体计算机用摄像头多媒体计算机用摄像头l视频显示终端视频显示终端l多媒体终端形式多媒体终端形式

2、l多媒体通信终端接口多媒体通信终端接口l多媒体通信终端软件系统多媒体通信终端软件系统模拟与数字视音频技术模拟与数字视音频技术主要内容主要内容l视音频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码视音频信息基本概念视音频信息基本概念l音频信息音频信息 自然界各音源发出的可闻声和由计算机通过专门设备自然界各音源发出的可闻声和由计算机通过专门设备合成的语音或音乐。包括语音、音乐声和效果声。合成的语音或音乐。包括语音、音乐声和效果声。 随时间变化的连续媒体，处理要求有较小的延时和时随时间变化的连续媒体，处理要求有较小的延时和时延抖动。延抖动。 处理涉及音

3、频信号的获取、编解码、传输、语音的识处理涉及音频信号的获取、编解码、传输、语音的识别与理解、语音与音乐的合成等。别与理解、语音与音乐的合成等。视音频信息基本概念视音频信息基本概念l视频信息视频信息 一系列周期呈现的画面所组成，帧是构成视频信息的一系列周期呈现的画面所组成，帧是构成视频信息的基本单元。基本单元。 具有准确、直观、具体生动、高效、应用广泛、信息具有准确、直观、具体生动、高效、应用广泛、信息容量大等。容量大等。视音频信息基本概念视音频信息基本概念l听觉特性与音频信号听觉特性与音频信号1.人的听觉特性人的听觉特性2.音频信号特性音频信号特性l强弱感觉的对数特性；强弱感觉的对数特性；l频

4、率感觉的指数规律；频率感觉的指数规律；l频响的不平坦特性；频响的不平坦特性；l掩蔽效应。掩蔽效应。l不同类型的发声体，频谱分布各不相同；不同类型的发声体，频谱分布各不相同；l话音主要能量分布在话音主要能量分布在100Hz-5kHz100Hz-5kHz，电话通信的，电话通信的频带限制在频带限制在300Hz-3.4kHz300Hz-3.4kHz。l不同特色的声音信号，动态范围也各不相同。不同特色的声音信号，动态范围也各不相同。视音频信息基本概念视音频信息基本概念l视频技术基础视频技术基础 视频信号与图像扫描视频信号与图像扫描 镜头成像镜头成像光图像光图像电图像电图像扫描扫描视频信号视频信号 扫描：

5、对景物图像像素分解与合成，图像的时空转换。扫描：对景物图像像素分解与合成，图像的时空转换。 国际上存在国际上存在25帧帧/秒和秒和30帧帧/秒两种制式。秒两种制式。 隔行扫描：解决图像连续感、闪烁感和电视信号带宽隔行扫描：解决图像连续感、闪烁感和电视信号带宽的矛盾。的矛盾。l利用光电和电光转换原理，将光学图像转换为电信号进利用光电和电光转换原理，将光学图像转换为电信号进行记录或远距离传输，然后还原为光图像的一门技术。行记录或远距离传输，然后还原为光图像的一门技术。视音频信息基本概念视音频信息基本概念l视频技术基础视频技术基础 复合电视信号复合电视信号 由图像信号、同步信号、行场逆程消隐脉冲组成

6、。由图像信号、同步信号、行场逆程消隐脉冲组成。一个行周期的黑白全电视信号 视音频信息基本概念视音频信息基本概念l视频技术基础视频技术基础 彩色电视系统彩色电视系统 亮色方程亮色方程按照三基色原理设计和工作；按照三基色原理设计和工作；彩色显示基本原理：加性混色法彩色显示基本原理：加性混色法为兼容黑白电视，传为兼容黑白电视，传1 1个亮度和个亮度和2 2个色差分量（红色及蓝色差）；个色差分量（红色及蓝色差）；我国我国PALPAL制：亮度制：亮度6M6M，色差为，色差为1.3M1.3M。Y=0.299R+0.587G+0.114BY=0.299R+0.587G+0.114B在在Y Y、R R、G G

7、、B B中，只有中，只有3 3个变量独立。只要传送个变量独立。只要传送Y Y与基色中的任两个，与基色中的任两个，既满足兼容需要，又可满足传送亮度与色度信息的需要。既满足兼容需要，又可满足传送亮度与色度信息的需要。在色度信息时，通常选择传送不反映亮度信息色度信息，即色差信在色度信息时，通常选择传送不反映亮度信息色度信息，即色差信息：（息：（R-YR-Y）红色差）红色差 、（、（G-YG-Y）绿色差）绿色差 、（、（B-YB-Y）蓝色差）蓝色差视音频信息基本概念视音频信息基本概念l视频技术基础视频技术基础 PAL制电视的扫描特性制电视的扫描特性 (1) 625行行(扫描线扫描线)/帧，帧，25帧帧

8、/秒秒(40 ms/帧帧) (2) 高宽比高宽比(aspect ratio)：4:3(3) 隔行扫描，隔行扫描，2场场/帧，帧，312.5行行/场场(4) 颜色模型：颜色模型：YUV 一帧图像的总行数一帧图像的总行数625，分两场扫描。行频，分两场扫描。行频15 625 Hz，周期周期64s；场频；场频50 Hz，周期，周期20 ms；帧频；帧频25 Hz，场，场频的一半，周期频的一半，周期40 ms。一行中传图像时间。一行中传图像时间52.2s，其余其余11.8s不传图像，是行扫描逆程时间，作行同步不传图像，是行扫描逆程时间，作行同步及消隐用。每一场扫描行数及消隐用。每一场扫描行数625/2

9、=312.5行，其中行，其中25行作场回扫，不传送图像，传送图像的行数每场只行作场回扫，不传送图像，传送图像的行数每场只287.5行，因此每帧只有行，因此每帧只有575行有图像显示。行有图像显示。视音频信息基本概念视音频信息基本概念l视频技术基础视频技术基础 视频信号频谱特点视频信号频谱特点l具有行、场或帧的准周期特性；具有行、场或帧的准周期特性；l静止图像：由行频、场频的基波及其各次谐波组成，能量以帧频静止图像：由行频、场频的基波及其各次谐波组成，能量以帧频为间隔对称分布在行频的各次谐波两侧。为间隔对称分布在行频的各次谐波两侧。l活动图像：以行频及其各次谐波为中心的一簇簇连续的梳状谱。活动图

10、像：以行频及其各次谐波为中心的一簇簇连续的梳状谱。l没有能量的区域远大于有能量的区域，采用频谱交错原理完成亮没有能量的区域远大于有能量的区域，采用频谱交错原理完成亮度信号和色度信号的同频带传输。度信号和色度信号的同频带传输。视音频信息数字化视音频信息数字化l包括两方面内容：包括两方面内容： 音频信息时间离散化和图像信息空间位置离散化；音频信息时间离散化和图像信息空间位置离散化； 音频信息电平值和图像灰度电平值的离散化。音频信息电平值和图像灰度电平值的离散化。l音频信号离散化音频信号离散化 采样：大于音频信号中最高频率成分的两倍。采样：大于音频信号中最高频率成分的两倍。 采样频率：采样频率：8，

11、11.025，16，22.05，32，44.1，48kHz。 8-20bit量化编码。量化编码。 在允许失真条件下，尽可能选择较低的采样频率，以在允许失真条件下，尽可能选择较低的采样频率，以免数据速率过高。免数据速率过高。视音频信息数字化视音频信息数字化l视频信号离散化视频信号离散化 采样是使图像信号在空间位置的离散化采样是使图像信号在空间位置的离散化视音频信息数字化视音频信息数字化l视音频信号的量化视音频信号的量化 抽样后的离散样值从连续的取值转化为有限个离散值。抽样后的离散样值从连续的取值转化为有限个离散值。 均匀量化与非均匀量化均匀量化与非均匀量化 量化误差或量化失真量化误差或量化失真

12、图像信号的颗粒噪声和伪轮廓现象图像信号的颗粒噪声和伪轮廓现象 实质：实质： 在保证一定图像或声音质量下，以最小比特数来表示在保证一定图像或声音质量下，以最小比特数来表示视音频信号。视音频信号。 视频信号通常采用视频信号通常采用6-10bit量化编码量化编码视音频压缩编码视音频压缩编码l目的：为提高信道利用率及在有限信道容量下传输目的：为提高信道利用率及在有限信道容量下传输更多信息。更多信息。l数据压缩的理论依据数据压缩的理论依据 Shannon的信息论给出了数据压缩的理论极限，指的信息论给出了数据压缩的理论极限，指明了数据压缩的技术途径。明了数据压缩的技术途径。 熵是对离散无记忆信源进行无失真

13、编码的极限。熵是对离散无记忆信源进行无失真编码的极限。 信源概率分布越均匀，其熵越大；反之，其熵越小。信源概率分布越均匀，其熵越大；反之，其熵越小。 离散无记忆信源只要概率分布不均匀就存在信息冗余。离散无记忆信源只要概率分布不均匀就存在信息冗余。视音频压缩编码视音频压缩编码l信源压缩编码的两个基本途径：信源压缩编码的两个基本途径： 尽可能使编码平均码长接近于信源的熵，减少冗余信尽可能使编码平均码长接近于信源的熵，减少冗余信息；息； 去除信源中各信源符号间的相关性。去除信源中各信源符号间的相关性。视音频压缩编码视音频压缩编码l限失真压缩编码限失真压缩编码 概念：允许解码后信号有一定失真，通过去除

14、信源的概念：允许解码后信号有一定失真，通过去除信源的自相关来达到压缩数据的目的。自相关来达到压缩数据的目的。 率失真函数：在传输中信号的失真度小于或等于某一率失真函数：在传输中信号的失真度小于或等于某一值值D所必须的信道容量的最小值所必须的信道容量的最小值R(D)。 在图像与声音编码中，通常用均方误差作为失真的度在图像与声音编码中，通常用均方误差作为失真的度量标准。量标准。 率失真函数表明：在给定信号允许失真度条件下，为率失真函数表明：在给定信号允许失真度条件下，为减少信号传输比特率，应尽量减小信号的方差。减少信号传输比特率，应尽量减小信号的方差。 应用：预测编码和变换编码就是为了减小传输信号

15、的应用：预测编码和变换编码就是为了减小传输信号的方差。方差。视音频压缩编码视音频压缩编码l无失真压缩编码无失真压缩编码 变字长编码最佳编码定理：变字长编码最佳编码定理： 对出现概率大的信息符号编以短字长的码，对概率小的对出现概率大的信息符号编以短字长的码，对概率小的符号编以长字长的码。符号编以长字长的码。 Huffman编码编码 根据可变长最佳编码定理，应用根据可变长最佳编码定理，应用Huffman算法而得。算法而得。 在给定符号集和概率模型时的最优码。在给定符号集和概率模型时的最优码。 算法：算法： 按概率排序，给最后两个概率最小的赋值按概率排序，给最后两个概率最小的赋值01； 最后两个概率

16、相加合成一个，重新按概率排序赋值；最后两个概率相加合成一个，重新按概率排序赋值； 重复，直到最后剩下两个概率为止；重复，直到最后剩下两个概率为止； 给每个符号所对应的赋值逆向排序即得编码。给每个符号所对应的赋值逆向排序即得编码。视音频压缩编码视音频压缩编码l无失真压缩编码无失真压缩编码 算术编码算术编码 游程编码游程编码l和和HuffmanHuffman编码的区别仅在于不是使用整数码。编码的区别仅在于不是使用整数码。l在信源概率比较均匀的情况下，其编码效率高于在信源概率比较均匀的情况下，其编码效率高于HuffmanHuffman编码。编码。l在某个特定方向将相同的样本值用一个游程长度和一个样本

17、值在某个特定方向将相同的样本值用一个游程长度和一个样本值来表示。来表示。视音频压缩编码视音频压缩编码l音频压缩编码技术音频压缩编码技术 音频信号压缩编码方法音频信号压缩编码方法 波形编码波形编码 在信号采样和量化过程中，考虑到人的听觉特性，使编在信号采样和量化过程中，考虑到人的听觉特性，使编码信号尽可能与原输入信号匹配，又能适应人的应用要码信号尽可能与原输入信号匹配，又能适应人的应用要求。求。 全频带编码、子带编码、矢量量化。全频带编码、子带编码、矢量量化。 高码率条件下获得高质量的音频信号，适于高保真要求。高码率条件下获得高质量的音频信号，适于高保真要求。视音频压缩编码视音频压缩编码l音频压

18、缩编码技术音频压缩编码技术 音频信号压缩编码方法音频信号压缩编码方法 参数编码参数编码 以某种模型表示，再抽出合适的模型参数和参考激励信以某种模型表示，再抽出合适的模型参数和参考激励信号进行编码，即声码器。号进行编码，即声码器。 压缩比很高，计算量大，不适合高保真要求。压缩比很高，计算量大，不适合高保真要求。 LPC、Channel Vocoder、Format Vocoder。视音频压缩编码视音频压缩编码l音频压缩编码技术音频压缩编码技术 音频信号压缩编码方法音频信号压缩编码方法 混合编码混合编码 吸取波形和参数编码的优点进行综合。吸取波形和参数编码的优点进行综合。 多脉冲线性预测多脉冲线性

19、预测MP-LPC 矢量和激励线性预测矢量和激励线性预测VSELP 码本激励线性预测码本激励线性预测CELP 短延时码本激励线性预测短延时码本激励线性预测LD-CELP 长时延线性预测规则码激励长时延线性预测规则码激励RPE-LTP视音频压缩编码视音频压缩编码l音频压缩编码技术音频压缩编码技术 不同质量要求时的音频编码技术选择不同质量要求时的音频编码技术选择 电话质量的音频压缩编码电话质量的音频压缩编码 频率范围：频率范围：300Hz-3.4kHz G.711：PCM，64kbit/s，非线性量化，质量相当于，非线性量化，质量相当于12bit线性量化。线性量化。 G.721：ADPCM，32kb

20、it/s，对信号和它的预测值的差，对信号和它的预测值的差分进行量化，根据邻近差分信号的特性自适应改变量化分进行量化，根据邻近差分信号的特性自适应改变量化参数，应用与中等电话质量、调幅广播、交互式激光唱参数，应用与中等电话质量、调幅广播、交互式激光唱盘。盘。视音频压缩编码视音频压缩编码l音频压缩编码技术音频压缩编码技术 不同质量要求时的音频编码技术选择不同质量要求时的音频编码技术选择 电话质量的音频压缩编码电话质量的音频压缩编码 低速率语音通信：采用参数编码或混合编码。如低速率语音通信：采用参数编码或混合编码。如LPC、VQ。 CELP：闭环：闭环LPC，由输入语音信号确定最佳参数，根，由输入语

21、音信号确定最佳参数，根据某种最小误差准则从码本中找出最佳激励码本矢量。据某种最小误差准则从码本中找出最佳激励码本矢量。具有较强的抗干扰能力，在具有较强的抗干扰能力，在4-16kbit/s速率，即可获得速率，即可获得较高质量的话音。较高质量的话音。 G.728：LD-CELP，16kbit/s，质量与，质量与32kbit/s的的G.721标准基本相当。标准基本相当。 GSM：RPE-LTP，13kbit/s。视音频压缩编码视音频压缩编码l音频压缩编码技术音频压缩编码技术 不同质量要求时的音频编码技术选择不同质量要求时的音频编码技术选择 调幅广播质量的音频压缩编码调幅广播质量的音频压缩编码 频率范

22、围频率范围50Hz-7kHz。 G.722：16kHz采样，采样，14bit量化，信号速率量化，信号速率224kbit/s。采用子带编码方法，将音频用滤波器分成高子带和低子采用子带编码方法，将音频用滤波器分成高子带和低子带，分别进行带，分别进行ADPCM编码，再混合形成输出码流。编码，再混合形成输出码流。224kbit/s可以被压缩成可以被压缩成64kbit/s，最后进行数据插入，最后进行数据插入（最高插入速率达（最高插入速率达16kbit/s）。）。视音频压缩编码视音频压缩编码l音频压缩编码技术音频压缩编码技术 不同质量要求时的音频编码技术选择不同质量要求时的音频编码技术选择 高保真环绕立体

23、声音频压缩编码高保真环绕立体声音频压缩编码 频率范围频率范围50Hz-20kHz。44.1kHz采样，采样，16bit量化。信量化。信号速率每声道达号速率每声道达705kbit/s。 MPEG第一和第二层次编码：第一和第二层次编码： 48kHz，44.1kHz，32kHz采样。经滤波器分为采样。经滤波器分为32个子带，根据音频信号的个子带，根据音频信号的性质计算各频率分量的人耳掩蔽门限，选择各子带的量性质计算各频率分量的人耳掩蔽门限，选择各子带的量化参数。化参数。 MPEG第三层次：在上述基础上再引入辅助子带、非均第三层次：在上述基础上再引入辅助子带、非均匀量化和熵编码技术。匀量化和熵编码技术

24、。 MPEG数据速率：数据速率：32-448kbit/s，适合于，适合于CD-DA光盘。光盘。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 视频信息的冗余视频信息的冗余 图像内部和图像之间有大量的冗余：空间冗余和时间图像内部和图像之间有大量的冗余：空间冗余和时间冗余。冗余。 信息熵冗余：编码冗余，对每像素采用相同比特数表信息熵冗余：编码冗余，对每像素采用相同比特数表示，不能按其信息熵大小分配比特数必然存在冗余。示，不能按其信息熵大小分配比特数必然存在冗余。 结构冗余：某部分存在非常强的纹理结构，或各部分结构冗余：某部分存在非常强的纹理结构，或各部分存在某种关系，如自相似性。存在某种关

25、系，如自相似性。 知识冗余：图像中包含的信息与先验基础知识有关。知识冗余：图像中包含的信息与先验基础知识有关。 视觉冗余：利用人类视觉系统的特点。人类视觉对图视觉冗余：利用人类视觉系统的特点。人类视觉对图像的注意是非均匀和非线性的，并不是对图像任何变像的注意是非均匀和非线性的，并不是对图像任何变化都能感知。化都能感知。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 压缩编码压缩编码 预测编码：预测编码： 方式：帧内预测和帧间预测。方式：帧内预测和帧间预测。 原理：基于时间和空间冗余，用相邻已知像素或图像块原理：基于时间和空间冗余，用相邻已知像素或图像块来预测当前的像素或图像块的取值，然

26、后再对预测误差来预测当前的像素或图像块的取值，然后再对预测误差进行量化编码。进行量化编码。 用同行、前几行或前几帧来作预测称为一维、二维或三用同行、前几行或前几帧来作预测称为一维、二维或三维预测。维预测。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 压缩编码压缩编码 预测编码：预测编码： 帧内预测：帧内预测：采用像素预测形式的采用像素预测形式的DPCM。优点：算法简单，易于硬件实现。优点：算法简单，易于硬件实现。缺点：对信道噪声及误码很敏感，会产生误码扩散，压缩缺点：对信道噪声及误码很敏感，会产生误码扩散，压缩比不高，很少独立使用。比不高，很少独立使用。视音频压缩编码视音频压缩编码l

27、视频压缩编码视频压缩编码 压缩编码压缩编码 预测编码：预测编码： 帧间预测：帧间预测：利用时间冗余，压缩比更高，针对图像块。利用时间冗余，压缩比更高，针对图像块。有帧重复法、阈值法、帧内插法、运动补偿法和自适应交有帧重复法、阈值法、帧内插法、运动补偿法和自适应交替帧内替帧内/帧间编码法等。帧间编码法等。缺点：图像序列不同的区域预测性能不一样，快运动区预缺点：图像序列不同的区域预测性能不一样，快运动区预测效率较差。测效率较差。 预测算法的选取与图像信号的概率分布有关。根据大量预测算法的选取与图像信号的概率分布有关。根据大量统计结果，采用简化概率分布来设计最佳预测器。统计结果，采用简化概率分布来设

28、计最佳预测器。 自适应预测器。较好刻画图像的局部特性，提高预测效自适应预测器。较好刻画图像的局部特性，提高预测效率。率。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 压缩编码压缩编码 变换编码：变换编码： 原理：将空间域相关的像素点通过正交变换映射到另一原理：将空间域相关的像素点通过正交变换映射到另一个频域上，使变换后的系数之间的相关性降低。个频域上，使变换后的系数之间的相关性降低。 变换后满足：所有系数相互独立，能量集中于少数几个变换后满足：所有系数相互独立，能量集中于少数几个系数，这些系数集中于一个最小的区域。系数，这些系数集中于一个最小的区域。 变换后采用适当的量化和熵编码可以

29、有效地压缩。变换后采用适当的量化和熵编码可以有效地压缩。 此外，图像经某些变换后，系数的空间分布和频率特性此外，图像经某些变换后，系数的空间分布和频率特性可能与人眼的视觉特性更匹配。可能与人眼的视觉特性更匹配。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 压缩编码压缩编码 变换编码：变换编码： 变换方案：变换方案：K-L变换、变换、DCT变换变换 区域编码：按能量分布对不同区域采用不同量化编码技区域编码：按能量分布对不同区域采用不同量化编码技术。术。 门限编码：幅度很小的系数只占很少一部分能量对图像门限编码：幅度很小的系数只占很少一部分能量对图像质量影响很小，可以设定阈值，置小于阈值

30、的系数为质量影响很小，可以设定阈值，置小于阈值的系数为0. 非零系数和零系数的合理组织，是为了在带来最少冗余非零系数和零系数的合理组织，是为了在带来最少冗余的同时保证最大的连零系数出现概率。的同时保证最大的连零系数出现概率。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 压缩编码压缩编码 变换编码：变换编码： 步骤：步骤：选择变换类型，如选择变换类型，如DCT；选择方块大小，如选择方块大小，如8 8或或16 16；选择变换系数，并对其进行高效的量化，以便传输或存储；选择变换系数，并对其进行高效的量化，以便传输或存储；对量化系数进行比特分配，使用对量化系数进行比特分配，使用Huffman

31、编码或游程编码。编码或游程编码。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 压缩编码压缩编码 具有运动补偿的帧间预测编码：具有运动补偿的帧间预测编码： 活动图像在时间上比空间上更具相关性。活动图像在时间上比空间上更具相关性。 消除序列图像的时间相关性也可以采用预测编码，传送消除序列图像的时间相关性也可以采用预测编码，传送当前帧与其前一帧或后一帧的差值。当前帧与其前一帧或后一帧的差值。 根据物体的运动方向和速度来作预测，比简单预测要准根据物体的运动方向和速度来作预测，比简单预测要准确，可以达到更高的压缩比。确，可以达到更高的压缩比。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编

32、码 压缩编码压缩编码 具有运动补偿的帧间预测编码：具有运动补偿的帧间预测编码： 步骤：步骤：将图像分解成背景和若干运动物体，各物体可能位移不同将图像分解成背景和若干运动物体，各物体可能位移不同但每物体所有像素位移相同，通过运动估值得到每个物但每物体所有像素位移相同，通过运动估值得到每个物体位移矢量；体位移矢量；利用位移矢量计算经运动补偿后的预测值；利用位移矢量计算经运动补偿后的预测值；对预测误差进行量化、编码、传输，将位移矢量和图像分对预测误差进行量化、编码、传输，将位移矢量和图像分解方式等信息送到接收端。解方式等信息送到接收端。视音频压缩编码视音频压缩编码l视频压缩编码视频压缩编码 压缩编码

33、压缩编码 具有运动补偿的帧间内插编码：具有运动补偿的帧间内插编码： 在发端每隔一段时间丢弃一帧或几帧图像，在收端根据在发端每隔一段时间丢弃一帧或几帧图像，在收端根据帧间相关性将丢弃的帧通过内插恢复出来。帧间相关性将丢弃的帧通过内插恢复出来。 其它编码方法：其它编码方法： 矢量量化编码、子带编码、小波变换、分层编码、分形矢量量化编码、子带编码、小波变换、分层编码、分形编码、模型编码等。编码、模型编码等。主要内容主要内容模拟与数字模拟与数字视音频技术视音频技术IP电话的关键技术电话的关键技术多媒体通信技术规范与标准多媒体通信技术规范与标准音频、图形、图像通信终端音频、图形、图像通信终端视频通信终端

34、视频通信终端数据通信终端数据通信终端多媒体通信终端多媒体通信终端l视音频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码l彩色电视摄像机彩色电视摄像机l多媒体计算机用摄像头多媒体计算机用摄像头l视频显示终端视频显示终端l多媒体终端形式多媒体终端形式l多媒体通信终端接口多媒体通信终端接口l多媒体通信终端软件系统多媒体通信终端软件系统IP电话的关键技术电话的关键技术lIP电话的概念电话的概念lIP电话的通话方式电话的通话方式 以太网电话机：基于以太网电话机：基于H.323协议格式，占用独立协议格式，占用独立IP地地址，能直接介入网络。址，能直接介入网络

35、。l采用存储采用存储- -转发的方式传递包，不独占电路转发的方式传递包，不独占电路l语音高比例压缩，占用带宽仅为语音高比例压缩，占用带宽仅为810kbit/s810kbit/sl节省长途通信费用。节省长途通信费用。lPCPC到到PCPC、PCPC到到PHONEPHONE、PHONEPHONE到到PHONEPHONEIP电话的关键技术电话的关键技术l语音压缩技术语音压缩技术G.723.1：5.3/6.3kbit/s；高码率采用：高码率采用：MP-MLQ（多脉冲最大相似性量化激（多脉冲最大相似性量化激励）；励）；低码率采用：低码率采用：ACELP（代数码本激励）。（代数码本激励）。l静噪抑制技术静

36、噪抑制技术检测到通话过程中的安静时段即停止发送语音包。检测到通话过程中的安静时段即停止发送语音包。全双工交谈中，只有全双工交谈中，只有36%40%的信号是活动或有效的。的信号是活动或有效的。大大节省网络带宽。大大节省网络带宽。IP电话的关键技术电话的关键技术l回声抵消技术回声抵消技术回声：在交换机侧，有少量电能未被充分转换而沿原回声：在交换机侧，有少量电能未被充分转换而沿原路返回。路返回。当回声返回时间超过当回声返回时间超过10ms，人耳就听得很明显。，人耳就听得很明显。IP电电话延时一般达到话延时一般达到4050ms。l语音抖动处理技术语音抖动处理技术网络延时与网络抖动（网络延时与网络抖动（

37、IP包传输时间的长短变化），导包传输时间的长短变化），导致致IP通话质量下降。通话质量下降。采用抖动缓冲技术。采用抖动缓冲技术。IP电话的关键技术电话的关键技术l话音优先技术话音优先技术在在IP网络路由器中设置语音包的优先级最高。网络路由器中设置语音包的优先级最高。lIP包分割技术包分割技术限制限制IP包的大小不超过包的大小不超过2556字节。字节。lVoIP前向纠错技术前向纠错技术采用信道编码以及交织。减少传输过程中的错码积累。采用信道编码以及交织。减少传输过程中的错码积累。主要内容主要内容模拟与数字模拟与数字视音频技术视音频技术IP电话的关键技术电话的关键技术多媒体通信技术规范与标准多媒体

38、通信技术规范与标准音频、图形、图像通信终端音频、图形、图像通信终端视频通信终端视频通信终端数据通信终端数据通信终端多媒体通信终端多媒体通信终端l视音频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码l彩色电视摄像机彩色电视摄像机l多媒体计算机用摄像头多媒体计算机用摄像头l视频显示终端视频显示终端l多媒体终端形式多媒体终端形式l多媒体通信终端接口多媒体通信终端接口l多媒体通信终端软件系统多媒体通信终端软件系统多媒体通信技术规范与标准多媒体通信技术规范与标准lMPEG-1标准标准 规定了规定了1.52.0Mbit/s数字存储媒体的全活动视音频数字存储媒

39、体的全活动视音频信息的编解码器和数据码流的表示；由系统、视频、信息的编解码器和数据码流的表示；由系统、视频、音频三部分组成；音频三部分组成； 系统编码层说明了各种基本码流系统编码层说明了各种基本码流ES的复用语法，如的复用语法，如压缩后音频、视频以及其它辅助数据。压缩后音频、视频以及其它辅助数据。 音频支持音频支持32384kbit/s，且可由单声道、双声道或立，且可由单声道、双声道或立体声组成。体声组成。声音源声音源图像源图像源音频编码器音频编码器视频编码器视频编码器系统时钟系统时钟系统系统复接器和复接器和编码器编码器MPEG码流码流多媒体通信技术规范与标准多媒体通信技术规范与标准lMPEG

40、-2标准标准 分为系统、视频、音频和一致性测试四个部分；分为系统、视频、音频和一致性测试四个部分； 系统层语法有扩充，含两类数据码流：系统层语法有扩充，含两类数据码流： 传输码流传输码流TS：PS或或ES的集合，它们可以以非特定关的集合，它们可以以非特定关系复接，用于传输目的。系复接，用于传输目的。 节目码流节目码流PS：一组音频、视频和数据的基本分量，具：一组音频、视频和数据的基本分量，具有共同的相对时间关系，用于传输、存储和回放。有共同的相对时间关系，用于传输、存储和回放。 系统层：目的为提供一个基本数据结构（数据码流的系统层：目的为提供一个基本数据结构（数据码流的语义和语法）可作为存储、

41、编辑和广播应用时的公共语义和语法）可作为存储、编辑和广播应用时的公共格式。格式。多媒体通信技术规范与标准多媒体通信技术规范与标准lMPEG-2标准标准 定义了许多基本结构元素，传输码流基于包原理。定义了许多基本结构元素，传输码流基于包原理。 包：包：130192字节，含单个基本码流或数据类型的数字节，含单个基本码流或数据类型的数字信息。字信息。 包头：包头：4字节，提供诸如指示字节，提供诸如指示ID、清除、清除/加密指示、密加密指示、密钥（奇钥（奇/偶）和连续计数器等。偶）和连续计数器等。 系统部分：系统部分： 阐述一个或多个视频和音频阐述一个或多个视频和音频ES以及其他数据组合成为以及其他数

42、据组合成为单路或复接的码流，以适合存储或传输。单路或复接的码流，以适合存储或传输。 遵循规定的语法和语义原则，且提供信息确保在宽松遵循规定的语法和语义原则，且提供信息确保在宽松的接收或恢复条件下，同步解码过程中解码器的缓存的接收或恢复条件下，同步解码过程中解码器的缓存器无上下溢出。器无上下溢出。多媒体通信技术规范与标准多媒体通信技术规范与标准lMPEG-2标准标准 第二部分和第三部分：第二部分和第三部分： 描述视频和音频的压缩编码，对压缩的描述视频和音频的压缩编码，对压缩的ES生产打包基生产打包基本码流。本码流。多媒体通信技术规范与标准多媒体通信技术规范与标准lMPEG-4标准标准 更注重多媒

43、体系统的交互性和灵活性。更注重多媒体系统的交互性和灵活性。 目标：支持数字目标：支持数字AV信息通信、存取和操作的新方法，信息通信、存取和操作的新方法，为各领域融合而成的交互式为各领域融合而成的交互式AV终端提供一般性的解终端提供一般性的解决方案。决方案。多媒体通信技术规范与标准多媒体通信技术规范与标准lMPEG-4标准标准 支持支持9项项3类功能：类功能：基于内容的交互基于内容的交互性性压缩压缩通用存取通用存取l物体的多媒体数据存取工具物体的多媒体数据存取工具l物体的码流操作和编辑物体的码流操作和编辑l自然与合成数据的综合编码自然与合成数据的综合编码l物体的随机存取物体的随机存取l改进视频压

44、缩效率改进视频压缩效率l多并发数据流编码多并发数据流编码l立体视频应用的有效编码方案立体视频应用的有效编码方案l在易出错环境下提供实现错误保护的工具在易出错环境下提供实现错误保护的工具l基于内容的时空可调性基于内容的时空可调性多媒体通信技术规范与标准多媒体通信技术规范与标准lMPEG-1/2与与MPEG-4比较比较 MPEG-1/2 目标：为提高数字目标：为提高数字AV信息存储和传输的效率。信息存储和传输的效率。 对数据进行压缩，处理基于帧的视频和音频，与内容对数据进行压缩，处理基于帧的视频和音频，与内容的交互仅限于帧的水平。的交互仅限于帧的水平。 MPEG-4 目标：提供交互性。目标：提供交

45、互性。 规定了数字规定了数字AV场景，用具有某种时空关系的场景，用具有某种时空关系的“AV对对象象”加以描述。在编码、解码和物体合成阶段均可与加以描述。在编码、解码和物体合成阶段均可与每一每一AV物体交互，能够集成不同性质的物体。物体交互，能够集成不同性质的物体。多媒体通信技术规范与标准多媒体通信技术规范与标准l多媒体信息交换标准多媒体信息交换标准 MHEG标准标准 研究内容：多媒体和超媒体对象的编码表示，并用来研究内容：多媒体和超媒体对象的编码表示，并用来完成存储介质、完成存储介质、LAN、远程通信网或广播网服务与应、远程通信网或广播网服务与应用之间的交换。用之间的交换。 目标：为不同领域开

46、发的多媒体和超媒体应用程序定目标：为不同领域开发的多媒体和超媒体应用程序定义一种公共的格式基础。独立的和基本的信息元编码义一种公共的格式基础。独立的和基本的信息元编码表示，不同应用可利用信息元对象进行处理和交换。表示，不同应用可利用信息元对象进行处理和交换。 包括：概念和原理性（多媒体和超媒体信息、编码原包括：概念和原理性（多媒体和超媒体信息、编码原理、系统需求、多媒体与超媒体对象类的表现等）的理、系统需求、多媒体与超媒体对象类的表现等）的定义，及同步的多媒体信息对象的编码表示、超媒体定义，及同步的多媒体信息对象的编码表示、超媒体信息对象的编码表示方法等。信息对象的编码表示方法等。主要内容主要

47、内容模拟与数字模拟与数字视音频技术视音频技术IP电话的关键技术电话的关键技术多媒体通信技术规范与标准多媒体通信技术规范与标准音频、图形、图像通信终端音频、图形、图像通信终端视频通信终端视频通信终端数据通信终端数据通信终端多媒体通信终端多媒体通信终端l视音频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码l彩色电视摄像机彩色电视摄像机l多媒体计算机用摄像头多媒体计算机用摄像头l视频显示终端视频显示终端l多媒体终端形式多媒体终端形式l多媒体通信终端接口多媒体通信终端接口l多媒体通信终端软件系统多媒体通信终端软件系统音频、图形、图像通信终端音频、图形、图

48、像通信终端音频通信终端音频通信终端l种类种类 PSTN各类电话机、各类电话机、ISDN数字电话机、移动通信网的数字电话机、移动通信网的无线手机、带声卡的计算机无线手机、带声卡的计算机l电话机的组成电话机的组成 通话模块：受话器、送话器、信号放大器通话模块：受话器、送话器、信号放大器 发号模块：按键号盘、双音频信号发生器发号模块：按键号盘、双音频信号发生器/脉冲信号脉冲信号发生器发生器 振铃模块：音调振铃电路、压电陶瓷振铃器或扬声器振铃模块：音调振铃电路、压电陶瓷振铃器或扬声器 线路接口线路接口音频、图形、图像通信终端音频、图形、图像通信终端图形、图像通信终端图形、图像通信终端l传真机传真机 将

49、纸质介质记录的信息，经光电扫描方式变为电信号，将纸质介质记录的信息，经光电扫描方式变为电信号，通过公共电话交换网络传输，在接收端以硬拷贝方式通过公共电话交换网络传输，在接收端以硬拷贝方式得到信息。得到信息。 原理：滚筒、光源、聚光镜、原理：滚筒、光源、聚光镜、CCD成像器件；感光记成像器件；感光记录纸、辉光管、透镜、光阑。录纸、辉光管、透镜、光阑。 常见组成：常见组成：CCD图像传感器、视频处理电路、电机驱图像传感器、视频处理电路、电机驱动电路、记录控制电路、编码解码器、系统控制器、动电路、记录控制电路、编码解码器、系统控制器、调制解调器、网络控制器、操作面板及电源系统等。调制解调器、网络控制

50、器、操作面板及电源系统等。音频、图形、图像通信终端音频、图形、图像通信终端图形、图像通信终端图形、图像通信终端l扫描仪和打印机扫描仪和打印机l数码相机数码相机 感光器件是感光器件是CCD，由半导体材料制成，能把光线转变，由半导体材料制成，能把光线转变为电荷，通过模数转换器芯片转换成数字信号。为电荷，通过模数转换器芯片转换成数字信号。主要内容主要内容模拟与数字模拟与数字视音频技术视音频技术IP电话的关键技术电话的关键技术多媒体通信技术规范与标准多媒体通信技术规范与标准音频、图形、图像通信终端音频、图形、图像通信终端视频通信终端视频通信终端数据通信终端数据通信终端多媒体通信终端多媒体通信终端l视音

51、频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码l彩色电视摄像机彩色电视摄像机l多媒体计算机用摄像头多媒体计算机用摄像头l视频显示终端视频显示终端l多媒体终端形式多媒体终端形式l多媒体通信终端接口多媒体通信终端接口l多媒体通信终端软件系统多媒体通信终端软件系统视频通信终端视频通信终端彩色电视摄像机彩色电视摄像机 由光学系统、摄像管（或固体成像器件）、视频处理电路、由光学系统、摄像管（或固体成像器件）、视频处理电路、同步信号发生器以及彩色信号编码器组成。同步信号发生器以及彩色信号编码器组成。 视频处理：电缆校正、黑斑校正、轮廓校正、彩色校正、视频处

52、理：电缆校正、黑斑校正、轮廓校正、彩色校正、校正、电平调节、黑色电平调整。校正、电平调节、黑色电平调整。视频通信终端视频通信终端多媒体计算机用摄像头多媒体计算机用摄像头 结构简单，技术指标低结构简单，技术指标低 使用塑料镜头，成像采用单片使用塑料镜头，成像采用单片CCD或或CMOS固定成像固定成像器件器件 以以USB数字摄像头为主数字摄像头为主 USB摄像头的优点：即插即用；不需要独立电源转换摄像头的优点：即插即用；不需要独立电源转换器，直接从主板供电；器，直接从主板供电；12Mbit/s的传输带宽。的传输带宽。视频通信终端视频通信终端视频显示终端视频显示终端 彩色电视接收机、视频监视器、计算

53、机显示器彩色电视接收机、视频监视器、计算机显示器l彩色电视接收机与计算机显示器的区别彩色电视接收机与计算机显示器的区别 显示原理基本相同显示原理基本相同 计算机显示器没有高频解调和彩色全电视信号解码电计算机显示器没有高频解调和彩色全电视信号解码电路，不能直接用来显示电视信号。路，不能直接用来显示电视信号。 计算机显示器在显示分辨率、屏幕刷新速率等远高于计算机显示器在显示分辨率、屏幕刷新速率等远高于电视接收机，并工作在逐行扫描状态。电视接收机，并工作在逐行扫描状态。视频通信终端视频通信终端视频显示终端视频显示终端l彩色电视接收机原理彩色电视接收机原理 构成：高频调谐器、中频通道、视频通道、检波器

54、、构成：高频调谐器、中频通道、视频通道、检波器、伴音通道、同步扫描电路、显像管、偏转线圈、扬伴音通道、同步扫描电路、显像管、偏转线圈、扬声器及电源声器及电源主要内容主要内容模拟与数字模拟与数字视音频技术视音频技术IP电话的关键技术电话的关键技术多媒体通信技术规范与标准多媒体通信技术规范与标准音频、图形、图像通信终端音频、图形、图像通信终端视频通信终端视频通信终端数据通信终端数据通信终端多媒体通信终端多媒体通信终端l视音频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码l彩色电视摄像机彩色电视摄像机l多媒体计算机用摄像头多媒体计算机用摄像头l视频显示

55、终端视频显示终端l多媒体终端形式多媒体终端形式l多媒体通信终端接口多媒体通信终端接口l多媒体通信终端软件系统多媒体通信终端软件系统数据通信终端数据通信终端网络终端网络终端 在普通电话线上进行数字信号转送和接受的关键设备；在普通电话线上进行数字信号转送和接受的关键设备； 安装于用户处，是实现安装于用户处，是实现N-ISDN功能的必备终端；功能的必备终端； 分为基本速率（分为基本速率（NT1）和一次群速率（）和一次群速率（NT2）两种。）两种。数据通信终端数据通信终端网络终端网络终端lNT1 基本特点：基本特点：2B+D二线双向传输能力；线路传输码型二线双向传输能力；线路传输码型转换；回波抵消数字

56、传输技术。转换；回波抵消数字传输技术。 点对点方式最多支持点对点方式最多支持8个终端设备接入，使多个终端个终端设备接入，使多个终端设备合用一设备合用一D信道，在用户终端与交换机间传递激活信道，在用户终端与交换机间传递激活与去激活。与去激活。 维护功能，使电话局能通过该设备进行环路测试等。维护功能，使电话局能通过该设备进行环路测试等。 功率传递功能，能从电话线路上吸取来自电话局的直功率传递功能，能从电话线路上吸取来自电话局的直流电能，以在用户端发生停电时实现远端供电。流电能，以在用户端发生停电时实现远端供电。数据通信终端数据通信终端网络终端网络终端lNT2 基本特点：基本特点：30B+D四线双向

57、传输能力。四线双向传输能力。 完成定时和维护功能，应用于完成定时和维护功能，应用于ISDN小交换机。小交换机。数据通信终端数据通信终端ISDN用户终端用户终端 种类：种类：ISDN电视会议系统、电视会议系统、PC桌面系统（含可视电桌面系统（含可视电话）、话）、ISDN小交换机、小交换机、TA适配器（内置、外置）、适配器（内置、外置）、ISDN路由器、路由器、ISDN拨号服务器、数字电话机、四类拨号服务器、数字电话机、四类传真机等。传真机等。l数字电话机数字电话机 占用一个占用一个B信道；信道； 提供基本电话业务及提供基本电话业务及ISDN补充业务；补充业务； 有些配有有些配有RS232，X.2

58、1或或X.25数据接口，可兼作数据接口，可兼作ISDN适配器。适配器。数据通信终端数据通信终端ISDN用户终端用户终端lISDN终端适配器（终端适配器（TA） 使现有的非使现有的非ISDN标准终端能在标准终端能在ISDN上运行；上运行； 应用最广泛，基本的应用是作为个人电脑与应用最广泛，基本的应用是作为个人电脑与ISDN的的桥梁。桥梁。 具有一个数据通信接口，可实现同步、异步工作方式，具有一个数据通信接口，可实现同步、异步工作方式，透明信道传输速率为透明信道传输速率为64kbit/s，具有，具有2个个B捆绑式通信捆绑式通信能力。能力。 与电脑有串口（与电脑有串口（112.5kbit/s）、并口

59、（）、并口（128kbit/s）连接方式。连接方式。 分内置式和外置式。分内置式和外置式。数据通信终端数据通信终端ISDN用户终端用户终端lISDN路由器路由器 利用利用ISDN技术实现远程登录技术实现远程登录LAN、Internet及组成广及组成广域网。域网。 一个一个2B+D基本速率接口和两个以太网接口。基本速率接口和两个以太网接口。 具有具有IP，IPX路由和标准多协议网桥，支持路由和标准多协议网桥，支持PPP，MLPPP。主要内容主要内容模拟与数字模拟与数字视音频技术视音频技术IP电话的关键技术电话的关键技术多媒体通信技术规范与标准多媒体通信技术规范与标准音频、图形、图像通信终端音频、

60、图形、图像通信终端视频通信终端视频通信终端数据通信终端数据通信终端多媒体通信终端多媒体通信终端l视音频信息基本概念视音频信息基本概念l视音频信息数字化视音频信息数字化l视音频压缩编码视音频压缩编码l彩色电视摄像机彩色电视摄像机l多媒体计算机用摄像头多媒体计算机用摄像头l视频显示终端视频显示终端l多媒体终端形式多媒体终端形式l多媒体通信终端接口多媒体通信终端接口l多媒体通信终端软件系统多媒体通信终端软件系统多媒体通信终端多媒体通信终端多媒体终端形式多媒体终端形式l多媒体计算机终端多媒体计算机终端l机顶盒机顶盒l可视电话终端可视电话终端l人机交换控制功能人机交换控制功能l通信功能通信功能l信号解码