多媒体信息处理讲

1、多媒体信息处理多媒体信息处理主要内容主要内容媒体（medium）媒体是指承载信息的载体媒体媒体又称媒介、媒质，指的是用于分发信息和展现信息的手段、方法、工具、设备或装置。根据CCITT的定义，媒体有五种类型：感觉媒体表示媒体显示媒体存储媒体传输媒体媒体（medium）表示媒体，即信息的存在形式和表现形式，如文字、声音、语音、图形、图像、视频、动画等，是我们研究的核心。媒体（medium）多媒体技术的基本概念多媒体技术的基本概念根据与时间的关系媒体可以分成静态媒体和连续媒体静态媒体：没有时间维，播放速度不影响所含信息的再现静态媒体：没有时间维，播放速度不影响所含信息的再现. .信息的再现与时间无

2、关，如文本、图形、图像等等.连续媒体：由媒体连续媒体：由媒体“量子量子”（视频帧、音频采样等）组成，（视频帧、音频采样等）组成，有隐含时间有隐含时间关系，播放速度影响所含信息的再现，播放速度影响所含信息的再现. . 如声音、动画、视频等。连续媒体基本特征：媒体内连续性（实时与等时）、媒体连续媒体基本特征：媒体内连续性（实时与等时）、媒体间同步（对口型）、高带宽（网络与存储）间同步（对口型）、高带宽（网络与存储）多媒体通信技术面临的挑战主要来源于连续媒体多媒体通信技术面临的挑战主要来源于连续媒体连续媒体的引入给传统的计算机系统、通信系统和分布式应用系统提出了更高的要求。多媒体技术的基本概念多媒体

3、技术的基本概念 什么是多媒体（什么是多媒体（Multimedia)l 多媒体多媒体 (multimedia)是融合两种或者两种以上媒体的一种人机交互式的信息交流和传播媒体。l将文字、声音、图形、图像、视频等多种媒体集成进计算机,使信息表现声、图、文并茂。超文本与超媒体 什么是超文本与超媒体l超文本超文本是一种信息管理技术，将信息自然地相连接，建立穿过文档的大量信息路径，注释已有文本。l超媒体超媒体（hypermedia) =多媒体多媒体+超文本超文本, 是以Web系统为基础的通过超链接组织在一起的全球多媒体信息系统。l例如：例如：Windows的“帮助”信息就是一 种超文本超文本结构超文本结构

4、多媒体技术的特点 多媒体技术强调的是交互式综合处理多种信息媒体（感觉媒体）的技术。从本质上来说，它具有以下特性：l多样性多样性，使计算机所能处理的信息范围从传统的数值、文字、静止图像扩展到声音和视频信息；l集成性集成性，即综合性，它能使多种不同形式的信息综合地表现某个内容，取得更好的效果l交互性交互性，使人们获取和使用信息变被动为主动。这三个特性中交互性最重要交互性最重要。l数字化数字化：多媒体信息都是以数字的形式而不是以模拟信号的形式存储和传输的。l以计算机为中心以计算机为中心：信息的获取、处理、存储、传输和展示都是在计算机控制下完成的。多媒体的起源与发展计算机计算机0，1通通 信信大众传媒

5、大众传媒文文 本本图象图形图象图形声音声音视频视频MPC邮邮 政政电电 报报电电 话话数字网数字网ISDN信息高速信息高速报报 纸纸广广 播播电电 影影电电 视视HDTVITV多媒体时代多媒体时代 多 媒 体 硬 件 设 备 音频 / 视频信息的压缩、还原设备 多 媒 体 设 备 的 I/O 控 制 操作系统的多媒体扩充 多媒体系统软件 多媒体编辑与写作工具 多媒体应用软件 多媒体计算机系统的层次结构分布式多媒体系统的层次结构硬件服务硬件服务数字存储设备、编码解码器、数字传输数字存储设备、编码解码器、数字传输设备、媒体展示设备设备、媒体展示设备系统服务系统服务实时调度、实时网络传送、连续媒体文

6、实时调度、实时网络传送、连续媒体文件系统、表现服务件系统、表现服务媒体服务媒体服务分布对象管理、设备管理、会议服务器分布对象管理、设备管理、会议服务器窗口服务器、超媒体引擎、多媒体数据库窗口服务器、超媒体引擎、多媒体数据库合成服务合成服务可接受性测试、多通道同步、元级调度可接受性测试、多通道同步、元级调度脚本、工具脚本、工具可视化编写工具、多媒体编程语言可视化编写工具、多媒体编程语言多媒体应用多媒体应用多媒体应用多媒体邮件多媒体邮件多媒体宣传演示系统多媒体宣传演示系统多媒体出版物、多媒体光盘多媒体出版物、多媒体光盘多媒体会议系统、多媒体办公自动化、多媒体会议系统、多媒体办公自动化、CSCW多媒

7、体信息咨询系统、数字化图书馆多媒体信息咨询系统、数字化图书馆交互式电视（交互式电视（ITV）、）、视频点播系统视频点播系统远程医疗、远程教学系统远程医疗、远程教学系统多媒体训练系统、虚拟现实多媒体训练系统、虚拟现实语音处理研究的基本内容说的是什么内容？是谁在说话？计算机去说话？怎么把话说好？语音识别声纹识别文语转换说话水平评估说的是什么语言？语种识别语音处理及其应用语音命令和控制语音命令和控制中小词表孤立词语音识别l语音命令导航 (EasyCmd)l家电控制 (Cmd99)l声控号码簿 (Voice PhoneBook)l声控拨号 (Voice Dialler, e.g.: DataBank)

8、l个人数字助理 (PDA, e.g. 快译通)；语音秘书l读者通过互联网页在DL中漫游l不需使用键盘或鼠标l只需口呼相应的“按钮”、“热链接”、菜单等大词汇连续语音识别大词汇连续语音识别l汉语语音听写机(EasyTalk)是汉字输入的重要手段l整句音字转换(EasyConv)是键盘输入的辅助手段l基于文本的语言理解(EasyNav)是理解关键之一l关键词检出(KWS)是基于内容的语音信息检索的基础语音处理及其应用 当不想说话，不想为人所知，或不想影响别人时辅助手段 直接输入汉语拼音串 使用电话或手机时，可输入数字串声纹识别声纹识别身份鉴别l安全 (金融、网络、)l个性化配置语种识别语种识别l为

9、多语种语音识别平台提供预分流语音处理及其应用 语音识别器支持多语种 语种识别器结果 使用汉语识别器还是英语识别器l电子借书证：读者的各种信息(姓名、信用、联络、声纹、电子签名等)l声纹识别结果 读者资格确认文语转换文语转换l有声电子读物l盲人阅读l获取信息的有声反馈语音处理及其应用l电话银行口语对话系统口语对话系统l语音识别与理解（语音识别、语义分析与表示）l对话管理（记忆与遗忘）l查询信息的反馈l信息计算（信息库管理、搜索引擎、信息获取，及信息生成）语音处理及其应用说话水平评估说话水平评估S2El多媒体语言教学l大嘴英语l随心所欲说英语语音处理及其应用窄带语音处理窄带语音处理l带宽窄（电话、

10、无线通讯、电视等）l信道差异的影响l信源噪音、信道噪音，本地噪音语音处理及其应用语音的基本单位Phoneme (abstract, smallest)音素:清音，浊音 Morpheme 词素 Syllable 音节：元音和辅音构成；（声母和韵母） Word 单词 Phrase 短语 Sentence 句子 Paragraph 段落 Topics, Articles, Stories 主题文章 研究的范围语音分析工具： MATLAB, PRAAT, SFS 瀑布瀑布 语谱图（语谱图（SPECTROGRAM） 时间、频率、幅值三维坐标， 频谱帧随时间变化彩色语谱图发 “ah.”时的单元音 /a/发

11、 “eye”时的双元音 /ai/发音 “real”发音 “mean”声音的本质声音是携带信息的极其重要的媒体（20）声音是通过空气传播的一种连续的波，叫声波，也具有反射、折射和衍射现象。声音信号是由许多频率不同的分量信号组成的复合信号。复合信号的频率范围称为带宽。带宽为20Hz20kHz的信号称为音频（audio）信号，可以被人的耳朵感知。声音是时基类媒体。话音的形成原理 肺中的空气受到挤压形成气流，气流通过声门（声带）沿着声道（由咽、喉、口腔等组成）释放出去，就形成了话音。 气流、声门可以等效为一个激励源，声道可以等效为一个时变滤波器（共振峰）。 话音信号具有很强的相关性（长期相关、短期相关

12、）。话音的分类浊音（voiced sounds）：声道打开，声带在先打开后关闭，气流经过使声带要发生张驰振动，变为准周期振动气流。浊音的激励源被等效为准周期的脉冲信号。清音（unvoiced sounds）：声带不振动，而在某处保持收缩，气流在声道里收缩后高速通过产生湍流，再经过主声道（咽、口腔）的调整最终形成清音。清音的激励源被等效为一种白噪声信号。爆破音（plosive sounds）：声道关闭之后产生压缩空气然后突然打开声道所发出的声音。语音的产生发声器官：喉；声道；嘴话音产生的数字模型周期脉冲序周期脉冲序列发生器列发生器伪随机噪声伪随机噪声产生器产生器周期周期时变数字滤时变数字滤波器波

13、器音量控制音量控制声道参数声道参数语音语音输出输出浊浊/清选择清选择声音的三要素音调、音强、音色为声音的三要素。音强（响度）取决于声音的幅度（分贝）。音调取决于声音的频率。音色是由混入基音的泛音所决定的。声音的表示与处理声音的表示与处理声音表示的两种方法声音表示的两种方法l数字波形法l合成法声音数字声音数字波形法波形法处理的步骤：处理的步骤：l采样采样（采样率越高，声音越好，数据量越大）l量化量化（模-数转化，位数越多，噪声越小）l压缩压缩声音的波形变化特性声音的波形变化特性声音的采样与量化Example ratesCD: 1.411 MbpsMP3: 96, 128, 160 kbpsInt

14、ernet telephony: 5.3 - 13 kbps声音信号数字化采样精度 每个声音样本的数字化位数反映了声音波形幅度的采样精度。质量采样频率（kHz）样本精度单道声/立体声数据率（kb/s）频率范围（kHz）电话88单道声642003400AM11.0258单道声88507000FM22.05016立体声705.62015000CD44.116立体声1411.22020000DAT4816立体型采样频率 ：8K、10k、16K、44.1K声音的合成法表示MI DI 音乐（Musical Instrument digital Interface)特点：l音乐符

15、号化的一种方法l数据量少l易于编辑、修改l适用于表示各种乐曲演奏的音乐l尚不能表示声音语音质量等级划分广播质量：带宽为7000Hz的高质量话音长途电话质量：带宽为3400Hz，信噪比为30db，有失真通信质量：完全可以听懂，但和长途电话质量相比有明显的失真。合成质量：8090的可懂度，听起来象机器讲话，失去了讲话者的特征语音编码技术语音编码的主要目标：语音编码的主要目标： 较高的语音质量 较高的可测的识别性 低码率，如用于手机。 低的计算量及计算要求 减少存储量，如用于自动应答系统或语音数据库 连续编解码的鲁棒性 to successive encode/decode cycles 对传输误差

16、的鲁棒性Robustness to transmission errors对实时语音系统的目标: 较小的延时 Low coding/decoding delay (ms) 同样适用非语音信号Work with non-speech signals (e.g. touch tone)语音编译码器的分类波形编译码器（waveform coder）：不利用生成话音的信号的任何知识，将话音视为一种普通的声音，直接对波形信号进行采样和量化。例如PCM、DPCM、ADPCM等。音源编译码器（Source coder）：也叫参数编译码器、声码器（vocoder）。它从话音波形信号中提取话音生成模型的参数，使

17、用这些参数通过话音生成模型重构出话音。混合编译码器（Hybrid coder）：综合使用上述两种技术。使用的激励信号波形尽可能接近于原始话音信号的波形。例如CELP。话音编译码器A/D话音编码信道编码信道信道译码话音译码D/A衡量话音编码器的参数数据输出速率延迟时间话音质量价格（实现代价）语音信号的冗余度幅度非均匀分布样本之间的相关性周期之间的相关性基音之间的相关性静止系数（话音间隙）长期相关性（long term correlation）脉冲编码调制（PCM）Pulse Code ModulationPCM的量化方式均匀量化与非均匀量化非均匀量化对小信号采用小的量化间隔，对大信号采用大的量化

18、间隔，这样可以用较少的位数编码。对大信号来说，虽然绝对量化误差较大，但是因为：（1）大信号出现的机会不多，（2）信噪比（相对误差）与小信号是一致的，所以对总的话音质量影响不大。非均匀量化也是一种压缩。律压扩与A律压扩m 律(m -Law)压扩(G.711)主要用在北美和日本等地区的数字电话通信中。x为x 为输入信号，规格化为1= x =1m 为确定压缩量的参数，它反映最大量化间隔和最小量化间隔之比，取100 = m = 500。律压扩与A律压扩0 0 = | |x x| | = 1/A 1/A1/A1/A = | |x x| | = 1 1A律(A-Law)压扩(G.711)主要用在欧洲和中国

19、大陆等地区的数字电话通信中对于采样频率为8 kHz，样本精度为13位、14位或者16位的输入信号，使用m 律压扩编码或者使用A律压扩编码，经过PCM编码器之后每个样本的精度为8位，输出的数据率为64 kb/s。这个数据就是CCITT推荐的G.711标准。PCM与时分多路复用（TDM）差分脉冲编码调制（DPCM)关键在于预测器与量化器的设计量化器预测器xkekekxkxk-自适应预测逆量化器自适应量化阶ek产生误差差分脉冲编码调制（DPCM)逆量化器预测器ekekxkxk译码过程增量调制(M)增量调制 (delta modulation，DM) 是一种预测编码技术，是对实际的采样信号与预测的采样

20、信号之差的极性进行编码，将极性变成“0”和“1”这两种可能的取值之一。如果实际的采样信号与预测的采样信号之差的极性为“正”，则用“1”表示；相反则用“0”表示。DM编码系统又称为“1位系统”。自适应增量调制(ADM)CVSD（连续可变斜率增量调制）： 如果编码器的输出连续出现三个相同的值，量化阶就加上一个大的增量；反之，就加一个小的增量。自适应脉冲编码调制（APCM）APCM是一种根据输入信号幅度大小自动改变量化阶大小的一种波形编码技术。自适应差分脉冲编码调制 自适应差分脉冲编码调制（ADPCM）综合了APCM的自适应特性和DPCM系统的差分特性自适应差分脉冲编码调制ADPCM是利用样本与样本

21、之间的高度相关性和量化阶自适应来压缩数据的一种波形编码技术，CCITT为此制定了G.721推荐标准，这个标准叫做32 kb/s ADPCM。在此基础上还制定了G.721的扩充推荐标准G.723，使用该标准的编码器的数据率可降低到40 kb/s和24 kb/s。G.721 的输入信号是G.711 PCM代码，它的数据率为64 kb/s。而G.721 ADPCM的输出是用4位表示的差分信号，它的采样率仍然是8 kHz，它的数据率为32 kb/s，这样就获得了2 1的数据压缩。子带自适应差分脉冲编码调制 G.722编码标准G.722是CCITT推荐的音频信号编码译码标准。G.722标准的数据率为64

22、 kb/s，采样频率由8 kHz提高到16 kHz，是G.711 PCM采样率的2倍，因而要被编码的信号频率由原来的3.4 kHz扩展到7 kHz。这就使音频信号的质量有很大改善，由数字电话的话音质量提高到调幅(AM)无线电广播的质量。其它语音编码方法线性预测声码器（LPC10，LPC10e）数据速率为2.4kb/s。多脉冲激励线性预测编码器（MPELPC）数据速率为10kb/s左右。规则脉冲激励线性预测编码器（RPELTP被定位GSM标准，速率为13kb/s ）码激励线性预测编码器（CELP），数据速率在4.816kb/s之间音频编码算法和标准一览语音编码语音编码 应用应用 速率速率 kb/

23、s 计算量计算量 MIPS ROM RAM VSELPIS54 第一代第一代 TDMA IS54 7.95 24.5 9k 2k ACELPIS641 第二代第二代 TDMA IS136 7.4 25.0 11.3k 4.5k JVSELPPDC 全速率全速率 PDC 6.7 24.7 10k 2k PSICELPPDC 半速率半速率 PDC 3.45 38 23k 4k RPELTPGSM 全速率全速率 GSM 13 8 4k 1k ACELPGSM 半速率半速率 GSM 12.2 25 15k 5k QCELP8k CDMA 第一代第一代 8.5 23 7k 2.4k QCELP13k C

24、DMA 第二代第二代 1 3.2 27.5 13.5k 4k EVRCIS127 CDMA 第三代第三代 8.5 32 15k 5.5k 视频信息的表示与处理视频信息（Video):运动图像（如25帧/秒）视频信息的处理是多媒体技术的核心计算机要处理视频信息必须将其数字化数字化过程l采样l量化l编码压缩关于视频压缩视频是一系列以某个固定速率来显示的图像l例如 24 帧/秒的电影放映数字图像是象素的阵列每个象素用位来表示冗余度l空间冗余l时间冗余例子:MPEG 1 (CD-ROM) 1.5 MbpsMPEG2 (DVD) 3-6 MbpsMPEG4 (常用于Internet, 1 Mbps)视频

25、信息数字化数字化以一幅幅彩色画面为单位进行的每个采样点分为亮度（Y）和色差（U、V）三个分量 整幅画面的处理过程 几种常用数字视频格式名称名称分辨率分辨率量化精度量化精度 数据量数据量/秒秒CCIR601720X576X258+4+4124CIF360X288X258+4+426QCIF180X144X258+4+46.5视频卡功能：视频信息的数字化、压缩编码视频信息的解压缩l硬解压 如解压卡，视频卡等l软解压 如“解霸”、“Xing Play”等视频卡功能示意图多媒体信息与光盘存储器光盘CD （Compact Disc）的种类lCD-ROM（只读式CD光盘）lCD-R（可录式CD光盘）l可读

26、写CD光盘可存储的内容：l数据、软件、图片l数字化高保真立体声音乐l数字化电视图像、声音信息（如VCD）CD-ROM光盘的数据格式信息是记录在CD-ROM的光道上光道是一条由里向外连续的螺旋型路径一个记录单元为一个二进制位，在光盘上占据的长度相等光道被分为许多长度相等的块整个光盘约有30万个数据块，存储容量达650MB几种视频压缩编码标准MPEG-1：用于CD-ROM光盘存储MPEG-2：用于DVD、CATV等MPEG-4：满足低成本的视频通信要求CCITT H.26: 用于可视电话、会议电视等MPEG-1数字存储的运动数字存储的运动图象及伴音图象及伴音VCD,视频监控等视频监控等低于低于1.

27、5Mb/sMPEG-2运动图象及伴音运动图象及伴音数字电视数字电视,卫星电视卫星电视地面广播地面广播,DVD1.535Mb/sMPEG-4音视频对象音视频对象Internet,交互视频交互视频专业视频专业视频,移动通信移动通信8Kb/s35Mb/sH.261p64Kb/s视频视频ISDN视频视频p64Kb/sH.263低比特率视频低比特率视频POTS视频视频,无线无线视频电话视频电话/会议会议8Kb/s1.5Mb/s一一 般般 视视 频频 编编 码码 框框 架架DCTDCT-1-1Q Q-1-1MEMEMCMCCodingCodingcontrolcontrolVLCVLCQ QDCTDCTFrameFramebufferbuffer-+Video inIntra/interModeQpVideo outMVMCMCFrameFrameMemoryMemory+ +IDCTIDCTQ-1Q-1VLCVLCDecoderDecode