大学计算机信息技术

1、5.3 数字声音及应用5.3.1 波形声音的获取和播放5.3.2 声音的表示与压缩编码5.3.3 波形声音的编辑5.3.4 计算机合成声音5.3.1 波形声音的获取与播放1.声音信息的数字化2.波形声音的获取设备3.声音的播放(1)基本概念带宽：组成声音的不同谐波的频率范围称为声音的带宽。 带宽是声音的一项重要参数。多媒体技术处理的声音信号： 主要是人耳可听到的2020kHz的音频信号(audio)言语/语音：人说话的声音。 其频率范围约为3003400Hz全频带声音：音乐声、风雨声、汽车声等其他声音。 其带宽可达到2020kHz1.声音信号的数字化(2)声音的数字化过程 将模拟声音信号转换成

2、数字编码形式，以便于计算机进行处理的过程。主要过程为：取样量化编码模拟声音信号取 样量 化编 码数字声音11.声音信号的数字化A/D转换（ 模拟信号-数字编码 ）电压值时间间隔54321012345A/D转换（ 模拟信号-数字编码 ）电压值时间间隔l模拟声音信号取 样量 化编 码数字声音1 为了不失真 取样频率大于声音信号的2倍 进行数据压缩 减少存储量 量化精度高，声音保真度好(3)声音以数字形式表示的优点：以数字形式存储的声音重放性能好，复制时没有失真数字声音的可编辑性强，易于进行效果处理数字声音能进行数据压缩，传输时抗干扰能力强数字声音容易与其他媒体相互结合（集成）数字声音为自动提取“元

3、数据”和实现基于内容的检索创造了条件1.声音信号的数字化(1)麦克风：将声波转换为电信号(2)声卡：进行数字化声卡的主要功能：波形声音的获取：把模拟声音转换为数字形式。 (话筒或线路输入)可以获取单、双声道的设备波形声音的重建与播放MIDI声音的输入 (Musical Instrument Digital Interface)MIDI声音的合成与播放2.波形声音的获取设备3.声音的播放数字声音解 码数模转换插 值重建的模拟声音信号1(1) 声音的播放：计算机输出声音的过程，分两步： 重建：把声音从数字形式转换为模拟形式 将模拟信号经过处理和放大送到扬声器发声(2) 重建过程：由声卡完成 回复为

4、压缩前的状态 重建的声音送音箱发声音箱分类普通音箱：接收的是重建的模拟声音信号数字音箱：可直接接收声卡输出的数字声音信号，避免信号在传输中发生畸变和受到干扰，其音响效果更加突出3.声音的播放5.3.2 波形声音的表示与压缩编码1.波形声音的主要参数2.全频带声音的压缩编码3.数字声音的压缩编码 数字化的波形声音是一种使用二进制表示的串行比特流。数据按时间顺序进行组织(1)主要参数取样频率量化位数声道数目(2)数码率：指的是每秒钟的数据量，也称比特率、码率数字声音未压缩前： 波形声音的码率= 取样频率 * 量化位数 * 声道数压缩编码后 波形声音的码率 压缩前的码率 / 压缩倍数 1.波形声音的

5、主要参数A/D转换（ 模拟信号-数字编码 ）值时间间隔54321012345 数字化的波形声音是一种使用二进制表示的串行比特流。数据按时间顺序进行组织(1)主要参数取样频率量化位数声道数目(2)数码率：指的是每秒钟的数据量，也称比特率、码率数字声音未压缩前： 波形声音的码率= 取样频率 * 量化位数 * 声道数压缩编码后 波形声音的码率 压缩前的码率 / 压缩倍数 1.波形声音的主要参数1.波形声音的主要参数例：某PC机的声卡在处理声音信息时，采样频率为44KHz，A/D转换精度为16位。若连续采集2分钟的声音信息，则在不进行压缩编码的情况保存这段声音，需要的存储空间近_。双声道呢？A.88K

6、BB.176KBC.11MBD.83MB几种常见数字声音的主要参数 声音类型带宽（Hz）取样频率（kHz）量化位数（bits）声道数未压缩时的码率压缩后的码率数字语音300340088164kb/s264kb/sCD唱片202000044.1162176.4kB/s176.4kB/sMP3音乐202000044.1162176.4kB/s128112kb/s1.波形声音的主要参数2.全频带声音的压缩编码 由于数据量大，为了降低存储成本和传输通信带宽，对数字波形声音进行数据压缩(1)压缩的可能性： 声音信号中包含有大量的冗余信息 利用人的听觉感知特性(2)声音数据压缩算法的评价： 压缩倍数高，声

7、音失真小，算法简单; 编码器/解码器的成本低(3)第2代全频带声音压缩编码标准名称压缩后的码率（每个声道）声道数目主要应用MPEG-1层1384kbps（压缩4倍）2数字盒式录音带MPEG-1层2256192kbps（压缩68倍）2DAB，VCDMPEG-1层3128112kbps（压缩1012倍）2Internet，MP3音乐MPEG-2层audio与MPEG-1层1，层2，层3相同5.1，7.1同MPEG-1Dolby AC-364kbps5.1，7.1DVD，DTV，家庭影院2.全频带声音的压缩编码杜比数字AC-3（Dolby Digital AC-3）： 美国杜比公司开发的多声道全频带

8、声音编码系统，它提供的环绕立体声系统由5个全频带声道加一个超低音声道组成，6个声道的信息在制作和还原过程中全部数字化，信息损失很少，细节丰富，具有真正的立体声效果. 在数字电视、DVD和家庭影院中广泛使用。2.全频带声音的压缩编码 语音：带宽只有3003400Hz(1) 波形编码压缩（基于感觉模型的压缩方法）特点：码率较高（64kb/s、32kb/s）、语音质量高、 算法简单、易实现应用：固定电话通信系统、多媒体文档(2) 参数编码或模型编码压缩特点：码率很低、声音质量较差应用：保密通信 (3) 混合编码压缩特点：中度码率(4.8-16 kb/s)、压缩比较高、 语音质量较好应用：移动通信、I

9、P电话3.数字语音的压缩编码5.3.3 波形声音的编辑(1)基本编辑操作声音的剪辑(删除、移动或复制一段声音，插入空白等)声音音量调节(提高或降低音量，淡入、淡出处理等)声音的反转持续时间的压缩/拉伸消除噪音、声音的频谱分析(2)声音效果的处理包括混响、回声、延迟、频率均衡、和声效果、动态效果、升降调、颤音等(3)格式转换功能(4)其他功能:如分轨录音，配音，刻录CD唱片等1.声音编辑软件的功能 2.声音编辑软件的界面时间刻度左声道信号波形淡入淡出播放标尺右声道信号波形数字声音的参数5.3.4 计算机合成声音1.语音合成2.音乐合成 (1)语音合成 根据语言学和自然语言理解的知识，使计算机模仿

10、人的发声，自动生成语音的过程。 目前主要是按照文本（书面语言）进行语音合成，这个过程称为文语转换（Text-To-Speech,简称TTS）。(2)文语转换过程文本分析韵律分析语音生成1.语音合成文本文本分析韵律处理语音合成合成语音词典，发音规则韵律规则库语音库(3)计算机合成语音的应用：查询: 股票交易、航班、电话报税等业务有声E-mail服务CAI课件或游戏解说词的自动配音文稿校对、语言学习、语音秘书、自动报警、残疾人服务等1.语音合成音乐是使用乐器演奏而成的,音乐的基本单元是一些音符(1)音符的属性：音调：声波的基频音色：由声音的频谱决定，不同乐器有不同的音色音强：声音的强度旋律：乐曲中

11、音符持续时间的变化(2)音源： 也称为音乐合成器，它能模仿许多乐器生成各种不同音色的音符。 PC机的声卡一般都带有音源2.音乐合成(3)MIDI规定：乐谱中的音符及其定时、速度、音色（乐器）等采用MIDI消息（MIDI message）进行描述每个MIDI消息描述一个音乐事件（如开始演奏某个音符、结束演奏某个音符、选择音符的音色、改变演奏速度等）一首乐曲所对应的全部MIDI消息组成一个MIDI文件MIDI文件在计算机中的文件扩展名为 .MID，它是计算机合成音乐的交换标准，也是商业音乐作品发行的标准2.音乐合成MIDI音乐的制作与播放：实时演奏MIDI键盘MIDI消息乐谱输入音序器软件MIDI

12、文件媒体播放器MIDI合成器MIDI消息MIDI音乐2.音乐合成MIDI文件在Windows系统中可以使用媒体播放器进行播放。播放MIDI音乐的过程：媒体播放器软件从磁盘上读入MID文件把其中的一个个MIDI消息发送给声卡上的音乐合成器由音乐合成器解释并执行MIDI消息所规定的操作合成出各种音色的音符，通过扬声器播放出乐曲来2.音乐合成(4)MIDI音乐与高保真的波形声音相比：缺点：音质方面较差无法合成出所有各种不同的声音（例如语音）优点：数据量很少 (比CD-DA少3个数量级，比MP3少2个数量级)易于编辑修改可以与波形声音同时播放2.音乐合成5.4 数字视频及应用5.4.1 数字视频基础5

13、.4.2 数字视频的压缩编码5.4.3 数字视频的编辑5.4.4 计算机动画5.4.5 数字视频的应用5.4.1 数字视频基础1 电视基础知识2 视频信号的数字化3 视频卡与视频获取设备(1)基本概念 视频（video）：是指内容随时间变化的一个图像序列， 也称为活动图像(motion picture)。常见的视频有电视和计算机动画。 电视：能传输和再现真实世界的图像与声音电视是当代最有影响力的信息传播工具。 数字视频：数字化的电视信号称为数字视频。 计算机动画：是计算机制作的图像序列，是一种计算机合成的视频。1.电视基础知识(2) PAL制式（中国采用）帧频25帧/s场频50场/s图像的垂直

14、分辨率625线， 电视信号行频为 62525 = 15.625 kHz(3)远距离传输时用亮度信号Y和两个色度信号U、V来表示，优点：能与黑白电视接收机保持兼容可利用人眼对两个色度信号不太灵敏的视觉特性来节省电视信号的带宽和发射功率1.电视基础知识(1)数字视频与模拟视频相比的优点：复制和传输时不会造成质量下降容易进行编辑修改有利于传输(抗干扰能力强，易于加密)可节省频率资源(2)视频信号的数字化：2.视频信号的数字化BT.601，CIF，QCIF和SQCIF视频图像的格式3.视频卡与视频获取设备(1)视频采集卡：简称视频卡，PC机中用于视频信号数字化的插卡功能： 模拟信号与数字信号的转换 将

15、模拟视频(及伴音信号)数字化并存储在硬盘中 数字化后的视频图像，经彩色空间转换后显示在屏幕上。 使用数字信号处理器(DSP)进行音频和视频数据的压缩编码(2) 视频捕获设备 数字摄像头：在线获取数字视频的设备。不需视频采集卡进行模数转换。最高分辨率：640480，镜头视角：4560度光传感器：大多采用CCD，部分采用CMOS3.视频卡与视频获取设备 数字摄像机：离线的数字视频获取设备。 原理：与数码相机类似，功能更多 压缩编码：视频图像及伴音使用M-JPEG或MPEG-2 记录介质：磁带，硬盘接口：USB接口，IEEE1394（火线）接口。5.4.2 数字视频的压缩编码 数字视频的数据量：很大

16、。1分钟BT.601数字视频的数据量约为1G字节1.数字视频压缩的可行性：画面内部信息相关性很强相邻画面的内容具有高度的连贯性人眼的视觉特性5.4.2 数字视频的压缩编码名称源图像格式压缩后的码率主要应用MPEG-1CIF格式大约1.2Mb/s1.5Mb/s适用于VCD、数码相机、数字摄像机等H.261CIF格式，QCIF格式P64Kb/s(P=1、2时，只支持QCIF格式，P6时，可支持CIF格式)应用于视频通信，如可视电话、会议电视等MPEG-2(MPML)7205765Mb/s15Mb/s用途最广，如DVD，150路卫星电视直播，540路CATV等MPEG-2HighProfile144

17、015521920115280Mb/s100Mb/s目标是高清晰度电视（HDTV）领域MPEG-4(H.324)多种不同的视频格式与MPEG-1，MPEG-2相当，但最低可达到64Kb/s适合于交互式多媒体应用，包括虚拟现实、远程教学、交互式电视等2.视频压缩编码的标准及其应用5.4.2 数字视频的压缩编码5.4.4 合成视频计算机动画1.计算机动画的概念 采用计算机生成一系列可供实时演播的连续画面的一种技术。 是一种合成的数字视频 例如：动画片、游戏等2.基础：计算机图形学制作过程： 在计算机中生成场景和形体的模型 设置它们的运动 生成图像并转换为视频信号输出5.4.4 计算机动画3.创作软

18、件二维动画软件:如Animator Pro三维动画软件:如3D StudioMAX等4.与GIF比，Flash动画的优点：矢量图形，图形清晰度与缩放无关文件小，便于网上传输流式传输技术，能一边传输数据，一边播放可以将音乐、声效、视频和动画画面结合在一起具有交互性5.4.4 计算机动画5.4.5 数字视频的应用1 VCD与DVD2 可视电话与视频电视3 数字电视4 点播电视(VOD)(1) CD： 小型光盘, 最早应用于数字音响领域, CD唱片的存储容量是650MB左右，可存放1小时的立体声高保真音乐。(2) Video CD(简称VCD)： 1994年由JVC、Philips等公司联合定义的一

19、种以数字技术在CD光盘上存储视频和音频信息的规范。规定了将MPEG-1音频/视频数据记录在CD光盘上的文件系统的标准，一张CD光盘记录约60分钟的音视频数据，图像质量达到家用录放像机的水平，可播放立体声。VCD播放机体积小,价格便宜,音视频质量较好。1.VCD与DVD(3)DVD(Digital Versatile Disk)： 数字多用途光盘。有多种规格，用途广泛。其中DVD-Video（日常简称为DVD）是一种类似于LD或Video CD的家用影碟。(4)DVD影碟与VCD相比：存储容量大得多。DVD单面单层DVD容量4.7GB压缩编码：MPEG-2画面品质比VCD高(5) DVD-Video特点： 可提供32种文字、8种语言、多节局、多角度、变焦、锁定控制1.VCD与DVD(1)分类：静态图像：图、声交替传输动态图像：图、声同时传输(2)编码 图像格式：QCIF,帧频不小于10帧/s(3)应用 商业谈判、办公自动化、紧急救援、现场指挥 如：MSN Messeng