大学计算机信息技术.ppt

5.3数字声音及应用,5.3.1波形声音的获取和播放5.3.2声音的表示与压缩编码5.3.3波形声音的编辑5.3.4计算机合成声音,5.3.1波形声音的获取与播放,1.声音信息的数字化2.波形声音的获取设备3.声音的播放,(1)基本概念带宽：组成声音的不同谐波的频率范围称为声音的带宽。带宽是声音的一项重要参数。多媒体技术处理的声音信号：主要是人耳可听到的2020kHz的音频信号(audio)言语/语音：人说话的声音。其频率范围约为3003400Hz全频带声音：音乐声、风雨声、汽车声等其他声音。其带宽可达到2020kHz,1.声音信号的数字化,(2)声音的数字化过程将模拟声音信号转换成数字编码形式，以便于计算机进行处理的过程。主要过程为：取样量化编码,1.声音信号的数字化,A/D转换（模拟信号-数字编码）,电压值,时间间隔,54321012345,A/D转换（模拟信号-数字编码）,电压值,时间间隔,l,模拟声音信号,取样,量化,编码,数字声音,011010011101,为了不失真取样频率大于声音信号的2倍,进行数据压缩减少存储量,量化精度高，声音保真度好,(3)声音以数字形式表示的优点：以数字形式存储的声音重放性能好，复制时没有失真数字声音的可编辑性强，易于进行效果处理数字声音能进行数据压缩，传输时抗干扰能力强数字声音容易与其他媒体相互结合（集成）数字声音为自动提取“元数据”和实现基于内容的检索创造了条件,1.声音信号的数字化,(1)麦克风：将声波转换为电信号(2)声卡：进行数字化声卡的主要功能：波形声音的获取：把模拟声音转换为数字形式。(话筒或线路输入)可以获取单、双声道的设备波形声音的重建与播放MIDI声音的输入(MusicalInstrumentDigitalInterface)MIDI声音的合成与播放,2.波形声音的获取设备,3.声音的播放,(1)声音的播放：计算机输出声音的过程，分两步：重建：把声音从数字形式转换为模拟形式将模拟信号经过处理和放大送到扬声器发声(2)重建过程：由声卡完成,回复为压缩前的状态,重建的声音送音箱发声,音箱分类普通音箱：接收的是重建的模拟声音信号数字音箱：可直接接收声卡输出的数字声音信号，避免信号在传输中发生畸变和受到干扰，其音响效果更加突出,3.声音的播放,5.3.2波形声音的表示与压缩编码,1.波形声音的主要参数2.全频带声音的压缩编码3.数字声音的压缩编码,数字化的波形声音是一种使用二进制表示的串行比特流。数据按时间顺序进行组织(1)主要参数取样频率量化位数声道数目(2)数码率：指的是每秒钟的数据量，也称比特率、码率数字声音未压缩前：波形声音的码率=取样频率*量化位数*声道数压缩编码后波形声音的码率压缩前的码率/压缩倍数,1.波形声音的主要参数,A/D转换（模拟信号-数字编码）,值,时间间隔,54321012345,数字化的波形声音是一种使用二进制表示的串行比特流。数据按时间顺序进行组织(1)主要参数取样频率量化位数声道数目(2)数码率：指的是每秒钟的数据量，也称比特率、码率数字声音未压缩前：波形声音的码率=取样频率*量化位数*声道数压缩编码后波形声音的码率压缩前的码率/压缩倍数,1.波形声音的主要参数,1.波形声音的主要参数,例：某PC机的声卡在处理声音信息时，采样频率为44KHz，A/D转换精度为16位。若连续采集2分钟的声音信息，则在不进行压缩编码的情况保存这段声音，需要的存储空间近_。双声道呢？,几种常见数字声音的主要参数,1.波形声音的主要参数,2.全频带声音的压缩编码,由于数据量大，为了降低存储成本和传输通信带宽，对数字波形声音进行数据压缩(1)压缩的可能性：声音信号中包含有大量的冗余信息利用人的听觉感知特性(2)声音数据压缩算法的评价：压缩倍数高，声音失真小，算法简单;编码器/解码器的成本低,(3)第2代全频带声音压缩编码标准,2.全频带声音的压缩编码,杜比数字AC-3（DolbyDigitalAC-3）：美国杜比公司开发的多声道全频带声音编码系统，它提供的环绕立体声系统由5个全频带声道加一个超低音声道组成，6个声道的信息在制作和还原过程中全部数字化，信息损失很少，细节丰富，具有真正的立体声效果.在数字电视、DVD和家庭影院中广泛使用。,2.全频带声音的压缩编码,语音：带宽只有3003400Hz(1)波形编码压缩（基于感觉模型的压缩方法）特点：码率较高（64kb/s、32kb/s）、语音质量高、算法简单、易实现应用：固定电话通信系统、多媒体文档(2)参数编码或模型编码压缩特点：码率很低、声音质量较差应用：保密通信(3)混合编码压缩特点：中度码率(4.8-16kb/s)、压缩比较高、语音质量较好应用：移动通信、IP电话,3.数字语音的压缩编码,5.3.3波形声音的编辑,(1)基本编辑操作声音的剪辑(删除、移动或复制一段声音，插入空白等)声音音量调节(提高或降低音量，淡入、淡出处理等)声音的反转持续时间的压缩/拉伸消除噪音、声音的频谱分析(2)声音效果的处理包括混响、回声、延迟、频率均衡、和声效果、动态效果、升降调、颤音等(3)格式转换功能(4)其他功能:如分轨录音，配音，刻录CD唱片等,1.声音编辑软件的功能,2.声音编辑软件的界面,5.3.4计算机合成声音,1.语音合成2.音乐合成,(1)语音合成根据语言学和自然语言理解的知识，使计算机模仿人的发声，自动生成语音的过程。目前主要是按照文本（书面语言）进行语音合成，这个过程称为文语转换（Text-To-Speech,简称TTS）。(2)文语转换过程文本分析韵律分析语音生成,1.语音合成,(3)计算机合成语音的应用：查询:股票交易、航班、电话报税等业务有声E-mail服务CAI课件或游戏解说词的自动配音文稿校对、语言学习、语音秘书、自动报警、残疾人服务等,1.语音合成,音乐是使用乐器演奏而成的,音乐的基本单元是一些音符(1)音符的属性：音调：声波的基频音色：由声音的频谱决定，不同乐器有不同的音色音强：声音的强度旋律：乐曲中音符持续时间的变化(2)音源：也称为音乐合成器，它能模仿许多乐器生成各种不同音色的音符。PC机的声卡一般都带有音源,2.音乐合成,(3)MIDI规定：乐谱中的音符及其定时、速度、音色（乐器）等采用MIDI消息（MIDImessage）进行描述每个MIDI消息描述一个音乐事件（如开始演奏某个音符、结束演奏某个音符、选择音符的音色、改变演奏速度等）一首乐曲所对应的全部MIDI消息组成一个MIDI文件MIDI文件在计算机中的文件扩展名为.MID，它是计算机合成音乐的交换标准，也是商业音乐作品发行的标准,2.音乐合成,MIDI音乐的制作与播放：,实时演奏,MIDI键盘,MIDI消息,乐谱输入,音序器软件,MIDI文件,媒体播放器,MIDI合成器,MIDI消息,MIDI音乐,2.音乐合成,MIDI文件在Windows系统中可以使用媒体播放器进行播放。播放MIDI音乐的过程：媒体播放器软件从磁盘上读入MID文件把其中的一个个MIDI消息发送给声卡上的音乐合成器由音乐合成器解释并执行MIDI消息所规定的操作合成出各种音色的音符，通过扬声器播放出乐曲来,2.音乐合成,(4)MIDI音乐与高保真的波形声音相比：缺点：音质方面较差无法合成出所有各种不同的声音（例如语音）优点：数据量很少(比CD-DA少3个数量级，比MP3少2个数量级)易于编辑修改可以与波形声音同时播放,2.音乐合成,5.4数字视频及应用,5.4.1数字视频基础5.4.2数字视频的压缩编码5.4.3数字视频的编辑5.4.4计算机动画5.4.5数字视频的应用,5.4.1数字视频基础,1电视基础知识2视频信号的数字化3视频卡与视频获取设备,(1)基本概念视频（video）：是指内容随时间变化的一个图像序列，也称为活动图像(motionpicture)。常见的视频有电视和计算机动画。电视：能传输和再现真实世界的图像与声音电视是当代最有影响力的信息传播工具。数字视频：数字化的电视信号称为数字视频。计算机动画：是计算机制作的图像序列，是一种计算机合成的视频。,1.电视基础知识,(2)PAL制式（中国采用）帧频25帧/s场频50场/s图像的垂直分辨率625线，电视信号行频为62525=15.625kHz(3)远距离传输时用亮度信号Y和两个色度信号U、V来表示，优点：能与黑白电视接收机保持兼容可利用人眼对两个色度信号不太灵敏的视觉特性来节省电视信号的带宽和发射功率,1.电视基础知识,(1)数字视频与模拟视频相比的优点：复制和传输时不会造成质量下降容易进行编辑修改有利于传输(抗干扰能力强，易于加密)可节省频率资源(2)视频信号的数字化：,2.视频信号的数字化,BT.601，CIF，QCIF和SQCIF视频图像的格式,3.视频卡与视频获取设备,(1)视频采集卡：简称视频卡，PC机中用于视频信号数字化的插卡功能：模拟信号与数字信号的转换将模拟视频(及伴音信号)数字化并存储在硬盘中数字化后的视频图像，经彩色空间转换后显示在屏幕上。使用数字信号处理器(DSP)进行音频和视频数据的压缩编码,(2)视频捕获设备数字摄像头：在线获取数字视频的设备。不需视频采集卡进行模数转换。最高分辨率：640480，镜头视角：4560度光传感器：大多采用CCD，部分采用CMOS,3.视频卡与视频获取设备,数字摄像机：离线的数字视频获取设备。原理：与数码相机类似，功能更多压缩编码：视频图像及伴音使用M-JPEG或MPEG-2记录介质：磁带，硬盘,接口：USB接口，IEEE1394（火线）接口。,5.4.2数字视频的压缩编码,数字视频的数据量：很大。1分钟BT.601数字视频的数据量约为1G字节1.数字视频压缩的可行性：画面内部信息相关性很强相邻画面的内容具有高度的连贯性人眼的视觉特性,5.4.2数字视频的压缩编码,2.视频压缩编码的标准及其应用,5.4.2数字视频的压缩编码,5.4.4合成视频计算机动画,1.计算机动画的概念采用计算机生成一系列可供实时演播的连续画面的一种技术。是一种合成的数字视频例如：动画片、游戏等2.基础：计算机图形学制作过程：在计算机中生成场景和形体的模型设置它们的运动生成图像并转换为视频信号输出,5.4.4计算机动画,3.创作软件二维动画软件:如AnimatorPro三维动画软件:如3DStudioMAX等4.与GIF比，Flash动画的优点：矢量图形，图形清晰度与缩放无关文件小，便于网上传输流式传输技术，能一边传输数据，一边播放可以将音乐、声效、视频和动画画面结合在一起具有交互性,5.4.4计算机动画,5.4.5数字视频的应用,1VCD与DVD2可视电话与视频电视3数字电视4点播电视(VOD),(1)CD：小型光盘,最早应用于数字音响领域,CD唱片的存储容量是650MB左右，可存放1小时的立体声高保真音乐。(2)VideoCD(简称VCD)：1994年由JVC、Philips等公司联合定义的一种以数字技术在CD光盘上存储视频和音频信息的规范。规定了将MPEG-1音频/视频数据记录在CD光盘上的文件系统的标准，一张CD光盘记录约60分钟的音视频数据，图像质量达到家用录放像机的水平，可播放立体声。VCD播放机体积小,价格便宜,音视频质量较好。,1.VCD与DVD,(3)DVD(DigitalVersatileDisk)：数字多用途光盘。有多种规格，用途广泛。其中DVD-Video（日常简称为DVD）是一种类似于LD或VideoCD的家用影碟。(4)DVD影碟与VCD相比：存储容量大得多。DVD单面单层DVD容量4.7GB压缩编码：MPEG-2画面品质比VCD高(5)DVD-Video特点：可提供32种文字、8种语言、多节局、多角度、变焦、锁定控制,1.VCD与DVD,(1)分类：静态图像：图、声交替传输动态图像：图、声同时传输(2)编码图像格式：QCIF,帧频不小于10帧/s(3)应用商业谈判、办公自动化、紧急救援、现场指挥如：MSNMessenger,2.可视电话与视频会议,(1)数字电视：将电视信号进行数字化,然后以数字形式进行编辑、制作、传输、接收和播放。(2)数字电视的特点：频道利用率高、图像清晰度好可以开展交互式数据业务(3)编码标准视频都采用MPEG-2标准，音频采用MPEG-2或DolbyAC-3,3.数字电视,包括：电视购物、电视银行、电视商务、电视通信、电视游戏、实时点播电视、电视网上游览、观众参与的电视竞赛等,(4)数字电视接收机（简称DTV接收机）的三种形式：数字电视接收机传统模拟电视接收机的换代产品传统模拟电视机外加一个数字机顶盒可以接收数字电视的PC机,VOD（VideoOnDemand）：视频点播（也称为点播电视）技术的简称,即用户可以根据自己的需要收看电视节目。视频点播系统分类TVOD（TrueVOD）：用户提出要求即可及