大学计算机教程-第9章多媒体技术基础.ppt

2019/11/29,第3章多媒体技术基本知识,1,大学计算机教程,第9章多媒体技术基本知识,2019/11/29,第3章多媒体技术基本知识,2,9.1多媒体计算机的定义和关键技术,9.2多媒体技术的特性,9.3数字音频基础,9.4图像和图形基础,第9章多媒体技术基本知识,9.5视频与动画基础,9.6多媒体数据的压缩与编码,9.7多媒体应用系统的制作过程,2019/11/29,第3章多媒体技术基本知识,3,媒体（Medium）：在计算机领域中有两种含义：一是指用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器；二是指信息的载体，如数字、文字、声音、图形和图像。多媒体技术中的媒体是指后者。人类感知信息的途径是：视觉：是人类感知信息最重要的途径，人类从外部世界获取信息的70%80%是从视觉获得；听觉：人类从外部世界获取信息的10是从听觉获得；嗅觉、味觉、触觉：通过嗅、味、触觉获得的信息量约占10。,9.1多媒体计算机的定义和关键技术,2019/11/29,第3章多媒体技术基本知识,4,多媒体计算机（MultimediaComputingTechnology）的定义是：计算机综合处理多种媒体信息（包括文本、图形、图像、音频和视频），使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说，多媒体计算机具有综合处理声、文、图信息的能力以及具有集成性和交互性，即多媒体计算机具有信息载体多样性、集成性和交互性。把一台普通的计算机变成多媒体计算机要解决的关键技术是：）视频音频信号获取技术；）多媒体数据压缩编码和解码技术；）视频音频数据的实时处理和特技；）视频音频数据的输出技术。,9.1多媒体计算机的定义和关键技术,9.1.1多媒体计算机的定义及其关键技术,2019/11/29,第3章多媒体技术基本知识,5,9.1多媒体计算机的定义和关键技术,9.2多媒体技术的特性,9.3数字音频基础,9.4图像和图形基础,第9章多媒体技术基本知识,9.5视频与动画基础,9.6多媒体数据的压缩与编码,9.7多媒体应用系统的制作过程,2019/11/29,第3章多媒体技术基本知识,6,1.信息载体多样性,9.2多媒体技术的特性,2.交互性,3.协同性,4.实时性,5.集成性,2019/11/29,第3章多媒体技术基本知识,7,9.1多媒体计算机的定义和关键技术,9.2多媒体技术的特性,9.3数字音频基础,9.4图像和图形基础,第9章多媒体技术基本知识,9.5视频与动画基础,9.6多媒体数据的压缩与编码,9.7多媒体应用系统的制作过程,2019/11/29,第3章多媒体技术基本知识,8,1.声音采样声音采样是把模拟声音波形按相等时间间隔划分为许多片断，每个片断用一个数值进行量化，从而将连续的波形转化为离散的数字信号。影响采样后的数字音频质量的因素有：采样频率、采样量化大小和声道数。1)采样频率是指单位时间内的采样次数。声卡一般提供l1.025KHz、22.05KHz和441KHz三种不同的采样频率。2)采样的量化大小反映了对采样点进行数字化时所选用的精度，用记录每次采样样本值大小的数据位数来表示，通常有8位、16位和32位。16位声音，衡量的样本值有65536个等级。3)声道数指所处理的声音是单声道还是立体声。单声道在声音处理过程中只有单数据流，而立体声则需要左、右声道的两个数据流。,9.3数字音频基础,9.3.1声音及其数字化,2019/11/29,第3章多媒体技术基本知识,9,2.其他相关技术1)MIDI(MusicalInstrumentDigitalInterface)是数字音乐的国际标准。它定义了计算机音乐程序、合成器及其他电子设备交换信息和电子信号的方式，可以解决不同电子乐器之间不兼容的问题。PC能够通过内部合成器或连接到MIDI端口的外部合成器播放MIDI文件。MIDI文件演奏音乐的存储量最少。2)采样后的数字声音的大小为采样频率量化位数声道数时间(秒)/8。例如以22.05KHz采样频率对模拟信号采样，采样的量化位数为16位，录制4秒双声道声音，获得的数据量为22.051000164/8=352800字节。3)实现计算机语音输出通常有两种方法：一是文/语转换，二是录音/重放。第一种方法是基于声音合成技术的一种声音产生技术，它可用于语音合成和音乐合成。而第二种方法是最简单的音乐合成方法，曾相继产生了调频（FM）音乐合成技术和波形表(WaveTable)音乐合成技术。,9.3数字音频基础,9.3.1声音及其数字化,2019/11/29,第3章多媒体技术基本知识,10,1.WAVE扩展名为WAV，是微软公司开发的一种声音文件格式，用于保存Windows平台的音频信号。该格式记录声音的波形，只要采样频率高，采样字节长，机器速度快，利用该格式记录的声音文件能够和原声基本一致文件太大。2.MOD扩展名MOD，ST3，XT，S3M，FAR和669等，该格式的文件里存放乐谱和乐曲使用的各种音色样本，具有回放效果明确、音色种类无限等优点。但它也有一些致命弱点，以至于现在已经逐渐被淘汰，目前只在一些游戏程序中使用。3.MPEG-3扩展名MP3：MPEG-llayer3，是将WAV声音数据进行数据压缩后产生的音乐文件格式。它的音频数据流为112kbit/s或128kbit/s，与CD音质相仿，但压缩率非常高，成为目前最流行的声音文件格式，在网络、可视电话和通信方面应用广泛。,9.3数字音频基础,9.3.2音频文件的常用存储格式,2019/11/29,第3章多媒体技术基本知识,11,4.RealAudio扩展名RA，是RealNetworks公司开发的一种流式音频格式。这种格式以强大的压缩率和相对较小的失真在众多格式中脱颖而出。出现早，技术成熟。但其压缩率和音质的综合表现一般，有被后起之秀取代的危机。5.CreativeMusicalFormat扩展名CMF，Creative公司的专用音乐格式，和MIDI差不多，只是音色、效果上有些特色，专用于FM声卡，但其兼容性较差。6.CDAudio音乐CD扩展名CDA，是CD唱片采用的格式，又叫“红皮书”格式，记录的是波形流，音色和音质都非常好。但缺点是音乐文件只能存储在光盘中，不是以普通文件形式存储，无法编辑，占用空间大。一张光盘只能存储10余首CD音乐，却能存储100多首MP3歌曲。,9.3数字音频基础,9.3.2音频文件的常用存储格式,2019/11/29,第3章多媒体技术基本知识,12,7.MIDI扩展名MID，目前最成熟的音乐格式，实际上已经成为一种产业标准。作为音乐工业的数据通信标准，MIDI能指挥各种音乐设备的运转，而且具有统一的标准格式能够模仿原始乐器的各种演奏技巧甚至无法演奏的效果，而且文件的长度非常小，可用于为不同乐器创建数字声音，可以模拟大提琴、小提琴和钢琴等常见乐器。MIDI文件不包含数字化后的声音波形数据，只包含产生声音的指令（严格来讲，它不属于数字音乐家族中的成员），这些指令包括使用什么MIDI设备的音色、声音的强弱以及声音持续的时间等。在播放声音时，计算机将这些指令发送给声卡，声卡按指令将声音合成出来。MIDI音乐在不同场合下重放时，效果可能不同，取决于音乐合成器的质量。其缺点是不能很好地重现真实自然界中的声音，如水流、鸟鸣等，表现语音能力差。,9.3数字音频基础,9.3.2音频文件的常用存储格式,2019/11/29,第3章多媒体技术基本知识,13,9.1多媒体计算机的定义和关键技术,9.2多媒体技术的特性,9.3数字音频基础,9.4图像和图形基础,第9章多媒体技术基本知识,9.5视频与动画基础,9.6多媒体数据的压缩与编码,9.7多媒体应用系统的制作过程,2019/11/29,第3章多媒体技术基本知识,14,我们知道，彩色都可用亮度、色调和饱和度来描述，人眼中看到的任一彩色光都是这三个特征的综合效果。通常我们把色调和饱和度通称为色度，亮度是用来表示某彩色光的明亮程度，而色度则表示颜色的类别与深浅程度。自然界常见的各种颜色光，都可由红(R)、绿(G)、蓝(B)三种颜色光按不同比例相配而成。同样，绝大多数颜色光也可以分解成红、绿、蓝三种色光这就形成了色度学中最基本的原理-三原色原理(RGB)。,9.4图像和图形基础,9.4.1有关色彩的基本常识,2019/11/29,第3章多媒体技术基本知识,15,1.矢量图与位一般来说，目前的图形(图像)格式大致可以分为两大类：一类为位图；另一类称为描绘类、矢量类或面向对象的图形(图像)。通常把一幅位图图像近似为一个矩阵，矩阵中的一个元素(像素)对应图像的一个点，相应的值表示该点的灰度等级或颜色。后者是以数学方法描述的一种由几何元素组成的图形（图像)，即用一个指令集合来描述的，这些指令用来描述图中线条的形状、位置和颜色等各种属性和参数。矢量图与位图比较，主要看空间和性能两方面。一般说来，要看图像的复杂程度，简单的图使用矢量图描述好一些，复杂的图使用位图好一些。前者对图像的表达细致、真实，缩放后图形(图像)的分辨率不变，在专业级的图形(图像)处理中运用较多。,9.4图像和图形基础,9.4.2目前常见的图形（图像）格式,2019/11/29,第3章多媒体技术基本知识,16,2.图像与图形文件格式的区别图形一般指用计算机绘制的画面，如直线、圆、圆弧、任意曲线和图表等；图像则是指由输入设备捕捉的实际场景画面或以数字化形式存储的任意画面。图像都是由一些排成行列的像素组成的，在计算机中的存储格式有BMP，PCX，TIF和GIFD等，一般数据量都较大。它除了可以表达真实的照片，也可以表现复杂绘画的某些细节，并具有灵活和富于创造力等特点。在图形文件中只记录生成图的算法和图上的某些特征点，也称矢量图。在计算机还原输出时，相邻的特征点之间用特定的很多段小直线连接形成曲线.它的最大优点是容易进行移动、缩放、旋转和扭曲等变换，主要用于表示线框型的图画、工程制图和美术字等。常用的矢量图形文件有3DS（用于3D造型）、DXF(用于CAD)和WMF(用于桌面出版)等。,9.4图像和图形基础,9.4.2目前常见的图形（图像）格式,2019/11/29,第3章多媒体技术基本知识,17,3.图形(图像)的一些相关技术指标1)分辨率分辨率分为屏幕分辨率和输出分辨率两种，前者用每英寸行数表示，数值越大图形(图像)质量越好；后者衡量输出设备的精度，以每英寸的像素点数表示。2)色彩数和图形灰度色彩数据和图形灰度用位(bit)表示，一般写成2的n次方，n代表位数。当图形(图像)达到24位时，可表现1677万种颜色，即真彩。灰度的表示法类似。,9.4图像和图形基础,9.4.2目前常见的图形（图像）格式,2019/11/29,第3章多媒体技术基本知识,18,3)常见的图形文件格式(1)BMP：最常用的位图格式，可表现2位到24位的色彩。DIB：它描述图像的能力基本与BMP相同，并且能运行于多种硬件平台，只是文件较大。DIF：DIF是AutoCAD中的图形文件，它以ASCII方式存储图形，表现图形在尺寸大小方面十分精确。WMF：具有文件短小、图案造型化的特点。该类图形比较粗糙，并只能在MicrosoftOffice中调用编辑。(5)GIF：GIF是在各种平台的各种图形处理软件上均可处理的经过压缩的图形格式，存储色彩最高只能达到256种。JPG：JPG是可以大幅度地压缩图形文件的一种图形格式，色彩数最高可达到24位，被广泛应用于Internet上。TIF：TIF文件体积庞大，细微层次的信息较多，最高支持的色彩数可达24位。,9.4图像和图形基础,9.4.2目前常见的图形（图像）格式,2019/11/29,第3章多媒体技术基本知识,19,9.1多媒体计算机的定义和关键技术,9.2多媒体技术的特性,9.3数字音频基础,9.4图像和图形基础,第9章多媒体技术基本知识,9.5视频与动画基础,9.6多媒体数据的压缩与编码,9.7多媒体应用系统的制作过程,2019/11/29,第3章多媒体技术基本知识,20,多媒体数字视频有5个重要的技术参数将最终影响视频图像的质量，它们分别为帧速、分辨率、颜色数、压缩比和关键帧。1)帧速：常用的有25帧/秒、30帧/秒。帧速越高，数据量越大，质量越好。2)分辨率：视频分辨率越大，数据量越大，质量越好。3)颜色数：指视频中最多能使用的颜色位数。颜色位数越多，色彩越逼真，数据量也越大。4)压缩比：压缩比较小时对图像质量不会有太大影响，而压缩比超过一定数值后，将会明显看出图像质量下降，而且压缩比越大，回放时所需的解压时间也越长。5)关键帧：视频数据具有很强的帧间相关性，动态视频压缩正是利用帧间相关性的特点，通过前后两个关键帧动态合成中间的视频帧。对于含有频繁运动的视频图像序列，关键帧数少就会出现图像不稳定的现象。,9.5视频与动画基础,9.5.1动画与视频,2019/11/29,第3章多媒体技术基本知识,21,1.Quicktime苹果公司的低成本、全运动视频的方式，现在在软件压缩和解压缩中也开始采用这种方式了。其向量量化是Quicktime软件的压缩技术之一，它在最高为30帧/秒下提供的视频分辨率是320240，其压缩率能从25到200。2.AVI是微软公司采用的音频视频交错格式，应用非常广泛。视频文件通常由视频和音频两部分构成，没有经过压缩，数据量非常大，图像和声音质量较好。AVI很重要的一个特点是可伸缩性，使用AVI算法时的性能依赖于与它一起使用的基础硬件。3.MPEG格式用MPEG压缩标准压缩后的全运动视频图像，压缩比可达100:1至200:104.MOV格式MOV是Apple公司推出的视频格式，包括音频的AIFF格式和视频的MOV格式，目前可由QuickTime播放。,9.5视频与动画基础,9.5.2常见的视频文件格式,2019/11/29,第3章多媒体技术基本知识,22,9.1多媒体计算机的定义和关键技术,9.2多媒体技术的特性,9.3数字音频基础,9.4图像和图形基础,第9章多媒体技术基本知识,9.5视频与动画基础,9.6多媒体数据的压缩与编码,9.7多媒体应用系统的制作过程,2019/11/29,第3章多媒体技术基本知识,23,数据压缩是一种数据处理方法，作用是将一个文件的数据容量减小，而又基本保持原来文件的内容，主要目的就是减少信息的存储空间，以便于信息传输。当然，在需要这些信息时，需要通过解压缩将信息还原。数据压缩技术的三个重要指标是压缩前后所需的信息存储量之比、压缩算法和恢复效果。压缩编码方法也分为两类：无损压缩(也称冗余压缩)和有损压缩。有损压缩会减少信息量，损失的信息是不可恢复的。目前，被国际社会广泛认可和应用的通用压缩编码标准大致有如下4种：H.261，JPEG，MPEG和DVI。,9.6多媒体数据的压缩与编码,2019/11/29,第3章多媒体技术基本知识,24,9.1多媒体计算机的定义和关键技术,9.2多媒体技术的特性,9.3数字音频基础,9.4图像和图形基础,第9章多媒体技术基本知识,9.5视频与动画基础,9.6多媒体数据的压缩与编码,9.7多媒体应用系统的制作过程,2019/11/29,第3章多媒体技术基本知识,25,1.定义：多媒体应用系统又称为多媒体应用软件。它是由各种应用领域的专业人士或开发人员利用多媒体创作工具或计算机语言制作的最终多媒体产品，是直接面向用户的。多媒体系统是通过多媒体应用系统向用户展现其强大的人机交互功能和丰富多彩的视听功能。目前，多媒体应用系统已广泛地应用到社会的各个领域。2.分类:多媒体应用系统一般分为以下类型：文化教育（教学软件、参考书、培训等）、电子出版物（百科全书或字典等）、音像制作、动画制作、演示或信息查询服务系统、通信（电视会议或可视电话等）和娱乐、商业、影视动画、广告，以及Internet上的多媒体信息服务等。,9.7多媒体应用系统的制作过程,9.7.1多媒体应用系统,2019/11/29,第3章多媒体技术基本知