多媒体技术基础知识讲义课件(ppt 46页).ppt

1、第八章 多媒体技术基础,8.1 多媒体技术的基本概念 8.2 多媒体计算机系统 8.3 多媒体信息的数字化和压缩技术 8.4 Flash 动画制作,8.1多媒体技术的基本概念 8.1.1多媒体,媒体 存储信息的物理实体，如磁盘、光盘等 信息的表现形式或载体,如文字、图形、图像、动画、声音等,多媒体 融合两种或两种以上媒体的一种人-机交互式信息交流和传播媒体，使用的媒体包括文字、图形、图像、声音、动画和电视图像。 多媒体技术 是一种基于计算机的综合技术，包括数字化信息的处理技术、音频和视频技术、计算机硬件和软件技术、人工智能和模式识别技术、通信和图像技术等，是一门跨学科的综合技术。,8.1.2

2、多媒体分类,通常，人们将文本、音频、视频、图形、图像、动画的综合体笼统称为“多媒体”。由此可见，多媒体信息包括以下5种： 文本 图形、图像 动画 声音 视频影像,各类文字和符号,文字和符号,多媒体,多媒体,多媒体,多媒体概述,通过计算而描述的矢量图形,文字,图形,矢量图形对象,用像素点描述的自然影像,文字,图形,图像,位图图像对象,单画面矢量动画和多画面帧动画,文字,图形,图像,动画,多画面帧动画,单画面矢量动画,FRAME 01 FRAME 02 FRAME 03 FRAME 04 FRAME 05 FRAME 06 FRAME 07,动画对象,音频数字信号、压缩音频信号,文字,图形,图像,

3、动画,音频, midi音频 wav音频 mp3压缩音频,音频对象,视频数字信号AVI、压缩视频信号MPG,文字,图形,图像,动画,音频,视频,音频 + 视频 Audio Vedio Information,视频对象,END,8.1.3多媒体技术的特点 (1) 集成性 两个方面: 信息媒体的集成，即将各种不同的媒体信息有机地同步，集成为一个完整、协调的多媒体信息； 是各种不同的显示或表现媒体设备的集成。 (2)交互性 多媒体计算机除了可以播放各种媒体信息外，还可以与使用者进行信息交换。 (3)实时性 声音和活动视频图像的实时同步处理，使声音和图像在播放时不出现停滞。,8.1.4 多媒体信息处理的

4、关键技术,1. 多媒体数据压缩技术 节省存储空间，提高通信介质的传输效率，使计算机实时处理和播放视频、音频信息成为可能。 2. 多媒体数据存储技术 数字化数据存储的介质有：硬盘、光盘和磁带等。 3. 集成电路制作技术 多媒体处理涉及大量计算,软件通过硬件实现,提高处理速度. 4.多媒体数据库技术 研究多媒体信息的特征、建立多媒体数据模型； 有效地组织和管理多媒体信息； 多媒体信息的检索和统计。,5. 虚拟现实技术 利用计算机生成一种模拟环境，通过多种传感设备，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。 6. 多媒体网

5、络与通信技术 多媒体通信技术支持是保证多媒体通信实施的条件。,资料:虚拟现实,8.2多媒体计算机系统,多媒体系统:具有强大的数据处理能力和数字化媒体设备整合能力，能综合处理多种媒体信息，并提供多媒体信息的输入、编辑、存储和播放等功能,8.2.1 多媒体计算机硬件系统,8.2.1 多媒体计算机硬件系统,1.多媒体接口卡 （1）声卡 作用：实现模/数、数/模（A/D、D/A）的转换 基本功能： 录制与播放声音文件。 编辑与合成音乐文件。 MIDI音乐的合成。 性能指标：采样频率、采样的位数。,（2）显卡 显示器适配卡，连接主机与显示器的接口卡 作用：主机的输出信息转换成字符、图形和颜色等信息 显示

6、主芯片（GPU）：图像运算和内部控制工作 显示缓存：储存显示芯片涉及的数据 数字模拟转换器（RAMDAC）:数模转换,输出接口（见图8.2.5）要有： VGA 视频图形阵列接口 作用：是将转换好的模拟信号输出到CRT或者LCD显示器中。 DVI 数字视频接口，无需转换 DVI-D接口：只能输出数字信号。 DVI-I接口：它可输出模拟或数字信号。 HDMI高清晰多媒体接口 作用：将多媒体数字信息输出到液晶电视机或数字投影仪。,（3）视频卡,作用：支持视频信号的输入和输出，实现对语音和活动图像的采集、量化成数字信号，然后压缩编码成可供编辑处理的视频数据文件。 主要是视频采集卡 ： 模拟信号采集 数

7、字信号采集卡（DV卡或1394卡 ）,2.信息获取设备,（1）数码相机 主要指标：分辨率，以万像素 表示 （2）数码摄像机 动态图像，通过1394接口 （3）摄像头 视频输入设备,.2.2多媒体计算机软件系统,1.多媒体操作系统 多媒体数据和多媒体设备的管理和控制功能 2.多媒体驱动程序 完成设备的初始化，控制各种设备操作 3.多媒体素材制作软件 图像、图形、动画和声音等素材的制作,常用多媒体素材制作软件,4.多媒体创作软件,作用：多媒体素材有机地结合成一个完整的的多媒体产 品，应还具有操作界面的生成、能交互控制、数 据管理等功能。 （1）编程语言 灵活多变且功能强大，增加开发难度 VB等 （

8、2）多媒体创作工具,.2.3多媒体应用系统的设计流程,8.3多媒体信息的数字化和压缩技术 8.3.1音频信息 1.基本概念,复杂的声波由许许多具有不同振幅和频率的正弦波组成。 周期T:重复出现的时间间隔; 振幅A:波形相对基线的最大位移, 表示音量的大小; 频率f:信号每秒钟变化的次数,即1/T 以赫兹(Hz)为单位。,声音按频率分类 正常人所能听到的声音频率范围为20 Hz20 kHz。 声音质量的频率范围: CD 如随身听 FM:调频 AM:调幅,把调制信号从低频搬移到了高频，以便利用电离层传播, 调频声音的高低变为频率的变化的电信号, 调幅就是用声音的高低变为幅度的变化的电信号.,2.模

9、拟音频的数字化,用计算机对音频信息处理，就要将模拟信号（如语音、音乐等）转换成维数字信号。,采样 每隔一定时间间隔对模拟 波形上取一个幅度值。 量化 将每个采样点得到的幅度值 以数字存储。 编码 将采样和量化后的数字数据 以一定的格式记录下来,3.数字音频的技术指标,采样频率、量化位数和声道数 采样频率： 每秒钟的采样次数 量化位数(采样精度) ：存放采样点振幅值的二进制位数。通常 量化位数有8位、16位，分别表示有28、216个等级。 声道数 ：声音通道的个数 ，立体声 为双声道。 每秒钟存储声音容量的公式为： 采样频率采样精度声道数/8=字节数 例如，用44.10 kHz的采样频率，16位

10、的精度存储，则录制1秒钟的立体声节目，其WAV文件所需的存储量为： 44 100162/8=176 400（字节）,采样频率和量化参数比较,4.数字音频的文件格式,Wave格式文件（. Wav） 记录了真实声音的二进制采样数据，通常文件较大。 MIDI格式文件（.MID） 数字音乐的国际标准. 记录的是音符数字，文件小。 MPEG音频文件（.MP1/.MP2/.MP3） 采用MPEG音频压缩标准进行压缩的文件。 RA格式文件（.ra） RA（Real Audio）是Real Network公司制定的音频压缩规 范，有较高的压缩比，采用流媒体的方式在网上实时播放。,5.声音的录制与播放,“录音机

11、”是用于声音文件的录制与播放，还可以对声音进行编辑和特殊效果处理。 录制声音 编辑声音 删除声音 当前位置之前或之后 插入声音 移动声音 删除和插入间接完成,8.2.2数字图像及处理,1.基本概念 图形和图像 图形：由点、线等组成的有边界画面，文件中存放描述图形的指令。 图像：由图像设备输入的无边界画面，数字化后以位图形式存储。 图形与图像的数字化 分辨率（行、列）和颜色深度 真彩色每个像素点占3个字节，224=16777216 种颜色。 计算存储一秒图像公式： 列数行数像素的颜色深度/8 帧/秒=字节数 例：12801024分辨率的“真彩色”电视图像， 按每秒30帧计算，显示1分钟，则需要：

12、 1280102433060 6.6 GB,2.图像的数字化 采样 用多少个像素点的“列数行数”表示，分辨率越高，图像越清晰，存储量也越大。 量化 量化是在图像离散化后，将表示图像色彩浓淡的连续变化值离化为整数值的过程。 把量化时所确定的整数值取值个数称为量化级数,也称为颜色深度.,图像 采样 量化 数字图像,颜色深度 黑白图 图像的颜色深度为1，则用一个二进制位1和0表示纯白、纯黑两种情况； 灰度图 图像的颜色深度为8，占一个字节，灰度级别为256级。通过调整黑白两色的程度（称颜色灰度）来有效地显示单色图像； RGB 24位真彩色 彩色图像显示时，由红、绿、蓝三基色通过不同的强度混合而成，当

13、强度分成256级（值为0255），占24位，就构成了224=16777216种颜色的“真彩色”图像。,灰度图,彩色图,图像的分辨率和像素位的颜色深度决定了图像文件的大小，计算公式为： 列数行数颜色深度8=图像字节数 例8.2 当要表示一个分辨率为640480的“24位真彩色”图像，则需要： 6404802481MB 由此可见，数字化后的图像数据量十分巨大，必须采用编码技术来压缩信息。它是图像传输与存储的关键。,2.常用图像文件格式,BMP和DIB格式文件 与设备无关的位图格式文件，Windows环境中经常使用. GIF格式文件 Internet上的重要文件格式之一，最大不超过64 KB， 25

14、6色以内，压缩比较高，与设备无关。 JPEG格式文件（.JPG） 利用JPEG方法压缩, Internet上重要文件格式之一， 适用于处理256色以上、大幅面图像。 WMF格式文件 位图与矢量图的混合体, Windows中许多剪贴画图像 是以该格式存储的。广泛应用于桌面出版印刷领域。,3. 图像数据的获取,利用图像处理软件和现成的图像库 最常用的是Photoshop,可以绘图,也可以编辑来自网络、CD-ROM光盘上存储的图像库 “画图”程序可以获取屏幕界面 利用数字化设备获取 数码相机、数字摄象机，将拍摄的自然界景物按数字格式存储通过连接转换转换成计算机中的图像和影象文件。 扫描仪将照片、艺术

15、作品转换成数字图像文件。,8.3.3 视频,视频是将一幅幅独立图像组成的序列按照 一定的速率连续播放，利用视觉暂留现象 在人的眼前呈现出连续运动的画面。 模拟视频常用两种标准： NTSC制式(30帧/秒，525行/帧) PAL制式（25帧/秒，625行/帧），我国采用PAL制式。,例1分钟的数字视频容量 640480 3 30 60 =1 658 880 000字节,分辨率,帧/秒,采样深度,时间,常用视频文件格式,AVI（Audio-Video Interleaved）文件 将视频与音频信息交错地保存在一个文件中，较好地解决了音频与视频的同步问题，已成为Windows视频标准格式文件。 MO

16、V文件 利用它可以合成视频、音频、动画、静止图像等多种素材。 MPG(.mpg)文件 是按照MPEG标准压缩的全屏视频的标准文件。 DAT文件 是VCD专用的格式文件，文件结构与MPG文件格式基本相同。,流媒体概述,流媒体 一种可以使音频、视频等多媒体文件能在Internet上以实时的、无需下载等待的流式传输方式进行播放的技术,应用 互联网直播 视频点播 远程教育 视频会议系统,常用流媒体文件,RealMedia (RealNetworks) RA （RealAudio）用来传输接近CD音质的音频数据 RM（RealVideo）在低速率的网络上实时传输活动视频影像 RF（RealFlash）一

17、种高压缩比的动画格式 QuickTime(Apple) 是数字媒体领域事实上的工业标准，是创建3D动画、实时效果、虚拟现实、A/V和其他数字流媒体的重要基础。 ASF与WMA(Microsoft) ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。 WMV是微软公司推出的与MP3格式齐名的一种音频格式，是用于高清晰度映像的编解码器。,8.3.4 数据压缩技术,数字化了的视频和音频信号的数量之大是非常惊人的。 带来的问题 占用存储容量 降低通信干线的信道传输率 影响计算机的处理速度和播放效果 问题的解决：数据压缩 数据

18、压缩：一般可以分为有损压缩和无损压缩两种。,数据压缩技术的性能指标 压缩比: 即压缩前后所需的信息存储之比要大； 恢复效果 即要尽可能恢复到原始数据 速度 即压缩、解压缩的速度 开销 实现压缩的软、硬件开销要小,无损压缩（解压缩后信息不失真，可逆） 这类算法主要特点是压缩比较低，为2:15:1，一般用来压缩文本数据或计算机绘制的图像（色彩不丰富）。 典型的编码： 行程编码：对连续出现的符号用一个计数值来表示，能确保解压后的数据不失真 。 例用于文字压缩: AAAAABBBBCCDDDDDD 5A4B2C6D Huffman编码 编码思想：出现频率较高的符号采用短码字，出现频率较低的符号采用较长的码字，以达到缩短平均码长来实现数据的压缩。,2. 有损压缩 有损压缩方法是以牺牲某些信息（这部分信息基本不影响对原始数据的理解）为代价，换取了较高的压缩比。 广泛用于语音、图像和视频数据的压缩。,3