大学文化基础知识第八章.ppt

第8章 多媒体技术,8.1 多媒体概述 8.2 多媒体数据压缩技术 8.3 多媒体计算机系统 8.4 多媒体信息的处理,8.1 多媒体概述,8.1.1 多媒体的基本概念 多媒体技术是计算机交互式综合处理多媒体信息，使多种信息建立逻辑连接，集成为一个系统并具有交互性。多媒体技术是具有集成性、实时性和交互性的计算机综合处理声、文、图信息的技术。,8.1.2 多媒体技术的发展和应用 目前其应用领域主要覆盖以下范畴： （1）图形和图像处理与界面设计。 （2）大容量数据存储。 （3）科技研究与生产实践。 （4）教育与培训。 （5）办公室自动化。 （6）娱乐与社会活动。,表8-1 多媒体技术的发展阶段,8.1.3 多媒体信息的类型及特点 多媒体技术有以下几个主要特点： （1）控制性。多媒体技术综合处理和控制多媒体信息，并按人的要求以多种媒体形式表现出来，同时以视觉、听觉、触觉等多种方式展现给用户。 （2）交互性。传统的信息表达方式一般是单向地、被动地、静态地传播信息，而多媒体技术则可以实现人对信息的双向交流、主动选择和自由控制。 （3）集成性。多媒体技术对各种类型的信息进行多通道统一获取、存储、组织与合成。 （4）非线性。多媒体技术的非线性特点将改变人们传统循序性的读写模式，借助超文本链接（Hyper Text Link）的方法，把内容以一种灵活的方式呈现给用户，用户可以按照自己的目的进行信息的学习。 （5）实时性。多媒体作品的界面提供了方便的操作工具，用户可以按照自己的需要来随时决定使用何种信息和信息的表现形式。,8.2 多媒体数据压缩技术,信息量与数据量存在着如下关系： I = D - du，其中I代表信息量，D代表数据量，du代表冗余量。 冗余量在语音流、图像信息和视频信息中普遍存在。 多媒体数据压缩方法根据不同的依据产生不同的分类： （1）根据质量有无损失有损失编码和无损失编码，如通用数据压缩均为无损压缩编码，而多媒体数据压缩则既包含无损也包含有损压缩编码。 （2）按照其作用域在空间或频率上空间方法、变换方法和混合方法。 （3）根据是否自适应自适应性编码和非适应性编码。,8.3 多媒体计算机系统,一个完整的多媒体计算机系统由多媒体计算机硬件和多媒体计算机软件两部分组成。 8.3.1 多媒体计算机的硬件 多媒体个人计算机（Multimedia Personal Computer，MPC）是具有多媒体处理功能的个人计算机 多媒体硬件系统包括计算机硬件、声音/视频处理器、多种媒体输入/输出设备及信号转换装置、通信传输设备及接口装置等。其中最重要的是根据多媒体技术标准而研制生成的多媒体信息处理芯片和板卡、光盘驱动器等。,一般来说，多媒体个人计算机的基本硬件结构可以归纳为6个部分： （1）功能强大的中央处理器（CPU）。 （2）管理、控制各种接口与设备的配置。 （3）大容量的存储设备。 （4）高分辨率显示接口与设备。 （5）处理音响的接口与设备。 （6）处理图像的接口设备。,多媒体计算机的外部设备按照功能可以分为： （1）视频/音频输入设备。如摄像机、录像机、影碟机、扫描仪、话筒、录音机、激光唱盘和MIDI合成器等。 （2）视频/音频输出设备。如显示器、电视机、投影电视、扬声器、立体声耳机等。 （3）人机交互设备。如键盘、鼠标、触摸屏和光笔等。 （4）数据存储设备。如CD-ROM、磁盘、可擦写光盘等。,几种常用的扩充配置设备： （1）交互控制接口。用来连接触摸屏、鼠标、光笔等人机交互设备，这些设备将大大方便用户对MPC的使用。 （2）光盘驱动器。分为只读光驱（CD-ROM）和可读写光驱（CD-R，CD-RW），可读写光驱又称刻录机。光盘驱动器具有播放光盘（存储图形、动画、图像、声音、文本、数字音频、程序等资源）的功能，可重写光盘还具有写入信息的能力。 （3）音频卡（Sound Card）。数字音频处理的支持是多媒体计算机的重要方面，音频卡用于处理音频信息，它可以把话筒、录音机、电子乐器等输入的声音信息进行模数转换（A/D）、压缩等处理，也可以把经过计算机处理的数字化的声音信号通过还原（解压缩）、数模转换（D/A）后用音箱播放出来，或者用录音设备记录下来。 （4）图形加速卡。图文并茂的多媒体表现需要分辨率高、同屏显示色彩丰富的显示卡的支持，带有图形用户接口GUI加速器的局部总线显示适配器使得Windows的显示速度大大加快。,（5）视频采集卡。分为视频捕捉卡、视频处理卡、视频播放卡以及TV编码器等专用卡，其功能是连接摄像机、VCR影碟机、TV等设备，以便获取、处理和表现各种动画和数字化视频媒体。 （6）扫描卡。用来连接各种图形扫描仪的，是常用的静态照片、文字、工程图输入设备，可以将印刷材料上的文字和图像甚至实物扫描到计算机中，以便加工处理。 （7）打印机接口。打印机是最常用的多媒体输出设备之一，打印机接口用来连接各种打印机，包括普通打印机、激光打印机、彩色打印机等。 （8）网络接口。是实现多媒体通信的重要MPC扩充部件。计算机和通信技术相结合的时代已经来临，这就需要专门的多媒体外部设备将数据量庞大的多媒体信息传送出去或接收进来，通过网络接口相接的设备包括视频电话机、传真机、LAN和ISDN等。,8.3.2 多媒体计算机的软件 多媒体软件系统包括多媒体操作系统和多媒体处理系统工具两部分。多媒体操作系统又称为多媒体核心系统（Multimedia Kernel System），具有实时任务调度、多媒体数据转换和同步控制对多媒体设备的驱动和控制，以及图形用户界面管理等。 多媒体处理系统工具又称为多媒体系统开发工具软件，是多媒体系统的重要组成部分。多媒体编辑工具包括字处理软件、绘图软件、图像处理软件、动画制作软件、声音编辑软件以及视频编辑软件。 Authorware、Director、Multimedia Tool Book等都是比较有名的多媒体创作工具。,8.3.3 用户应用软件 用户应用软件是根据多媒体系统终端用户要求而定制的应用软件或面向某一领域的用户应用软件系统，是在多媒体创作平台上设计开发的面向应用领域的软件系统，通常由应用领域的专家和多媒体开发人员共同协作，配合完成。例如，教育软件、电子图书等面向大规模用户的系统产品。,8.4 多媒体信息的处理,8.4.1 文本信息的获取处理 文字是多媒体信息中最基本和最简单的表现形式，包括数字、符号和多种语言文字。文本信息的处理过程是：获取编辑表格及图文的编排输出。后三个步骤主要由各种文字处理软件来完成。多媒体技术关注的是第一个步骤文本信息的获取。文本信息的存储方式有电子文本和非电子文本两种。 对于现成的电子文本，如.doc、.txt、.hlp等格式一般可以直接被利用，或者经过格式转换后被利用,表8-2 常见的电子文本格式及转换方法,1. 手工输入 当文本量不大时，一般采用手工输入的方式比较简便。可以直接在多媒体制作平台上输入文本，也可以事先在文字处理软件（如Word、记事本、WPS文字等）中录入文本文件，然后调用到多媒体作品中。 2. 扫描输入 OCR的工作原理是采用扫描仪等输入设备把中文印刷体文稿输入计算机，辨认出汉字内容并以汉字内码表示出来。常用的中文文字识别软件有清华紫光OCR系统、汉王的OCR识别技术。 3. 手写输入 手写输入设备主要包括手写板和手写笔，利用手写笔可在手写板上书写文字， 手写笔一般都由两部分组成，一部分是与计算机相连的手写板，另一部分是在写字板上写字的笔。手写板上有连接线，接在计算机的串口。手写板分为电阻式和感应式两种，电阻式的手写板必须充分接触才能写出字；感应式手写板又分有压感和无压感两种，其中有压感的输入板能感应笔划的粗细，着色的浓淡，但容易受电器设备的干扰。还有直接用手指来输入文字的手写系统，采用的是新型的电容式触摸板。 4. 语音输入 语音识别是操作系统将口头语言转换为书面文字的能力。内部驱动程序（称为SR引擎）识别这些语言并能够将它们转换为文字。 语音识别率与输入质量相关，语音识别系统需要高性能的麦克风、扬声器或其他声音输入设备来接收声音。,8.4.2 静态图像信息处理 图形（图像）的重要技术指标有分辨率、色彩数、图形灰度。 分辨率：分为屏幕分辨率和输出分辨率两种，前者用每英寸行数表示，数值越大图形（图像）质量越好；后者衡量输出设备的精度，以每英寸的像素点数表示。 色彩数和图形灰度：用位（bit）表示，一般写成2的n次方，n代表位数。当图形（图像）达到24位时，可表现1677万种颜色，即真彩。,表8-3 主要的图像文件格式及说明,获取图形图像的方法主要有：利用扫描仪扫描，利用数码相机、摄像机等设备拍摄，利用绘图软件（如画图）绘制，从图像库（光盘或网络）中下载等。 目前的图形（图像）的描述格式大致可以分为两大类：一类为位图，以点阵形式描述图形图像；另一类称为矢量类或面向对象的图形（图像），以数学方法描述的一种由几何元素组成的图形（图像）。它对图像的表达细致、真实，缩放后图形（图像）的分辨率不变，在专业级的图形（图像）处理中运用较多。 常用的图形图像处理软件有ACDSee、Adobe Photoshop、3ds max、CorelDRAW、FreeHand、PhotoImpact、Cool 3D等等。,8.4.3 视频信息处理 动态图像包括动画和视频信息，是连续渐变的静态图像或图形序列。当序列中每帧图像是由人工或计算机产生的图像时，常称作动画；当序列中每帧图像是通过实时摄取自然景象或活动对象时，常称为影像视频，简称为视频。视频由一幅幅单独的画面序列（帧frame）组成，这些画面以一定的速率（fps）连续地投射在屏幕上，使观察者具有图像连续运动的感觉，可以形成电影、电视、摄像资料。视频文件的存储格式有AVI、MPG、MOV等。,表8-4 常见的视频文件格式介绍,获取数字视频材料则有3种方法： （1）利用视频采集卡对拍摄到的素材进行捕捉。 （2）利用软件从VCD或DVD中捕捉视频素材。 （3）利用截屏软件获取视频素材。,表8-5 Image菜单命令功能,8.4.4 动画原理及制作技术 动画也是一种动态图像形式，是以每秒15到20帧的速度顺序播放静止图像帧产生的视觉效果。 常见的动画文件格式有：GIF格式、FLIC（FLI/FLC）格式、SWF格式、AVI格式等。 表8-6 几种类型的动态图像比较,8.4.5 音频信息处理 1. 音频信息处理原理与过程 A/D转换的一个关键步骤是声音的采样和量化，得到数字音频信号。模拟音频是连续的；数字音频是离散的数字序列，把模拟音频转化成数字音频，需要进行“采样”在一定的采样周期的模拟音频波形上取点（幅度值），通过对采集得到的样本进行加工量化和编码，生成各种效果，如下图所示。,制作音频信号的硬件工具主要有转换芯片和测试仪等 （1）采样。每隔一个时间间隔在模拟声音的波形上取一个幅度值。采样频率是指计算机每秒钟采集多少个声音样本。 （2）量化。对声波波形幅度的数字化表示称之为“量化”。 未压缩的声音文件的存储量可用下式计算： 存储量（KB）=（采样频率KHz采样位数bit声道数时间秒）/8 （3）编码。按照一定的格式把经过采样和量化得到的离散数据记录下来，并在有用的数据中加入一些用于纠错、同步和控制的数据。,2. 常用的音频文件格式 数字音频（Audio）可分为波形声音、语音和音乐3种格式。波形声音包含了所有的声音形式，可以将任何声音都进行采样量化，文件格式是WAV文件或VOC文件；语音也是一种波形；音乐是符号化了的声音，乐谱可转变为符号媒体形式，文件格式是MID或CMF文件。,表8-7 几种主要的音频文件格式,3. 语音识别技术 语音识别技术是一种高效而自然的人机交互方式，是非特定人、大词汇量的连续语流（或连接词）识别系统，目的是由计算机将人的语流转化为相应的文本信息。 一个完整的语音识别系统可分为三部分：首先是语音特征提取，从语音波形中提取出随时间变化的语音特征序列；然后基于一定的识别算法建立声学模型与模式匹配，声学模型通常将获取的语音特征通过学习算法产生，在识别时将输入的语音特征同声学模型进行匹配与比较，得到最佳的识别结果；最后建立语言模型，实现语言处理。语言模型包括由识别语音命令构成的语法网络或由统计方法构成的语言模型，语言处理可以进行语法、语义分析。,4. 常用音频软件介绍 1）录音机 录音机是Windows操作系统附件中的一个应用软件，使用“录音机”可以录制、混合、播放和编辑声音。 2）音频编辑软件Cool Edit Pro 2.1 Cool Edit Pro 2.1是一个非常出色的数字音乐编辑器和MP3制作软件。它可以用声音来“绘制”：音调、歌曲的一部分、声音、弦乐、颤音、噪音或是调整静音。而且它还提供有多种特效为用户的作品增色。 使用Cool Edit Pro 2.1可以录制音频文件，可以对音频文件进行剪切、粘贴、合并、重叠声音操作，进行特效如放大、降低噪音压缩、扩展、回声、延迟、失真、调整音调等设计，还可以在多种文件格式之间进行转换。,8.4.6 多媒体作品的设计与制作 1. 多媒体创作系统与工具 多媒体创作系统介于多媒体操作系统与应用软件之间，是支持应用开发人员进行多媒体应用软件创作的工具，故又称为多媒体创作工具。 多媒体创作工具主要有下列几种类型： （1）基于流程图的创作工具。 （2）以时间线为基础的创作工具。 （3）基于页面或卡片的创作工具。,2. 多媒体作品的制作步骤 多媒体作品的制作步骤是： （1）确定多媒体作品的内容、框架和制作工具。 （2）编写脚本。 （3）