多媒体技术实践第一章-1

1、第一章第一章 多媒体技术概述多媒体技术概述 作作 者：金永涛、崔业勤、张兴华者：金永涛、崔业勤、张兴华基本概念基本概念u媒体与多媒体媒体与多媒体q媒体媒体媒体是信息表示和传输的载体媒体是信息表示和传输的载体媒体有两种含义媒体有两种含义q 媒质，如磁盘、光盘等媒质，如磁盘、光盘等 q 传输信息的载体，如数字、文字、声音等传输信息的载体，如数字、文字、声音等 基本概念基本概念u媒体分类媒体分类q感觉媒体感觉媒体能够直接作用于人的感觉器官，并使人产生能够直接作用于人的感觉器官，并使人产生直接感觉的媒体，其功能是反映人类对客观直接感觉的媒体，其功能是反映人类对客观环境的感知，表现为听觉、视觉、触觉、嗅

2、环境的感知，表现为听觉、视觉、触觉、嗅觉、味觉等感觉形式觉、味觉等感觉形式包括声音、文字、语言、音乐、图形、图像、包括声音、文字、语言、音乐、图形、图像、动画、影像等动画、影像等 基本概念基本概念u媒体分类媒体分类q表示媒体表示媒体为了加工、处理和传播感觉媒体而人为地研为了加工、处理和传播感觉媒体而人为地研究、构造出来的一种媒体形式，功能是定义究、构造出来的一种媒体形式，功能是定义信息的表达特征，其目的是为了更有效地将信息的表达特征，其目的是为了更有效地将感觉媒体从一个地方传播到另一个地方，以感觉媒体从一个地方传播到另一个地方，以便对其进行加工、处理和应用便对其进行加工、处理和应用包括包括AS

3、CII编码、文本编码、图像编码、音编码、文本编码、图像编码、音频编码、视频编码等频编码、视频编码等 基本概念基本概念u媒体分类媒体分类q显示媒体显示媒体将感觉媒体输入到计算机中或通过计算机展将感觉媒体输入到计算机中或通过计算机展示感觉媒体所使用的物理设备，即能够输入示感觉媒体所使用的物理设备，即能够输入信息和输出显示信息的物理设备信息和输出显示信息的物理设备包括键盘、鼠标、光笔、话筒、扫描仪、显包括键盘、鼠标、光笔、话筒、扫描仪、显示器、扬声器、打印机等示器、扬声器、打印机等 基本概念基本概念u媒体分类媒体分类q存储媒体存储媒体用于存放表示媒体的介质，功能是存储信息，用于存放表示媒体的介质，功

4、能是存储信息，即保存、记录和获取信息，以便计算机可以即保存、记录和获取信息，以便计算机可以随时对它们进行加工、处理和应用随时对它们进行加工、处理和应用包括包括MP4、MP3、硬盘、光盘等、硬盘、光盘等 基本概念基本概念u媒体分类媒体分类q传输媒体传输媒体用来将表示媒体从一个地方传输到另一个地用来将表示媒体从一个地方传输到另一个地方的物理载体，功能是用于连续信息传输，方的物理载体，功能是用于连续信息传输，具体表现为信息传输的物理介质具体表现为信息传输的物理介质包括双绞线、同轴电缆、光纤、微波、红外包括双绞线、同轴电缆、光纤、微波、红外线等线等 u各种媒体间的关系各种媒体间的关系基本概念基本概念u

5、媒体与多媒体媒体与多媒体q概念概念多媒体技术是指使用计算机综合处理文本、声音、多媒体技术是指使用计算机综合处理文本、声音、图形、图像、动画、视频等多种不同类型媒体信图形、图像、动画、视频等多种不同类型媒体信息，并集成为一个具有交互性的系统的技术，其息，并集成为一个具有交互性的系统的技术，其实质是通过进行数字化采集、获取、压缩实质是通过进行数字化采集、获取、压缩/解压缩、解压缩、编辑、存储等加工处理，再以单独或合成形式表编辑、存储等加工处理，再以单独或合成形式表现出来的一体化处理技术。现出来的一体化处理技术。基本概念基本概念u媒体与多媒体媒体与多媒体q多媒体技术特性多媒体技术特性多样性多样性q主

6、要指的是表示媒体的多样性，体现在信息采集、主要指的是表示媒体的多样性，体现在信息采集、传输、处理和显示的过程中，要涉及到多种表示传输、处理和显示的过程中，要涉及到多种表示媒体的相互作用媒体的相互作用 q多媒体常用的媒体元素有简单的文本，有与空多媒体常用的媒体元素有简单的文本，有与空间相关联的图形和图像，有与时间相关联的音频间相关联的图形和图像，有与时间相关联的音频信息，还有与时间、空间同时关联的视频信息等信息，还有与时间、空间同时关联的视频信息等 基本概念基本概念u媒体与多媒体媒体与多媒体q多媒体技术特性多媒体技术特性集成性集成性q指将不同的媒体信息有机地组合在一起，形成一指将不同的媒体信息有

7、机地组合在一起，形成一个完整的整体个完整的整体 q主要表现在信息媒体的集成和存储、处理媒体信主要表现在信息媒体的集成和存储、处理媒体信息的物理设备的集成两方面息的物理设备的集成两方面 基本概念基本概念u媒体与多媒体媒体与多媒体q多媒体技术特性多媒体技术特性交互性交互性q指人可以介入到各种媒体加工、处理的过程中，指人可以介入到各种媒体加工、处理的过程中，从而更有效地控制和应用各种媒体信息从而更有效地控制和应用各种媒体信息q交互性不仅增加了用户对信息的注意力和理解能交互性不仅增加了用户对信息的注意力和理解能力，延长了信息的保留时间，而且交互活动本身也力，延长了信息的保留时间，而且交互活动本身也作为

8、一种媒体加入了信息传递和转换的过程，从而作为一种媒体加入了信息传递和转换的过程，从而能获得更多的信息能获得更多的信息基本概念基本概念u媒体元素媒体元素q文本文本文本（文本（Text）指各种文字，由字符型数据）指各种文字，由字符型数据（如数字、字母、符号等）和汉字组成，包（如数字、字母、符号等）和汉字组成，包括各种字体、尺寸、格式及色彩的文本括各种字体、尺寸、格式及色彩的文本格式化文件、非格式化文件格式化文件、非格式化文件基本概念基本概念u媒体元素媒体元素q图形图形概念：从点、线、面到三维空间的黑白或彩色几何图概念：从点、线、面到三维空间的黑白或彩色几何图，一般指用计算机绘制的点、直线、圆、圆弧

9、、矩形、一般指用计算机绘制的点、直线、圆、圆弧、矩形、任意曲线和图表等任意曲线和图表等图形又称为矢量图图形又称为矢量图 通过软件可以读取图形格式指令，将图形转换为屏通过软件可以读取图形格式指令，将图形转换为屏幕上所显示的形状和颜色，这些生成图形的软件通幕上所显示的形状和颜色，这些生成图形的软件通常称为绘图程序常称为绘图程序图形主要用于表示线框形的图画、工程制图、美术图形主要用于表示线框形的图画、工程制图、美术字等字等 基本概念基本概念u媒体元素媒体元素q图形图形特点特点 只记录生成图的算法和图上的某些特征点只记录生成图的算法和图上的某些特征点 一组描述点、线、面等几何元素特征的指令集合一组描述

10、点、线、面等几何元素特征的指令集合 进行旋转、缩放、扭曲操作时，图形不易失真进行旋转、缩放、扭曲操作时，图形不易失真 占用较小的存储空间占用较小的存储空间 打印输出和放大时图形的质量较高打印输出和放大时图形的质量较高 显示速度慢显示速度慢基本概念基本概念u媒体元素媒体元素q图像图像概念：由输入设备捕捉的实际场景画面，或以概念：由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面数字化形式存储的任意画面 像素是图像中的基本组成单元像素是图像中的基本组成单元图像又称为位图图像又称为位图 位用来定义图中每个像素点的颜色和亮度位用来定义图中每个像素点的颜色和亮度 图像处理时一般要考虑分辨率、图像

11、深度与显图像处理时一般要考虑分辨率、图像深度与显示深度、图像文件大小三个因素示深度、图像文件大小三个因素基本概念基本概念u媒体元素媒体元素q图像图像分辨率包括屏幕、图像、像素分辨率分辨率包括屏幕、图像、像素分辨率图像深度与显示深度图像深度与显示深度q图像深度（或称图像灰度）表示数字位图图像中每图像深度（或称图像灰度）表示数字位图图像中每个像素点上用于表示颜色的二进制数字位数个像素点上用于表示颜色的二进制数字位数 q显示深度表示显示器上每个点用于显示颜色的二进显示深度表示显示器上每个点用于显示颜色的二进制数字位数制数字位数 基本概念基本概念u媒体元素媒体元素q图像图像图像文件大小图像文件大小图形

12、与图像的区别图形与图像的区别q数据记录方式不同数据记录方式不同 q处理操作不同处理操作不同 q数据量不同数据量不同 q表现力不同表现力不同 基本概念基本概念u媒体元素媒体元素q音频音频对音频信号的处理，主要是编辑声音和声音的不同对音频信号的处理，主要是编辑声音和声音的不同存储格式之间的转换存储格式之间的转换 多媒体音频技术主要包括音频信号的采集、量化、多媒体音频技术主要包括音频信号的采集、量化、压缩解压以及声音的播放压缩解压以及声音的播放 分类分类q波形声音、语音、音乐波形声音、语音、音乐 基本概念基本概念u媒体元素媒体元素q音频音频影响因素影响因素q采样频率采样频率q量化精度量化精度q通道数

13、通道数基本概念基本概念u媒体元素媒体元素q视频视频视频信息实际上是由许多幅单个画面所构成的，视频信息实际上是由许多幅单个画面所构成的，将若干有联系的图像数据连续播放便形成了视将若干有联系的图像数据连续播放便形成了视频频视频信号的数字化是指在一定时间内以一定的视频信号的数字化是指在一定时间内以一定的速度对单帧视频信号进行捕获、处理以生成数速度对单帧视频信号进行捕获、处理以生成数字信息的过程字信息的过程 基本概念基本概念u媒体元素媒体元素q视频视频数字视频优缺点数字视频优缺点 * 可以无失真地进行无限次拷贝可以无失真地进行无限次拷贝 * 可以进行创造性的编辑可以进行创造性的编辑 * 创作费用低、效

14、率高创作费用低、效率高 * 数据量大数据量大 ，要进行压缩编码，要进行压缩编码基本概念基本概念u媒体元素媒体元素q视频视频主要技术参数主要技术参数q帧速：每秒钟顺序播放多少幅图像帧速：每秒钟顺序播放多少幅图像 q数据量的大小：帧速乘以每幅图像的数据量数据量的大小：帧速乘以每幅图像的数据量 q图像质量图像质量 帧：视频基本组成单元帧：视频基本组成单元计算机动画分类计算机动画分类q造型动画造型动画基本概念基本概念u媒体元素媒体元素q动画动画若干幅内容连续的静态图像的连续播放，适于若干幅内容连续的静态图像的连续播放，适于描述与运动有关的过程，便于直观有效的理解描述与运动有关的过程，便于直观有效的理解

15、造型动画就是对每个运动的物体分别进行设计，造型动画就是对每个运动的物体分别进行设计，对每个对象的属性特征，如大小、形状、颜色对每个对象的属性特征，如大小、形状、颜色等进行设置，然后由这些对象构成完整的帧画等进行设置，然后由这些对象构成完整的帧画面。造型动画的每一帧由图形、声音、文字、面。造型动画的每一帧由图形、声音、文字、调色板等造型元素组成，动画中每一帧图的表调色板等造型元素组成，动画中每一帧图的表演和行为由制作表组成的脚本控制。演和行为由制作表组成的脚本控制。 q帧动画帧动画 帧动画则是一幅幅位图组成的连续画面，就像电影帧动画则是一幅幅位图组成的连续画面，就像电影胶片或视频画面一样，要分别

16、设计每屏要显示的画胶片或视频画面一样，要分别设计每屏要显示的画面，将这些画面连续播放就成为动画面，将这些画面连续播放就成为动画 多媒体系统的关键技术多媒体系统的关键技术u多媒体技术分类多媒体技术分类q多媒体基本技术多媒体基本技术 研究多媒体信息的获取、存储、处理、传输、压缩研究多媒体信息的获取、存储、处理、传输、压缩/解压缩等内容解压缩等内容 q多媒体系统的构成与实现技术多媒体系统的构成与实现技术 研究和多媒体技术相关的计算机硬件系统集成研究和多媒体技术相关的计算机硬件系统集成q多媒体的创作与表现技术多媒体的创作与表现技术 研究多媒体应用软件开发和多媒体应用设计等内容研究多媒体应用软件开发和多

17、媒体应用设计等内容 多媒体系统的关键技术多媒体系统的关键技术u视音频数据压缩视音频数据压缩/解压缩技术解压缩技术q解决的问题解决的问题视音频数据占用空间大，要求传输速度快视音频数据占用空间大，要求传输速度快举例举例q选择压缩编码依据选择压缩编码依据计算机软件或集成电路芯片可快速实现计算机软件或集成电路芯片可快速实现符合压缩编码符合压缩编码/解压缩编码的国际标准解压缩编码的国际标准多媒体系统的关键技术多媒体系统的关键技术u多媒体专用芯片技术多媒体专用芯片技术q解决的问题解决的问题视音频信号的快速压缩视音频信号的快速压缩/解压缩和播放处理，需解压缩和播放处理，需要大量的快速计算要大量的快速计算 图

18、像的特殊效果处理图像的特殊效果处理也需要较快的运算和处理也需要较快的运算和处理速度速度q分类分类固定功能芯片固定功能芯片可编程的数字信号处理器芯片可编程的数字信号处理器芯片 多媒体系统的关键技术多媒体系统的关键技术u大容量信息存储技术大容量信息存储技术q解决的问题解决的问题视音频数据即便压缩也需要占用较大存储空间视音频数据即便压缩也需要占用较大存储空间q硬盘硬盘主流硬盘、主流硬盘、固态硬盘固态硬盘qDVD-ROM单面单层单面单层 、双面双层、双面双层多媒体系统的关键技术多媒体系统的关键技术u多媒体输入多媒体输入/输出技术输出技术q媒体变换技术媒体变换技术 改变媒体的表现形式改变媒体的表现形式

19、，例如视频卡、声卡等，例如视频卡、声卡等 q媒体识别技术媒体识别技术对信息进行一对一的映像过程对信息进行一对一的映像过程 ，例如语音识别等，例如语音识别等q媒体理解技术媒体理解技术对信息进行更进一步的分析处理和理解信息内容对信息进行更进一步的分析处理和理解信息内容 ，例如自然语言理解、图像理解等例如自然语言理解、图像理解等 多媒体系统的关键技术多媒体系统的关键技术u多媒体输入多媒体输入/输出技术输出技术q媒体综合技术媒体综合技术把低维信息表示映像成高维的模式空间的过程，例把低维信息表示映像成高维的模式空间的过程，例如语音合成器如语音合成器 多媒体系统的关键技术多媒体系统的关键技术u多媒体软件技

20、术多媒体软件技术q多媒体操作系统多媒体操作系统 负责多媒体环境下多任务的调度，保证音频、视频同负责多媒体环境下多任务的调度，保证音频、视频同步控制以及信息处理的实时性，提供多媒体信息的各步控制以及信息处理的实时性，提供多媒体信息的各种基本操作和管理，具有对设备的相对独立性与可扩种基本操作和管理，具有对设备的相对独立性与可扩展性展性Windows、OS/2、Macintosh操作系统操作系统多媒体系统的关键技术多媒体系统的关键技术u多媒体软件技术多媒体软件技术q多媒体应用系统制作技术多媒体应用系统制作技术在各种素材制作完成的基础上，借助于多媒体创作在各种素材制作完成的基础上，借助于多媒体创作工具

21、来进行多媒体应用系统的创作工具来进行多媒体应用系统的创作高档的创作工具可用于影视系统的动画制作及特技高档的创作工具可用于影视系统的动画制作及特技效果，中档的用于培训、教育和娱乐节目制作，低档效果，中档的用于培训、教育和娱乐节目制作，低档的可用于商业简介、家庭学习材料的编辑的可用于商业简介、家庭学习材料的编辑 q多媒体素材采集与处理技术多媒体素材采集与处理技术作用：为多媒体应用系统的创作准备各种素材作用：为多媒体应用系统的创作准备各种素材 主要针对音频和视频信号主要针对音频和视频信号 多媒体系统的关键技术多媒体系统的关键技术u多媒体软件技术多媒体软件技术q多媒体应用系统开发技术多媒体应用系统开发

22、技术主要研究采用何种软件开发方法，才能够更好地组主要研究采用何种软件开发方法，才能够更好地组织各种多媒体素材，创作出具有较高水准的多媒体作织各种多媒体素材，创作出具有较高水准的多媒体作品，开发出用户满意的多媒体应用程序品，开发出用户满意的多媒体应用程序 主要采用面向对象的设计方法和编程技术主要采用面向对象的设计方法和编程技术多媒体系统的关键技术多媒体系统的关键技术u多媒体软件技术多媒体软件技术研究内容研究内容q多媒体数据模型多媒体数据模型 q数据压缩和解压缩的格式数据压缩和解压缩的格式 q多媒体数据管理及存取方法多媒体数据管理及存取方法 q支持多媒体操作的用户界面支持多媒体操作的用户界面 q多

23、媒体数据库技术多媒体数据库技术分类分类q关系型数据库关系型数据库 、面向对象数据库等、面向对象数据库等多媒体系统的关键技术多媒体系统的关键技术u多媒体软件技术多媒体软件技术q多媒体界面技术多媒体界面技术主要是媒体集成技术和智能化技术主要是媒体集成技术和智能化技术 未来要实现界面智能化，使界面具有自适应能力未来要实现界面智能化，使界面具有自适应能力 多媒体系统的关键技术多媒体系统的关键技术u多媒体通信技术多媒体通信技术q解决的问题解决的问题多媒体通信要求系统能够综合地传输、交换各多媒体通信要求系统能够综合地传输、交换各种类型的多媒体信息，而不同的信息呈现出不种类型的多媒体信息，而不同的信息呈现出

24、不同的特征。同的特征。 q多媒体网络系统就是将多个多媒体计算机连接起多媒体网络系统就是将多个多媒体计算机连接起来，以实现共享多媒体数据和多媒体通信的计算来，以实现共享多媒体数据和多媒体通信的计算机网络系统。机网络系统。 多媒体系统的关键技术多媒体系统的关键技术u虚拟现实技术虚拟现实技术q虚拟现实技术是利用计算机技术生成一个具有逼虚拟现实技术是利用计算机技术生成一个具有逼真的视觉、听觉、触觉及嗅觉等的感觉世界，通真的视觉、听觉、触觉及嗅觉等的感觉世界，通过多种传感设备使用户过多种传感设备使用户“投入投入”到该模拟环境中，到该模拟环境中，在用户与模拟环境之间直接实现自然交互的技术在用户与模拟环境之

25、间直接实现自然交互的技术q虚拟现实系统是一种多媒体计算机系统，它利用虚拟现实系统是一种多媒体计算机系统，它利用多种传感器输入信息仿真人的各种感觉，经过计多种传感器输入信息仿真人的各种感觉，经过计算机高速处理，再由头盔显示器、声音输出装置、算机高速处理，再由头盔显示器、声音输出装置、触觉输出装置及语音合成装置等输出设备，以人触觉输出装置及语音合成装置等输出设备，以人类感官易于接受的形式表现给用户类感官易于接受的形式表现给用户多媒体系统的关键技术多媒体系统的关键技术q特征特征多感知性多感知性临场性临场性交互性交互性自主性自主性 q举例举例u虚拟现实技术虚拟现实技术多媒体系统的关键技术多媒体系统的关

26、键技术u超文本与超媒体技术超文本与超媒体技术q超文本超文本一个非线性的结构，以结点为单位组织信息，一个非线性的结构，以结点为单位组织信息，在结点与结点之间通过表示它们之间关系的链，在结点与结点之间通过表示它们之间关系的链，加以连接构成表达特定内容的信息网络，用户加以连接构成表达特定内容的信息网络，用户可以有选择地查阅感兴趣的文本可以有选择地查阅感兴趣的文本多媒体系统的关键技术多媒体系统的关键技术u超文本与超媒体技术超文本与超媒体技术q超媒体超媒体提供一种机制或结构，使得不同的媒体能够有提供一种机制或结构，使得不同的媒体能够有机地连接起来，用户可以按照设定的线路在各机地连接起来，用户可以按照设定

27、的线路在各种媒体和信息中种媒体和信息中“航行航行”，这种连接机制或结，这种连接机制或结构称为超媒体构称为超媒体 多媒体系统的关键技术多媒体系统的关键技术u人机交互技术人机交互技术q概念概念人机交互又称用户界面、人机界面、人机接口等，人机交互又称用户界面、人机界面、人机接口等，是人与计算机之间传递交换信息的媒介，是计算机与是人与计算机之间传递交换信息的媒介，是计算机与人（使用者）之间通信和对话的接口，是计算机系统人（使用者）之间通信和对话的接口，是计算机系统的重要组成部分的重要组成部分主要包括人到计算机和计算机到人的信息交换两部主要包括人到计算机和计算机到人的信息交换两部分分多媒体系统的关键技术多媒体系统的关