多媒体技术与信息处理概述

课件制作人声明欢迎使用本课件。本课件由13个文件组成，使用者可根据教学要求自由修改此课件，但不能擅自出版销售。若发现课件中的缺点和错误，欢迎及时提出宝贵意见(9)，以便制作人及时修订和更正。课件制作人：杨帆、赵立臻2011年12月第一章多媒体技技术与信信息处理理概述本章导读读多媒体技技术被称称为是继继纸张、、印刷术术、电报报电话、、广播电电视、计计算机之之后，人人类处理理信息手手段的又又一大飞飞跃，是是计算机机技术的的又一次次革命。。目前，，“多媒媒体”一一词已经经进入千千家万户户，不分分行业和和领域，，人们都都在关注注多媒体体技术的的发展和和市场变变化，并并不知不不觉地加加入到了了多媒体体技术推推广和多多媒体信信息处理理应用的的行列中中。多媒媒体技术术正在不不断地改改变着人人们的多多种行为为方式，，成为信信息社会会的主导导技术之之一。为为了更好好地掌握握和应用用多媒体体技术，，本章将将重点介介绍多媒媒体技术术的基本本概念和和基本特特性，多多媒体信信息及其其组织方方式，多多媒体信信息处理理技术以以及多媒媒体技术术的发展展等内容容。本章主要要内容：：1.1多多媒体体技术的的基本概概念1.2多多媒体体信息的的组织与与表现方方式1.3多多媒体体技术简简介1.4多多媒体体技术的的发展与与应用1.1多多媒体体技术的的基本概概念1）媒体体（）::信息传传播、交交流、转转换的载载体。如如书本、、报纸、、电视、、广告、、杂志、、磁盘、、光盘、、磁带及及相关设设备等。。1.1..1媒媒体及及其分类类计算机系系统中，，媒体包包含两种种特定的的含义，，一是指指信息存存储与传传输的实实体，如如磁盘、、光盘、、磁带、、相关设设备、通通信网络络等；二二是指信信息的表表现形式式（或者者说传播播形式）），如数数字、文文字、声声音、图图形和图图像、动动画、影影视节目目等。2）媒体体的分类类国际电话话电报咨咨询委员员会（））制定了了媒体分分类标准准，将信信息的表表示形式式、信息息编码、、信息转转换与存存储设备备、信息息传输网网络等统统一规定定为媒体体，并划划分为以以下5种种类型：：①感觉媒媒体（））：直直接作用用于人的的感官，，使人能能直接产产生感觉觉。②表示媒媒体（））：指指各种编编码，如如语言编编码、文文本编码码和图像像编码等等。这是是为了加加工、处处理和传传输感觉觉媒体而而人为地地研究、、构造出出来的一一类媒体体。③表现媒媒体（））：指指将感觉觉媒体输输入到计计算机中中或通过过计算机机展示感感觉媒体体的物理理设备，，即获取取和还原原感觉媒媒体的计计算机输输入和输输出设备备。④存储媒媒体（））：指指存储表表示媒体体信息的的物理设设备。⑤传输媒媒体（））：指指传输表表示媒体体的物理理介质。。在上述的的各种媒媒体中，，表示媒媒体是核核心。图图1-2反映了了不同媒媒体与计计算机信信息处理理过程的的关系。。计算机主机（CPU、RAM）纸质图片声音视频远程计算机网络交换文本感觉媒体存储媒体表现媒体表示媒体表现媒体传输媒体纸质图片声音视频文本感觉媒体磁盘、光盘等图1-2媒体与计算机系统输入设备输出设备从表示媒媒体与时时间的关关系来分分，不同同形式的的表示媒媒体可以以被划分分为两大大类：静态媒体体：信息息的再现现与时间间必然无无关，如如文本、、图形、、图像等等等；连续媒体体：具有有隐含的的时间关关系，其其播放速速度将影影响所含含信息的的再现。。如声音音、动画画、视频频等。连连续媒体体的引入入给传统统的计算算机系统统、通信信系统和和分布式式应用系系统等都都提出了了更高的的要求。。1、多媒媒体多媒体（（）:是是由两种种以上单单一媒体体融合而而成的信信息综合合表现形形式，是是多种媒媒体的综综合、处处理和利利用的结结果。具具体表现现在：1.1..2多多媒体体与多媒媒体技术术多媒体的的实质是是将不同同表现形形式的媒媒体信息息数字化化并集成成，通过过逻辑链链接形成成有机整整体，同同时实现现交互控控制。多种媒体体表现多种感官官作用多种设备备支持多学科交交叉多领域应应用多媒体与与传统的的传媒有有以下三三点不同同:传统传媒媒基本是是模拟信信号，而而多媒体体信息都都是数字字化的。。传统传媒媒只能让让人们被被动地接接受信息息，而多多媒体可可以让人人们主动动与信息息媒体交交互。传统传媒媒一般是是单一形形式，而而多媒体体是两种种以上不不同媒体体信息的的有机集集成。2、多媒媒体技术术多媒体技技术是以以计算机机技术为为主体，，结合通通信、微微电子、、激光、、广播电电视等多多种技术术而形成成的用来来综合处处理多种种媒体信信息的交交互性信信息处理理技术。。具体来来说，多多媒体技技术是以以计算机机（或微微处理芯芯片）为为中心，，把数字字、文字字、图形形、图像像、声音音、动画画、视频频等不同同媒体形形式的信信息集成成在一起起，进行行加工处处理的交交互性综综合技术术。这里里说的““加工处处理”主主要是指指对这些些媒体信信息的采采集、压压缩、存存储、控控制、编编辑、变变换、解解压缩、、播放、、传输等等。多媒体技技术具有有集成性性、实时时性、交交互性、、多样性性和数字字化等五五个基本本特征，，也是多多媒体技技术要解解决的五五个基本本问题。。1.1..3多多媒体体技术的的基本特特征集成性::主要要表现在在两个方方面，即即多种信信息媒体体的集成成和处理理这些媒媒体的软软硬件技技术的集集成。实时性::由于声声音及活活动的视视频图像像是和时时间密切切相关的的连续媒媒体，所所以多媒媒体技术术必须要要支持实实时处理理。交互性::向用用户提供供了更加加有效地地控制和和使用信信息的手手段，除除了操作作上的控控制自如如（可通通过键盘盘、鼠标标、触摸摸屏等操操作）外外，在媒媒体综合合处理上上也可做做到随心心所欲。。多样性：：指媒体体种类及及其处理理技术的的多样化化。数字化：：处理多多媒体信信息的关关键设备备是计算算机，所所以要求求不同媒媒体形式式的信息息都要进进行数字字化。多媒体系系统是一一种趋于于人性化化的多维维信息处处理系统统，它以以计算机机系统为为核心，，利用多多媒体技技术，实实现多媒媒体信息息（包括括文本、、声音、、图形图图像、视视频、动动画等））的采集集、数据据压缩编编码、实实时处理理、存储储、传输输、解压压缩、还还原输出出等综合合处理功功能，并并提供友友好的人人机交互互方式。。一个多媒媒体系统统应具备备以下特特点：①界面面友好，，更加人人性化②视听听触觉全全方位感感受，效效果好③人机机交互，，随心所所欲④信息息组织完完善⑤模拟拟真实环环境，激激发创造造性思维维1.1..4多多媒体体系统1.2多多媒媒体信息息的组织织与表现现方式目前，多多媒体信信息在计计算机中中的基本本形式可可划分为为：文本本、图形形、图像像、音频频、视频频和动画画等，这这些基本本信息形形式也称称为多媒媒体信息息的基本本元素。。多媒体信息文本图形图象音频视频动画………1.2..1多多媒体体信息1、文本本（）文本是以以文字、、数字和和各种符符号表达达的信息息形式，，是现实实生活中中使用最最多的信信息媒体体，主要要用于对对信息或或知识的的描述。。2、图形形（）图形是指指用计算算机绘图图软件绘绘制的从从点、线线、面到到三维空空间的以以矢量坐坐标或位位图像素素表示的的黑白或或彩色图图形。如如直线、、矩形、、圆、多多边形以以及其他他可用角角度、坐坐标和距距离来表表示的几几何图形形。文本有两两种主要要形式：：格式化文文本无格式化化文本文本内容容的组织织方式都都是按线线性方式式顺序组组织的。。3．图像像（）这里指静静止图像像，图像像可以从从现实世世界中捕捕获，也也可以利利用计算算机产生生数字化化图像。。图像是是由单位位像素组组成的位位图来描描述的，，每个像像素点都都用二进进制数编编码，用用来反映映像素点点的颜色色和亮度度。4、音频频（）音频是指指在20～20频率率范围的的连续变变化的声声波信号号，可分分为语音音、音乐乐和合成成音效3种形式式。5、视频频（）与与动画（（）视频是指指从摄像像机、录录像机、、影碟机机以及电电视接收收机等影影像输出出设备得得到的连连续活动动图像信信号。动画则是是采用计计算机动动画设计计软件创创作由若若干幅图图像进行行连续播播放而产产生的具具有运动动感觉的的连续画画面。视频和动动画的共共同特点点是每幅幅图象都都是前后后关联的的，通常常后幅图图像是前前幅图像像的变形形，每幅幅图像称称为帧。。帧以一一定的速速率（,,帧//秒）连连续投射射在屏幕幕上，就就会产生生连续运运动的感感觉。当当播放速速率在24以上上时，人人的视觉觉有自然然连续感感。在多媒体体技术出出现之前前，计算算机上一一般只能能处理文文本信息息。文本本信息的的组织方方式是线线性的顺顺序组织织，我们们称之为为顺序文文本；超链接技技术产生生之后（（1965年）），出现现了超文文本，可可提供符符合人类类思维过过程的联联想式非非线性网网络组织织方式；；超文本与与多媒体体技术的的结合，，不仅可可提供非非线性的的组织方方式，还还可将多多种媒体体信息混混合组织织，产生生了超媒媒体。因此，多多媒体信信息的组组织方式式就是由由超链接接和多种种媒体对对象组成成的超媒媒体。1.2..2多多媒体体信息的的组织方方式1、顺序序文本顺序文本本是线性性的顺序序组织形形式，如如下图所所示文本内容容按照其其自身要要表达的的逻辑关关系和自自然顺序序线性排排列，这这种组织织方式决决定了人人们的阅阅读方式式只能是是按页逐逐行从左左到右阅阅读，阅阅读路径径是单一一的。顺序文本是线性的，123…2、超文文本从技术角角度讲，，超文本本是一种种非线性性的网状状结构，，它由信信息结点点和表示示信息结结点间相相关性的的链构成成。结点点是指文文本中具具有相对对独立性性的基本本信息块块；而链链则是指指文本内内容之间间的相关关性关系系，它由由检索关关键字和和检索内内容的位位置指针针组成。。具体结结构如下下图所示示。ACEBDF●●●●●●●●●3、超媒媒体超媒体（（）是在在超文本本概念的的基础上上提出的的一个多多媒体信信息组织织的新概概念。它它以实现现多种媒媒体信息息的非线线性组织织为基本本要求，，从信息息结点和和链两个个方面对对超文本本概念作作了扩充充：信息结点点的内容容不再局局限于文文本，而而是扩展展到图形形、图像像、声音音、视频频、动画画等不同同媒体形形式；反映信息息结点间间关系的的“链””不仅能能链接文文本，更更能链接接图形、、图像、、声音、、视频、、动画等等多媒体体信息。。这样形成成的多媒媒体信息息组织机机制就称称为超媒媒体，其其中能够够链接各各种媒体体信息的的链也被被称为超超级链接接（）。。超媒体与与超文本本在组织织结构上上完全相相同，但但在链接接对象和和链接定定义（用用）方面面有不同同。下图图给出了了一个简简单的超超媒体实实例，其其中的1至4分分别指向向位于全全球不同同网站的的多媒体体信息资资源。全球新闻中国华尔街伊战图片报道●财经●科技●图片●●URL1URL2URL3URL4URL4在多媒体体系统中中，不同同方式组组织的多多媒体信信息也是是以不同同类型的的数据文文件形式式存在的的，所有有文件的的内容均均是抽象象的二进进制数据据，只有有通过对对这些抽抽象数据据的具体体解释，，还原出出他们所所代表的的真正意意义，才才能将丰丰富多彩彩的多媒媒体信息息展示在在人的面面前。所有媒体体形式的的数据文文件内容容均是通通过对应应类型的的控制程程序来表表现的，，这些控控制程序序被称为为播放器器、浏览览器或阅阅读器。。如音频频播放器器、视频频播放器器、图像像浏览器器、文本本阅读器器、网页页浏览器器等。1.2..3多多媒体体信息的的表现方方式音频播放放器：还还原、播播放不同同格式的的音频信信息；视频播放放器：还还原、播播放不同同格式的的视频信信息；图像浏览览器：还还原、播播放不同同格式的的静态图图像信息息；文本阅读读器：还还原、播播放不同同格式的的文本信信息；网页浏览览器：浏浏览基于于的集成成多媒体体页面（（超媒体体）。不同的控控制程序序，可还还原、表表现不同同的媒体体信息。。在具体的的软件产产品中，，许多播播放器都都是多功功能合一一的，能能够播放放不同格格式和不不同媒体体的信息息，如、、、、等，，它们不不仅能够够播放单单独的音音频、视视频，还还能播放放音视频频混合以以及超媒媒体内容容等。一个简单单的文件件内容与与浏览结结果的对对照1.3多多媒媒体技术术简介多媒体的基础技术多媒体信息处理技术多媒体数据压缩与解压缩技术文本信息处理技术多媒体专用芯片技术图形图像处理技术多媒体信息存储技术音频信息处理技术多媒体网络通信技术视频信息处理与动画技术多媒体系统软件技术多媒体集成（超文本与超媒体）技术人机交互技术多媒体技技术是多多学科及及多技术术交叉的的综合性性技术，，主要涉涉及从系系统角度度研究的的多媒体体基础技技术和从从应用角角度研究究的多媒媒体信息息处理技技术以及及从人性性化交互互方式角角度研究究的人机机交互技技术。数据压缩缩技术是是多媒体体技术中中的关键键技术。。数据压缩缩的实质质是在满满足还原原信息质质量要求求的前提提下，通通过代码码转换或或消除信信息冗余余量的方方法来实实现采样样数据量量的大幅幅缩减。。被压缩缩的对象象是原始始的采样样数据，，压缩后后的数据据称为压压缩数据据。与数据压压缩相对对应的处处理称为为解压缩缩，又称称数据还还原。它它是将压压缩数据据通过一一定的解解码算法法还原到到原始信信息的过过程。通通常，人人们把包包括压缩缩与解压压缩内容容的技术术统称为为数据压压缩技术术。1.3..1数数据压压缩技术术1.3..2多多媒体体信息存存储技术术多媒体信信息存储储技术主主要研究究多媒体体信息的的逻辑组组织、存存储体的的物理特特性、逻逻辑组织织到物理理组织的的映射关关系、多多媒体信信息的存存取访问问方法、、访问速速度、存存储可靠靠性等问问题，具具体技术术包括磁磁盘存储储技术、、光存储储技术以以及其他他存储技技术。1.3..2多多媒体体信息存存储技术术光存储技技术是伴伴随着多多媒体技技术的发发展而发发展的，，所以，，多媒体体信息的的存储技技术一般般特指光光存储技技术。最早的光光盘的存存储容量量为650，目目前广泛泛使用的的光盘存存储容量量最高可可达17，同属属“蓝光光”类型型的和光光盘的的双面存存储容量量分别达达到50和30。多媒体网网络通信信技术是是指通过过对多媒媒体信息息特点和和网络技技术的研研究，建建立适合合传输文文本、图图形、图图像、声声音、视视频、动动画等多多媒体信信息传输输的信道道、通信信协议和和交换方方式等，，解决多多媒体信信息传输输中的实实时与媒媒体同步步等问题题。现有的通通信网络络大体上上可分为为四类：：1.3..3多多媒体体网络通通信技术术电信网络络计算机网网络有线电视视网络移动多媒媒体网络络逐渐融合，提供快速高效的多媒体信息综合服务。专用芯片片是改善善多媒体体计算机机硬件体体系结构构和提高高其性能能的关键键。为了了实现音音频、视视频信号号的快速速压缩、、解压缩缩和实时时播放，，需要大大量的快快速计算算。只有有不断研研发高速速专用芯芯片，才才能取得得满意的的处理效效果。多媒体计计算机专专用芯片片可归纳纳为两种种类型：：固定功能能的芯片片；芯片（，，可可编程的的数字信信号处理理器）。。1.3..4多多媒体体专用芯芯片技术术人机交互互（，，，又又称，））技技术，主主要研究究多媒体体信息的的输入／／输出以以及人与与计算机机系统的的交互方方式和交交互性能能。主要内容容包括：：媒体变换换技术：：指改变变媒体的的表现形形式媒体识别别技术：：对信息息进行一一对一的的映像过过程媒体解析析技术：：对信息息进行更更进一步步的分析析处理并并理解信信息内容容。1.3..5人人机交交互技术术1.3..6多多媒体体系统软软件技术术1、多媒媒体操作作系统是多媒体体软件技技术的核核心，负负责多媒媒体环境境下多任任务的调调度，提提供多媒媒体信息息的各种种基本操操作和管管理，保保证音频频、视频频同步控控制以及及信息处处理的实实时性，，具备综综合处理理和使用用各种媒媒体的能能力，能能灵活地地调度多多种媒体体数据并并能进行行相应的的传输和和处理，，改善工工作环境境并向用用户提供供友好的的人机交交互界面面等。2、多媒媒体数据据库技术术目的：处处理结构构化和大大量非结结构化数数据，解解决数据据模型、、数据压压缩存储储与还原原、多媒媒体数据据库操作作及多媒媒体数据据对象表表现等主主要问题题。方法：多多媒体数数据库技技术主要要从三个个方面开开展研究究，一是是研究分分析多媒媒体数据据对象的的固有特特性；二二是在数数据模型型方面开开展研究究，实现现多媒体体数据库库管理；；三是研研究基于于内容的的多媒体体信息检检索策略略。3、多媒媒体应用用开发工工具多媒体应应用开发发工具，，是一种种通过桌桌面交互互方式统统一管理理和集成成处理多多媒体信信息、自自动生成成多媒体体信息处处理代码码形成多多媒体应应用系统统的工具具软件，，提供良良好的面面向对象象的桌面面编辑环环境，具具有较强强的多媒媒体信息息处理能能力，如如多媒体体信息的的导入能能力、组组织表现现能力、、超连接接能力、、人机交交互能力力等。常用的多多媒体应应用开发发工具有有：基于于时间的的工具和和，基于于图标的的工具和和，页式式（卡片片）式工工具、以以及，基基于编程程的工具具等。1.3..7多多媒体体信息处处理与应应用开发发技术从应用的的角度看看，人们们通常所所说的多多媒体信信息处理理技术主主要是指指在特定定的多媒媒体信息息处理环环境下，，对各种种媒体信信息（如如文本、、图形、、图像、、声音、、视频等等）进行行采集、、编辑、、处理、、压缩存存储、播播放的技技术，具具体可分分为文本本信息处处理技术术，音频频信息处处理技术术，图形形/图像像信息处处理技术术，视频频信息处处理处理理技术和和计算机机动画制制作技术术。本书第2章介绍绍多媒体体信息处处理环境境，第3～6章章陆续介介绍多媒媒体信息息处理的的具体技技术。下图给出出了多媒媒体技术术形成与与发展的的大体过过程。1.4多多媒媒体技术术的发展展与应用用1.4..1多多媒体体技术的的发展过过程在20世世纪50年代计计算机诞诞生之后后，计算算机从只只能认识识0、1组合的的二进制制代码，，逐渐发发展成能能处理文文本和简简单的几几何图形形计算机机系统，，并具备备了处理理更复杂杂信息的的技术潜潜力。随随着技术术的发展展，到20世纪纪70年年代中期期，出现现了广播播、出版版和计算算机三者者融合发发展电子子媒体的的趋势，，这为多多媒体技技术的快快速形成成创造了了良好的的条件。。习惯上上，人们们把1984年年美国公公司推出出机作为为计算机机多媒体体时代到到来的标标志。多媒体技技术是大大众传媒媒、通信信和计算算机技术术协调发发展和相相互推进进的过程程中产生生和发展展起来的的。1978年，美美国麻省省理工学学院的““构造机机器小组组”有感感于广播播、出版版和计算算机三者者融合成成为电子子传播的的新趋势势，对人人机界面面问题进进行研究究，提出出了计算算机界面面的“所所见即所所得”的的基本观观念。1981年美国国大学研研制成的的机，用用于进行行模式识识别、图图像处理理、并行行计算等等研究。。1984年，公公司率先先推出的的机引入入了位图图（）的的概念来来对图形形进行处处理，并并使用了了窗口图图形符号号（）作作为用户户接口。。这是当当前普遍遍应用的的系列操操作系统统的雏形形。机的的推出，，标志着着计算机机多媒体体时代的的到来。。1986年3月月，飞利利浦公司司与索尼尼公司联联合推出出了交互互式紧凑凑光盘系系统，把把各种多多媒体信信息以数数字化的的形式存存放在容容量为650的的只读读光盘上上。1987年3月月，公司司推出了了交互式式数字视视频系统统，它以以计算机机技术为为基础，，用标准准光盘片片来存储储和检索索静止图图像、活活动图像像、声音音和其他他数据。。随着多媒媒体应用用领域的的扩展及及多媒体体技术的的进一步步发展，，必将加加快计算算机互联联网、公公共通信信网、广广播电视视网以及及移动通通信网络络四网融融合的进进程，从从而形成成快速、、高效的的多媒体体信息综综合网络络，提供供更为人人性化的的综合多多媒体信信息服务务。宽带带多媒体体综合网网络、高高性能的的以及交交互式电电视技术术的融合合，标志志着多媒媒体技术术已经进进入了多多媒体网网络时代代。。。1990年11月由微微软公司司、飞利利浦公司司等14家厂商商组成的的多媒体体市场协协会应运运而生，，并制定定了标准准。与此此同时，，和等国国际标准准化组织织先后制制定并颁颁布了、、1、G721、G727和和G728等国国际标准准，有力力地推动动了多媒媒体技术术的快速速发展。。1.4..2多多媒体体技术的的应用多媒体技技术的发发展使计计算机的的信息处处理在规规范化和和标准化化的基础础上更加加多样化化和人性性化，特特别是多多媒体技技术与网网络通信信技术的的结合，，使得远远距离多多媒体应应用成为为可能，，也加速速了多媒媒体技术术在经济济、科技技、教育育、医疗疗、文化化、传媒媒、娱乐乐等各个个领域的的广泛应应用。多多媒体技技术已成成为信息息社会的的主导技技术之一一，目前前典型的的应用主主要有：：1、教育育应用2、、商业应应用3、网络络通信应应用4、家庭庭应用5、医疗疗应用6、、军事应应用7、电子子出版1.4..3多多媒体体技术的的发展趋趋势①研究究和建立立新一代代多媒体体通信网网络环境境，使多多媒体从从单机、、单点向向分布、、协同多多媒体环环境发展展；②利用用图像理理解、语语音识别别、全文文检索等等技术，，研究多多媒体基基于内容容的处理理，开发发能进行行基于内内容处理理的系统统；③多媒媒体标准准仍是研研究的重重点；④多媒媒体技术术与相邻邻技术相相结合，，提供完完善的人人机交互互环境；；⑤多媒媒体技术术与外围围技术构构造的虚虚拟现实实研究。。多媒体技技术总的的发展趋趋势是具具有更简简易、更更自然、、更人性性化的交交互性，，更大范范围和更更多形式式的信息息服务，，为未来来人类生生活创造造出一个个在功能能、空间间、时间间及人与与人交互互方面更更完美的的崭新世世界。目目前的研研究主要要集中在在：本章小结结本章主要要介绍了了媒体、、多媒体体、多媒媒体技术术以及多多媒体系系统等基基本概念念，并对对多媒体体技术的的产生、、发展和和应用情情况作了了简述。。通过本本章学习习，应掌掌握以下下知识点点：1）按照照的分类类标准，，媒体分分为感觉觉媒体、、表示媒媒体、表表现媒体体、存储储媒体和和传输媒媒体五大大类。2）多媒媒体是由由两种以以上单一一媒体融融合而成成的信息息综合表表现形式式，是多多种媒体体的综合合、处理理和利用用的结果果。多媒媒体信息息的主要要表现形形式有文文字、图图形、图图像、声声音、动动画、视视频等。。3）多媒媒体技术术是以计计算机（（或微处处理芯片片）为中中心，把把数字、、文字、、图形、、图像、、声音