《多媒体技术概论 》PPT课件.ppt

第1章 多媒体技术概论,1.1 多媒体的基本概念 1.1.1 媒体与多媒体 1媒体 媒体又称媒质或媒介，它是信息表示、信息传递和信息存储的载体。传统的媒体，如报纸、杂志、广播、电影和电视等，都是以各自的媒体形式进行传播。在计算机领域中，媒体有两种含义：表示信息的载体和存储信息的实体。如文本、音频、图形、图像、动画和视频等是用来表示信息的载体，而纸张、磁带、磁盘、光盘和半导体存储器等都是存储信息的实体。 现代科技的发展大大方便了人们之间的交流和沟通，也给媒体赋予许多新的内涵。根据国际电信联盟电信标准局ITU-T（原国际电报电话咨询委员会CCITT）建议的定义，媒体可分为下列五大类。,（1）感觉媒体,感觉媒体是指直接作用于人的感官，使人能直接产生感觉一类媒体，如视觉、听觉、触觉和味觉等。 （2）表示媒体 表示媒体是为了加工、处理和传输感觉媒体而人为构造出来的一种媒体，如文字、音频、图形、图像、动画和视频等信息的数字化编码表示。借助于表示媒体，可以很方便地将感觉媒体从一个地方传输到另一个地方。 （3）显示媒体 显示媒体是指媒体传输中电信号与媒体之间转换所用的一类媒体。它又分为两种：一种是输入显示媒体，如键盘、鼠标器、话筒和扫描仪等；另一种是输出显示媒体，如显示器、打印机、音箱和投影仪等。 （4）存储媒体 存储媒体又称存储介质，用来存放表示媒体，以便计算机随时调用和处理信息编码，如磁盘、光盘和内存等。 （5）传输媒体 传输媒体又称传输介质，它是用来将媒体从一处传送到另一处的物理载体，如双绞线、同轴电缆、光纤和无线传输介质等。,2多媒体,通常，人们所指的多媒体就是表示媒体，即文本、音频、图形、图像、动画和视频等媒体信息。多媒体是融合两种或者两种以上表示媒体的一种人机交互式信息交流和传播媒体，它是多种媒体信息的综合。 多媒体的实质是将自然形式存在的各种媒体数字化，然后利用计算机对这些数字信息进行加工或处理，以一种友好的方式提供给用户使用。因此，多媒体是一个丰富多彩的感官世界，它能使人的眼睛、耳朵、手指，特别是大脑兴奋起来。 人类感知信息的第一个途径是视觉，通过视觉可以从外部世界获取80%左右的信息；其次是听觉，通过听觉可以从外部世界获取10%左右的信息；第三个途径是触觉、嗅觉和味觉，它们合起来能获取的信息量约占10%。目前，多媒体只利用了人的视觉和听觉，虚拟现实中用到了触觉（如数据手套、数据衣服等）和嗅觉（如电子鼻等），而味觉尚未集成进来。随着多媒体技术的进步，多媒体的含义和范围还将扩展。,1.1.2 多媒体技术的主要特性,多媒体技术至今无公认统一的严格定义，但可以从其特点来进行描述。多媒体技术是利用计算机把文本、图形、图像、音频和视频等多种信息一体化，使之建立逻辑连接，集成为一个具有交互性的系统，并能对多种媒体信息进行获取、压缩编码、编辑、加工处理、存储和展示。简单地说，多媒体技术就是把声、文、图、像和计算机结合在一起的技术。实际上，多媒体技术是计算机技术、通信技术、音频技术、视频技术、图像压缩技术、文字处理技术等多种技术综合的技术。 由多媒体技术的定义可知，它具有如下几个特性： 1.信息媒体的多样性 人类对信息的接收主要依靠5种感觉，即视觉、听觉、触觉、嗅觉和味觉。其中前三者所获取的信息量占95%以上。多媒体技术目前只提供了多维化信息空间中音频和视频信息的获得和表示方法，它使得计算机中信息表达的方式不再局限于数字与文字，而广泛采用图像、图形、视频、音频等信息形式，使我们的思维表达有了更充分更自由的扩展空间。多媒体信息的多样化不仅仅指输入，而且还指输出。对输入信息进行变换、组合和加工，就可以大大丰富信息的表现能力，实现有声有色、生动逼真的效果。 2.实时性 由于多媒体技术是研究多种媒体集成的技术，其中声音和活动的视频图像都与时间有着密切的关系，这就决定了多媒体技术应支持实时处理。如播放时，声音和图像都不能有停顿的现象。,3.交互性,在多媒体系统中，不仅操作上可控制自如，而且在媒体综合处理上也可随心所欲，这种交互操作也要求多媒体具有实时性，对整个系统的软硬件系统都能实时响应。从数据库中查找图像、声音及文字材料，这是初级交互应用。不是被动地接受文字、图形、图像和声音，而是主动地进行检索、提问和回答，这是中级交互应用。而完全进入到一个与信息环境一体化的虚拟信息空间中，则是高级交互应用。 4.集成性 集成性包括两方面，一方面是把不同媒体设备集成在一起，形成多媒体系统；另一方面是多媒体技术能将各种不同的媒体信息有机地同步组合成为完整的多媒体信息。从硬件角度来说，应当具备能够处理多媒体的高速并行处理机系统，大容量的存储设备，以及具备多媒体、多通道的输入输出处理能力的主机及外设和宽带的通信网络接口。从软件角度来说，应当具有集成化的多媒体操作系统，适合于多媒体信息管理和使用的软件系统等。在网络的支持下，集成构造出支持广泛应用的的信息系统。 5.高质性 早期处理音像信息时，存储和输出的都是模拟信息。因模拟信号是连续的，其衰减和噪音干扰较大，且复制和传播过程中存在误差积累现象，所以这种模拟信号质量差。而以计算机处理的多媒体则以全数字化方式加工和处理声音与图像信息，精确度高，特别是复制和传播过程中不会有改变，声音和图像质量好。,1.1.3 多媒体系统的分类,多媒体系统可按其功能不同和应用不同进行分类。 1.多媒体系统基于功能的分类 多媒体系统按其功能不同可分为开发系统、培训系统、演示系统、家庭系统等。 （1）开发系统 主要用于多媒体应用的开发，因此系统配有功能强大的计算机系统和声、文、图等信息齐全的外部设备及多媒体演示工具，主要应用于多媒体应用制作。非线性编辑等，如视频、音频制作系统。 （2）培训系统 单用户多媒体播放系统，以计算机为基础，配有光驱、声卡、音响与图像接口控制卡以及相应的外设。常用于小型商业销售和教育培训等。 （3）演示系统 它是增强型的演示窗口，可完成多媒体的应用，并与网络连接。主要用于单位多媒体教学和会议演示等。 （4）家庭系统 家庭多媒体播放系统、通常配有光驱，可作为家庭影院等。,2.多媒体系统基于应用的分类,多媒体按其应用不同可分为：多媒体信息咨询系统、多媒体管理系统、多媒体辅助教学系统、多媒体通信系统和多媒体娱乐系统等。 （1）多媒体信息咨询系统 图书资料检索系统、交通枢纽信息咨询系统、证券交易咨询系统、旅游咨询系统、房地产交易咨询系统、酒店信息咨询系统、多媒体产品广告系统等。 （2）多媒体管理系统 档案管理系统、超级市场管理系统、名片管理系统等。 （3）多媒体辅助教学系统 课件、电子教材、多媒体学习软件等。 （4）多媒体通信系统 可视电话、视频会议系统等。 （5）多媒体娱乐系统 电脑卡拉OK系统、视频VOD系统、网络游戏等。 多媒体技术的发展为人类实现以自然的方式来传递各种信息和进行人机交互提供了平台，使得人们摆脱了那些静止的、固定不变的应用程序和设备，进入可以表现才能、实现人机交互的多媒体境界，开创了计算机应用的新纪元。,1.1.4 媒体系统的层次结构,多媒体系统的层次结构如图1-1所示，该结构与常用的计算机系统的结构原则上是相通的，它主要包括以下几层： 图1-1 多媒体系统的层次结构 第一层（最底层）是多媒体硬件系统，它是多媒体系统的硬件设备。除了一般PC机的硬件外，还有各种媒体控制板卡及其输入输出设备，其中包括多媒体实时压缩和解压缩卡。由于实时性要求高，有些板卡使用以专用集成电路为核心的硬件来实现。 第二层是多媒体驱动程序，它是直接用来控制和管理多媒体硬件，完成设备的初始化、设备的启动和停止、设备的各种操作，基于硬件的压缩解压缩、图像快速变换以及功能调用等。一种多媒体硬件需要相应的驱动程序，它通常随着多媒体硬件产品一起提供。 第三层是多媒体操作系统，又称多媒体核心系统。它除了一般操作系统的功能外，还具有实时任务调度、多媒体数据转换和同步控制机制、对多媒体设备的驱动和控制以及具有图形和声像功能的用户接口等。根据多媒体系统的用途，多媒体操作系统的设计方法有两种：,1.2 多媒体的关键技术,在开发多媒体应用系统中，要使多媒体系统能交互地综合处理和传输数字化的声音、文字、图像信息，实现面向三维图形、立体声音、彩色全屏幕运动画面的技术处理和传播的效果，它的关键技术是要进行数据压缩解压缩、生产专用芯片、解决大容量信息存储等问题。,1.2.1 视频音频数据压缩解压缩技术,研制多媒体计算机需要解决的关键问题之一，是要使计算机能适时地综合处理声、文、图信息。由于数字化的图像、声音等媒体数据量非常大，致使在微型计算机上实现多媒体应用十分困难。例如，未经压缩的视频图像在处理时的数据量为每秒约28MB，播放一分钟立体声音乐也需要100MB存储空间。视频与音频信号不仅需要较大的存储空间，还要求传输速度快。因此，必须对多媒体信息进行实时压缩和解压缩。如果不经过数据压缩，实时处理数字化的较长的声音和多帧图像信息所需要的存储容量、传输率和计算速度，都是目前PC机难以达到的和不经济实用的。数据压缩技术的发展大大推动了多媒体技术的发展。 目前的研究结果表明，选用合适的数据压缩技术，有可能将字符数据量压缩到原来的1/2左右，语音数据量压缩到原来的1/21/10，图像数据量压缩到原来的1/21/60。数据压缩理论的研究已有40多年的历史，技术日趋成熟。如今已有压缩编码和解压缩编码的国际标准JPEG和MPEG，并且已经产生了各种各样针对不同用途的压缩算法、压缩手段和实现这些算法的大规模集成电路及计算机软件。,1.2.2 多媒体专用芯片技术,专用芯片是多媒体计算机硬件体系结构的关键。因为要实现音频、视频信号的快速压缩、解压缩和播放处理，需要大量的快速计算。而实现图像的许多特殊效果(如改变比例、淡入淡出、马赛克等)、图形的处理(图形的生成和绘制等)、语音信号处理(抑制噪声、滤波等等，也都需要较快的运算和处理速度。因此只有采用专用芯片，才能获得满意的效果。 多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片，另一种是可编程的数字信号处理器(DSP)芯片。DSP芯片是为完成某种特定信号处理设计的，在通用机上需要多条指令才能完成的处理，在DSP上可用一条指令完成。 最早出现的固定功能专用芯片是基于图像处理的压缩处理芯片，即将实现静态图像的数据压缩/解压缩算法做在一个芯片上，从而大大提高其处理速度。之后，许多半导体厂商或公司又推出了基于国际标准压缩编码的专用芯片，例如，支持用于运动图像及其伴音压缩的MPEG标准芯片，芯片的设计还充分考虑到MPEG标准的扩充和修改。由于压缩编码的国际标准较多，一些厂家和公司还推出了多功能视频压缩芯片。另外还有高效可编程多媒体处理器，其计算能力可望达到2Bips(Billion Instructions Per Second)。这些高档的专用多媒体处理器芯片，不仅大大提高了音频、视频信号处理速度，而且在音频、视频数据编码时可增加特技效果。,1.2.3 大容量信息存储技术,多媒体的音频、视频、图像等信息虽经过压缩处理，但仍然需要相当大的存储空间。而且硬盘存储器的盘片是不可交换的，不能用于多媒体信息和软件的发行。大容量只读光盘存储器(CD-ROM)的出现，解决了多媒体信息存储空间及交换问题。 CD-ROM以其存储量大、密度高、介质可交换、数据保存寿命长、价格低廉以及应用多样化等特点成为多媒体计算机中必不可少的设备。利用数据压缩技术，在一张CD-ROM光盘上能够存取70多分钟的全运动的视频图像或者十几个小时的语音信息或数千幅静止图像。CD-ROM光盘机技术已比较成熟，但速度慢，其只读特点适合于需长久保存的资料。在CD-ROM基础上，还开发了CD-I和CD-V，即具有活动影像的全动作与全屏电视图像的交互式可视光盘。在只读CD家族中还有称为“小影碟”的VCD，可刻录式光盘CD-R，高画质、高音质的光盘DVD以及用数字方式把传统照片转存到光盘，使用户在屏幕上可欣赏高清晰度的照片的PHOTO CD。DVD(Digital Video Disc)是1996年底推出的新一代光盘标准，它使得基于计算机的数字视盘驱动器将能从单个盘片上读取4.717GB的数据量，而盘片的尺寸与CD相同。,1.2.4 多媒体输入输出技术,多媒体输入输出技术包括媒体变换技术、媒体识别技术、媒体理解技术和综合技术。 媒体变换技术是指改变媒体的表现形式，如当前广泛使用的视频卡、音频卡(声卡)都属媒体变换设备。 媒体识别技术是对信息进行一对一的映像过程。例如，语音识别是将语音映像为字、词或句子；触摸屏是根据触摸位置识别操作要求。 媒体理解技术是对信息进行更进一步的分析处理,以理解信息的内容，如自然语言理解、图像理解、模式识别等技术。 媒体综合技术是把低维信息表示映像成高维模式空间的过程，例如，语音合成器就可以把语音的内部表示综合为声音输出。 前两种技术相对比较成熟，应用较广泛，而媒体理解和综合技术目前还不成熟，只用在某些特定场合。,1.2.5 多媒体软件技术,多媒体软件技术主要包括多媒体操作系统、多媒体素材采集与制作技术、多媒体编辑与创作技术、多媒体应用程序开发技术、多媒体数据库管理技术等。 1.多媒体操作系统 多媒体操作系统是多媒体软件的核心。它负责多媒体环境下多任务的调度，保证音频、视频同步控制以及信息处理的实时性，提供多媒体信息的各种基本操作和管理，具有对设备的相对独立性与可扩展性。要求该操作系统要像处理文本、图像文件一样能方便灵活地处理动态音频和视频；在控制功能上，要扩展到对录像机、音响、MIDI以及CD-ROM等设备的控制。多媒体操作系统要能处理多任务，易于扩充,要求数据存取与数据格式无关,提供统一友好的用户界面。为支持上述要求，一般是在现有操作系统上进行扩充。目前流行的操作系统,如Windows、OS2和Macintosh操作系统等都提供了对多媒体的支持。在我国，目前微机上开发多媒体软件用得较多的是Windows操作系统。,2.多媒体素材采集与制作技术,素材的采集与制作主要包括采集并编辑多种媒体数据，如声音信号的录制、编辑和播放，图像扫描及预处理，全动态视频采集及编辑，动画生成编辑，音频视频信号的混合与同步等。 3.多媒体编辑与创作工具 多媒体编辑创作软件又称多媒体创作工具，是多媒体专业人员在多媒体操作系统之上开发的，供应用领域的专业人员组织、编排多媒体数据，并把它们连接成完整的多媒体应用系统的工具。高档的创作工具可用于影视系统的动画制作及特技效果，中档的用于培训、教育和娱乐节目的制作，低档的可用于商业简介、家庭学习材料的编辑等。,4.多媒体数据库技术,由于多媒体信息是结构型的，致使传统的关系数据库已不适用于多媒体的信息管理，需要从下面几个方面研究数据库。 （1）多媒体数据模型。目前主要采用基于关系模型加以扩充，因为传统的关系数据库将所有的对象都看成二维表，难以处理多媒体数据模型。而面向对象技术的发展推动了数据库技术的发展，面向对象技术与数据库技术的结合导致了基于面向对象模型和超媒体模型的数据库的研究。 （2）媒体数据压缩和解压缩的模式。该技术主要解决多媒体数据过大的空间和时间开销问题。压缩技术要考虑算法复杂度、实现速度以及压缩质量等问题。 （3）多媒体数据管理及存取方法。采用目前常用的分页管理、B+树和HASH方法外，多媒体数据库还要引入矢量空间模型、信息索引检索技术、超位检索技术、智能索引技术以及基于内容的检索方法等。尤其是超媒体组织数据机制更为多媒体数据库操作增加了活力。 （4）用户界面。用户界面除提供多媒体功能调用外，还应提供对各种媒体的编辑功能、变换功能和用户接口。,5.超文本超媒体技术,超文本是一种新颖的文本信息管理技术。它提供的方法是建立各种媒体信息之间的网状链接结构。这种结构由节点组成，没有固定的顺序，也不要求必须按某个顺序检索，与传统的线性文本结构有着很大的区别。以节点为基础的信息块容易按照人们的“联想”关系加以组织，符合人们的“联想”逻辑思维习惯。 一般把已组织成的网状信息称为超文本，而把对其进行管理使用的系统称为超文本系统。典型的超文本系统应具有用于浏览节点、防止迷路的交互式工具，即浏览器，或称为导航图。它是超文本网络的结构图与数据中的节点和链形成一一对应的关系。导航图可以帮助用户在网络中定向和观察信息的连接。超文本中的节点数据不仅可以是文本，还可以是图像、动画、音频、视频，后者通常称为超媒体。超文本和超媒体已广泛应用于多媒体信息管理中。,6.多媒体应用开发技术,在多媒体应用开发方面，目前还缺少一个定义完整的应用开发方法学。采用传统的软件开发方法在多媒体应用领域中成功的例子很少。多媒体应用的开发会使一些采用不同问题解决方法的人集中到一起，包括计算机开发人员、音乐创作人员、图像创作人员等，他们的工作方法以及思考问题的方法都将是完全不同的。对于项目管理者来说，研究和推出一个多媒体应用开发方法学将是极为重要的。,1.2.6 多媒体通信技术,多媒体通信要求能够综合地传输、交换各种信息类型，而不同的信息呈现出不同的特征。比如，语音和视频有较强的适应性要求，它容许出现某些文字的错误，但不能容忍任何延迟。而对于数据来说，则可容忍延迟，但却不能有错，因为即便是一个字节的错误都会改变数据的意义。 多媒体通信技术包含语音压缩、图像压缩及多媒体的混合传输技术。为了只用一根电话线同时传输语音、图像、文件等信号，必须要用复杂的多路混合传输技术，而且要采用特殊的约定来完成。 现有的通信网大都不太适应数字化的多媒体数据的传输。人们期望未来能够将多种网络进行统一，包括用于话音通信的电话网、用于计算机通信的计算机网和用于大众传播的广播电视网。对于实时性要求不高且数据量不很大的应用来说，矛盾尚不突出。但一旦涉及到大量的数据，许多网络中的特性就难以满足要求。宽带综合业务数字网B-ISDN)是解决这个问题的一个比较完整的方法，其中ATM(异步传送模式)是近年来在研究和开发上的一个重要成果。 实现多媒体通信，对不同的应用，其技术支持要求有所不同。例如，在信息点播服务中，用户和信息中心为点对点的关系，信息的传输要采用双向通路；电视中心把信息发往各用户，则要实现一点对多点的关系；而在协同工作环境CSCW应用中，各用户的关系就成为多点对多点的关系，所以多媒体通信技术要提供上述连接类型。,1.2.7 虚拟现实技术,虚拟现实技术是用计算机生成现实世界的技术。虚拟现实的本质是人与计算机之间进行交流的方法，它以其更加高级的集成性和交互性，给用户以十分逼真的体验，可以广泛应用于模拟训练、科学可视化等领域，如飞机驾驶训练、分子结构世界、宇宙作战游戏等。 虚拟现实的定义可归纳为：利用计算机技术生成一个逼真的视觉、听觉、触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。这个定义有三层含义：首先，虚拟实体是用计算机来生成的一种模拟环境，“逼真”就是要达到三维视觉，甚至包括三维的听觉及触觉、嗅觉等；其次，用户可以通过人的自然技能与这个环境交互，这里的自然技能可以是人的头部转动、眼睛转动、手势或其他的身体动作；第三，虚拟现实往往要借助于一些三维传感设备来完成交互动作，常用的如头盔立体显示器、数据手套、数据服装、三维鼠标等。,1.3 多媒体技术的应用及其发展前景,1.3.1 多媒体技术的应用 多媒体符合信息社会的应用需求。目前，多媒体应用系统丰富多彩、层出不穷，已深入到人类学习、工作和生活的各个方面。其应用领域从教育、培训、商业展示、信息咨询、电子出版、科学研究到家庭娱乐，特别是多媒体技术与通信、网络相结合的远程教育、远程医疗、视频会议系统等。这些新的应用领域给人类的生产生活带来了巨大的变革。,1.教育、培训应用领域,在多媒体的应用中，教育、培训应用大约占40。多媒体教育、培训始于计算机辅助教学CAI。它是提高教学质量和普及教育的有效途径，学习不再是传统的读教材、听讲课、记笔记、做作业的方式，而是根据教学的基本原理，利用计算机对信息具有的大容量存储、高速度处理等特点，通过与用户之间的交互活动，用最优化的教学方式来实现教学目标的教学手段。它既可代替教师进行课堂的教学，也可作为常规课堂教学的补充手段。它有如下明显的优势： （1）多媒体教学以图文、声像并茂的形式提供信息，提高获取知识的速度，提高教学质量，激发学生的学习积极性。 （2）实现学习个别化，按照学生的能力、特点进行教学。 （3）把多媒体技术与计算机通信技术及知识库相结合，能提供多元化的教学，并可使教育走向家庭。 （4）把以教师为中心的教学模式转变为以学生为中心，增加了学生的主观能动性，使学生产生一种学习责任感。,2.商业展示、信息咨询应用领域,多媒体技术与触摸屏技术的结合为商业展示和信息咨询提供了新的手段，现已广泛地应用于交通、商场、饭店、宾馆、邮电、旅游、娱乐等公共场所。例如大商场的导购系统，用户只要在触摸屏上一按，就能根据自己的需要选购商品；上海黄页电话号簿公司制作的CD-ROM电子电话簿，可以通过鼠标操作，查出所需区域所有企事业单位的地理位置，也可查询两地之间最短路径的走向；以多媒体技术制作的产品演示光盘为商家提供了一种全新的广告形式，商家通过多媒体演示光盘可以将产品表现得淋漓尽致，客户可通过多媒体演示盘随心所欲地观看广告，直观、经济、便捷，效果非常好。它可用于房地产公司、计算机销售公司、汽车制造厂商等多种行业的展示。,3.多媒体电子出版物,计算机多媒体技术的发展正在改变传统的出版业，CD-ROM大容量、低成本及CD-ROM驱动器能重现声、文、图、像等信息的特点更加快了电子出版物的发展。多媒体电子出版物是一种新型的信息媒体，它将文字、声音、图片、图像、动画、视频等多种媒体与计算机程序融合，以电子信息的形式存放在CD-ROM中。从本质上说，多媒体电子出版物是一种应用软件产品，它是由计算机软件控制，并对其多媒体对象进行综合处理编辑的结果。电子出版物的很多性能优于传统出版物，如查找方便迅速、体积小、携带方便、可靠性高、寿命长等，而且用户在接受多媒体电子信息时，不仅仅是单纯阅读信息，还能亲身感受信息。,4.多媒体通信,多媒体技术与通信技术结合形成了新的应用领域，如视频会议、可视电话、双向电视、电子商务、远程教学、远程医疗等。 可视电话系统一般由语言处理、图像信号输入、图像信号输出及图像信号处理4部分组成。目前，国际上已经有许多成熟产品，如MCI公司推出的可视电话，可利用电视机和普通逻辑电话线，其内部装有摄像机、解调器和多媒体芯片；日本电报电话公司（NTT）的笔谈电话既能像普通电话那样进行口头通信，还能通过电话附属的传真机进行“笔谈”。 图文电视机是普通电视机与图文解码器二合一体机。电视图像在场与场之间不传送图像的空隙称为“场消隐期”。图文信息经过数字化编码处理后插入到“场消隐期”。目前，世界上许多发达国家图文电视的普及率已经超过90。 视频会议让人们可以在世界的任何地方通过显示器或电视屏幕来“面对面”地讨论、交谈、传送文件等，使人们的活动范围扩大而物理距离缩小，进一步提高了工作效率和质量。 远程教学可通过因特网让学员自己选择教学计划、教学进度及教学地点，聆听远方教授的教学指导。 远程医疗可通过因特网传送病人的各种化验单、CT及X光片等图像，供在远方的专家会诊；还可传送手术镜头让远方的专家对手术进行指导。 交互式电视又叫VOD(Video On Demand)的功能是用户可根据自己的需要来点播电视节目或电视上显示的其他选项，还可以随意设计故事情节，交互地“指挥”节目进行。法国已于1997年推出Media Highway数字平台系统提供交互电视网。之后，德国交互电视节目也已开始在柏林试播。2001年8月8日，国内最早的视频点播在河北电视台开播，它是一种NVOD，即近似VOD。 电影数字化后，电影制片厂只要把电影的数字文件通过网络发往电影院和家庭就可以了，而且质量和效果都比普通电影高得多。2001年9月20日，上海永乐宫放映美国哥伦比亚公司制作的数码电影终极幻想，它是通过远程传输放映的。在2001年的上海国际电影节上，上海影城也曾放映用硬盘存储的数码电影。 多媒体通信技术使计算机的交互性、通信的分布性及电视的真实性融为一体，多媒体通信技术的广泛应用将能极大地提高人们的工作效率，减轻社会的交通负担，改变人们传统的教育和娱乐方式。多媒体通信必将成为21世纪人们通信的基本方式。,5.家庭娱乐,多媒体技术由于处理图文、声像等，软件制造商们已开发了丰富多彩的多媒体游戏和娱乐软件，摆脱了以往的单调，有较好的视听效果且交互性强，给人以身临其境的感觉。一台普通计算机配上CD-ROM驱动器、MPEG影视卡便可播放VCD。近年来随着DVD的普及，使我们能在计算机上观看具有高清晰的画面质量、更具震撼力的音响效果的影视节目。双向电影及双向电视的出现使多媒体在家庭娱乐方面的应用达到更高一级的阶段。,1.3.2 多媒体技术的发展趋势,1.从应用角度看，多媒体技术主要向以下五个方向发展。 （1）多媒体通信网络环境的研究和建立，将使多媒体从单机、单点向分布、协同多媒体环境发展，在世界范围内建立一个可全球自由交互的通信网。对该网络及其设备的研究和网上分布应用与信息服务研究将是热点。未来的多媒体通信将朝着不受时间、空间、通信对象等方面的任何约束和限制的方向发展，其目标是“任何人，在任何时刻，与任何地点的任何人，进行任何形式的通信”。人类将通过多媒体通信迅速获取大量信息，反过来又以高效的多媒体通信方式为社会创造更大的社会效益。 （2）利用图像理解、语音识别、全文检索等技术，研究多媒体基于内容的处理，开发能进行基于内容处理的系统，是多媒体信息管理的重要方向。 （3）多媒体标准仍是研究的重点。各类标准的研究将有利于产品规范化，应用更方便。因为以多媒体为核心的信息产业突破了单一行业的限制，涉及到诸多行业，而多媒体系统集成特性对标准化提出了很高的要求，所以必须开展标准化研究，它是实现多媒体信息交换和大规模产业化的关键所在。 （4）多媒体技术与其他技术相结合，提供了完善的人机交互环境。同时，多媒体技术将继续向其他领域扩展，并使其应用范围进一步扩大。多媒体仿真、智能多媒体等新技术层出不穷，扩大了原有技术领域的内涵，并不断创造出新的概念。 （5）多媒体技术与外围技术构造的虚拟现实研究仍在继续进展。多媒体虚拟现实与可视化技术需要相互补充，并与语音、图像识别、智能接口等技术相结合，建立高层次虚拟现实系统。,2.从性能角度来看，多媒体技术将向以下六个方向发展：,（1）高分辨化，提高显示质量； （2）高速度化，缩短处理时间； （3）简单化，便于操作； （4）高维化，三维、四维或更高维； （5）智能化，提高信息识别能力； （6）标准化，便于信息交换和资源共享。 多媒体技术总的发展趋势是具有更好、更自然的交互性，更大范围的信息存取服务，为未来人类生活创造出一个在功能、空间、时间及人与人交互方面更完美的崭新世界。,1.4 多媒体信息的计算机表示,多媒体信息是利用计算机技术生成的一个逼真的视觉、听觉、触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。这种传递信息的技术是在众多相关技术上发展起来的一个高度集成的技术，是计算机软硬件技术、传感技术、机器人技术、人工智能及心理学等飞速发展的结晶。以后我们将会有专门的课程学习虚拟现实的有关知识。,1.4.1 文本的基本格式,一 文本的基本知识 在多媒体信息系统中，文本是人们最为熟悉，指各种文字，包括各种字体 、尺寸、格式及色彩的文本。是一种最常用空间信息表示方法，如各种文字介绍、区域环境解说、系统标题、功能菜单、补充说明、地理名称、现象或事物的质量或数量特征标识等都是信息系统的重要内容，文本媒体是构成多媒体信息系统信息库的主要内容，如地名数据库、统计数据库等都是文本媒体。 文本类素材常用的存储格式有TXT、DOC、RTF、WPS格式。文本素材中汉字采用GB码统一编码和存储；英文字母和符号使用ASCII方式编码和存储。 二 常见的文本格式,2. DOC 格式,DOC格式是微软公司Word文字处理软件的存储格式，由于其巨大的影响力，大多数软件环境都兼容DOC格式。但DOC文件是微软的Office中的Word程序独有的文件格式。Word程序中很多设置譬如修订信息、域信息等等Word所独有的功能只能存为.doc格式。如果word的文件需要让其他字处理程序打开，只能存为纯文本即.txt格式。但是这种纯文本格式只能存储文字，像格式（居中、文字颜色等）的信息根本无法保留下来。,3. TXT格式,TXT格式是一种纯文本格式，也是计算机中最简单、最常用的一种文本文件格式，可适用于任何一种文字编辑软件和机型的需要。虽然简单，但它被多种计算机操作系统支持。而且还有很多种其他格式的文本文件能以.txt的格式打开，并可以其他格式文件的源代码。 手机电子书的出现是一个划时代的进步，电子书的格式就是.txt格式的文本文件。目前已有MicroReader 、ReadManiac 等专门为手机电子书设计的阅读软件，通过这类阅读软件，就能把网上浩瀚的TXT文件资源转变为手机电子书。以MicroReader 软件为例，它可以自动翻页而且速度可调、可以设置书签、可以设置字体行距、可以进行编码切换等，使手机更像一个功能丰富的电子书阅读器终端。,4. WPS格式,WPS格式是国内著名软件公司金山公司WpsOffice/2000文字处理软件的存储格式，它的通用性受到一定限制。在实际应用中，微软公司的Word和金山公司的Wps文字处理软件都提供了读取和转换不同文本格式的功能。 文本文件可以在文本编辑软件中制作，如用WPS或WORD等，用扫描仪也可获得文本文件，但一般多媒体文本大多直接在制作图形的软件或多媒体编辑软件中制作。文本的多样化是由文字的变化即指文字的格式（Style）、文字的定位（Align）、字体（Font）、字的大小（Size）以及由这四种变化的各种组合形成。,1.4.2 图形图像的基本格式,一 图形图像的基本知识 图形一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等;图像则指由输入设备捕捉实际场景画面产生的数字图像。数字图像通常有位图和矢量图形两种表示形式。 1.位图图像 位图图像由数字阵列信息组成，用以描述图像中各像素点的强度与颜色。位图适用于具有复杂色彩、明度多变、虚实丰富的图象，例如照片、绘画等。使用位图格式的绘画程序叫做位图绘画程序，例如Adobe Photoshop。它以与屏幕相对应的存储位来记忆和处理图象，把图形作为点的集合，这是绘画程序应用的典型文件格式。位图图象依赖于解析度，放大和以高清晰度打印时，容易出现锯齿状的边缘。像素的多少决定文件的大小和图象细节的丰富程度。 位图图像占用存储空间较大。一般需要进行数据压缩。为了便于位图的存储和交流，产生了种类繁多的文件格式，常见有PCX、BMP、DLB、PIC、GIF、TGA和TIFF等。,2. 矢量图形,矢量图形的特点是，绘画程序中物体定位、形体构造建立在以数学方式记录构件（图形元素）的几何性质上，例如直线、曲线、圆形、方形的形状和大小。它不是记录像素的数量，在任何解析度下输出时都同样清晰。例如Adobe Illustrator就是使用这种格式的软件。矢量格式更适合于以线条物体定位为主的绘制，通常用于计算机辅助设计（CAD）和工艺美术设计、插图等。使用物体定位绘画程序可以把特定物体作为一组，单独改变线条的长度，放大或缩小原形，移动和重叠。但是在屏幕上显示的时候，由于监视器的特点，矢量图也是以像素方式来显示的。 矢量图形是用一组指令集合来描述图形的内容，这些指令用来描述构成该图形的所有直线、圆、圆弧、矩形、曲线等图无的位置、维数和形状。在屏幕上显示矢量图形要有专门软件将描述图形的指令转换成在屏幕上显示的形状和颜色。用于产生和编辑矢量图形的程序通常称为Draw程序。这种程序可以产生和操作矢量图形的各个成分，并对矢量图形进行移动、缩放、旋转和扭曲等变换;使用矢量图形的一个很大的优点就是容易进行这类变换。但是，用矢量图形格式表示复杂图像(如人物或风景照片)的开销大大，因此矢量图形主要用于表示线框型的图画、工程制图、美术字等。绝大多大多数CAD和3D造型软件使用矢量图形作为基本的图形存储格式。,3. 处理图形图像要考虑的基本因素,（1）分辨率： 注意不同的分辨率给图像带来的不同的视觉效果。通常分辨率有如下几种： 屏幕分辨率 屏幕分辨率就是用户在屏幕上观察图象时，所感受到的分辨率。一般屏幕分辨率是由计算机的显示卡所决定的。例如标准的VGA显示卡的分辨率是640480，即宽640点（像素），高480点（像素）。至于较高级的显示卡，通常可以支持800600或是1024768点以上。显示器分辨率只会影响用户处理图像时的方便性，不会影响图像的输出质量。 图象分辨率 图象分辨率，指的是图象中储存的信息量，这种分辨率又有多种衡量法，典型的是以每英寸的像素数（ppi）来衡量。图象分辨率和图像尺寸一起决定文件的大小及输出质量。该值越大，图象文件所占用的磁盘空间也越大，进行打印或修改图象等操作所花时间也就越多。 像素分辨率 指像素的宽高比，一般为1:1，在像素分辨率不同的机器间传输图像时会产生畸变。,（2） 色彩数和图形灰度,色彩数和图形灰度用位（bit）表示，一般写成2的n次方，n代表位数。当图形、图像达到24位时，可表现1677万种颜色，即真彩。灰度的表示法类似。 （3）图像亮度和颜色 对于黑白图像用灰度表示像素的亮度,灰度用灰度级别或比特数表示，目前多采用256级即8比特，对于彩色图像的颜色，物理上用H.S.B描述，在电视系统中可用R.G.B三基色的比例表示。 （4） 图像深度 图像深度是指色彩及色彩的柔和程度，主要由表示象素的二进制数位决定。目前使用较 多的是824位。 图像中每个像素可显示出的颜色数称作颜色深度，通常有以下几种颜色深度标准： 24位真彩色：每个像素所能显示的颜色数为24位，也就是2的24次方，约有1680万种颜色； 16位增强色：增强色为16位颜色，每个像素显示的颜色数为2的16次方，有65536种颜色； 8位色：每个像素显示的颜色数为2的8次方，有256种颜色。,（5）图像文件的大小,文件大小决定占据存储空间的多少，由图像分辨率和图像深度决定，可用下式计算： 文件大小（字节数）= 水平方向象素数垂直方向象素数图像深度/8。 例如一幅分辨率为12001024，深度为16位的图像，其大小为2.46MB 1KB1024Byte 1MB=1024KB 1GB=1024MB 二常见的图形、图像格式 下面我们就通过图形文件的特征后缀名（就是如图.bmp这样的）来逐一认识当前常见的图形文件格式： 1.BMP 是Microsoft公司图形文件自身的点位图格式, 也是PC机上最常用的位图格式，有压缩和不压缩两种形式，支持124bit色彩，分辨率也可从480x320至1024x768。在保存为这种格式时弹出的对话框会询问用于Windows或是0S/2系统。BMP格式保存的图像质量不变，文件也比较大，因为要保存每个像素的信息。该格式在Windows环境下相当稳定，在文件大小没有限制的场合中运用极为广泛。,2.DIB,描述图像的能力基本与BMP相同，并且能运行于多种硬件平台，只是文件较大。 3.PCP 由Zsoft公司创建的一种经过压缩且节约磁盘空间的PC位图格式，它最高可表现24位图形（图像）。过去有一定市场，但随着JPEG的兴起，其地位已逐渐日落终天。 4.DIF AutoCAD中的图形文件，它以ASCII方式存储图形，表现图形在尺寸大小方面十分精确，可以被CorelDraw，3DS等大型软件调用编辑。 5. WMF 是一种矢量图形格式, Word中内部存储的图片或绘制的图形对象属于这种格式。具有文件短小、图案造型化的特点，无论放大还是缩小，图形的清晰度不变，但该类图形比较粗糙，并只能在Microsoft Office中调用编辑。,6.GIF,是一种图像交换格式，可提供压缩功能，在各种平台的各种图形处理软件上均可处理的经过压缩的图形格式，但只支持256色，很少用于照片级图像处理工作。在PhotoShop中把对颜色数要求不高的图片变为索引色，再以GIF格式保存，使文件缩小后用更快的速度在网上传输，以实现网上特殊效果图形的传送。X-Space个人门户K G D2F e H5V 7.JPG 是一种较常用的有损压缩方案，可以大幅度地压缩图形文件的一种图形格。JPG格式存储的文件是其他类型图形文件的1/10到1/20，而且色彩数最高可达到24位，所以它被广泛应用于Internet上的homepage或internet上的图片库。 在相应程序中以“jpg“存储时，会进一步询问使用哪档图像品质来压缩，而在图形程序中打开时会自动解压。JPEG全部名称为：Joint photographic exptrs group。尽管它是一种主流格式，但在需要输出高质量图像时不使用JPG 而应选EPS格式或TIF格式，特别是在以JPG格式进行图形编辑时，不要经常进行保存操作。 8.TIF TIF格式是工业标准格式，支持所有图像类型。文件分成压缩和非压缩两大类。非压缩的TIF文件是独立于软硬件的，但压缩文件较复杂。压缩方法有好几种，且是可扩充的。非压缩的TIF文件具有良好的兼容性，又可选择压缩存储，所以是许多图像应用软件所支持的主要文件格式之一。,1.4.3 声音文件的基本格式,声音是多媒体系统中不可缺少的内容和组成部分。是多媒体技术研究中的一个重要内容。声音的种类繁多，如人的话音、乐器声、动物发出的声音、机器产生的声音以及自然界的雷声、风声、雨声、闪电声等。这些声音有许多共同的特性，也有它们各自的特性。在用计算机处理这些声音时，既要考虑它们的共性，又要利用它们的各自的特性。多媒体系统中的声音主要包括视频图像的背景音乐和文字介绍录音等两种，它们都属于数字音频媒体，是多媒体系统中媒体数据处理的重要内容。 1 声音的基本知识 (1) 多媒体中的音频处理技术 多媒体涉及到多方面的音频处理技术，如音频采集、语音编码/解码、文语转换、音乐合成、语音识别与理解、音频数据传输、音频视频同步、音频效果与编辑等。其中数字音频是个关键的概念，它指的是一个用来表示声音强弱的数据序列，它是由模拟声音经抽样（即每隔一个时间间隔在模拟声音波形上取一个幅度值）量化和编码（即把声音数据写成计算机的数据格式）后得到的。计算机数字CD、数字磁带（DAT）中存储的都是数字声音。模拟数字转换器把模拟声音变成数字声音；数字模拟转换器可以恢复出模拟来的声音。 一般来讲，实现计算机语音输出有两种方法:一是录音/重放，二是文语转换。第二种方法是基于声音合成技术的一种声音产生技术，它可用于语音合成和音乐合成。而第一种方法是最简单的音乐合成方法，曾相继产生了应用调频（FM）音乐合成技术和波形表（wavetable）音乐合成技术。,(2) 乐器数字接口MIDI的概念,现在我们用的最多的音频名词之一MIDI（musical instrument digital interface）是作为“乐器数字接口”的缩写出现的，并用它来泛指数字音乐的国际标准。由于它定义了计算机音乐程序、合成器及其他电子设备交换信息和电子信号的方式，所以可以解决不同电子乐器之间不兼容的问题。另外，标准的多媒体PC平台能够通过内部合成器或连接到计算机MIDI端口的外部合成器播放MIDI文件，利用MIDI文件演奏音乐，所需的存储量最少。 至于MIDI文件，是指存放MIDI信息的标准文件格式。MIDI文件中包含音符、定时和多达16个通道的演奏定义。文件包括每个通道的演奏音符信息:键通道号、音长、音量和力度（击键时，键达到最低位置的速度）。由于MDDI文件是一系列指令，而不是波形，它需要的磁盘空间非常少，并且现装载MIDI文件比波形文件容易的多。,2常见的声音文件格式,下面我们逐一认识当前常见的声音文件格式： (1) WAVE 扩展名为WAV，该格式记录声音的波形。wave文件作为最经典的windows多媒体音频格式，应用非常广泛，它使用三个参数来表示声音：采样位数、采样频率和声道数。声道有单声道和立体声之分，采样频率一般有11025hz（11khz）、22050hz（22khz）和44100hz（44khz）三种。wave文件所占容量=（采样频率采样位数声道）时间/8（1字节=8bit）。故只要采样率高、采样字节长、机器速度快，利用该格式记录的声音文件能够和原声基本一致，质量非常高，但这样做的代价是文件太大。 (2) MOD mod是一种类似波表的音乐格式，但它的结构却类似 midi，使用真实采样，体积很小，该格式的文件里存放乐谱和乐曲使用的各种音色样本，具有回放效果明确、音色种类无限等优点。在以前的dos年代，mod经常被作为游戏的背景音乐。现在的mod可以包含很多音轨，而且格式众多，如mod、s3m、nst、669、mtm、xm、it、xt和rt等。但它也有一些致命弱点，以至于现在已经逐渐淘汰，目前只有MOD以及一些游戏程序中尚在使用。 (3) MPEG-3 扩展名MP3：现在最流行的声音文件格式，因其压缩率大（将声音用 110 甚至 112 的压缩率压缩）。mp3音乐是以数字方式储存的音乐，如果要播放，就必须有相应的数字解码播放系统，一般通过专门的软件进行mp3数字音乐的解码，再还原成波形声音信号播放输出，这种软件就称为mp3播放器，如winamp等。,(4) Real Audio,扩展名RA、ram、rm都是real公司成熟的网络音频格式，这种格式真可谓是网络的灵魂，采用了“音频流”技术，强大的压缩量和极小的失真使其在众多格式中脱颖而出。和MP3相同，它也是为了解决网络传输带宽资源而设计的，因此主要目标是压缩比和容错性，其次才是音质。在制作时可以加入版权、演唱者、制作者、mail 和歌曲的title等信息。ra可以称为互联网上多媒体传播的霸主，适合于网络上进行实时播放，是目前在线收听网络音乐最好的一种格式。 (5) CD 即cd唱片，扩展名CDA，一张cd可以播放74分钟左右的声音文件。唱片采用的格式，又叫“红皮书”格式，记录的是波形流，绝对的纯正、HIFI（高保真）。但缺点是无法编辑，文件长度太大。 (6) MIDI 扩展名MID，目前最成熟的音乐格式，实际上已经成为一种产业标准，其科学性、兼容性、复杂程度等各方面当然远远超过本文前面介绍的所有标准（除交响乐CD、Unplug CD外，其它CD往往都是利用MIDI制作出来的），它的General MIDI就是最常见的通行标准。作为音乐工业的数据通信标准，MIDI能指挥各音乐设备的运转，而且具有统一的标准格式，能够模仿原始乐器的各种演奏技巧甚至无法演奏的效果，而且文件的长度非常小。 总之，如果有专业的音源设备，那么要鉴别同一首曲子的HIFI（高保真）程度，依次是：原声乐器演奏MIDICD唱片MOD所谓声卡上的MIDICMF，而MP3及RA要看它的节目源是采用MIDI、CD还是MOD了。,(7) VQF,vqf是一种音频压缩技术。它的音频压缩率比标准的mpeg音频