第五章 多媒体技术.doc

第五章 多媒体技术 第一节 多媒体技术20世纪80年代中后期开始，多媒体计算机技术成为人们关注的热点之一。多媒体技术是一种迅速发展的综合性电子信息技术，它给传统的计算机系统、音频和视频设备带来了方向性的变革，将对大众传媒产生深远的影响。多媒体计算机将加速计算机进人家庭和社会各个方面的进程，给人们的工作、生活和娱乐带来深刻的革命。简单的说：多媒体技术就是对文本、声音、图像和图形进行处理、传输、存储、播放的集成技术。一、基本概念 媒体(Medium)：信息的载体，如数值、文字、声音、图形、图像等。多媒体(Multimedia)：把文字、声音、图形、图象、动画等多媒体组合起来形成一个有机的整体。多媒体计算机技术：（MultimediaComputerTechnology）：计算机综合处理多种媒体信息，文本、图形、图像、音频和视频，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说：计算机综合处理声、文、图信息且具有集成性和交互性。二、媒体分类 1、感觉媒体（Perceptionmedium）：指的是能直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。如语言、音乐、自然界中的各种声音、各种图像、动画、文本等。 132、表示媒体（Representationmedium）：指的是为了传送感觉媒体而人为研究出来的媒体。借助于此种媒体，便能更有效地存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。诸如语言编码、电报码、条形码等等。 设备 3、显示媒体（Presentationmedium）：指的是用于通信中使电信号和感觉媒体之间产生转换用的媒体。如输入、输出设施，键盘、鼠标器、显示器、打印机等。 4、存储媒体（Storagemedium）：指的是用于存放某种媒体的媒体。如纸张、磁带、磁盘、光盘等。 5、传输媒体（Transmission、medium）：指的是用于传输某些媒体的媒体。常用的有如电话线、电缆、光纤等。三：关键特性：单一媒体1集成性 多媒体计算机技术是结合文字、图形、影像、声音、动画等各种媒体的一种应用，并且是建立在数字化处理的基础上的。它不同于一般传统文件，是一个利用电脑技术的应用来整合各种媒体的系统。媒体依其属性的不同可分成文字、音频及视频；其中，文字可分为文字及数字，音频（Audio）可分为音乐及语音，视频（Video）可分为静止图像、动画及影片等；其中包含的技术非常广，有电脑技术、超文本技术、光盘储存技术及影像绘图技术等。2交互性。 交互性是多媒体计算机技术的特色之一，就是可与使用者作交互性沟通（InteractiveCommunication）的特性，这也正是它和传统媒体最大的不同。这种改变，除了提供使用者按照自己的意愿来解决问题外，更可借助这种交谈式的沟通来帮助学习、思考，作有系统的查询或统计，以达到增进知识及解决问题的目的。 3多样化信息载体的多样化是多媒体的主要特征之一，也是多媒体研究需要解决的关键问题。多媒体技术的多样性体现在信息采集或生成、传输、存储、处理和显现的过程中，要涉及到多种感知媒体、表示媒体、传输媒体、存储媒体或呈现媒体，或者多个信源或信宿的交互作用。信息载体的多样化使计算机所能处理的信息空间范围扩展和放大，而不再局限于数值、文本或特殊对待的图形和图像，这是计算机变得更加人性化所必须的条件。PC-CPU INTEL 72指令CDROMDOS- WINDOWS第二节 多媒体软硬件组成多媒体技术来自不同的技术领域，组成形态及方法有不同的侧重。概括地仍可划分为偏软件技术和偏硬件技术两部分。MPC 1MB GB一：多媒体硬件系统基本组成1.具有CD-ROM，即除了必须的硬盘驱动器外，还必须有CD-ROM驱动器。这成为MPC的重要标志。2.具有A/D和D/A转换功能，让语音的模拟信号和数字信号之间能相互转换，从而使多媒体硬件系统有高质量的数字音响功能。3.具有高清晰的彩色显示器，以便显示图形、图像、文字以及来自光盘的动画与影视节目。4.具有数据压缩与解压缩的硬件支持，这是解决图像和声音等大数据量信息所必需的条件。u 常见设备 CD1.光盘驱动器:包括可重写光盘驱动器(CD-R)、WORM光盘驱动器和CD-ROM驱动器。其中CD-ROM驱动器为MPC带来了价格便宜的650MB存储设备，存有图形、动画、图像、声音、文本、数字音频、程序等资源的CD-ROM早已广泛使用，因此现在光驱对广大用户来说已经是必须配置的了。而可重写光盘、WORM光盘价格较贵，目前还不是非常普及。另外，DVD出现在市场上也有些时日了，它的存储量更大，双面可达17GB，是升级换代的理想产品。2.音频卡:在音频卡上连接的音频输入输出设备包括话筒、音频播放设备、MIDI合成器、耳机、扬声器等。数字音频处理的支持是多媒体计算机的重要方面，音频卡具有A/D和D/A音频信号的转换功能，可以合成音乐、混合多种声源，还可以外接MIDI电子音乐设备。ISA EISA PCI AGP3.图形加速卡:图文并茂的多媒体表现需要分辨率高，而且同屏显示色彩丰富的显示卡的支持，同时还要求具有Windows的显示驱动程序，并在Windows下的像素运算速度要快。所以现在带有图形用户接口GUI加速器的局部总线显示适配器使得Windows的显示速度大4.视频卡:可细分为视频捕捉卡、视频处理卡、视频播放卡以及TV编码器等专用卡，其功能是连接摄像机、VCR影碟机、TV等设备，以便获取、处理和表现各种动画和数字化视频媒体。5.扫描卡:它是用来连接各种图形扫描仪的，是常用的静态照片、文字、工程图输入设备。6.打印机接口:用来连接各种打印机，包括普通打印机、激光打印机、彩色打印机等，打印机现在已经是最常用的多媒体输出设备之一。7.交互控制接口:它是用来连接触摸屏、鼠标、光笔等人机交互设备的，这些设备将大大方便用户对MPC的使用。8.网络接口:是实现多媒体通信的重要MPC扩充部件。计算机和通信技术相结合的时代已经来临，这就需要专门的多媒体外部设备将数据量庞大的多媒体信息传送出去或接收进来，通过网络接口相接的设备包括视频电话机、传真机、LAN和ISDN等。二：多媒体软件系统基本组成1.多媒体系统软件是多媒体系统的核心，多媒体各种软件要运行于多媒体操作系统平台（如，Windows）上，故操作系统平台是软件的核心。多媒体计算机系统的主要系统软件有：（1）多媒体驱动软件：是最底层硬件的软件支撑环境，直接与计算机硬件相关的，完成设备初始、各种设备操作、设备的打开和关闭、基于硬件的压缩/解压缩、图像快速变换及功能调用等。通常驱动软件有视频子系统、音频子系统、及视频/音频信号获取子系统。（2）驱动器接口程序：是高层软件与驱动程序之间的接口软件。为高层软件建立虚拟设备。（3）多媒体操作系统：实现多媒体环境下多任务调度，保证音频视频同步控制及信息处理的实时性，提供多媒体信息的各种基本操作和管理，具有对设备的相对独立性和可操作性。操作系统还具有独立于硬件设备和较强的可扩展性。（4）多媒体素材制作软件及多媒体库函数：为多媒体应用程序进行数据准备的程序，主要为多媒体数据采集软件，作为开发环境的工具库，供设计者调用。（5）多媒体创作工具、开发环境：主要用于编辑生成多媒体特定领域的应用软件。是在多媒体操作系统上进行开发的软件工具。2.多媒体应用软件多媒体创作平台上设计开发的面向应用领域的软件系统。3. 常见的声音文件格式 1）CD 标准CD格式是44.1K的采样频率，速率88K/秒，16位量化位数，因为CD音轨可以说是近似无损的，因此它的声音基本上是忠于原声的，因此如果你是一个音响发烧友的话，CD是你的首选。2）.WAVWAV格式是微软公司开发的一种声音文件格式，也叫波形声音文件，是最早的数字音频格式，被Windows平台及其应用程序广泛支持。WAV格式采用44.1kHz的采样频率，16位量化位数，因此WAV的音质与CD相差无几，但WAV格式对存储空间需求太大不便于交流和传播。3）.MP3MP3的全称是Moving Picture Experts Group Audio Layer III。简单的说，MP3就是一种音频压缩技术，由于这种压缩方式的全称叫MPEG Audio Layer3，所以人们把它简称为MP3。MP3是利用 MPEG Audio Layer 3 的技术，将音乐以1:10 甚至 1:12 的压缩率，压缩成容量较小的文件，换句话说，能够在音质丢失很小的情况下把文件压缩到更小的程度。而且还非常好的保持了原来的音质。正是因为MP3体积小，音质高的特点使得MP3格式几乎成为网上音乐的代名词。每分钟音乐的MP3格式只有1MB左右大小，这样每首歌的大小只有3-4兆字节。使用MP3播放器对MP3文件进行实时的解压缩（解码），这样，高品质的MP3音乐就播放出来了。4）.WMAWMA的全称是Windows Media Audio，是微软力推的一种音频格式。WMA格式是以减少数据流量但保持音质的方法来达到更高的压缩率目的，其压缩率一般可以达到1:18，生成的文件大小只有相应MP3文件的一半。此外，WMA还可以通过DRM（Digital Rights Management）方案加入防止拷贝，或者加入限制播放时间和播放次数，甚至是播放机器的限制，可有力地防止盗版。4.常见视频文件格式1).AVI AVI（Audio Video Interleaved），Windows的视频多媒体，是从Windows3.1即开始支持的文件格式。AVI可以看作是有多幅连续的图形也就是动画的帧按顺序组成的动画文件。由于视频文件的信息量很大，人们研究了很多压缩方法。这些AVI的压缩和解压缩的方法做成驱动程序就缩写为codec。 2).ASF英文全称为Advanced Streaming format，它是微软为了和现在的Real Player竞争而推出的一种视频格式，用户可以直接使用Windows自带的Windows Media Player对其进行播放。由于它使用了MPEG-4的压缩算法，所以压缩率和图像的质量都很不错（高压缩率有利于视频流的传输，但图像质量肯定会有损失，所以有时候ASF格式的画面质量不如VCD是正常的）。3).WMV英文全称为Windows Media Video，也是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。WMV格式的主要优点包括：本地或网络回放、可扩充的媒体类型、部件下载、可伸缩的媒体类型、流的优先级化、多语言支持、环境独立性、丰富的流间关系以及扩展性等。4).RM，RMVBReal Networks公司所制定的音频视频压缩规范称为Real Media，用户可以使用RealPlayer或RealOne Player对符合RealMedia技术规范的网络音频/视频资源进行实况转播并且RealMedia可以根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。失真(X1,Y1 X2,Y2 32)OS第三节 多媒体关键技术1.数据压缩 在多媒体系统中，由于涉及的各种媒体信息主要是非常规数据类型，如图形、图像、视频和音频等，这些数据所需要的存储空间是十分巨大和惊人的。为了使多媒体技术达到实用水平，除了采用新技术手段增加存储空间和通信带宽外，对数据进行有效压缩将是多媒体发展中必须要解决的最关键的技术之一。经过40多年的数据压缩研究，从PCM编码理论开始，到现今成为多媒体数据压缩标准的JPEG和MPEG，已经产生了各种各样针对不同用途的压缩算法、压缩手段和实现这些算法的大规模集成电路或计算机软件，并逐渐趋于成熟。 .JPG .JPEGu JPEG（Joint Photographic Experts Group），适合于连续色调、多级灰度、彩色或单色静止图像的国际标准。知识产权 WTO DVD uu MPEG（Moving Picture Experts Group），包括MPEG视频、MPEG音频和MPEG系统3部分，MPEG要考虑到音频和视频的同步。2.数据的组织与管理数据的组织和管理是任何信息系统要解决的核心问题。数据量大、种类繁多、关系复杂是多媒体数据的基本特征。以什么样的数据模型表达和模拟这些多媒体信息空间？如何组织存储这些数据？如何管理这些数据？如何操纵和查询这些数据？这是传统数据库系统的能力和方法难以胜任的。目前，人们利用面向对象(OO，Object Oriented)方法和机制开发了新一代面向对象数据库(OODB，Object Oriented Data Base)，结合超媒体(Hypermedia)技术的应用，为多媒体信息的建模、组织和管理提供了有效的方法。3. 多媒体信息的展现与交互在传统的计算机应用中，大多数都采用文本媒体，所以对信息的表达仅限于显示。在未来的多媒体环境下，各种媒体并存，视觉、听觉、触觉、味觉和嗅觉媒体信息的综合与合成，就不能仅仅用显示完成媒体的表现了。各种媒体的时空安排和效应，相互之间的同步和合成效果，相互作用的解释和描述等都是表达信息时必须考虑的问题。有关信息的这种表达问题统称为展现。尽管影视声响技术广泛应用，但多媒体的时空合成、同步效果、可视化、可听化以及灵活的交互方法等仍是多媒体领域需要研究和解决的棘手问题。CE0 场地数据100亿 4. 多媒体通信与分布处理多媒体通信对多媒体产业的发展、普及和应用有着举足轻重的作用，构成了整个产业发展的关键和瓶颈。在通信网络中，如电话网、广播电视网和计算机网络，其传输性能都不能很好地满足多媒体数据数字化通信的需求。从某些意义上讲，数据通信设施和能力严重地制约着多媒体信息产业的发展，因而，多媒体通信一直作为整个产业的基础技术来对待。当然，真正解决多媒体通信问题的根本方法是信息高速公路的实现.方法。 多媒体的分布处理是一个十分重要的研究课题。因为要想广泛地实现信息共享，计算机网络及其在网络上的分布式与协作操作就不可避免。多媒体空间的合理分布和有效的协作操作将缩小个体与群体、局部与全球的工作差距。超越时空限制，充分利用信息，协同合作，相互交流，节约时间和经费等是多媒体信息分布的基本目标。多媒体通信对多媒体产业的发展、普及和应用有着举足轻重的作用，构成了整个产业发展的关键和瓶颈。在通信网络中，如电话网、广播电视网和计算机网络，其传输性能都不能很好地满足多媒体数据数字化通信的需求。从某些意义上讲，数据通信设施和能力严重地制约着多媒体信息产业的发展，因而，多媒体通信一直作为整个产业的基础技术来对待。当然，真正解决多媒体通信问题的根本方法是信息高速公路的实现，高速高宽带网(ADSL、Asymmetric Digital Subscriber Loop，非对称数字用户回路)也是解决这个问题的一个比较完整的方法。 多媒体的分布处理是一个十分重要的研究课题。因为要想广泛地实现信息共享，计算机网络及其在网络上的分布式与协作操作就不可避免。多媒体空间的合理分布和有效的协作操作将缩小个体与群体、局部与全球的工作差距。超越时空限制，充分利用信息，协同合作，相互交流，节约时间和经费等是多媒体信息分布的基本目标。 5.虚拟/现实技术 所谓虚拟现实，就是采用计算机技术生成一个逼真的视觉、听觉、触觉及味觉等感官世界，用户可以直接用人的技能和智慧对这个生成的虚拟实体进行考察和操纵。这个概念包含三层含义:首先，虚拟现实是用计算机生成的一个逼真的实体，逼真就是要达到三维视觉、听觉和触觉等效果；其次，用户可以通过人的感官与这个环境进行交互；最后，虚拟现实往往要借助一些三维传感技术为用户提供一个逼真的操作环境。虚拟现实是多媒体发展的更高境界，具有更高层次的集成性和交互性，成为多媒体技术研究中十分活跃的一个领域。自 测 题一：单选1. 多媒体技术的主要特点是_。 A实时性和信息量大 B集成性和交互性 C实时性和分布性 D分布性和交互性2. 在多媒体计算机系统中，CDROM属于_。 A存储媒体 B感觉媒体 C表现媒体 D表示媒体3. 所谓多媒体是指_。 A多种表示和传播信息的载体 B各种信息的编码 C计算机的输入输出信息 D计算机屏幕显示的信息4.一个完整的多媒体计算机系统，应包含三个组成部分，它们是_。 A多媒体硬件平台,多媒体软件平台和多媒体创作工具 B文字处理系统,声音处理系统和图象创作系统C主机,声卡和图象卡 D.微机系统,打印系统和扫描程序 5、在以下获取计算机图像的方法中不包括_。A、绘图软件b、抓图软件c、扫描仪D、照相机6.多媒体应用技术中，VOD指的是_。A.图像格式 B.语音格式 C.总线标准 D.视频点播 7.多媒体的关键特征主要表现在_三个方面.A信息载体的多样性、系统的集成性、媒体的交互性B信息载体的多样性、系统的交互性、媒体的集成性 C信息载体的多样性、系统的集成性、媒体的同步性 D信息载体的多样性、系统的实时性、媒体的交互性8传统的电视系统之所以不能称为多媒体系统的主要原因在于它缺乏_ 。A集成性 B交互性 C实时性D同步性9.多媒体数据具有_的特点。A、数据量大和数据类型多类型间区别小. B、数据类型间区别大和数据类型少 C、数据量大、数据类型多、数据类型间区别小、输入和输出不复杂 D、数据量大、数据类型多、数据类型间区别大、输入和输出复杂10.下述声音分类中质量最好的是_。 A、CD B、调频无线电广播 C、调幅无线电广播 D、电话11.CD-ROM_ 。 A.仅能存储文字 B.仅能存储图像 C.仅能存储声音 D.能存储文字、声音和图像12.下列哪种论述是正确的_。A.音频卡的分类主要是根据采样的频率来分，频率越高，音质越好。B.音频卡的分类主要是根据采样信息的压缩比来分，压缩比越大，音质越好。C.音频卡的分类主要是根据接口功能来分，接口功能越多，音质越好。D.音频卡的分类主要是根据采样量化的位数来分，位数越高，量化精度越高，音质越好。13.下列配置中哪些是mpc必不可少的_。1.CD-ROM驱动器。 2.高质量的音频卡。3.高分辩率的图形、图像显示。 4.高质量的视频采集卡。A.1 B.1、2 C.1、 2、3 D.全部14关于MIDI，下列叙述不正确的是_ 。AMIDI是合成声音 B.MIDI的回放依赖设备CMIDI文件是一系列指令的集合 D.使用MIDI，不需要许多的乐理知识15.下列采样的波形声音质量最好的是_。A.单声道、8位量化、44.1kHz采样频率B.双声道、8位量化、22.05kHz采样频率C.双声道、16位量化、44.1kHz采样频率D.单声道、16位量化、22.05kHz采样频率16.下列不属于多媒体技术中