《信息技术基础教程》（刘正华）756-1课件 第7章 多媒体技术

第7章多媒体技术一、多媒体技术的概念二、多媒体数据压缩编码技术多媒体技术是20世纪80年代末兴起并得到迅速发展的一门技术。它使计算机具备了综合处理文字、音频、图像、视频和动画的能力，帮助人们创作了许多丰富多彩、赏心悦目的作品，给人们的生活、工作和学习增添了色彩和乐趣。一、多媒体技术的概念（一）多媒体的定义（二）多媒体技术的特性（四）多媒体信息的特点（三）多媒体系统的分类（五）多媒体技术的发展媒体在计算机领域有两种含义：一种是指媒质，即存储信息的实体，如硬盘、光盘、U盘等；二是指传递信息的载体，如数字、文字、声音、图形和图像等。（一）多媒体的定义1．认识媒体国际电信联盟（ITU）在1993年定义了以下五种媒体。感觉媒体（PerceptionMedium）：指使人直接产生感觉的媒体，如声音、文字、图形、图像和视频等。人们通常所说的媒体便是指感觉媒体。表示媒体（RepresentationMedium）：是为加工、处理和传输感觉媒体而人为研究。构造出来的一种媒体，其目的是更有效地加工、处理和传送感觉媒体。表示媒体包括各种编码方式，如字符编码、图像编码、音频编码和视频编码等。存储媒体（StorageMedium）：用于存放表示媒体的物理实体，如内存、硬盘、光盘和U盘等。传输媒体（TransmissionMedium）：用来将媒体从一处传送到另一处的物理传输介质，如双绞线、同轴电缆、光纤和无线电波等。

多媒体（Multimedia）是指多种媒体的综合集成与交互。多媒体不仅是指多种媒体本身，而且包含处理和应用它的一整套技术，因此“多媒体”与“多媒体技术”是同义词。简而言之，多媒体技术是指利用计算机综合处理文本、图形、图像、声音、动画和视频等媒体的技术，具有集成性、实时性和交互性等特点。2．认识多媒体多样性：利用多媒体使人们不但可以看到文字说明、静止图像，还能观看视频和动画，以及听到声音等，从而使信息的表现方式更加丰富。集成性：集成性包括两方面：一方面是把不同媒体设备集成在一起，形成多媒体系统；另一方面是利用多媒体技术将文字、图形、图像、声音和视频等多种媒体信息集成在一起，综合体现它们的应用。实时性：由于多媒体技术是研究多种媒体集成的技术，其中声音和视频（或其他活动的图像）都与时间有着密切的关系，这就决定了多媒体技术应支持实时处理。如播放时，声音和视频都不能有停顿的现象。交互性：所谓交互性是指参与的各方都可以对多媒体信息进行编辑、控制和传递。多媒体系统一般具有捕捉、编辑、存储、显现和通信功能，用户能够随意控制声音、影像等媒体信息，实现用户和用户之间、用户和计算机之间的双向交流（二）多媒体技术的特性1．多媒体硬件系统一个完整的多媒体计算机硬件系统由主机、音频部分、视频部分、基本输入/输出设备、大容量存储设备等组成。目前的计算机都具有多媒体功能，能够完成常规多媒体信息的处理。（1）主机主机是整个多媒体系统的核心。对于多媒体计算机来说，它需要具备：一个或多个高性能的CPU；一个高性能的显卡；较大的内存空间；较大的硬盘容量；主板上有较为齐全的外设接口。（2）音频部分音频部分的设备主要包括声卡、音箱、话筒、耳麦、MIDI设备等。声卡是多媒体计算机的必备硬件之一，它的主要作用是完成音频信号的A/D（模拟音频转数字音频）和D/A（数字音频转模拟音频）转换，以及数字音频的压缩、解压缩和播放等功能。其他所有音频设备都需要插在声卡的相应接口上。（三）多媒体系统的分类现在几乎所有计算机的主板都集成有声音处理芯片，用来代替声卡。因此，如果用户只是进行一般的多媒体信息处理，无需再为计算机单独配置声卡；但如果用户对声音的要求较高，则需要购买一块高性能的声卡。（3）视频部分视频部分负责多媒体计算机图像和视频信息的数字化获取和回放，主要包括视频采集卡（见图）和电视卡等。视频采集卡主要完成视频信号的A/D和D/A转换及数字视频的压缩和解压缩功能，其信号源可以是摄像机、影碟机等。电视卡（盒）主要完成普通电视信号的接收、解调、A/D转换，以及与主机之间的通信，从而可在计算机上观看电视节目，同时还可以以MPEG压缩格式录制电视节目。（4）输入/输出部分在开发和发布多媒体产品时，要使用到多种输入/输出设备，例如：图像/视频/音频输入设备：包括摄像机、录像机、影碟机、电视机、数码相机、扫描仪、话筒、录音机、激光唱机和MIDI合成器等。图像/视频/音频输出设备：包括显示器、电视机、投影仪、音箱、立体声耳机和打印机等。人机交互设备：包括键盘、鼠标、触摸屏和光笔等。（5）大容量存储设备制作多媒体时，需要将彩色图像、文本、声音、视频剪辑以及其他元素结合在一起。因此需要大量的存取空间。用户可以使用大容量的硬盘、光盘等来存储这些数据。2．多媒体软件系统如果说硬件系统是多媒体技术的基础，那么软件系统就是多媒体技术的灵魂。多媒体软件分为以下几大类。（1）多媒体操作系统常见的多媒体操作系统有Windows、Linux系列操作系统等。其中，Windows是最常用的操作系统。（2）多媒体开发工具多媒体开发工具用于编辑、处理和组织多媒体数据。多媒体开发工具有很多，适用于不同类型元素的处理，按照处理对象的不同，可以分为文字编辑软件、图形图像处理软件、动画制作软件、视频处理软件和多媒体创作软件等。文字编辑软件：常用的文字编辑软件有Word、WPS等，它们都是功能强大的文档编辑软件，可以在文档中输入文本，以及插入图像、图形等多媒体元素。图形图像处理软件：其中最常用的编辑和处理图像的软件是Photoshop；常用的绘制和处理图形的软件有Illustrator和CorelDRAW等。音频采集与编辑软件：常用的音频采集和编辑软件有GoldWave、WaveStudio和CoolEdit等。动画制作软件：动画由一系列快速播放的位图或矢量图构成。动画的常用制作软件有Flash、3dsmax、AnimatorPro、Maya、Cool3D、Poser等，这几个软件都拥有图形绘制和动画生成功能；还有AnimatorStudio和GIFConstructionSet，这两个软件是动画处理软件，用于对动画素材进行后期合成加工。视频处理软件：常用的视频处理软件有AdobePremiere和AfterEffects等。多媒体创作软件：利用多媒体创作软件可以对文本、声音、图像、视频等多种媒体信息进行控制和管理，并按要求生成完整的多媒体文档。常用的多媒体创作软件有Authorware和PowerPoint等。（3）多媒体播放工具多媒体播放工具用于播放多媒体作品。如播放音频的Winamp，播放视频的迅雷看看、暴风影音、百度影音等。多媒体信息被分为多种类型，每种类型又有其自身的特点。常见的多媒体类型有文本、图像、图形、音频、视频、动画等。（1）文本（text）：指中文、英文、符号等各种字符，是计算机文字处理的基础，也是多媒体应用的基础。文本有非格式化与格式化两种形式：非格式化文本中字符的大小是固定的，仅能按一种形式和类型使用，不具备排版功能，如.txt文件中的文本；格式化文本可进行格式编排，例如，可为文本设置字体、大小、颜色、倾斜、加粗等属性。（2）图像（image）：本质上是一组像素点阵的记录信息，记载着构成图案的各个像素的颜色和亮度等，也叫位图（Bitmap）图像。图像的分辨率越高，组成图像的点阵就越密，图像文件的尺寸就越大。图像主要是由数字化输入设备（如数码相机、扫描仪等）捕获的实际场景画面，或者以数字化形式存储的画面。图像主要用于表现自然景色、人物等，能表现对象的颜色细节和质感。图像的优点是形象、直观、信息量大，缺点是文件的尺寸较大，因此，图像在存储时一般都是经过压缩的。目前有很多种图像压缩格式，如TIF、JPEG、GIF等。（四）多媒体信息的特点（3）图形（graphic）：是由诸如直线、曲线、圆或曲面等几何图形形成的从点、线、面到三维空间的黑白或彩色几何图，也叫矢量图。图形的优点是可以任意放大、缩小而不失真，占用存储空间小，缺点是仅能表现对象结构，无法表现对象质感。（4）音频（audio）：也泛称声音，除语音、音乐外，还包括动物鸣叫声等自然界的各种声音。常用的声音格式有：WAV（波形音频文件）、MP3等。无论哪种声音，其本质都是相同的，都是具有振幅和频率的声波。其中，振幅表示声音的强弱，频率表示音调的高低。声音的数据量也非常大，因此，必须进行压缩处理。（5）视频（video）：若干幅内容相互联系的图像连续播放就形成了视频（Video）。视频主要源于摄像机拍摄的连续自然场景画面。视频的几个主要参数包括：①帧速：每秒钟播放的静止画面数，单位为FPS。一般来说，只要帧速达到16FPS，视频的效果就已令人满意；②数据量：视频未经压缩的数据量为帧速乘以每幅图像数据量。通过压缩，可使数据量减小为原来的几十分之一甚至更小。（6）动画（animation）：与视频类似，动画也是由多幅连续的、上下关联的画面序列构成，序列中的每幅图画称为一“帧（frame）”。用计算机制作的动画有两种，一种叫造型动画，一种叫帧动画。其中，造型动画每帧由图形、声音、文字等造型元素组成，由脚本控制角色的表演和行为；帧动画是由一幅幅连续画面组成的图像序列。1984年美国Apple（苹果）公司首先在Macintosh机上引入位图等技术，并提出了视窗和图标的用户界面形式，从而使计算机告别了枯燥无味的黑白、字符显示风格，开始走向视窗化、彩色化的新征程。1985年，美国Commodore（康懋达）公司推出了世界上第一台真正的多媒体系统Amiga，这套系统以其功能完备的视听处理能力、大量丰富的实用工具以及性能优良的硬件，使全世界看到了多媒体技术的美好未来。1986年，荷兰Philips（飞利浦）公司和日本Sony（索尼）公司联合推出了交互式紧凑光盘系统CD-I，它将高质量的声音、文字、计算机程序、图形、动画及静止图像等都以数字的形式存储在650MB的只读光盘上。大容量光盘的出现为存储表示文字、声音、图形、视频等高质量的数字化媒体提供了有效的手段。（五）多媒体技术的发展1987年，RCA公司首次公布了交互式数字视频系统（DigitalVideoInteractive，DVI）技术的科研成果。它以计算机技术为基础，用标准光盘来存储和检索静止图像、动态图像、音频和其他数据。1988年Intel公司购买其技术，并于1989年与IBM公司合作，在国际市场上推出第一代DVI技术产品，随后在1991年推出了第二代DVI技术产品。随着多媒体技术的迅速发展，特别是多媒体技术向产业化发展，为了规范市场，使多媒体计算机进入标准化的发展时代，1990年，由Microsoft（微软）公司会同多家厂商成立了“多媒体计算机市场协会”，并制定了多媒体个人计算机（MPC-1）的第一个标准。在这个标准中，制定了多媒体计算机系统应具备的最低标准。1991年，在第六届国际多媒体和CD-ROM大会上宣布了扩展结构系统标准CD-ROM/XA，从而填补了原有标准在音频方面的缺陷。经过几年的发展，CD-ROM技术日趋完善和成熟。而计算机价格的下降，为多媒体技术的实用化提供了可靠的保证。1992年，由运动图像专家组（MovingPictureExpertGroup）开发制定的MPEG-1音视频压缩编码标准正式发布，为数字音视频在计算机中的存储提供了保障。MPEG系列的其他标准还有MPEG-2、MPEG-4、MPEG-7和MPEG-21等。如今，多媒体技术已经从一个婴儿成长为一个青年，并不断向高分辨化（提高显示质量）、高速度化（缩短处理时间）、简单化（便于操作）、高维化（三维、四维）、智能化和标准化（便于信息交换和资源管理）方向发展。而且，随着技术的不断发展和创新，多媒体技术将更多地融入人们的日常学习、工作和生活中。二、多媒体数据压缩编码技术数据压缩是通过减少计算机中所存储数据或者通信传播中数据的冗余度，达到增大数据密度，最终使数据的存储空间减少的技术。（一）多媒体数据编码的重要性（二）音频信号的压缩编码及标准（三）图像与视频压缩编码及标准（一）多媒体数据编码的重要性在多媒体系统中，信息从单一媒体转到多种媒体，需要传输、处理和存储大量数字化了的声音、图片、影像视频等信息，数据量是非常大的。如果不进行处理，将对存储器的存储、通信线路的传输以及计算机的处理等都造成巨大的压力。因此，在多媒体系统中，为了达到令人满意的图像、视频画面质量和听觉效果，必须解决视频、图像、音频信号数据的大容量存储和实时传输问题。解决的方法除了提高计算机本身的性能及通信信道的带宽外，更重要的是对数据进行有效的压缩。数据压缩的实质是查找和消除信息的冗余量。被压缩的对象是原始数据，压缩后得到的数据是压缩数据，两者容量之比为压缩比。目前常用的多媒体数据压缩方法有两类：一是无损压缩，二是有损压缩。无损压缩又称冗余压缩法或熵编码法，该压缩方式算法的出发点是去掉或减少数据中的冗余，压缩过程中不能破坏数据中所包含的信息，也就是说没有任何信息损失，解压缩后的数据必须与原来的一样。无损失压缩主要用于文本数据的压缩。有损压缩又称为熵压缩法，是指在压缩过程中减少了数据中所包含的数据量，也就是说有一定的失真，因此在解压缩中恢复的数据与原来的数据不一样。然而，正是由于减少了数据量才能获得较高的压缩比，只要这些失真在一定的范围之内，则该压缩算法是可以接受的。（二）音频信号的压缩编码及标准1.数字音频压缩编码概述将量化后的数字声音信息直接存入计算机将会占用大量的存储空间。在多媒体音频信号处理中，一般需要对数字化后的声音信号进行压缩编码，使其成为具有一定字长的二进制数字序列，以减少音频的数据量，并以这种形式在计算机内传输和存储。在播放这些声音时，需要经解码器将二进制编码恢复成原来的声音信号播放。按照压缩原理的不同，声音的压缩编码可分为3类，即波形编码、参数编码和混合型编码。（1）波形编码波形编码主要利用音频采样值的幅度分布规律和相邻采样值间的相关性进行压缩，目标是力图使重构的声音信号的各个样本尽可能地接近于原始声音的采样值。这种编码复原的声音质量较高。波形编码技术有脉冲编码调制（PCM）、自适应增量调制（ADM）和自适应差分脉冲编码调制（ADPCM）等。波形编码方案中最常用的是PCM编码。（2）参数编码参数编码是一种对语音参数进行分析合成的方法。语音的基本参数是基音周期、共振峰、语音谱、声强等，如能得到这些语音基本参数，就可以不对语音的波形进行编码，而只要记录和传输这些参数就能实现声音数据的压缩。这些语音基本参数可以通过分析人的发音器官的结构及语音生成的原理，建立语音生成的物理或数学模型通过实验获得。得到语音参数后，就可以对其进行线性预测编码（lnearpedictivecding，LPC）。（3）混合型编码混合型编码是一种在保留参数编码技术的基础上，引用波形编码准则去优化激励源信号的方案。混合型编码充分利用了线性预测技术和综合分析技术，其典型算法有：码本激励线性预测（CELP）、多脉冲线性预测（MP-LPC）、矢量和激励线性预测（VSELP）等。2.音频文件格式PCM编码：即脉冲编码调制，指模拟音频信号经过采样、量化后直接形成数字音频信号，未经过任何压缩处理。PCM编码的最大的优点就是音质好，最大的缺点就是体积大。在计算机应用中，能够达到音频最高保真水平的就是PCM编码。WAV格式（*.wav）：基于PCM编码的WAV格式是音质最好的音频文件格式。在Windows平台中，几乎所有的音频软件都提供对它的支持。此外，由于WAV格式音质很高，因此它是音乐编辑创作的首选格式，适合保存音频素材。WAV格式的缺点是对存储空间需求太大，不便于保存和传播。MP3格式（.mp3）：使用MP3（全称是MPEG-1AudioLayer3）或MP3PRO编码技术。MP3编码是目前最为普及的音频压缩编码，可以在12∶1的压缩比下保持较高品质的音质；MP3PRO编码是对传统MP3编码技术的一种改良，它最大的特点是在低码率下保持非常高的音质。MP3格式的音频文件还支持流技术（边下载边播放），可以在线播放。WMA格式（.wma）：是使用WindowsMediaAudio编码后的文件格式，由微软开发，其压缩率一般可以达到18∶1。WMA格式支持防复制功能，可以限制播放时间和播放次数等，从而防止盗版；WMA格式还支持流技术，可以在线播放。RealAudio格式（.ra）：RealAudio是由RealNetworks公司推出的一种音频文件格式，它支持多种音频编码，最大的特点就是可以实时传输音频信息，尤其是在网速较慢的情况下仍然可以较为流畅地传送数据，提供足够好的音质让用户能在线聆听，因此RealAudio主要适用于网络上的在线播放。AIFF格式（.aif或.aiff）：是苹果公司开发的音频文件格式。AIFF虽然是一种很优秀的文件格式，但由于它主要是针对苹果电脑，并没有在普通PC平台上流行。OGG格式（.ogg）：使用OggVorbis编码技术，它可以在相对较低的码率下实现比MP3更好的音质，但不被大多数软件支持。APE格式（.ape）：使用APE编码。APE编码是一种新兴的无损音频编码，可以提供50%～70%的压缩比。（三）图像与视频压缩编码及标准1.图像编码（1）JPEGJPEG是ISO/IEC联合图像专家组制定的静止图像压缩标准，是适用于连续色调（包括灰度和彩色）静止图像压缩算法的国际标准。JPEG算法共有4种运行模式，其中一种是基于空间预测（DPCM）的无损压缩算法，另外3种是基于DCT的有损压缩算法。（2）JPEG-2000与以往的JPEG标准相比，JPEG-2000压缩率比JPEG高约30%。JPEG-2000与传统JPEG最大的不同在于它放弃了JPEG所采用的以DCT变换为主的分块编码方式，而改为以小波变换为主的多分辨率编码方式。2.常见的图形图像文件格式图形图像在多媒体作品中的应用非常广泛，为了适应不同方面的应用，图形图像可以以多种格式进行存储。下面是一些常见的图形图像格式。BMP格式：是Windows操作系统中“画图”程序的标准文件格式，此格式与大多数Windows和OS/2平台的应用程序兼容。JPEG格式：JPEG能以很高的压缩比例来保存图像（可选择压缩比例）。GIF格式：该格式图像最多可包含256种颜色，颜色模式为索引