多媒体技术（第2版）第2章

第2章媒体与媒体技术

普通高等教育“十一五”国家级规划教材2.1媒体的种类和特点五类媒体感觉媒体表示媒体显示媒体存储媒体传输媒体多媒体技术中研究的媒体主要是表示媒体22.1.1媒体的种类表示媒体主要分为视觉类媒体听觉类媒体触觉类媒体32.1.1媒体的种类1．视觉类媒体⑴位图图像（bitmap）将所观察的图像按行列方式进行数字化，对图像的每一点都数字化为一个值，所有这些值就组成了位图图像。位图图像是所有视觉表示方法的基础。(2)图形（graphics）图形是图像的抽象，它反映了图像上的关键特征，如点、线、面等。图形的表示不直接描述图像的每一点，而是描述产生这些点的过程和方法，也即用矢量来表示。42.1媒体的种类和特点1．视觉类媒体(3)符号由于符号是人类创造出来表示某种含义的，所以它与使用者的知识有关，是比图形更高一级的抽象。必须具备特定的知识，才能解释特定的符号，才能解释特定的文本（例如语言）。符号的表示是用特定值表示的，如ASCII码、中文国标码等。包括文字和文本。52.1.1媒体的种类1．视觉类媒体(4)视频（video）又称动态图像，是一组图像按时间的有序连续表现。视频的表示与图像序列、时间关系有关。(5)动画（animation）也是动态图像的一种。与视频不同之处在于动画采用的是计算机产生出来的图像或图形，而不像视频采用直接采集的真实图像。动画包括二维动画、三维动画、真实感三维动画等多种形式。(6)其它其它类型的视觉媒体形式，如用符号表示的数值，用图形表示的某种数据曲线，数据库的关系数据等。62.1.1媒体的种类2．听觉类媒体⑴波形声音（wave） 是自然界中所有声音的拷贝，是声音数字化的基础。⑵语音（voice） 语音也可以表示为波形声音，但波形声音表示不出语音的内在语言、语音学的内涵。语音是对讲话声音的一次抽象。⑶音乐（music） 音乐与语音相比更规范一些，是符号化了的声音。但音乐不能对所有的声音都进行符号化。乐谱是符号化声音的符号组，表示比单个符号更复杂的声音信息内容。72.1.1媒体的种类3．触觉类媒体⑴指点包括间接指点和直接指点。通过指点可以确定对象的位置、大小、方向和方位，执行特定的过程和相应操作。⑵位置跟踪为了与系统交互，系统必须了解参与者的身体动作，包括头、眼、手、肢体等部位的位置与运动方向。系统将这些位置与运动的数据转变为特定的模式，对相应的动作进行表示。82.1.1媒体的种类3．触觉类媒体⑶力反馈与运动反馈这与位置跟踪正好相反，是由系统向参与者反馈的运动及力的信息，如触觉刺激（例如物体的表面纹理、吹风等）、反作用力（例如推门的门重感觉）、运动感觉（例如摇晃、振动等）及温度、湿度等环境信息。这些媒体信息的表现必须借助一定的电子、机械的伺服机构才能实现。92.1.2媒体的性质和特点1.各种媒体具有不同特点和性质媒体是有格式的不同媒体表达信息的特点和程度各不相同媒体之间可以相互转换媒体之间的关系也具有丰富的信息102.1.2媒体的性质和特点2.媒体具有空间性质表现空间，尤其指显示空间的安排媒体按相互的空间关系进行组织，全面整体地反映信息的空间结构视觉空间、听觉空间和触觉空间这三者既相互独立又需要相互结合112.1.2媒体的性质和特点媒体的时间性质表现需要时间媒体在时间坐标轴上的相互关系122.1.2媒体的性质和特点媒体的语义各种媒体的信息在最低层次上都是二进制位流媒体的语义是有层次的抽象的程度不同，语义的重点也就不同132.1.2媒体的性质和特点媒体结合的影响媒体结合是多层次的媒体结合有利于信息接受和理解142.2听觉媒体技术什么是声音？声音是通过空气传播的一种连续的波。声波压力的大小体现声音的强弱声波的频率体现音调的高低声源152.2.1声音媒体性质声音的分类频率小于20Hz的信号称为次声(subsonic)；频率范围为20Hz～20kHz的信号称为音频(Audio)高于20kHz的信号称为超声(ultrasonic)语音(Speech)带宽音频（Audio）次声超声

203003K20Kf(Hz)162.2.1声音媒体性质声音的分类音频按频率范围又可分为电话AM广播FM广播CD－DA1020503003K7K15K22Kf(Hz)频率范围越宽声音质量越好172.2.1声音媒体性质声音媒体的特性1．声音是一种随时间变化的连续媒体2．声音三要素音调：与声波的频率相关音强（响度）:与声波的振幅成正比音色：与声波的波形有关182.2.1声音媒体性质3．声音具有连续谱特性。在一定时间内，声音信号可以分成周期信号和非周期信号两类。4．声音有方向感根据声音到达左右耳的时差和强度，可判别出声音的来源方向5．音色与失真特性192.2.2数字音频的主要技术参数数字音频的质量取决于：(1)采样频率指一秒钟内采样的次数频率越高，质量越好，但所需要的存贮空间也越大。采样的三个标准频率分别为：44.1KHz，22.05KHz和11.025KHzCDFM广播电话语音202.2.2数字音频的主要技术参数(2)量化位数对声波的幅度轴进行数字化的动态范围量化位越高，质量越好，但所需要的存贮空间也越大。一般的量化位数为8位和16位。212.2.2数字音频的主要技术参数(3)声道数声音产生的波形数有单声道和双声道之分。双声道又称为立体声，在硬件中要占两条线路，音质、音色好，但立体声数字化后所占空间比单声道多一倍。222.2.3音频的数字化与再现人通过声音与多媒体系统交互有两个方向:输入：系统通过数字化的方法将人及自然界发出的声音进行采样和处理（例如压缩、符号化），输出：数字化声音再现，或是由系统生成虚拟的模拟音232.2.3音频的数字化与再现数字音频：按采样的频率间隔，不断获取幅度的量值，使连续的声音转变为离散的数字量采样量化242.2.3音频的数字化与再现对声音进行采样用奈奎斯特采样定理来决定采样的频率。根据该定理，只要采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。因为人耳所能听到的频率范围为20Hz～20kHz，所以实际的采样过程中，为了达到好的效果，就采用44.1kHz作为高质量声音的采样频率。252.2.3音频的数字化与再现如果对声音不进行压缩，声音的数据量可以通过以下的公式计算：

声音的数据量＝（采样频率×每个采样位数×声道数）/8（Byte/s）262.2.3音频的数字化与再现常见的数字音频文件格式及说明文件扩展名说明.PCMPCM数据序列（指模拟的音频信号经模数转换直接形成的二进制序列）.VOC声霸卡（SoundBlaster）使用的音频文件格式.WAVMicrosoft公司的波形音频文件格式.SNDNeXT计算机的波形音频文件格式.AIFApple计算机的波形音频文件格式.MIDMIDI文件格式MP3MP3文件格式.RMIMicrosoft公司的MIDI文件格式，可以包括图片、标记和文本272.2.4声音的符号化波形声音可以把音乐、语音都进行数据化并且表示出来，但是并没有把它看成音乐和语音。声音的符号化（抽象化）表示包括两种类型：音乐MIDI：MusicalInstrumentDigitalInterface乐谱的数字描述语音与文字一一对应符号化表示实际上就是对语音的识别，将语音转变为字符。反之，就是将文字合成为语音。282.25声音的合成在多媒体技术中，合成音乐或声响效果可以直接用波形音频产生，最常用的是电子乐器数字接口MIDIMIDI不对声波进行采样、量化、编码，而是将电子乐器键盘的演奏信息（包括键名、力度、时间长短等）记录下来，这些信息称为MIDI消息，是乐谱的一种数字式描述。与波形声音相比，MIDI数据不是声音而是指令，所以它的数据量要比波形声音少得多。可以在多媒体应用中与其他波形声音配合使用，形成伴乐的效果。292.3视觉媒体技术视觉媒体包括文本、图形、图像、视频、动画等，人们通过眼睛来感受这些媒体信息。302.3.1视觉媒体元素1．文本（Text）文本是计算机文字处理程序的基础文本数据可以在文本编辑软件里制作文本文件分类非格式化文本格式化文本312.3.1视觉媒体元素2．图形（Graphic）一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图元的大小、形状及其位置、维数的指令集合在图形文件中只记录生成图的算法和图上的某些特征点，也称矢量图。微机上常用的矢量图形文件有“.3DS”（用于3D造型）、“.DXF”（用于CAD）、“.WMF”（用于桌面出版）等等322.3.1视觉媒体元素3．图像（Image）图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。位图中的位用来定义图中每个像素点的颜色和亮度。图像文件在计算机中的存储格式有多种，如BMP、PCX、TIF、TGA、GIF、JPG等，332.3.1视觉媒体元素图像处理时一般要考虑3个因素：分辨率屏幕分辨率图像分辨率像素分辨率图像灰度图像文件大小

（高×宽×灰度位数）/8

其中：高是指垂直方向的像素值宽是指水平方向的像素值342.3.1视觉媒体元素4．视频（Video）若干有联系的图像数据连续播放便形成了视频电视视频是模拟信号，计算机视频是数字信号电视主要有3大制式NTSC（525/60）PAL（625/50）SECAM（625/50）动态视频对于颜色空间的有多种表示R、G、B（红、绿、蓝）三维彩色空间Y、U、V（Ｙ为亮度，U、V为色差）H、S、I（色调、饱和度、强度）352.3.1视觉媒体元素4．视频（Video）视频中有如下几个重要的技术参数帧速：视频是利用快速变换帧的内容而达到运动的效果。视频根据制式的不同有30帧/秒（NTSC）、25帧/秒（PAL）等。数据量：如不计压缩，数据量应是帧速乘以每幅图像的数据量。经过压缩后可减少几十倍甚至更多。图像质量：除了原始数据质量外，还与视频数据压缩的倍数有关。362.3.1视觉媒体元素5．动画（Animation）动画是运动的图画，实质是一幅幅静态图像的连续播放计算机设计动画方法有两种造型动画帧动画计算机制作动画时，只要做好主动作画面，其余的中间画面都可以由计算机内插来完成。372.3.2彩色空间表示与转换HSI彩色空间色调(H)：色调是当人眼看到一种或多种波长的光时所产生的彩色感觉，它反映颜色的种类，是决定颜色的基本特性亮度(I)：光作用于人眼时所引起的明亮程度的感觉，它与被观察物体的发光强度有关饱和度(S)：指颜色的纯度即掺入白光的程度，或者说是指颜色的深浅程度382.3.2彩色空间表示与转换RGB彩色空间自然界常见的各种颜色，都可由红（R）、绿（G）、蓝（B）三种颜色光按不同比例相配而成绝大多数颜色光也可以分解成红、绿、蓝三种色光392.3.2彩色空间表示与转换YUV和YIQ是彩色电视系统中采用的彩色空间一个分量Ｙ表示象素的亮度，用其余两个分量表示象素的色差对于图像压缩编码是非常有利的402.3.2彩色空间表示与转换色彩空间的转换YUV与YIQYUV空间和RGB空间的转换I=Vcos33°-Usin33°Q=Vsin33°+Ucos33°412.3.2彩色空间表示与转换YIQ空间和RGB空间的转换方程如下：422.3.2彩色空间表示与转换HIS空间和RGB空间的转换43图像和视频的数字化2.3.3视觉媒体数字化时间XY像素点帧序列像素点的量化比特442.3.3视觉媒体数字化图形不直接描述数据的每一点，而是描述产生这些点的过程及方法，因此它被称为矢量图形，一般也称之为图形。矢量图形是以一组指令的形式存在的，这些指令描述一幅图中所包含的直线、圆、弧线、矩形的大小和形状，也可以用更为复杂的形式表示图像中曲面、光照、材质等效果。在计算机上显示一幅图像时，首先要解释这些指令，然后将它们转变成屏幕上显示的形状和颜色。由于大多数情况下不用对图像上的每一个点进行量化保存，所以需要的存储量很少，但这是以显示中的计算时间为代价的。452.3.3视觉媒体数字化符号与文字符号都是某种抽象的结果符号媒体需要知识的辅助才可以使用，知识辅助随着层次的升高而不断增强作用。文本媒体是用得最多的一种符号媒体形式，是人类创造出来用于记述信息的工具，由具有上下文关系的字符串所组成。它与字符的结构样式有关，而与形式无关。462.4触觉媒体技术触觉媒体就是环境媒体，它描述了该环境中的一切特征与参数当在信息系统中引入了触觉媒体后，就又向自由信息交互迈进了一大步，人与环境更加融为一体了472.4.2简单指点设备与技术指点设备实际上是最简单的位置跟踪设备，是在概念上完全不同于键盘的输入方法和技术，它的主要作用是输入而不是输出482.4.2简单指点设备与技术指点的任务包括：选择定位定向路径数量操作492.4.2