多媒体基本概念与计算机系统

6.1多媒体基本概念媒体通常包括两方面的含义：一是指信息的物理载体，即存储和传递信息的实体，如手册、光盘、磁带；二是指承载信息的载体，即信息的表现形式或传播形式，如文字、图像、动画和视频。6.11基本概念1,媒体的分类（1）感觉媒体：直接作用于人的感觉器官 例：声音 图像（2） 表示媒体：传输感觉媒体的中介媒体（数据交换的编码） 例：声音编码 图像编码（JPEG MPEG） 文本编码（ASCII GB2312）（3）表现媒体：进行信息输入输出的媒体 例：键盘 鼠标 话筒 摄像机 显示器 打印机 喇叭（4）存储媒体：存储表示媒体的物理介质 例：硬盘 软盘 磁盘 光盘 ROM RAM（5）传输媒体：传输表示媒体的物理介质 例：电缆 光缆 电磁破2.多媒体的特征（1）多样性：信息媒体多样化（2）集成性：信息媒体集成一个有机整体，软件和设备集成一个理想环境（3）交互性：人对信息主动选择，使用，加工和控制（4）非线性：借助超文本链接的方法摆脱循序渐进地获取知识（5）实时性：在人的感官系统允许的情况下进行多媒体处理和交互（6）信息使用的方便性：按需获取信息（7）信息结构的动态性：按需修改信息6.1.2虚拟现实基本概念1.虚拟现实技术的主要特征（1）多感知（2）沉浸（3）交互2.虚拟实现技术的分类（1）桌面虚拟实现（2）完全沉浸的虚拟现实（3）增强现实性的虚拟现实（4）分布式虚拟现实6.2声音6.2.1基本概念1.声音信号声音是通过空气传播的一种连续的波，称为声波。（1）声音的感觉 a音量 b音调 c音色人耳能听到的音频信号的频率范围是20-20kHz（2）声音信号的数字化 取样-量化法a 采样：采样是把时间连续的模拟信号转换成时间离散，幅度连续的信号。采样频率不低于声音信号最高频率的两倍。语音信号采样频率为8KHz，音乐信号采样频率大于40KHz。采样频率越高，可恢复的声音信号分量越丰富，其声音的保真度越好。b 量化：量化处理是把在幅度上连续取值（模拟量）的每一个样本转换成离散值（数字量）表示。A/D转换（模数转换）。量化后的样本是用二进制数来表示的，二进制数的多少反映了度量声音波形幅度的精度，称为量化精度，也称为量化分辨率。例如，16位，量化精度为1/65536。量化精度越高，声音质量越好，需存储空间越多，量化精度越低，声音质量越差，需存储空间越少。c 编码：采样和量化之后的声音信号已经是数字形式的了，但是还需进行数据压缩，减少数据量。数字化处理之后的数字声音的主要参数：采样频率，量化位数，声道，数据率，压缩比2.波形声音 数据传输率（b/s）=采样频率（Hz）量化位数（b）声道数声音信号数据量=数据传输率持续时间3.数字语音压缩方法 （1）波形编码 （2）参数编码 （3）混合编码4.声音合成 （1）语音合成 （2）音乐合成5.MIDI6.2.2声音文件格式（1）Wave文件（.WAV）：波形文件。质量高，文件数据量大。（2）Module文件（.MOD）：存放乐谱和乐曲使用的各种音色样本。回放效果明确，音色种类无限。（3）MPEG文件（.MP#）：MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21MPEG-1 Layer1采用每声道192kbit/s，每帧384个样本，32个等宽子带，固定分割数据块。子带编码用DCT(离散余弦变换)和(快速傅立叶变换)计算子带信号量化bit数。采用基于频域掩蔽效应的心理声学模型，使量化噪声低于掩蔽值。量化采用带死区的线性量化器，主要用于数字盒式磁带（DDC）.MPEG-1 Layer2采用每声道128kbit/s，每帧1152个样本，32个子带，属不同分帧方式。采用共同频域和时域掩蔽效应的心理声学模型，并对高、中，低频段的比特分配进行限制，并对比特分配、比例因子，取样进行附加编码。Layer2 广泛用于数字电视，CD-ROM，CD-I和VCD等。 MPEG-1 Layer3采用每声道64kbit/s，用混合滤波器组提高频率分辨率，按信号分辨率分成6X32或18X32个子带，克服平均32个子带的Layer1，Layer2在中低频段分辨率偏低的缺点。采用心理声学模型2，增设不均匀量化器，量化值进行熵编码。主要用于ISDN(综合业务数字网)音频编码。MPEG-2制定于1994年，设计目标是高级工业标准的图象质量以及更高的传输率。MPEG-2所能提供的传输率在3-10Mbits/sec间,其在NTSC制式下的分辨率可达720X486，MPEG-2也可提供并能够提供广播级的视像和CD级的。MPEG-2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道，和多达7个伴音声道(DVD可有8种语言配音的原因)。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。 同时，由于MPEG-2的出色性能表现，已能适用于HDTV，使得原打算为HDTV设计的MPEG-3，还没出世就被抛弃了。(MPEG-3要求传输速率在20Mbits/sec-40Mbits/sec间，但这将使画面有轻度扭曲)。除了做为DVD的指定标准外，MPEG-2还可用于为广播，有线电视网，电缆网络以及卫星直播(DirectBroadcastSatellite)提供广播级的数字视频。MPEG-4于1998 年11 月公布，原预计1999 年1月投入使用的国际标准MPEG4不仅是针对一定比特率下的、音频编码，更加注重的交互性和灵活性。MPEG专家组的专家们正在为MPEG-4的制定努力工作。主要应用于视像电话(Video Phone)，视像 (Video Email)和电子新闻(Electronic News)等，其传输速率要求较低，在4800-64000bits/sec之间，为176X144。MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。MPEG-7不包含音、视频压缩编码技术，潜在的应用主要分为三大类： 索引和检索类第一类是索引和检索类应用，主要包括：视频数据库的存储检索；向专业生产者提供图像和视频；商用音乐；音响效果库；历史演讲库；根据听觉提取影视片段；商标的注册和检索。 选择和过滤类第二类是选择和过滤类应用，主要包括：用户代理驱动的媒体选择和过滤；个人化电视服务；智能化多媒体表达；消费者个人化的浏览、过滤和搜索；向残疾人提供信息服务。 专业化第三类是专业化应用，主要包括：远程购物；生物医学应用；通用接入；遥感应用；半自动多媒体编辑；教学教育；保安监视；基于视觉的控制。（4）Realaudio文件（.RA）：强大的压缩量，极小的失真。（5）MIDI文件（.MID/.RMI）：制造CD。.RMI可以包括图片标记和文本。（6）Voice文件（.VOC）：Creative公司波形音频文件格式，声霸卡使用的音频文件格式。包含一个文件头快和音频数据块。文件头快包含一个标识版本号和一个指向数据块起始的指针。（7）Sound文件（.SND）：NeXT Computer公司推出，支持压缩。（8）Audio文件（.AU）：Sun Microsystems公司推出的经过压缩的声音文件格式。（9）AIFF文件（.AIF）：Apple计算机的音频文件格式。（10）CMF文件（.CMF）：Creative公司专业音乐格式，专用于FM声卡。6.3图形和图像6.3.1基础知识基本概念（1）色彩三要素a亮度b色调c色饱和度（2）三基色原理 三基色：红 绿 蓝 红 + 绿 = 黄 红 + 蓝 = 品红蓝 + 绿 = 青红 + 蓝 + 绿 = 白品红 + 绿 = 黄色 + 蓝 = 青 + 红 = 白（3）彩色空间 彩色空间是指彩色图像所使用的颜色描述方法，也称为彩色模型。 aRGB彩色空间：显示屏 电子束 荧光材料 bCMY彩色空间：打印 相减混色 青（cyan）品红（magenta）黄（yellow） cYUV彩色空间：彩色电视系统 亮度信号Y，色差信号U和V2.计算机中的图形数据表示（1）矢量图形（几何图形，图形）：占用空间小，处理侧重于绘制和创建，显示速度慢（2）位图图像：占用空间大，处理侧重于获取和复制，显示速度快3.图像的获取将现实世界的景物或物理介质上的图文输入计算机的过程称为图像的获取。（1）利用数字图像库（2）利用绘图软件创建图像（3）利用数字转换设备采集图像：同样包含采样，量化，编码4.图像的属性（1）分辨率a显示分辨率b图像分辨率图像分辨率确定的是组成一幅图像的像素数目，而显示分辨率确定的是显示图像的区域大小。图像分辨率大于显示分辨率，显示部分图像；图像分辨率小于显示分辨率，图像只占一部分显示屏。（2）图像深度：图像深度是指存储每个像素所用的位数，它是用来度量图像的色彩分辨率的。像素深度确定彩色图像的每个人像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。它决定了彩色图像中可能出现的最多颜色数，或灰度图像中的最大灰度等级。图像深度为b，最多颜色数或灰度级为2b。（3）真彩色和伪彩色：RGB8:8:8的颜色数为224种；伪彩色保存代表像素颜色的索引和一个色彩查找表（调色板）。5.图形图象转换（1）图形和图像的硬件转换（2）图像和图像的软件转换6.图像的压缩编码图像的总数据量 = 图像的总像素图像深度/8(B)数据压缩的分类：有损压缩 无损压缩7.多媒体压缩编码的国际标准（1）JPEG：静态（2）MPEG：动态（3）H2616.3.2图形、图像文件格式（1）BMP文件（.BMP）：Windows系统采用的图像文件格式（2）GIF文件（.GIF）：采用LZW无损压缩算法（3）TIFF文件（.TIF）：为扫描仪和桌面排版系统研发的格式（4）PNG文件：GIF的替代品（5）JPEG文件（.JPG）：有损压缩，压缩比：5：1-50：1（6）WMF文件（.WMF）：保存的不是点阵信息，而是函数调用信息（7）EPS文件（.EPS）（8）DIF文件（.DIF）:AutoCAD中的图形（9）PCX文件（.PCX）：PCPaintbrush的图像文件（10）Targe文件（.TGA）（11）CDR文件（.CDR）：CoreDraw的文件格式6.4动画和视频6.4.1基础知识1.基本概念动画分类（1） 实时动画（2） 矢量动画（3） 二维动画（4） 三维动画2.模拟视频（1）模拟视频原理（2）彩色电视的制式（3）数字视频4.数字视频标准5.视频压缩编码6.4.2视频格式文件（1）GIF文件（.GIF）：CompuServe公司推出的一种高压缩比的彩色图像文件（2）Flic文件（.FLI/.FLC）（3）AVI文件（.AVI）（4）Quick Time文件（5）MPEG文件（.M