多煤体知识总结.doc

第一章概论一）多媒体技术的概念及分类 所谓多媒体技术就是计算机交互式综合处理多种媒体信息文本、图形、图象和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简言之，多媒体技术就是综合处理声、文、图信息的技术，具有集成性、实时性和交互性。分类：二）媒体的类别及概念分类：（1）感觉媒体（2）表示媒体（3）表现媒体（4）存储媒体（5）传输媒体媒体是信息表示和传输的载体，是人与人之间所赖以沟通及交流观念、思想或意见的中介物。三）多媒体技术及其特征实时性：各种媒体时间上的强相关性交互性：人与人、人与机器、机器之间的对话或通讯，以相互获得信息综合性（多维性）（多样性）：集成性：环境中尽可能在宽带，失真度和有效性等方面模拟人类间面对面所使用的感觉和能力，即提供多种多样的感觉信息。第二章多媒体计算机系统的组成一）数模转化和模数转化的设备有几种及作用？ 音频的处理通过音频扩展卡来实现。 话筒 模拟音频信号 音频扩展卡 数字音频信号 计算机 扬声器 模拟音频信号 音提频扩展卡 数字音频信号 计算机 不同抽样频率和量化比特下的音响效果： 8KHz、8bit ：电话质量 44.KHz、16bit：激光唱盘音质二）多媒体计算机系统的组成三）对于显示器和显卡的性能指标，每一种性能指标的关系1、显示器是计算机必备的标准输入输出设备，显示器的好坏影响人的视觉效果、用户的生理、心理以及工作效率。性能指标： A、屏幕尺寸：屏幕的对角线长度，不是有效尺寸。2.54CM B、显像管：球面（14寸以下）、平面直角（15、17寸） 柱面（专业领域） C、点距：相邻两个像素单元之间的距离 R B G G B R 水平点距（0.22mm）点距 （0.28mm） 15英寸0.25比较理想，17寸以上0.28就可以了D、分辨率：水平像素数X垂直像素数 说明：显示器与显卡支持的分辩率匹配 例：卡 屏不变 闪烁 屏 卡 不清晰E、扫描频率 行频：水平扫描频率，每秒横向扫描屏幕数次。 场频：显示器每秒钟内显示完整图像的次数。场频越高图像越稳定（75Hz以上就比较舒服）F、刷频与带宽： （决定价格的主要因素） 刷频=场频，显示器图象的刷新速率。 带宽：指处理信号的频率范围。 带宽=分辨率X刷频X裕量（1.5） 2、视频卡是多媒体计算机获得图像处理功能的关键性适配卡，核心是一块图形加速芯片。主要作用是数模、模数转换。 技术指标： （1）接口方式：AGP接口、PCI接口 （2）显存的数量与速度：显存的数量影响画面质量，至少应 买32M显存显卡。如TNT2M64 32M、小影霸M64 32M等 显存的速度也很重要，取决于显存种类，目前有以下几种： SDRAM：与总线同步，存取时间5ns VRAM：可同时进行存取，加快工作速度 WRAM：增强型VRAM SGRAM：增强型SDRAM，是目前最好的显存。（3）显卡的速度 在很大程度上由显卡的芯片数决定（主要靠测试速度），芯片不同，价格差别很大。 （4）分辨率与色彩度 分辨率：一屏画面由多少像素点组成。 色彩度：每个像素的色彩由多少位来描述。四）显示器和显卡在使用过程中应怎样匹配五）光区的性能指标和光区的接口光驱（CD-ROM） 1、定义：也称只读光盘驱动器，是多媒体计算机的基本外设。2、光驱工作原理 光学头的半导体激光器发射机光束到盘片，光学头的光探测器接收反射光束并进行光电转换，光驱的聚焦与跟踪伺服系统读取光点与信息轨道的跟踪误差信号，使光束准确聚焦到光盘光道上，旋轴编码器获取信息后将伺服信号传递给主轴电机伺服系统，确定光盘旋转角速度，读取数据给计算机。注：以上功能全部由微处理器来控制时序和操作。3、光驱的外部结构 （1）四针电源接口：与计算机电源相连，提供5V或12V电源 （2）40针扁平电缆接口：传输数据，电缆线不要接反。 （3）跳线组：用于设置光驱物理地址，即设为主、从驱动器 （4）小型四针接口：连声卡，四针分别为左右声道，两根地线4、性能指标 （1）数据传输速率（光驱倍速）：每秒送至CPU处理的数据量 单倍速150KB/S（估计值） （50X、48X等） （2）平均搜寻时间：指光头移到某数据块并读取它所需的时间，200ms400ms。 包括三个过程：移动光头，数据进入光头，数据进入光驱内部缓存。（64KB256KB）（3）高速内部缓存：越大越好（128K、256K）（4）平均无故障时间：一般25000小时左右。（5）兼容性：支持多种模式光盘，有“Multi”标志.六）硬盘和光驱的安装安装硬盘：有电路一面朝下 ，电源插座和数据线朝 外以便接线，位置最好能通风（散热好），不要拥挤。 安装光驱：需打开塑料挡板（怎样打）接线：两者都有电源线和数据线，先装电源线，后装数据线，遵循红红相对或红红相向原则；数据线连接时，硬盘接主EIDE接口，光驱接从EIDE接口。（安装多个设备时？）七）光驱的分类：怎样表示不同类型光驱的性能指标八）目前计算机使用的总线类型总线的分类：A、按连接部件不同分：内部总线、外部总线内部总线：连接微处理器（CPU） 外部总线：连接住板和计算机的各部件B、按结构分：ISA、PCI、AGP ISA总线：IBM第一台286时制定的总线标准。可连接声卡、网卡和内置的Modem等。 PCI总线：1991年， Intel公司研制。 AGP总线：Intel最新总线标准，专门针对3D图形处理开发的。C、三种总线性能比较（如图）类别总线宽度工作频率最高传输速率ISA16位8MHz8MbpsPCI32位33MHz133MbpsAGP32位133MHz533Mbps九）多媒体软件多媒体软件系统按功能划分为四类：多媒体系统软件、多媒体素材编辑软件、多媒体制做工具软件、多媒体应用软件 1、多媒体系统软件：指多媒体操作系统，属于最底层的。目前PC平台上常用的三种操作系统： （1）Apple公司的产品：Mac OS（1984年）、System（1989年） Quick Time （2）WME系统（Windows Multimedia Extension） 有微软公司研制的Windows系列： Windows 3.0 、 Windows 3.1 Windows 95、 Windows 98、Windows 2000等OS/2是真正的32位、多任务操作系统；在OS/2基础上扩展的多媒体子系统MMPM/2是3个主要的多媒体基础平台之一。2、多媒体创作工具软件又称多媒体编辑创作软件，是多媒体专业人员在多媒体操作系统之上开发的、供特定应用领域的专业人员组织编排多媒体数据并将他们联接成完整的多媒体应用的系统工具。软件举例：Macromedia 公司：Authorware、Director HSC Software公司：InterActive Asymetrix公司：Toolbook 中国方正公司的奥思。3、多媒体素材编辑软件 也称数据准备和编辑软件，实际上是创作软件中一个工具类部分，其作用是：采集、整理和编辑各种媒体数据。4、多媒体应用软件 是在多媒体硬件平台上设计开发的面向应用的软件或由这些软件制作工具开发出来的应用软件。第三章多媒体数据压缩技术一）数据冗余及分类（一）定义：信息由各种信号数据所携带，而数据中存在许多与有用信息无关的数据，这些数据就是数据冗余。（二）分类1、空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特征具有相关性，这些相关性的光成像结构在数字化图像中就表现为空间冗余。2、时间冗余：在序列图像和语音信息中由于时间相关性导致的冗余。 注：空间冗余和时间冗余是将图像信号看作概率信号所反映出的统计特性，称为统计冗余。3、信息熵冗余：数据编码的码元长按概率对应的数据量大于信息熵而产生的冗余。 信息熵：指一组数据所携带的信息量4、结构冗余：由于图像存在结构上的一致性导致的冗余。5、知识冗余：许多图像的理解与某些知识有关，从而导致的冗余。6、视觉冗余：人的视觉并不是对图像场的任何变化都能察觉，不被察觉的部分就是视觉冗余。二）数据压缩编码的分类一、数据压缩编码分类1、按解码后数据与原始数据是否一致分：（1）可逆编码：解码后的图像与原始图像严格相同，压缩比大约在2：1-5：1之间（Huffman编码、数学编码、行程编码等）（2）不可逆编码：还原后的图像与原始图像存在一定的误差，但视觉效果可以接受，压缩比从几倍到几百倍（变换编码、预测编码等）2、根据压缩原理划分（1）预测编码：利用空间中相邻数据的相关性，利用过去和现在出现过的点的数据来预测未来点的数据。（差分脉冲编码调制DPCM、自适应差分脉冲编码调制ADPCM ）（2）变换编码：将图像光强矩阵（时域信号）变换到频域空间上进行处理（离散余弦变换、离散傅立叶变换、小波变换等）（3）量化与向量量化编码：对模拟信号进行数字化时，一次量化一个点或一次量化多个点的方法。 （4）信息熵编码：根据信息熵编码原理进行编码。（Huffman编码、算术编码、Shannon编码等） （5）子带编码：将图像数据变换到频域后，按频域分带，然后用不同的量化器进行量化，从而达到最优组合。 （6）模型编码：编码时首先将图像中的边界、轮廓、纹理等结构特征找出来，然后保存这些参数信息，解码时根据结构和参数信息进行合成恢复图像。二、预测编码（P-20-）在时域空间上进行 注：预测编码中，编码和传输的不是像素采样值本身，而是采样值的预测值和实际值之间的差值。三、变换编码（P-21-） 在频域空间上进行四、信息熵编码1、Huffman编码： （ 信息熵编码定理：在变字长编码中，对于出现概率大的信息符号编以短字长的码，对于出现概率小的信息符号编以长字长的码，如果码字长度严格按照符号概率大小的相反顺序排列，则平均的码字长度一定小于按任何其他符号顺序排列方式得到的码字长度。）例：设一组信源符号为X1、X2、X3、X4、X5、X6、X7，这些符号出现的概率为0.20,0.19,0.18,0.17,0.15,0.10,0.01，求其Huffman编码、信息熵、冗余度。步骤： （1）将信源符号按概率递减顺序排列 （2）将两个最小概率相加做为新符号，并按（1）重排 （3）重复（1）（2）直到概率为1 （4）在合并时，每个节点的两个分支分别赋值0和（5）记录从根到信源符号节点的0、1序列就是该节点的 Huffman编码。X1 X2 X3 X4 X5 X6 X 70.20 0.19 0.18 0.17 0.15 0.10 0.010(0.11)0 000（0.26） 1（0.35） 0 00 0（0.39） 1（0.61） 1 1101100 （ 10）计算信息熵： H（x）= -P（xi）log P（xi） = -（0.2Xlog0.2+0.19Xlog0.19+0.18Xlog0.18+ 0.17Xlog0.17 +0.15Xlog0.15+0.10Xlog0.10+0.01Xlog0.01） = 2.61(bit) 平均编码长：L（x）= P（xi）X l（ xi） =(0.2X2)+(0.19x2) +(0.18X3)+(0.17X3)+(0.15X3)+(0.10X4)+(0.01X4)=2.72(bit) 编码效率：E= H（x）/ L（x）= 2.61/ 2.72=96%冗余度=2.72/2.61 1=0.042例： （P-22-）说明： （1）Huffman编码的较短的码字不可能成为较长码字的前缀部分，用以判断正确与否。（2）Huffman编码构造出来的码不是唯一的，但编码效率是一样的（1、0不确定，概率相同）2、算术编码： 基本原理：将编码的信息表示成实数0和1之间的一个间隔，信息越长，编码表示它的间隔越小，表示这一间隔所需的二进制位就越多。例：设英文元音字母采用固定模式符号概率分配如下： 字符： A E I O U 概率： 0.2 0.3 0.1 0.2 0.2 范围：0,0.2） 0.2,0.5) 0.5,0.6) 0.6,0.8) 0.8,1.0) 设编码的数据串为EAI，令high为编码间隔的高端，low为编码间隔的低端，range为编码间隔的长度，rangehige 为编码字符分配的间隔高端，rangelow为编码字符分配的间隔低端。初始high=1,low=0,range=high-low,一个字符编码后新的low和 high按下式计算： low=low+range X rangelow hige=low+range X rangehigh （1）E被编码时，E的rangelow=0.2,rangehige=0.5，因此 low=0+1 X 0.2=0.2 high=0+1 X 0.5=0.5 （2）A被编码时，A的rangelow=0,rangehige=0.2，因此 low=0.2+0.3 X 0=0.2 high=0.2+0.3 X 0.2=0.26 （3） I被编码时，I的rangelow=0.5,rangehige=0.6，因此 low=0.2+0.06 X 0.5=0.23 high=0.2+0.06 X 0.6=0.236 则EAI的算术编码为0.23， 0.236）解码过程：解码公式按如下进行 rangelow=(lown+1 - lown)/rangen或 rangehigh=(highn+1 - lown)/rangen用其中任何一个都可解码。具体步骤如下： （1）根据代码所在范围确定当前代码的第一个字符，并输出，由于0.236在0.2,0.5) 范围内，所以第一个代码必定是E，输出E。 （2）消除已译码字符对后续操作的影响，具体步骤如下 rangehigh= （0.236-0.2）/0.3=0.12可知该范围在0,0.2)之间，该字符是A，输出A。（3）如果代码串处理完毕，译码结束，否则转到（1） rangehigh= （0.12-0）/0.2=0.6 可知0.6在0.5,0.6) 范围内，该字符是I，输出I，结束。 说明：编码范围要越来越小，用低端解码结果相同 试对EAIOU编码解码。rangelow=（0.23-0.2）/0.3=0.1rangelow=(0.1-0)/0.2=0.5试对EAIOU编码解码。3、行程编码（Run-Length Coding） 编码原理：把图像灰度值f(x,y)映射为整数对，用（Gi,Li）表示，其中Gi为灰度值， Li表示具有Gi灰度值的连续像素的点数行程长度。12例：一幅二维图像的灰度值如下 8 8 8 8 8 8 8 88 8 7 7 7 7 7 77 7 7 7 7 7 7 76 6 6 5 5 5 5 55 5 5 5 3 3 3 33 3 3 3 3 3 3 33 3 2 2 2 2 2 21 1 1 1 1 0 0 0 行程编码为： (8,8);(8,2);(7,6);(7,8); (6,3);(5,5);(5,4);(3,4);(3,8);(3,2);(2,6);(1,5);(0,3)。这样13对数据表示了图中64个像素的值。三）数据压缩的本质四）常用的数据压缩标准1、JPEG是国际标准化组织（ISO）和国际电报电话咨询委员会（CCITT）联合专家组（Joint Photograpic Experts Group)于1991年推出的连续色调（彩色）静止图像压缩标准。标准分两大类：基于DCT(离散余弦变换)的有失真的压缩算法；基于DPCM(空间线性预测技术)的无失真压缩算法。基于DPCM的无失真编码 优点：硬件容易实现，重建图像质量好 缺点：压缩比太低，大约为2：1 2、MPEG是面向运动图像压缩的一个系列标准。最初MPEG（Moving Photographic Experts Group）专家组的工作项目是3个，即在1.5Mbps,10Mbps,40Mbps传输速率下对图像编码，分别命名为MPEG-1， MPEG-2， MPEG-3。1992年MPEG-2适用范围扩大到HDTV，能支持MPEG-3的所有功能， MPEG-3被取消。为满足不同的应用要求， MPEG有将陆续增加其他一些标准，如MPEG-4， MPEG-7和MPEG-21。 MPEG-1、 MPEG-2、 MPEG-4简介MPEG-1系统 MPEG-1标准没有规定编码器和解码器的体系结构或实现方法，但对它们提出了功能和性能上的要求。第四章多媒体数据制作 一）多媒体应用软件的开发过程用户开发一个多媒体节目一般要经过如下几步：1、明确使用对象，了解用户需求。（用户需求分析）2、系统设计：（计算机技术和文学艺术知识综合素养）3、 选择开发方法。 （1）由开发人员编码来实现一个多媒体节目（2）利用市场上已有的多媒体开发工具或平台来制作多媒体节目（推荐使用）。4、准备多媒体数据。（进入具体实施阶段，核心内容） 对音频、视频、动画、静态图像、文字、图形的准备5、完成系统集成。 制作者通过所选择开发方法将节目情节具体化、程序化、并将准备好的多媒体素材按照需要进行编辑加工，最终集成为一个由程序和数据组成的软件产品二）多媒体数据获取方法多媒体数据的准备是开发多媒体节目的重要步骤，包括数据的获取、数据的整理和数据的编辑加工等阶段。 1、图像数据获取方法（直接影响用户的评价） （1）购买数字化的图像或图片 （2）自己动手使用特定软件创作电子图像 （3）用扫描仪将照片、图片做数字化处理 （4）用摄象机或帧捕捉器捕捉视频画面，并进行数字化处理 （5）向有关单位无偿或有偿交换拷贝，或通过网络获取公开的图像文件。2、音频数据获取方法 （1）声音库（2）利用录制设备录制音源3、文本和数据文件的获取方法（1）键盘录入（2）图形识别输入（印刷体识别99%，手写体识别75%）（3）声音输入（专用软件）4、图形和动画的获取方法（1）用户制作 （2）购买或交换（3）购买或和有关部门交换音频数据文件第六章多媒体数据库与基于内容的检索一）多媒体数据管理环境有哪些包括三个方面：存储环境、数据传输环境和软件环境 1、多媒体数据存储环境（要求容量大、质量好、存取速度快和价格合适）（1）可更换的硬盘（可做工作介质和档案介质）（2）磁带备份介质（容量1.2-3GB）（3）光盘档案介质（4）磁盘阵列 提供了有效存储海量多媒体数据的介质。 2、多媒体数据的传输环境 （1）使用可更换的介质进行人工传输（2）使用串行端口实行点对点的传输（3）网络传输 考虑两个问题：从网络中选择适当的节点存放多媒体数据，以满足传输量大、速度高的要求；考虑数据安全性和保密问题。 3、多媒体数据管理的软件环境 （1）文件管理系统（对不同媒体使用不同属性文件，并进行维护和管理）（2）建立特定的文件目录（3）传统的字符、数值数据库管理系统（P-168-） 实际上是将文件管理系统与传统的字符、数值数据库管理 系统结合起来（常规数据、非常规数据）（4）多媒体数据管理系统（MDBMS）功能：对多媒体数据的有效组织、管理和存取；多媒体数据库对象的定义；多媒体数据库运行控制；多媒体数据库的建立和维护；多媒体数据库在网络上的通讯功能。（5）超文本和超媒体二）多媒体数据库的组织结构有哪些MDBMS的组织结构 分为三种：集中型、主从型、协作型1、集中型MDBMS的体系结构指由单独一个MDBMS来管理和建立不同媒体的数据库，并由这个MDBMS来管理对象空间及目的数据的集成。（如图）2、主从型MDBMS的体系结构 （如图）每个数据库都有自己的管理系统（从数据库管理系统），各自管理自己的数据库，这些从数据库又受一个主数据库管理系统的控制和管理，目的数据的集成由主数据库管理系统管理。3、协作型MDBMS的体系结构（如图）协作型MDBMS由多个数据库管理系统来组成，其间没有主从之分，只要求各个系统能协作工作，各成员要附加一个外部处理软件模块，由它提供通讯、检索和修改界面。三）面向对象的基本概念（P-179-）四）基于内容的检索的基本步骤：第七章 超文本和Web系统一）超文本的文献模型有哪些二）HTML语言1 、基本结构 HTML语言编写的网页超文本信息按多级标题结构进行组织，其结构如下： HTML HEADTITLE标题名/TITLE/HEAD BODY H1一级标题名/H1 WEB页主体 /BODY /HTML说明：HTML标记包含包容标记和空标记。 空标记：用于说明一次性指令。如换行 包容标记：由一个开始标记和一个结束标记构成。 数据 HTML标记还可以带属性： 其中SRC是属性，告诉浏览器图像的文件名。2、超文本标记方法（1）字体 黑体:B文本/B 斜体： I文本/I 下划线： U文本/U 打字体： TT文本/TT（2）字号与颜色A、设定基准字号：BASEFONT SIZE=# 其中# =17B、设定指定字号的标记方法为： FONT SIZE= #文本 /FONT 说明：# =1、2、3、4、5、6、7表示指定的字体大小 # =+（-）2、3、4、5、6、7表示字体大小的相对改变C、设定字体颜色 FONT COLOR=“hex_rgb”文本 /FONT FONT COLOR=“color name”文本 /FONT例： FONT COLOR=“#FF000” SIZE=5中国/FONT 红色5号字中国（3）段落格式 包括换行符BR，分段符P，分界尺符号HR（4）文本链接： 通过点击一段文本检索浏览另一超文本网页 A HREF=“ART. HTML”CLICH HERE /A（5）图像链接： 通过点击一个图像检索浏览另一超文本网页 A HREF=“DOG. HTML” IMG SRC=“dog.gif” /A（6）FTP和Email链接：在HTML页面中实现与FTP和Email系统的链接 A HREF=“/pub/freeware.text”getfreeware /A A HREF=“mailto:”mailtome /A（7）非图像浏览器图像替换：如不能浏览图像用ALT指定替代文字 A HREF=“dog.html” IMG SRC=“dog.gif” ALT=“一幅狗图片” /A3、多媒体信息（1）图像显示 其中WIDTH， HEIGHT为图像的宽、高； VSPACE， HSPACE为垂直、水平空格数。（2）列表 有序 无序 （3）音频 HTML中可以指定背景音乐 （#为循环次数） 也可以通过链接启动声音 Link Text （4）视频与动画 在HTML中播放视频与动画标记格式如下： 除了dynsrc外，其他属性都可缺省。 START=fileopen表示Web三）动态网页生成技术有哪些动态网页生成技术（ASP、PHP、JSP）ASP：内含于IIS当中，提供一个服务器端的脚本运行环境。ASP无须编译即可解释执行，可以通过ActiveX服务器扩充功能，也可以使用第三方提供的其他脚本语言； ASP的源程序不会下载到客户浏览器，可以保护源程序； ASP只能运行于微软的服务器产品，其功能有限，必须通过ASP+COM的组合来扩充。PHP：是一种跨平台的的服务器端的嵌入式脚本语言。PHP可以支持具有与许多数据库相连接的函数，但提供的数据接口不统一（一大弱点），用户在更换平台时需要对代码做一些修改。JSP：是SUN公司推出的新一代Web站点开发语言，借助于Java强大的跨平台特性，具备“一次编写处处运行”的特点。它完全克服了ASP和PHP的脚本执行的弱点，能在相关支持下构建强大的网络应用平台。其最大的特点是将内容的生成和显示进行分离。JSP是未来发展的趋势。四）WEB系统的结构Web（WWW的简称）系统的结构 1、基本结构：Web系统是采用HTTP（hypertext transfer protocol）协议的超文本系统，其基本结构是一个客户机/服务器模型（如图）。 2、扩展结构（通过改进系统结构来改善Web系统性能） （1）网络服务器站点镜像 为了提高响应速度，减少网络负担，增强系统强壮性，访问量大的重要站点常常采用服务器站点镜像的方法。将网络服务器分布部署在不同的地点，而每个服务器具有相同的内容，信息动态的实时同步更新，这种结构实现了服务器的负载分担，提高了服务器的服务质量。 （结构如