西北工业大学多媒体软件开发技术总结

----------------------------精品word文档值得下载值得拥有--------------------------------------------------------------------------精品word文档值得下载值得拥有---------------------------------------------------------------------------------------------------------------------------------------------------------------------------多媒体软件开发技术考试时间：2012.11.20多媒体技术概述1.掌握多媒体技术有关概念 媒体、媒体分类、常见媒体、多媒体及其特点、多媒体技术2.了解多媒体发展及应用 三电一体化及三网合一多媒体计算机系统※媒体是信息的表现形式，也是承载信息的载体。媒体是信息表示、传输和存储的载体。核心：信息。※媒体的分类：感知，表示，显示，存储，传输。感知媒体：直接作用于人的感官，直接产生感觉，帮助人们感知他们周围的世界的。音乐，语音，图像，视频，酸甜苦辣，冷热，疼。 表示媒体：计算机对信息的表示方法的描述。即信息的存在形式和表示形式。文字、声音、语音、图形、图像、视频、动画等编码和表示表现/显示媒体：能够输入/输出信息的那些工具和设备。存储媒体：能够存放信息的数据载体。 硬盘，磁带，CD-ROM传输媒体：能够将表示媒体从一处传递到另一处的物理传输介质。

根据与时间的关系：静态/连续媒体静态媒体：信息的再现与时间无关，如文本、图形、图像等等连续媒体：具有隐含的时间关系，其播放速度将影响所含信息的再现。如声音、动画、视频等。※多媒体：两种或者两种以上媒体(文字、声、图、像、动画、数据、文件等)的有机组合与集成。广义:是指多种信息媒体的表现和传播形式。狭义:用计算机及其它设备交互处理多媒体信息的方法和手段，或指在计算机中处理多种媒体的一系列技术。特征：①多样性：信息种类多样化。②集成性：媒体种类一体化。多媒体技术能将各种不同的媒体信息有机地进行同步组合，形成一个完整的多媒体信息；把不同的媒体设备集成在一起，形成多媒体系统。③交互性：人、机对话,随心所欲。关键特征：媒体的多样化，集成性，交互性，数字化※多媒体技术：是利用计算机技术将多种媒体综合一体的技术，使之建立起逻辑连接，并对它们获取、压缩编码、编辑、加工处理、存储和展示。※三电一体化，三网合一：电脑因特网Web/TV,Web/Phone,Meeting,Business,Education, Diagnosis,.......电信通信网有线电话网,移动电话网,卫星通信,光缆通信,电视电话电视有线电视网点播电视,交互式电视,图文电视,数字电视,HDTV,DVD,数字相机※多媒体计算机系统：是指对文字、声音、图像包括视频等多种媒体信息进行综合处理的计算机系统，即具有多媒体功能的计算机。由多媒体硬件系统及多媒体软件系统组成，是对基本计算机系统的软、硬件功能的扩展。※多媒体系统：由系统软件和工具、多媒体创作软件和工具、多媒体编辑软件和工具及终端应用软件和工具四大部分构成。多媒体的软件系统多媒体应用程序接口多媒体著作工具及软件多媒体应用系统多媒体的软件系统多媒体应用程序接口多媒体著作工具及软件多媒体应用系统多媒体计算机硬件系统windows图形化编程基础掌握有关概念及技能图形、图形设备接口、坐标映射、颜色空间、MFC对GDI的封装及使用※图形通常是由点、线、面、体等几何元素和灰度、色彩、线型、线宽等非几何属性组成，用来表示实际或抽象的事物。具有鲜明的轮廓线条。图形一般用矢量图来表示。图像是物体发射或反射光能在视觉中成像※GDI：图形设备接口任何图形的显示输出都离不开GDI，使用GDI绘制的图形具有设备无关性。利用GDI开发图形程序，可以使得程序员专注于程序的开发，而不必考虑底层的硬件问题。GDI并不直接完成图形绘制工作，它提供一种独立于设备的机制。GDI两要素设备描述表DC，绘图工具(画笔、画刷、字体、位图调色板、区域)※坐标映射（1）逻辑坐标。逻辑坐标与设备无关，是内存中虚拟的坐标，一个像素为一个逻辑单位。设计人员只要使用合适的映射模式，并不需要考虑面向何种设备。（2）设备坐标。在设备坐标系统中，单位以像素点为准，水平值从左到右增大（正方向向右），垂直值从上到下增大（正方向向下）。对应程序员在逻辑坐标系上设定的绘图区域称为窗口，这是一个虚拟区域，它可以被激活、失效、在逻辑坐标系上移动和改变大小等。对应程序员在设备坐标定义实际输出的区域称为视口。窗口依赖于逻辑坐标，可以是像素点、毫米或其它尺度。映射模式定义了Windows如何将GDI函数中指定的逻辑坐标映射为设备坐标，即如何将逻辑单位转化为设备的度量单位以及设备的x方向和y方向。用户可在一个统一的逻辑坐标系中操作而不必考虑输出设备的坐标系情况设置映射模式设置设备环境的映射模式可使用SetMapMode函数：intSetMapMode(HDChdc,intfnMapMode);参数hdc用来标识设备环境；参数fnMapMode为映射模式的整型标识符。获取映射模式获取当前设备环境的映射模式，可用GetMapMode函数，其函数原型如下：intGetMapMode(HDChdc); 若调用成功，则返回一个映射模式值；否则返回0。※颜色空间RGBHSI:色度H：颜色种类，饱和度S：颜色深浅浓淡，强度I：像素的整体亮度YUV:亮度，色差CMYK:青，品红，黄，黑※MFC对GDI的封装和使用为便于用户在Windows下编写基于GDI的应用程序，MFC对设备描述表和绘图工具这两个要素进行了全面封装。CDC类：定义了设备描述表对象，提供在显示器、打印机或Windows客户区绘图的方法。封装了使用设备环境的GDI函数，所有的绘图操作都直接或间接运用了CDC的成员函数CDC类提供了两个数据成员m_hDC和m_hAttribDC。m_hDC：CDC对象使用的输出设备环境；m_hAttribDC：CDC对象使用的属性设备环境在由AppWizard创建的MFC应用程序中，View类的OnDraw成员函数是一个处理图形的关键虚函数，它带有一个指向设备环境对象的指针pDC，MFC的绘图大多都是通过pDC这个指针来加以访问的。CGdiObject类Windows的绘图工具包括画笔、画刷、字体和调色板等。MFC将这些绘图工具封装到相应的CGdiObject类中，并由之派生出6个子类。在Windows应用程序中，CDC与CGdiObject类共同工作，协同完成绘图工作。第三章OpenGL图形绘制特点、主要函数库、函数形式及应用※开放图形库（OpenGraphicsLibrary，OpenGL）OpenGL被设计成独立于硬件、独立于窗口系统、在运行各种操作系统的各种计算机上都可用的标准化接口，并能在网络环境下以C/S模式工作，已成为专业图形处理、科学计算等高端应用领域的标准图形库，任何软、硬件厂商均可自由使用，这让它备受业界人士的追捧，应用领域十分宽广，如军事、电视广播、CAD/CAM/CAE、娱乐、艺术造型、医疗影像、虚拟世界等。※主要函数库：（1）基本库GL(包括115个函数)这些函数都以“gl”为前缀，主要功能包括物体描述、平移、旋转、缩放、光照、纹理、材质、像素、位图、文字处理等。所有OpenGL提供的操作都可以使用这些函数来实现，而且对于不同的软件和硬件平台，这些函数的使用是完全相同的，这个特性注定了OpenGL程序完美的可移植性。（2）实用库GLU(包括43个函数)基本的OpenGL不支持传统上同图形标准相关的一些几何对象，为了减少一些编程负担，OpenGL提供了实用库。这是OpenGL基本库的一套子程序，这些函数以“glu”为前缀，主要功能包括绘制二次曲面、NURBS曲线曲面、复杂多边形以及纹理、矩阵管理等。实用库中的所有函数全都是由OpenGL基本库函数来编写的，使用方法与基本库相同。（3）辅助库AUX(包括31个函数)OpenGL是一个图形标准，它没有提供窗口管理和消息事件响应的函数，这样使用标准C编写OpenGL程序很不方便。辅助库以“aux”为前缀，为了方便用户提供了一些基本的窗口管理函数、事件处理函数和一些简单模型的制作函数等。例如，定义窗口的大小、处理键盘、鼠标击键事件、绘制多面体等等。(4)实用工具库GLUT(包括30多个函数)对应于实用库GLU，OpenGL还有一个实用工具库—GLUT。GL是核心，GLU是对GL的部分封装，而GLUT是OpenGL的跨平台工具库。GL中包含了最基本的绘图函数，而GLU似乎对GL的辅助，如果算法好，不用GLU的情况下，也是可以做出同样的效果。GLUT是基本的窗口界面，是独立于GL和GLU的。如果不喜欢用GLUT，则可以借用MFC和Win32窗口等来代替。但GLUT是跨平台的，这就保证编出的程序也是跨平台的。如果是用MFC或者Win32实现，则只能在windows操作系统上使用。※函数形式：<库前缀><根命令><可选的参数个数><可选的参数类型>首先，每个库函数有前缀gl、glu、glut、aux、wgl、glx等，表示此函数分属于OpenGL某个库，其后的函数名头字母大写，后缀是参数类型的简写，取i、f。 例如：glVertex2i(2,4);第六章图像处理基础掌握基本概念数字图像及表示、颜色空间、BMP文件、图像平滑与锐化数字图像处理目的是什么；数字图像处理的特点图像增强目的和方法：平滑－－均值与中值滤波，锐化——微分，梯度※图像：客观世界在人的视觉系统中形成的印象或反映；※数字图像处理DIP：广义：与图像相关的处理（含图像分析、图像理解和计算机视觉等）；狭义（从输入和输出内容）：对图像进行各种加工，以改善图像的视觉效果或突出目标，强调图像之间进行的变换，是一个从图像到图像的过程；广义上分为三种类型：低级处理：输入输出都是图像；中级处理：图像分割及目标的描述，输出是目标的特征数据；高级处理：目标物体及相互关系的理解，输出是更抽象的数据；一般图像处理主要是指低级处理、部分中级处理。※数字图像处理的目的：1.提高图像的视感质量，以达到赏心悦目的目的。去除图像中的噪声，改变图像的亮度、颜色，增强图像中的某些成份、抑制某些成份，对图像进行几何变换等，从而改善图像的质量，以达到真实、或清晰、或色彩丰富等效果。2.提取图像中所包含的某些特征或特殊信息，以便于分析。例如，常用作模式识别、计算机视觉的预处理等。这些特征包括很多方面，如频域特性、灰度／颜色特性、边界／区域特性、纹理特性、形状／拓扑特性以及关系结构等。3.对图像数据进行变换、编码和压缩，以便于图像的存储和传输。※数字图像处理研究内容：狭义的数字图像处理： 是指将一幅图像变为另一幅经过修改（或改进）的图像。如：消除图像劣化因素，使图像质量得到改善，使畸变得到校正等，包括锐化、平滑、模糊复原、三维重建等。数字图像分析：是指将一幅图像转化为一种非图像的表示。如：分析图像的结构，提取其特征等。是由图像到描述的过程。又称图像理解或图像识别。包括边缘检测、测度抽取、纹理分析等。※数字图像处理的特点：数字图像处理是利用计算机实现与光学系统模拟处理相同效果的过程。1.处理精度高，再现性好计算机图像处理，其实质是对图像数据进行运算。由于计算机技术的飞速发展，计算精度和准确性不断提高；另外，用相同的方法对同一图像进行多次处理，其再现性好。2.处理方法的多样性由于图像处理是通过程序实现的，因此，设计不同的图像处理程序，可以实现各种不同的处理目的。3.图像数据量庞大数字图像由图像矩阵中的像素（Pixel）组成，每个像素用红、绿、蓝三种颜色表示，每种颜色用8bit表示灰度级。4.处理费时由于图像数据量大，因此处理比较费时。特别是处理结果与中心像素邻域有关的处理过程花费时间更多。5.图像处理技术综合性强数字图像处理涉及的技术领域相当广泛，如通信技术、计算机技术、电子技术、电视技术等，当然，数学、物理学等领域更是数字图像处理的基础。※模拟图像：图像是连续的，即用函数f(x,y)表示的图像，x、y表示空间坐标点的位置，f表示图像在点(x,y)的某种性质的数值，如亮度、灰度、色度。可以是任意实数。数字图像：I(r,c)是对f(x,y)的离散化结果，r表示行，c表示列，I表示离散后的f，I,r,c的值只能是整数。※图像的分类：黑白图像：指图像的每个像素只能是黑或者白，没有中间的过渡，故又称为二值图像。二值图像的像素值为0、1。灰度图像：指每个像素的信息由一个量化的灰度级来描述的图像，没有彩色信息。灰度取值范围为(0～255),“0”表示纯黑色，“255”表示纯白色，中间的数字表示黑白之间的过渡色。索引图像：索引图像既包括存放图像数据的二维矩阵，还包括一个颜色索引矩阵（称为MAP），因此称为索引图像，又称为映射图像。MAP矩阵也可以由二维数组表示，矩阵大小由存放图像的矩阵元素的值域（灰度值范围）决定。若矩阵元素值域为0~255，则MAP矩阵的大小为256×3，矩阵的三列分别为R、G、B值。图像矩阵的每一个灰度值对应于MAP中的一行，如某一像素的灰度值为64，则表示该像素与MAP矩阵的第64行建立了映射关系，该像素在屏幕上的显示颜色由MAP矩阵第64行的[RGB]叠加而成。彩色图像：彩色图像是指每个像素的信息由RGB三原色构成的图像，其中RBG是由不同的灰度级来描述的。※BMP文件：Windows的位图文件，大体上分成四个部分※图像增强※平滑：邻域均值法，中值滤波法。※图像锐化空间域图像增强空间域图像增强频率域灰度变换空域滤波直接灰度变换直方图修正法图像的代数运算直方图均衡化直方图规定化图像平滑图像锐化高通滤波低通滤波带通、带阻滤波二阶拉普拉斯第七章音频处理与语音合成※声音是由于物体振动产生的。把正在发声的物体叫做声源。※音量、音调和音色是声音的三个主要特征音量：声音的大小，与声源的远近有关；音调：振动的频率，频率越高音调越高；音色：由发声物体的材料和结构等所决定。（音品）※语音是指自然语言所讲的话音，或者模拟这种声音的声学信号。是语言的物质外壳，由人体声器官发出，表达一定意义，是语言符号系统的载体。语音是一种声音，但与一般的声音有着本质的区别。语音四要素：音高、音强、音长和音色※音频：人类能够听到的所有声音都称之为音频。CD、WAVE、MP3、MIDI、WMA、RM、FLAC、APE※MIDI音频(MusicalInstrumentDigitalInterface乐器数字接口)将电子乐器演奏时的指令信息(例如音高、音长和力度等)通过声卡上的MIDI控制器输入计算机，或者利用一种称为音序器的计算机音乐处理软件编辑产生音乐指令集合，以*.MID文件格式存储在硬盘上，这种声音媒体称为MIDI音频。MIDI音频重放时，必须经过合成器将MIDI指令译成相应的声音信号，再由声卡上的混音器混合后生成声波，最后由音箱播出音乐。MIDI音频的*.MID文件中可以包含多达16种不同乐器的声音定义。MIDI文件记录的不是乐曲本身，而是一些描述乐曲演奏过程中的指令，因此，MIDI音频是乐谱的数字化描述。MIDI文件的存储量比较小，因此，它可以满足较长时间音乐播放的要求，但是MIDI文件的录制工作较为复杂，需要使用MIDI创作并改编作品的专业知识以及专门化工具，例如键盘合成器等※RIFF可以看做是一种树状结构，其基本构成单位为“块”（Chunk），它犹如树状结构中的节点。每个Chunk由“辨别码”（ID）、“数据大小”（Size）和“数据”（Data）所组成※MID文件是一种记录数字化音乐的MIDI文件，由一个文件头块和多个音轨块组成。文件头块记录了MIDI文件的描述信息，而音轨块记录了MIDI通道的数据流信息。※语音合成是用各种合成信号来模拟人类的语音，主要应用于计算机语音输出、数字化仪表的测量值语音报数等领域。语音识别则是让机器按照人的语音指令来执行相应的动作，这在机器人控制、无线遥控装置及保安系统中非常有用。※SAPI（TheMicrosoftSpeechAPI），微软推出的语音应用编程接口API，虽然现在不是业界标准，但是应用比较广泛。第八章基于DirectShow实现视频播放※视频，由多幅静止图像（或叠加音频信息）在时间轴上进行同步运动而形成的混合媒体。※数字视频：以离散的数字信号方式表示、存储、处理和传输视频信息，所用的存储介质、处理设备以及传输网络都是数字化的。※数字视频的数据压缩可分为帧内压缩和帧间压缩两种。※MPEG-4※MPED-21※数据容量计算。分辨率为640×480，256色的一帧图像，其数据容量约为0.3MB，对于NTSC视频制式来说，若要达到30帧每秒(f/s)的活动图像，所需的存储量为9MB/s。这样，一张650MB的光盘只能存放大约播放70s的图像数据，而且光盘数据传输率也必须达到9MB/s才能满足要求。※数字化方法：视频数字化有复合数字化和分量数字化两种方法。复合数字化：先用一个高速的A/D转换器对全彩色信号进行数字化，然后在数字域中分离亮度和色度，以获得YCbCr分量、YUV分量或YIQ分量，最后再转换成RGB分量。分量数字化：先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量，然后用3个A/D转换