多媒体技术及应用.doc

模块1多媒体技术概论内容提要1媒体及其分类什么是媒体?英文为Media（Medium）,又常被称为媒介;?在信息传播过程中，从信息源到接受者之间携带和传递信息的任何载体和工具?双重含义?（1）承载信息的直接载体，如文字、图像等?（2）传递信息的物质实体，如电视、计算机等关于信息、媒体和媒介的讨论什么是媒体?我们经常把报纸、广播、电视等称为新闻媒介，报纸通过文字、广播通过声音、电视通过图像和声音来传送信息。?信息需要借助于媒体来传播，所以说媒体是信息的载体?报纸和文字谁是媒体?广播与声音呢?电视与图象和声音呢?媒体的三层含义?媒体有三层含义:?传播媒体，如蜜蜂是传播花粉的媒体?表达信息的逻辑载体，如文本、图形、图像、音频、视频、动画等；?存贮和加工、传递信息的实体，如书本、挂图、投影片、录像带、计算机以及相关的播放、处理设备等。?本课程中提及的媒体主要是指表达信息的逻辑载体以及存储、加工、传递信息的实体。媒体的分类?根据国际电信联盟(ITU：InternationalTelecomunicationUnion)下属的国际电报电话咨询委员会(CCITTConsultativeCommitteeInternationalTelegraphandTelephone)的定义，目前，媒体可分为下列五大类:感觉媒体、表示媒体、表现媒体、存储媒体和传输媒体。感觉媒体(PerceptionMedium)?感觉媒体是指能直接作用于人们的感觉器官，使人能直接产生感觉的一类媒体。?感觉媒体包括人类的各种语言、文字、音乐、自然界的其他声音、静止的或活动的图像、图形和动画等信息。表示媒体(RepresentationMedium)?表示媒体是为了加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体。?借助于此种媒体，便能更有效地存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。?常见的可概括为文本、图形、图像、音频、视频、动画、以及各种信息的数字化编码表示表示媒体的例子表示媒体(RepresentationMedium)显示媒体(PresentationMedium)?显示媒体是指感觉媒体传输中电信号和感觉媒体之间转换所用的媒体。?显示媒体又分为输入显示媒体和输出显示媒体。?输入显示媒体如键盘、鼠标器、光笔、数字化仪、扫描仪、麦克风、摄像机等.?输出显示媒体如显示器、喇叭、打印机、投影仪等。显示媒体存储媒体(StorageMedium)?存储媒体又称存储介质，指的是用于存储表示媒体(也就是把感觉媒体数字化以后的代码进行存入)，以便计算机随时加工处理和调用的物理实体。?这类存储媒体有硬盘、软盘、CD-ROM等。存储媒体传输媒体(TransmissionMedium)?作为通信的信息载体，用来将表示媒体从一处传送到另一处的物理实体。?这类媒体包括各种导线、电缆、光缆、电磁波等。（广播，电视，网络？）传输媒体视音频信息媒体传递过程中的五类medium：计算机信息媒体传递过程中的五类medium媒体的分类?在上述的各种媒体中，表示媒体是核心。2多媒体多媒体?多媒体的英文是Multimedia，其含义就是“多种媒体”。?人们所指的多媒体其实是表示媒体，即文本、图形、图像、音频、视频、动画等信息载体中的两个或多个的组合。?而这种两个或多个的组合技术往往与计算机相联系。这是由于计算机的数字化及交互式处理能力，极大地推动了多媒体技术的发展，从这个意义上可以看到我们常说的多媒体最终被归结为一种技术。多媒体?多媒体的实质是将不同表现形式的媒体信息数字化并集成，通过逻辑链接形成有机整体，同时实现交互控制。多媒体技术?多媒体技术不是各种信息媒体的简单复合，它是一种把文本(Text)、图形(Graphics)、图像(Images)、动画(Animation)和声音(Sound)等形式的信息结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互式操作的信息技术。多媒体技术有以下几个主要特点（1）集成性能够对信息进行多通道统一获取、存储、组织与合成。（2）控制性多媒体技术是以计算机为中心，综合处理和控制多媒体信息，并按人的要求以多种媒体形式表现出来，同时作用于人的多种感官。（3）交互性交互性是多媒体应用有别于传统信息交流媒体的主要特点之一。传统信息交流媒体只能单向地、被动地传播信息，而多媒体技术则可以实现人对信息的主动选择和控制。（4）非线性多媒体技术的非线性特点将改变人们传统循序性的读写模式。以往人们读写方式大都采用章、节、页的框架，循序渐进地获取知识，而多媒体技术将借助超文本链接（HyperTextLink）的方法，把内容以一种更灵活、更具变化的方式呈现给读者。（5）实时性当用户给出操作命令时，相应的多媒体信息都能够得到实时控制。多媒体技术的发展与应用?教育培训?咨询服务领域?出版领域?娱乐领域?军事领域?模拟训练领域3多媒体计算机多媒体系统?所谓多媒体系统(MultimediaSystem)，是指能够将多种媒体集成处理的计算机系统。?当多媒体系统只是单机系统时，可以只包含多媒体终端系统和相应的软件及数据，例如多媒体个人机MPC(MultimediaPersonalComputer)。?而在大多数情况下，多媒体系统是以网络形式出现的，至少在概念上应是与网络互连的，通过网络获取服务、与外界进行联系。从广义上讲，这实际上就是信息系统的一种新的形式：多媒体信息系统。多媒体计算机（MPC）?多媒体计算机一般是指能够综合处理文本、音频、图形、图象、动画和视频等多种媒体的计算机。第二章多媒体常用外部设备及其使用1.扫描仪简介扫描仪按扫描对象分，通常可分为反射式和透射式两种。扫描仪的主要性能指标有：分辨率、灰度级、色彩位数、扫描速度、扫描幅面数码相机的分类方法很多。如果按图像传感器来分，可分为CCD数码相机和CMOS数码相机。数码相机伴侣是一个由高速大容量移动硬盘多种读卡器的合二为一的数码储存装置，可以实现在没有电脑的情况下转存数码存储卡的数据。摄像机是一种把景物光像转变为电信号的装置，其结构大致可分为三部分：光学系统、光电转换系统以及电路系统。从能量的转换角度来看，摄像机的工作原理是一个光电磁电光的转换过程。?数码影像的后期制作可简单分为四类：?视频采集?视频编辑?视频压缩?视频刻录刻录机的工作原理是借助光驱内的激光束，读取储存在光盘片上的数据，而光盘片的上数据是通过光盘片上不同的凹凸面，由激光照射后产生反射平面（Land）与凹洞（Pit）两种不同的信号差异，这两种不同的信号差异可以仿真成0或1的数据形态，而将数据储存于光盘片内。从刻录机的连接来讲，可分为IDE、SCSI、LPT、USB、IEEE1394和PCMCIA六种接口类型。常见的接口方式是IDE、SCSI和USB等三种方式。模块三：多媒体音频信息处理3.1音频信号及其概念3.1.5与声音有关的几个术语?所谓听觉，就是接收声音并转换成神经脉冲的过程。所谓感知是指将听到的声音经过大脑的处理后转换成给定的含义。?音高是人对声波频率的主观属性，它首先与声波的频率有关。声波的振动频率高，我们听到的声音就高，反之亦然，但它们之间并非线性关系。?音色是声波波形的主观属性。不同的发音体所发出的音波都有自己的特异性。声波的类型是多种多样的，一般可分为纯音和复合音两大类。?语音是特殊的复合音。语音由元音和辅音所构成。元音是一种能连续发出的音乐，辅音主要是不能连续发出的短促的噪音，元音与辅音合成汉语音节。?响度是声波振幅的主观属性，它是由声波的振幅引起的。振幅越大则响度越大，但它们之间也不是线性关系。3.1.6声音质量的评价1声音客观质量的度量方法2声音主观质量的度量1声音客观质量的度量方法失真度频响与瞬态响应信噪比声道分离度和平衡度声音质量主观评价时大多数采用以下用语?1清晰-声音层次分明,有清澈见底之感,语言可懂度高.反之模糊,浑浊.2丰满-声音融会贯通,响度适宜,听感温暖,厚实,具有弹性.反之单薄,干瘪.3圆润-优美动听,饱满而润泽,不尖躁,反之粗糙?4明亮-高,中音充分,听感明朗,活跃,反之灰暗.声音质量主观评价时大多数采用以下用语?5柔和-声音温和,不尖,不破,听感舒服,悦耳.反之尖,硬.6真实-保持原有声音的音色特点.7平衡-节目各声部比例协调,高,中,低音搭配得当.8立体效果-声像分布连续,构图合理,声像定位明确,不飘移,宽度感.纵深感,空间感真实,活跃,得体.?(9)总体音质效果。节目处理恰如其分，音质变化流畅，在气势，色调，动态范围等方向与作品相等，形成协调，统一的整体。3.2模拟音频的数字化过程3.2.1采样为实现A/D转换，需要把模拟音频信号波形进行分割，以转变成数字信号，这种方法称为采样(Sampling)。3.2.2量化用某种数字化的方法来反映某一瞬间声波幅度的电压值的大小称为量化3.2.3声音采样与量化过程示例3.2.4编码3.3.2声卡的性能指标1音频技术指标2MIDI音频3声道数-（5.1声道）其中“1”是指低音炮声道。3.4音频文件的格式与处理软件3.4.1数字音频的文件格式1.WAV文件:WAV是Microsoft的音频文件格式。2.VOC文件:VOC格式是声霸卡(SoundBlaster)使用的音频文件格式。3.MP34.MP45.RealAudio文件.RA/.RM/.RAM6.AIFF文件.AIF/.AIFFAIF是Apple计算机的音频文件格式。Windows的Convert工具可以把AIF格式的文件转换成Microsoft的WAV格式的文件。3.4.2音频制作与处理软件1CoolEdit2SoundForge3.5乐器数字接口-MIDI3.5.1什么是MIDI?MIDI是数字音乐接口（MusicalInstrumentDigitalInterface)的缩写。或者说，MIDI是用来將电子乐器相互连接，或将MIDI设备与电脑连接成系统的一种通讯协议。通过它，各种MIDI设备都可以准确传送MIDI信息。3.5.2MIDI系统的组成1.合成器2音源3音序器(Sequencer)4采样器5其它设备?如录音设备、监听设备、音箱功放等3.5.4FM与波表合成方式第四章图形/图像处理技术4.1颜色的基本知识4.1.1颜色的基本概念?亮度（Luminance）：人眼感觉到的颜色明暗程度，与光的反射率相对应。最亮为白色，最暗为黑色；?色相（Hue）：不同颜色的相貌，也称色调，是人眼看一种或多种波长的光时所产生的彩色感觉，是决定颜色的基本特性。最基本的代表色是红（R）、黄（Y）、绿（G）、蓝（B）、紫（P）五种。此五种颜色在人们的生理和心理方面有明确的特征，色相的心理反应特征是暖色或冷色。色相之间的关系可以用色相环表示，另外，橙（YR）、黄绿（GY）、青绿（BG）、青紫（PB）、紫红（RP）称为中间色相。?饱和度（Saturation）：是指颜色的鲜艳程度或纯度。2、三基色和混色1）三基色原理?各种彩色光，都可由红（R）、绿（G）、蓝（B）三种颜色光按不同比例相配而成；?绝大多数颜色也可以分解成红、绿、蓝三种色光。4.1.2计算机中的颜色模式1、RGB颜色模式2、HSB颜色模式H：色相S：饱和度B：亮度D：所有色相?色相：就是颜色。在0到360度的标准色轮上，按位置度量色相。平时把色相用颜色名称标识，如红色、橙色等。?饱和度：是指颜色的强度或纯度，表示色相中灰色分量所占的比例，它使用从0%（灰色）至100%（完全饱和）的百分比来度量。在标准色轮上，饱和度从中心到边缘递增。?亮度：是颜色的相对明暗程度，通常使用从0%（黑色）至100%（白色）的百分比来度量。4.1.3颜色模式的色域?色域是一个色系能够显示或打印的颜色范围。人眼看到的色谱比任何颜色模型中的色域都宽。?Lab具有最宽的色域，它包括RGB和CMYK色域中的所有颜色。?CMYK色域较窄，仅包含使用印刷色油墨能够打印的颜色。?RGB色域包含能在计算机显示器或电视屏幕（发出红、绿和蓝光）上所有能显示的颜色。因而一些诸如纯青或纯黄等颜色不能在显示器上精确显示。4.2位图图像与矢量图形位图是用矩阵形式表示的一种数字图像，矩阵中的元素称为像素，每一个像素对应图像中的一个点，像素的值对应该点的灰度等级或颜色，所有像素的矩阵排列构成了整幅图像。4.2.2矢量图形.由矢量定义的基本图形元素组成。按照面向对象的思想，可以把矢量图元看作一个个图形对象，每个对象都有自己的属性。都具有相对独立性，可以分别移动或编辑而不会影响其他对象。因此，矢量图形处理的基本单位是图形对象。矢量图形文件存储的是绘制图形中各图元的命令。4.2.4位图与矢量图的比较与转换1、位图和矢量图的不同：矢量图形处理的基本单位是几何图形对象，文件中存储的是对应的绘制命令和参数，矢量图形文件的数据量很小，能方便的对每个图像元素方便的进行编辑修改；位图图像处理的基本单位是像素，文件中存储的是像素，因而文件的数据量巨大，存储和传输时需要进行必要的数据压缩，且不便于编辑修改。矢量图形常用的技术标准有GKS、PHIGS、OpenGL、WMF、VRML、CGM、STEP等。位图图像常用的技术标准有JBIG、JPEG、TIFF等。4.3.2量化4.3图像的数字化过程实际上就是对连续图像f（x,y）进行空间和颜色离散化的过程，主要经过采样、量化、压缩编码三个步骤?每一个平面都被分割成若干单元，每一单元有不同的点模式。所有单元在纸面上的“平铺”结果就是图像。?一个单元中的像素个数决定了单色打印机所能再现的灰度级数。?设定灰度阀值作为“筛”，可把要打印的灰度值与阀“筛”相应单元位置的值进行比较：如果要打印的灰度值小于阀值，相应的单元位置就不打印；否则，相应的单元位置就要打印。4.6.2图像文件的格式在多媒体计算机系统中，不同的压缩方式用不同的文件格式表示。不同的文件格式用特定的文件扩展名来表示，常见的图像文件格式有BMP、PCX、GIF、JPG、TIF、TGA、PNG、PSD和MPT等。4.6.3图形文件的格式1.EPS格式2.DXF格式3.PS格式4.HGL格式5.WMF格式图形处理软件是利用矢量绘图原理描述图形元素和处理方法的绘图设计软件，通常有平面矢量图形设计与三维设计之分。最有代表性的软件产品有CorelDraw、AdobeIllustrator、MacromediaFreehand、3DSMax、AutoCAD等。模块五：数字化视频处理技术视频（Video）是多幅静止图像（图像帧）与连续的音频信息在时间轴上同步运动的混合媒体，多帧图像随时间变化而产生运动感，因此视频也被称为运动图像。世界上最常用的模拟广播视频标准（也称制式）有3个：NTSC、PAL、SECAM。数字电视与原有的模拟电视相比，有如下主要优点：1.电视画面质量得到大幅度提升2.更多的节目3.更好的视听效果4.交互性5.数字化融合提供新增的服务与模拟视频相比，数字视频还具有以下优点：可用计算机编辑处理；再现性好；适合于数字网络。5.1.4数字电视?数字电视的特点及提供的服务数字电视与原有的模拟电视相比，有如下主要优点：1.电视画面质量得到大幅度提升2.更多的节目3.更好的视听效果4.交互性5.数字化融合提供新增的服务?除数字化的音视频节目外，数字电视系统还可以广播其他任意数据，如与节目内容有关的附带信息、本地气象与交通信息等。各种各样的数据业务将大幅度扩展电视的信息服务能力。在数字化融合的时代，将会出现新的灵活的功能多样化的消费产品平台，它将优质的声音、视像体验与交互式的信息服务集于一身，使得数字电视成为人们从事娱乐、信息和通信活动的平台。1、Premiere6.5的主要功能素材的转换和压缩视频/音频捕捉和剪辑视频编辑功能丰富的过渡效果添加和设置运动效果添加视频/音频滤镜效果功能强大的字幕设计制作对Internet的支持5.3视频文件的类型?5.3.1本地视频格式1.AVI格式?AVI（AudioVideoInterleave）是一种音频视像交插记录的数字视频文件格式。2.DV-AVI格式?DV的英文全称是DigitalVideoFormat，是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。3.QuickTime的MOV格式?自从国际标准化组织(ISO)选择QuickTime文件格式作为开发MPEG-4规范的统一数字媒体存储格式，MOV文件就以mpg或mp4为其扩展名，并且采用了MPEG4压缩算法。4.MEPG格式?将MPEG(MotionPictureExpertsGroup)算法用于压缩全运动视频图像，就可以生成全屏幕活动视频标准文件。5.DivX