多媒体技术教材电子课件_第1页
多媒体技术教材电子课件_第2页
多媒体技术教材电子课件_第3页
多媒体技术教材电子课件_第4页
多媒体技术教材电子课件_第5页
已阅读5页,还剩95页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、新编电气与电子信息类本科规划教材多媒体技术与应用陈启祥 李宁 编著周锡令 主审电子工业出版社Publishing House of Electronics Industry北京BEIJING第1章 绪 论内容提要 本章将介绍多媒体技术的定义、各类媒体的特点、多媒体的应用和发展及多媒体的关键技术等基础知识。知识要点 多媒体的含义;多媒体技术的主要特性;多媒体的产生和发展;多媒体技术研究的主要内容;多媒体技术的应用及前景。教学建议 建议学时为2学时。1.1 多媒体技术的概念 在多媒体技术中,媒体(Medium)是一个重要的概念。那么,什么是媒体呢?媒体是信息用来表示和信息传输的载体。 国际电报电话

2、咨询委员会(CCITT,目前已被ITU取代)曾对媒体做如下分类: A、感觉媒体(Perception Medium) B、表示媒体(Representation Medium) C、表现媒体(Presentation Medium) D、存储媒体(Storage Medium) E、传输媒体(Transmission Medium) 在多媒体技术中,我们所说的媒体一般指的是感觉媒体。注意1.1.2 多媒体技术及其特点 所谓多媒体技术就是计算机交互式综合处理多种媒体信息,如文本、图形、图像和声音,使多种信息建立逻辑连接,集成为一个系统并具有交互性。简言之,多媒体技术就是以集成性、多样性和交互性为

3、特征的综合处理声音、文字、图形、图像等信息的计算机技术。多样化、 集成性、 交互性多媒体技术的特性主要包括信息载体的三个方面,这是多媒体的主要特征,此外还有非循序性、非纸张输出形式等。1.2 多媒体技术的发展历程1.2.1 启蒙发展阶段 1.2.2 标准化阶段 多媒体数据的压缩编码和解码算法是多媒体计算机的关键技术之一。目前多媒体编码和压缩广为采用的是ISO和ITU联合制定的数字化图像压缩国际标准。具体来说,有三个主要标准:A、 JPEG标准。它是联合图像专家组JPEG(Joint Photographic Experts Group) 建立的适用彩色和单色、多灰度连续色调、静态图像压缩国际标

4、准。 B、 MPEG系列标准。为了制定有关运动图像压缩标准,ISO建立一个运动图像专家组MPEG(Moving Picture Experts Group) C、 H.26X标准。ITU推荐的H.261标准即P64kbps方案,其标题是“64kbps视声服务用视像编码方式”,它是由ITU SG XV视频编码专家组负责制定的。 1.3 多媒体技术研究的主要内容1.3.1 视频音频数据压缩/解压缩技术 1.3.2 多媒体专用芯片技术1.3.3 大容量信息存储技术1.3.4 多媒体输入与输出技术1、多媒体操作系统2、多媒体素材采集与制作技术 3、多媒体编辑与创作工具4、多媒体数据库技术 5、超文本/

5、超媒体技术 6、多媒体应用开发技术1.3.6 多媒体通信技术1.3.7 虚拟现实技术1.3.5 多媒体软件技术1.4 多媒体技术应用及发展前景 1.4.1 多媒体技术的应用多媒体技术的典型应用 教育和培训 咨询和演示 娱乐和游戏 管理信息系统 视频会议系统 计算机支持协同工作 视频服务系统 1.4.2 多媒体技术的发展前景 A、家庭教育和个人娱乐是目前国际多媒体市场的主流 B、内容演示和管理信息系统(MIS)是多媒体技术应用的重要方面 C、多媒体通信和分布式多媒体系统是多媒体技术今后的发展方向 第2章 媒体及媒体的数字化内容提要 媒体是信息的载体,也可以是信息的表现形式。人类利用视觉、听觉、触

6、觉、嗅觉和味觉来感受各种信息,因此,媒体也可分为:视觉类媒体、听觉类媒体、触觉类媒体、嗅觉类媒体和味觉类媒体,其中嗅觉类和味觉类媒体目前在计算机中尚不能方便地实现。本章介绍文字、声音、图形、图像、动画、视频等媒体的特性,以及这些媒体在计算机中的表示即数字化问题。 知识要点: 简单媒体的基本概念、各类媒体的特点;计算机获取、存储和表现媒体的原理和方法。教学建议: 建议上课学时46学时。2.1 文字 2.1.1 英文 在计算机中,英文采用ASCII码。ASCII(American Standard Code for Information Interchange)是美国信息交换标准代码的英文缩写,

7、它是一个由7个二进制位组成的数字编码系统,该编码系统包括大小写字母、标点符号、阿拉伯数字、数学符号、控制字符等,共128个字符。目前,ASCII码已在计算机领域中得到了最广泛的应用。 2.1.2 汉字 1. 汉字的输入编码 A、数字编码 B、拼音码 C、字型编码 2. 汉字内码 汉字内码是用于汉字信息的存储、交换、检索等操作的机内代码,一般采用两个字节表示。汉字机内代码中两个字节的最高位均规定为“1”。目前又出现了Unicode字符编码集,其实就是一个大字符集. 3. 汉字字模码 字模码是用点阵表示的汉字字形代码,它是汉字的输出形式。 根据汉字输出的要求不同,点阵的多少也不同。简易汉字为161

8、6点阵,提高型汉字为2424点阵,3232点阵,甚至更高。 汉字的输入编码、汉字内码、字模码是计算机中用于输入、内部处理、输出三种不同用途的编码,不要混为一类。 2.2 音频 音频(Audio),常常被作为“音频信号”或“声音”的同义语,是属于听觉类媒体,其频率范围大约在20Hz22kHz之间。 声音具有音调、音强、音色三要素。音调与频率有关,常见频带有:电话音频是2003400Hz、调幅广播是507000Hz、调频广播是2015000Hz 、CD激光唱盘是2022000Hz。音强与幅度有关,振幅范围20195dB。音色是由混入基音的泛音所决定的。2.2.1 数字音频 数字音频是指用一系列的数

9、字来表示音频符号,即把模拟音频信号转换成有限个数字表示的离散序列,从而实现音频数字化 音频信号数字化过程如下:(1)选择采样频率,进行采样;(2)选择分辨率,进行量化;(3)形成声音文件。 1. 采样(Sampling) 采样就是把时间上连续的信号,通过抽取样本,变成在时间上不连续的信号序列,即A/D模数转换,其功能是将模拟信号变换成数字信号 在多媒体中,对于音频,最常用的有三种采样频率:44.1kHz;22.05kHz;11.025kHz。其中22kHz和44kHz采样频率是最常采用的频率。2分辨率量化位数 另一个指标是“分辨率”,它是指把采样所得的值(通常为反映某一瞬间声波幅度的电压值)数

10、字化,即用二进制来表示模拟量 . 3. 声音文件 声音通道的个数表明声音记录是只产生一个波形(单声道)还是产生两个波形(立体声双声道)。双声道的立体声,需要两倍的存储空间(针对wav格式的声音文件)。 对于单声道,录音文件大小的公式为( 仅限于wav格式):S=RD(r/8)1其中,S表示文件大小,单位为字节;R表示采样速度,单位为Hz,也可叫采样频率;D表示录音的时间,单位为秒;r表示分辨率,单位为二进制位(bit),如8位、16位等;式中的数字1表示对应的单声道。公式中的“除以8”是为了将二进制位换算成以字节作为单位,一个字节等于八位二进制位。对立体声,决定数字录音文件大小的公式与单声道的

11、情况类似(仍以字节为单位),如下式所示:S=RD(r/8)2其中各符号的含义与上式相同,唯一不同的是乘以数字2,表示对应立体声,也就是说,立体声的文件大小为单声道两倍。 在多媒体技术中,存储声音信息的常用文件格式主要有:WAV文件、VOC文件、MIDI文件、AIF文件、SNO文件、RMI文件 、MP3文件,WMA文件,PCM文件等。2.2.2 乐器数字接口 声音有两类:一类是直接获取的声音,一类是合成声音。合成声音可以是音乐或语言,现在已形成标准。 MIDI是乐器数字接口(Musical Instrument Digital Interface)的英文缩写。 MIDI信息由数字化的乐谱、音符序

12、列、定时及合成音乐的乐器定义组成。当一组MIDI信息经音乐合成的解释便能演奏出音乐。2.2.3 数字化声音和MIDI的比较 与MIDI数据相比,数字化的声音是声音的实际表示。它代表了声音的瞬间幅度。因为它与设备无关,每次播放时都发出相同的声音。 MIDI数据是与设备有关的,即MIDI音乐文件所产生的声音与用来播放的特定的MIDI设备有关。MIDI数据优点(1)文件紧凑,所占空间小,MIDI文件的大小与回放质量完全无关。 (2)在不需要改变音调降低音质的情况下,可以通过改变其速度来改变MIDI文件的长度。 2. MIDI数据缺点 (1)MID文件的声音质量一般不如WAV文件的声音声音。 (2)因

13、MIDI数据并不是声音,仅当MIDI回放设备与产生时所指定设备相同时,回放的结果才是精确的。 (3)MIDI不能用来回放语音对话。 2.3 图形与图像2.3.1 位图图像 位图图像是指在空间和亮度上已经离散化的图像.位图的概念位图的基本参数包括:图像分辨率:组成一幅图像的纵向和横向的象素的个数图像深度:表示每个象素信息的位数图像颜色数:如图像深度为24,则颜色数为224图像的数据量:如一幅分辨率800600的24位真彩图像,所占存储空间为:800600248=1440000 byte1.4M byte2. 位图的产生方法(1)用画图程序获得;(2)用荧光屏抓取程序从荧光屏上直接抓取,然后把它加

14、到画图程序或应用程序中;(3)用扫描仪或数字化的视频图像抓取设备从照片、艺术作品或电视图像抓取;(4)购买现成的图像库。3. 图像的数字化 媒体计算机处理图像和视频,首先必须把连续的图像函数f(x,y)进行空间和幅值的离散化处理,空间连续坐标(x,y)的离散化,叫做采样;f(x,y)顏色的离散化,称之为量化。两种离散化结合在一起,叫做数字化,离散化的结果称为数字图像。 采样 量化 采样是对图像函数f(x,y)的空间坐标(x,y)进行离散化处理,而量化是对每个离散点像素的灰度或颜色样本进行数字化处理。 4. 位图处理(1)图像的抓取 (2)图像的编辑5. 图像优化6. 图像压缩2.3.2 矢量图

15、形 矢量是用其两个端点位置来描述的一条直线。 矢量图形是用一个指令集合来描述的。矢量图形是用一个指令集合来描述的。 2.3.3 矢量图与位图的比较1. 空间 2. 性能2.3.4 图像文件的格式 Windows使用设备无关位图DIB(Device Independent Bitmaps)作为其通用的图像文件格式。 图像文件格式2.3.5 数字水印1、概念: 数字水印是嵌在数字产品中的数字信号,可以是图像、文字、符号、数字等一切可以作为标记、标识的信息。 2、特点: 3、用途: 防止非法复制:数字水印技术并不能直接阻止复制行为,而是通过验证产品的所有权来揭露非法复制、传播行为,从而鉴别资料的真伪

16、。4、原理: 数字水印的制作过程可看是作将产权等信息作为附加噪声融合在原数字产品当中(大多将水印大小控制在100个比特之内),但不致影响人的感官对数字作品的感觉欣赏,即利用了人在感觉上的冗余。2.4 动画 动画(Animation)是指运动的画面,动画在多媒体中是一种非常有用的信息交换工具。2.4.1 视觉暂留 动画之所以成为可能,是因为人类的眼睛具有一种所谓“视觉暂留”的生物现象。在观察过物体之后,物体的映像将在人眼的视网膜上保留一短暂的时间。 2.4.2 造型动画和帧动画 用计算机实现动画有两种:一种为帧动画,另一种为造型动画。帧动画是由一幅幅连续的画面组成的图像或图形序列;造型动画是对每

17、一个活动的对像分别进行设计,并构造每一对象的特征,然后用这些对象组成完整的画面。 2.4.3 技术参数1.帧速度 2.数据量 3. 图像质量2.5 视频2.5.1 数字视频基础2.5.2 视频的获取与编辑1.对硬件的要求 2. 输入捕获视频文件 3. 视频的采集2.5.3 常用视频文件的格式1.AVI 2.MOV文件 3.MPEG 4.FLIC文件 5.其他格式2.6 色彩空间2.6.1视觉系统对颜色的感知人的视觉系统对颜色的感知可归纳出如下几个特性: (1)眼睛本质上是一个照相机。 (2) 红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同,对不同亮度的感知适度也不同,这就意味着,人们可以使

18、用数字图像处理技术来降低表示图像的数据量而不使人感到图像质量明显下降。(3)自然界的任何一种颜色都可以由R、G、B这3种颜色值之和来确定,它们构成一个三维的RGB矢量空间。 2.6.2 图像的颜色模型1、显示彩色图像用RGB相加混色模型 红、绿、蓝三种光产生颜色示意图从理论上讲,任何一种颜色都可用三种基本颜色按不同的比例混合得到。 某一种颜色和这三种颜色之间的关系可用下面的式子来描述:颜色=R(红色的百分比)+G(绿色的百分比)+B(蓝色的百分比)三种基本颜色相加的结果 代码RGBHSL颜色000016000黑(Black)10012816024060蓝(Blue)2012808024060绿

19、(Green)3012812812024060青(Cyan)412800024060红(Red)5128012820024060品红(Magenta)612812804024060褐色(Dark yellow)71921921921600180白(Light gray)81281281281600120深灰(Dark gray)900255160240120淡蓝(Light blue)100255080240120淡绿(Light green)110255255120240120淡青(Light cyan)12255000240120淡红(Light red)13255025520024012

20、0淡品红(Light magenta)14255255040240120黄(Yellow)152552552551600240高亮白(Bright white)16色VGA调色板的值 2、 打印彩色图像用CMY相减混色模型青色品红黄色相减色000白001黄010品红011红100青101绿110蓝111黑三种基本颜色相减的结果相加混色相减混色生成的颜色RGBCMY000111黑001110蓝010101绿011100青100011红101010品红110001黄相减色相加色与相减色的关系 一个不发光的物体为无源物体,它的颜色由该物体吸收或者反射哪些光波决定,用彩色墨水或颜料进行混合,绘制的图画

21、就是一种无源物体,用这种方法生成的颜色称为相减色。在理论上说,任何一种颜色都可以用三种基本颜料按一定比例混合得到。这三种颜色是青色(Cyan)、品红(Magenta)和黄色(Yellow),通常写成CMY,称为CMY模型。 3YUV和YIQ彩色空间 在现代彩色电视系统中,通常采用三管彩色摄像机或彩色GGD摄像机,把摄得的彩色图像信号,经分色镜分成R0G0B0三个分量的信号,分别进行放大和校正得到RGB,再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y,最后发送端将Y、R-Y及B-Y三个信号进行编码,用同一信道发送出去。这就是我们常用的YUV彩色空间。 4HIS彩色空间5其它彩色空间表示

22、2.6.3 彩色空间的转换 YUV空间和RGB空间的转换方程如下: 其中 HIS空间和RGB空间的转换方程 第4章 多媒体计算机系统组成内容提要: 多媒体计算机系统需要对声音、文字、视频图像、静态图像、图形等多种媒体进行数字化处理。数字化方式处理多媒体信息的一般过程是:首先把音频和视频等媒体信号数字化,以数据的形式存入到计算机存储器中,然后计算机对这些数据进行有效的处理,最后以用户要求的形式表现出来。数字化处理的优点是能充分利用计算机的功能进行信息处理,但随之带来的一个显著问题是数字化的音频、视频数据量很大,需要大容量的存储器。另一方面,音频、视频信号的输入和输出都需要实时效果,这就要求计算机

23、提供高速处理能力,来满足多媒体处理的实时性要求。同时,多媒体计算机系统信息获取和表现也需要有专门的外设来提供支持。知识要点: 多媒体功能卡,多媒体信息获取与显示设备,多媒体存储技术,典型多媒体平台,多媒体个人计算机。教学建议: 教学学时610学时。4.1 多媒体功能卡4.1.1数字音频卡1.音频卡的功能 音频卡的主要功能是音频的录制与播放,编辑与合成,MIDI接口,文-语转换,CD-ROM接口及游戏接口等。2音频卡的体系结构音频卡的结构体系 音频卡有下列部件组成:MIDI输入输出电路,MIDI合成器芯片,用来把CD音频输入与线输入相混合电路,带有脉冲编码调制电路的模数转换器,用于把模拟信号转换

24、为数字信号以生成波形文件,用来压缩和解压缩音频文件的压缩芯片,用来合成语音输出的语音合成器,用来识别语音输入的语音识别电路,及输出立体声的音频输出或线输出的输出电路等 1)数字化声音处理 声音卡用数字信号处理器DSP芯片管理所有声音输入/输出和MIDI操作。 DSP芯片带有自己的RAM和EPROM,存放声音处理(I/O)、ADPCM编码/译码程序和中间运算结果。声卡的数字化声音接口有如下两种传送方式: 直接传送方式 DMA传送方式数字音频信息获取与处理技术工作原理 2)混音器 音频卡上的混音器(Mixer)芯片可对以下音频源进行混合:数字化声音(DAC),调频FM合成音乐(FM),CD-Aud

25、io音频(CD-ROM),线路输入(AUX),话筒输入(MIC),PC扬声输出(SPK), 混音器还提供以下I/O功能:可选择声音I/O模式,即单声道或立体声模式;从话筒、CD或线路输入中选择输入源;可选I/O滤波器,即低、高通滤波器或关闭滤波功能,用滤波器对声音作过滤处理。音频卡混音器原理 3)合成器标准的PC多媒体平台通过内部合成器(Synthesizer)或通过外界到计算机MIDI端口的外部合成器播放MIDI文件。合成器的类型有两种:频率调制FM合成;波形表(Wave Table)合成。频率调制FM合成器 3.音乐合成与MIDI接口MIDI音乐合成 MIDI是指乐器数字接口,任何电子乐器

26、,只要有处理MIDI消息的微处理器,且有合适的硬件接口,都可成为一个MIDI设备。MIDI消息,实际上就是乐谱的数字描述。 目前声卡的音乐合成主要有两种方法:一种是常用的调频合成法,另一种就是波表合成法。衡量声卡的音乐合成器的性能好坏的参数主要有以下三个:音色数目 发音数 音乐的兼容性2)MIDI接口 MIDI规范允许MIDI装置已预先说明的方式通信。为了提供单电缆连接和通信端口准,关键之一是物理连接的标准化。 MIDI标准中规定MPC包括一个内部合成器和标准MIDI端口。MIDI In(输入口):接收从其它MIDI装置传来的消息。MIDI Out(输出口):发送某装置生成的原始MIDI消息。

27、向其它设备发送消息。MIDI Thru(转发口):传送从输入口接收的消息到其它MIDI装置。 4.1.2 数字视频卡1.视频图像显示1)显示系统技术 为了显示原始图像可接受的复制图,需要使用各种显示系统技术来解码信号和压缩数据。在视窗中显示图像和全运动视频的一个重要方面是动态的重新设定视窗尺寸,满足用户的喜好。重新设定视窗尺寸会引起显示像素的数目变化。组合图形、图像和全运动视频的应用要求有动态伸缩的功能,是由单监视器体系结构中的混合与伸缩技术解决得的。在实践中,系统的性能可有相当大的变化层次。对于屏幕,这些技术包括下列三个方面:VGA混合可伸缩的VGA混合双缓冲VGA混合/伸缩2)视频显示技术

28、标准第一代标准:MDA和CGA第二代标准:EGA第三代标准:VGA第四代标准:XGA3)CRT显示系统屏幕尺寸 CRT显示系统有三种常用的尺寸概念:显像管尺寸(Tube size)、可视尺寸(Viewable size)和光栅尺寸(Raster size)。 荫罩和点间距 监视器的屏幕由扫描线组成,扫描线由像素阵列组成,屏幕分辨率是由每条扫描线的像素数乘以扫描线数定义的。荫罩(Shadow Mask)是安装在荧光屏内侧的上面刻蚀有数万个小圆孔(荫罩孔)的薄钢板。大多数彩色显示器使用3个电子枪,荫罩孔的作用在于保证3个电子束共同穿过同一个荫罩孔,准确的激发红、绿、蓝色荧光粉。 点间距使用毫米测量

29、的一个组中心到下一个组中心的距离。假设分辨率是1024768,那么按下列计算就会得出点间距:dp(水平)=(用英寸表示的宽度/像素数)25.4mm=(9.875/1024)25.4=0.24mm dp(垂直)=(用英寸表示的高度/线数)25.4mm=(7.125/768)25.4=0.24mm这意味着为了很清晰地显示1024768的分辨率,需要0.24mm点间距的监视器。 荧光粉类型 荧光粉是一种涂在显像管内表面的化学物质。红、绿、蓝荧光粉组成三元组的形式。当电子流击中荧光粉,它就发光,产生可见的彩色。 刷新(或扫描)频率与闪烁 水平刷新频率或水平扫描频率是对扫描线显像速度的衡量,用kHz来衡

30、量。标准监视器具有的水平刷新频率是31.51kHz。消除闪烁的三种办法:提高刷新频率,延长荧光粉的余辉时间,减少亮度。 隔行和非隔行扫描 隔行(Interlaced)扫描是指显示器在每遍扫描使隔一行更新一行数据,更新整个屏幕的数据需要两遍扫描(奇数行、偶数行扫描)。对于非隔行(Noninterlaced)扫描(又称逐行扫描)方式,扫描时逐行进行数据更新,以便扫描完成全部数据更新。 显示缓冲区与颜色定义 对于PC显示系统来说,它有两种显示模式:字母数字模式和图形模式(Graphics Mode)。在显示适配器上,有一块存储器,用于存放显示器显示是对应的格式数据,称为视频存储器(VRAM)或显示缓

31、冲器。 模拟信号接口和数字信号接口 显示器与显示板之间连接线的信号形式有两种:数字信号和模拟信号。 视频BIOS 视频基本输入/输出系统(BIOS)可以放在ROM中,用户程序调用它来完成某些与显示有关的控制和操作,如光标显示,字符显示,基本图形点线的显示,获取视频信息与设置颜色等。 4)平板显示系统 平板显示系统能够使用被动矩阵单色,主动矩阵单色,被动矩阵彩色与主动矩阵彩色四种基本技术。 被动LCD矩阵显示 主动LCD矩阵显示2.视频采集卡的工作原理 视频信号的采集就是将视频信号经硬件数字化后,再将数字化数据存储。 1)视频卡的分类与功能简介 视频采集卡视频播放卡电视转换卡 视频卡是一种对实时

32、视频图像进行数字化、冻结、存储和输出处理的工具。视频卡的功能还包括图像的放大修整、按比例绘制、像素显示调整、捕捉特定镜头、若干视频源图像叠合等,还可以在VGA上开窗口且与VGA信号叠加显示和压缩处理。视频卡一般提供以下七个功能: 全活动数字图像的显示、抓取、录制,支持Microsoft Video for Windows。 可从录像机(VCR),摄像机,ID,IV等视频源中抓取定格,存储输出图像。近似真彩色YUV格式图像缓冲区,可将缓冲区映射到高端内存。可按比例缩放、剪切、移动于扫描视频图像。色度、饱和度、亮度、对比度及R,G,B三色比例可调。可用软件选端口地址和IRQ。具有若干可用软件相互切

33、换的视频输入源,以其中一个做活动显示。2)视频采集卡的工作原理视频信号获取器总体框图 视频信号源、摄像机、录像机或激光视盘的信号首先经过A/D变换,送到多制式数字解码器进行解码,得到YUV数据;由视频窗口控制器对其进行剪裁,改变比例后存入帧存储器。帧存储器的内容在窗口控制器的控制下,与VGA同步信号或视频编码器的同步信号同步,再送到D/A变换器变成模拟的RGB信号,同时送到数字是视频编辑器进行视频编码,最后输出到VGA监视器及电视机或录像机。 1)A/D变换和数字解码 首先TDA8708或TDA8709对彩色全电视信号进行A/D变换,其工作原理如图所示。它由三个视频输入端,通过编程控制视频选择

34、位0和选择位1,选择三个输入端的任一个作为输入。然后送到具有前卫电路和自动增益功能的运算放大器,最后经过A/D变换器将彩色全电视信号转换成8位数字信号,送给彩色多制式数字解码器。视频模拟输入接口TDA8708工作原理方框图 2)窗口控制器 窗口控制器82C900IA PC-Video是Chips公司产生的适用于ISA总线PC的视频获取、显示用的专用控制芯片。其窗口控制器总体逻辑框图如图所示,可分成四部分:PC总线接口部分主要包括I/O寄存器地址映射,帧存储地址映射,及帧存储器读/写等功能。视频输入剪裁、变比例部分的主要功能是把视频数据按照使用者的定义处理后送到VRAM读/写模块中。VRAM读/

35、写、刷新控制部分主要完成对外接VRAM的访问和选体等控制。输出窗口VGA同步、色键控制部分组要用来驱动主存储器的数据与VGA的视频信号同步,送到D/A转换器变成模拟的RGB信号,然后通过一个模拟开关与VGA视频信号叠加输出到VGA监视器上。 PC Video窗口控制器总体逻辑框图 3) 帧存储器系统 4)数模转换和矩阵变换 这部分由D/A转换器SAA9065和视频信号处理器TDA4680两个器件组成。5)视频信号和VGA信号的叠加6)数字式多制式视频信号编码部分4.2 多媒体信息获取设备4.2.1触摸屏 触摸屏(Touch Screen)是一种定位设备。当用户用手指或其它设备触摸安装在计算机显

36、示器前面的触摸屏时,所摸到的位置(以坐标形式)被触摸屏控制器测到,通过串行口或者其它接口(如键盘)送到CPU,从而确定用户所输入的信息。 1.触摸屏的作用和应用 触摸屏技术构造的应用系统非常适合以下领域: (1)自动控制及监测 (2) 展示 (3)信息检索和查询 (4)培训和教育: 2.触摸屏的分类1按安装方式分类:外挂式 置 式 整体式 投影仪式 2.从结构特性与技术分类:红外 电阻膜 电容 表面声波 压力矢量 3触摸屏的技术指标性能/指标红外电容四线电阻五线电阻表面声波清晰度很好有些模糊有些模糊较好很好反光性很少较大较小有很少透光率100%85%55%75%92%(极限)最大分辨率7963

37、10241024102410244096409640964096压力轴响应无无无无有漂移无有无无无反应速度50ms-300 ms15 ms -24 ms10 ms -20 ms10 ms10 ms光干扰不能超范围没有此问题没有此问题没有此问题没有此问题电磁场干扰没有此问题有没有此问题没有此问题没有此问题防刮擦好怕硬物敲击怕锐器怕锐器较好色彩失真无有有无无寿命不定,传感器多2000万次100万次3000万次5000万次4触摸屏技术特点对比1红外触摸屏 红外触摸屏的主要优点是:价格低廉、安装非常方便、使用键盘接口不需要卡或其他任何控制器、可以使用在各档计算机上。 2电容式触摸屏 电容式触摸屏是众多

38、触摸技术中较为可靠精确的一种。触摸屏的玻璃设计不但能保护导体层及感应器,更有效地防止外在环境因素对触摸屏造成影响 .3电阻式触摸屏电阻式触摸屏与外界完全隔离,并且可以用任何很尖细的物体作触针,可以用来写字画画。 4表面声波触摸屏表面声波技术靠测量时间来计算位置,不受温度、湿度等环境因素影响,所以非常稳定,精度也非常高 5压力传感触摸屏 压力传感触摸屏和红外触摸屏一样,显示器前不加贴薄膜,所以图像清晰,也不怕刮擦和油污。 6五类触摸屏的特色对比 综合来说,五类技术中比较有特色的是:表面声波技术、第二代五线电阻技术、抗光干扰红外线技术。表面声波技术的纯粹玻璃屏不怕刮擦和用力、寿命长、精度高、清晰透

39、亮,还有压力轴响应。第二代五线电阻技术提高了电阻技术的寿命,虽然清晰度、透光率不如声波技术高,但精度最高,可用尖细的触摸物,不怕任何干扰和污染,最适合工控领域。抗光干扰红外线技术的最大优势是价格非常低廉,安装方便,屏幕前不加任何东西,因而不存在透光和清晰的问题,也不怕刮擦和用力;缺点是精度低,只能用手指来点,不够美观豪华。4.2.2 扫描仪 扫描仪(Scanner)是一种图像输入设备,利用光电转换原理,通过扫描仪光电的移动或原稿的移动,把黑色或彩色的原稿信息数字化后输入计算机中,他还用于文字识别、图像识别等新的领域。1扫描仪的结构原理(1)结构 CCD和CIS是扫描仪的两种核心技术,CCD称为

40、光电耦合传感技术(CCD,Charge Coupled Device),CIS称为接触式光电传感技术(CIS,Contact Image Sensor) (2)信息数字化原理 以平面式扫描仪为例,把原件面朝下放在扫描仪的玻璃台上,扫描仪内发出光照射原件,反射光线经一组平面镜和透镜导向后,照射到CCD的光敏器件上。来自CCD的电量送到模数装换器中,将电压转换成代表每个象素色调或颜色的数字值。步进电机驱动扫描头延平台作微量运动,每移动一步,即获得一行像素值。2扫描仪的分类1)按扫描方式分类手动式扫描仪平面式扫描仪滚筒式扫描仪胶片扫描仪2)按扫描幅面分类最常见的为A4和A3幅面的台式扫描仪 3)按扫

41、描分辨率分类分辨率有600dpi、1200dpi、4800dpi 4)按灰度与彩色分类灰度扫描仪 彩色扫描仪 5)按反射式或透射式分类反射式扫描仪 透射式扫描仪 3扫仪的技术指标1)原稿种类2)扫描精度3)扫描分辨率分辨率的单位分辨率与精度 光学分辨率和间插分辨率 光电转换精度4)色彩精度5)扫描速度6)阶调7)灰 阶8)鲜锐度9)色彩再现能力 10)接口标准4.2.3 数码相机 数码相机由镜头、CCD、A/D(模/数转换器)、MPU(微处理器)、内置存储器、LCD(液晶显示器)、PC卡(可移动存储器)和接口(计算机接口、电视机接口)等部分组成 1.数码相机的结构原理1)CCD矩形网格阵列2)

42、存储介质3)接口2.数码相机的工作过程1)成像2)模数转换4.2.4 输入/输出接口1.SCSI接口2.USB接口1)USB规范的组成控制器(Host Controller) 控制器驱动程序(Host Controller Driver) USB芯片驱动程序(USB Driver)USB设备(USB Device)设备驱动程序(Client Driver Software)2)USB中数据传输方式等时传输方式(Isochronous)中断传输方式(Interrupt)控制传输方式(Control)批(Bulk)传输方式3.各种类型接口对比接口类型典型应用突发速率预测ISAEISAPCIAGP声

43、卡、Modem网卡、SCSI图形卡、SCSI、声卡图形卡2MB/s 8.33MB/s33MB/s133MB/s-266MB/s528MB/s1999被PCI取代ATA/IDESCSIUSBIEEE-1394硬盘、CD-ROM、DVD-ROM硬盘、移动设备、扫描仪端点设备、扫描仪、数码相机数码摄影机、高速存储设备3.3MB/s33.3MB/s5MB/s 80MB/s12MB/s - 480MB/s400MB/s最终取代串口、并口1999实际应用4.3 多媒体存储技术 光存储系统由光盘驱动器和光盘盘片组成。光存储的基本特点是用激光引导测距系统的精密光学机构取代硬盘驱动器的精密机械结构。 4.3.1

44、 光存储技术原理 存储技术是通过光学的方法读写数据的一种存储技术,其工作原理是改变一个存储单元的性质,使其性质的变化反映出被存储的数据,识别这种性质的变化,就可以读出存储数据。 1.光存储的类型1)只读型光存储系统2)一次写型光存储系统3)可重写型光存储系统2光存储系统的技术指标1)格式化容量2)用户容量3平均存取时间、平均寻道时间和平均等待时间 平均存取时间是指从计算机向光盘驱动器发出命令开始,到光盘驱动器在光盘上找到读/写的信息的位置并接收读/写命令为止的一段时间 1尺寸2容量4数据传输速率1)数据传输速率2)同步传输速率、异步传输速率和传输速率3)突发传输速率4)持续传输速率5误码率6.

45、平均无故障时间3.光存储格式标准和类型标准名称盘的名称应用目的播放时间显示的图像红皮书(Red Book)CD-DA存储音乐节目74分钟黄皮书(Yellow Book)CD-ROM存储文图声像等多媒体节目存储650MB的数据动画、静态图像、动图像绿皮书(Green Book)CD-I存储文图声像等多媒体节目存储多达760MB的数据动画、静态图像橙皮书(Orange Book)CD-MOCD-WO(CD-R)读/写入文图声像等多媒体节目白皮书(Write Book)Video-CD存储影视节目70分钟(MPEG-1)数字影视(MPEG-1)质量红皮书+(Red Book+)CD- Video存储

46、模拟电视数字声音5-6分钟(电视)20分钟(声音)模拟电视图像数字声音CD-BridgePhoto CD存储照片静态图像蓝皮书(Blue Book)LD(LaserDisc)存储影视节目200分钟模拟电视图像4.3.2 CD-ROM光存储系统1CD-ROM盘片的物理层次 CD-ROM有标准的物理规格,它由直径为120mm,厚度为1.2mm的聚碳酸酯盘组成,中心有一个15mm的主轴孔。聚碳酸酯衬底含有凸区和凹坑区。每个凹坑区都深100nm,宽500nm。两个相邻凹坑区之间的地方称为凸区。 CD的盘片结构 2CD-ROM驱动器的构造CD-ROM驱动器的系统结构图 1)激光头2)聚焦伺服3)道跟踪伺

47、服 4)CLV控制5)EFM解调器 6)错误检测和校正 3. 可刻录光盘系统1)CD-R2)CD-RW4.3.3 DVD光存储系统 DVD的英文全名是Digital Video Disk,即数字视频光盘或数字影盘,它利用MPEG2的压缩技术存储影像。也有人称DVD是Digital Versatile Disk,是数字多用途的光盘。五种规格 如下: DVD-ROM: 计算机软件只读光盘,用途类似CD-ROM。DVD-Video: 家用的影音光盘,用途类似LD或Video CD。 DVD-Audio: 音乐盘片,用途类似音乐CD DVD-R(或称DVD-Write-Once): 限写一次的DVD,

48、用途类似CD-R DVD-RAM(或称DVD-Rewritable): 可多次读/写的光盘,用途类似MO 1DVD盘片的物理结构2DVD光盘驱动器1)DVD-ROM2)DVD-R与DVD-RW3)DVD-RAM4)DVD-Audio5)DVD-Video4.4 典型多媒体平台4.4.1 CD-I交互式多媒体系统1CD-I系统结构(1)音频处理子系统(2)视频处理子系统(3)多任务的操作系统(4)CD播放机(5)微处理器、存储器、键盘、定位装置和CSD字体模块 CD-I基本系统结构2CD-I音频子系统 CD-I基本系统有4种标准音质的运行方式和一种非实时的语音音质运行方式。4种实时的CD-I音频

49、特性见下表: 级 别采样率(kHz)位数样本频率响应(kHz)数据率(字节/秒)通道数数据流百分数播放时间(小时)CDDA PCM超级HiFi44.116201711001立体声1001A37.8817851002立体声502(LV)425004单通道254CDI ADPCMB37.8417425004立体声254(FM)213008单通道12.58C18.948.5213008立体声12.58(AM)1060016单通道6.2516 声音数据的解码和控制是由CD-I音频处理器来完成的,它的组成见图 :音频处理子系统图(1)解码器ADPCM (2)音频处理单元 (3)特技处理器及声音输出 (4

50、)CD-I接口单元 (5)音频信号存储器(6)控制器 3CD-I视频子系统 CD-I视频处理子系统的功能是把CD-I光盘上的数字化视频信号通过存储和控制进行实时解码、颜色切换、重叠控制,经过混合处理而产生RGB信号输出,其结构如图所示。CD-I视频处理子系统 (1)视频压缩与解码原理一维的DYUV编码DYUV图像数据格式 RGB 5:5:5编码RGB 5:5:5编码CLUT编码一维行程编码CLUT编码 RL图像编码 (2)图像平面的重叠与颜色切换CD-I图像平面 (3)图像混合与输出4.4.2 DVI多媒体计算机系统 DVI系统作为较早商品化的多媒体系统,具有以下特点: (1)提供一种全数字化

51、的方法 (2)先进的视频压缩技术 (3)声音压缩技术 (4)合成图形 1DVI系统结构DVI型系统结构原理图2DVI视频子系统3DVI音频子系统4DVI总线和接口以DVI为代表的DVI多媒体硬件系统具有下述特点: 采用了高速专用视频处理器i750B,具有实时处理视频功能 DVI总线保证了高速传输 外围逻辑集成到3个门阵列,ActionMedia体积缩小 外围接口设计方便了用户 4.5 多媒体个人计算机4.5.1 MPC硬件系统 MPC硬件系统 设计原则 :1)采用国际标准的设计原则 (2)将多媒体和通信功能的单独解决变成集中解决 (3)体系结构设计和算法相结合 (4)把多媒体和通信技术做到CP

52、U芯片中 4.5.2 MPC规范 MPC联盟规定多媒体计算机包括五个基本的部件:个人计算机(PC),只读光盘驱动器(CD-ROM),声卡,Windows操作系统和一组音箱或耳机 项目MPC-1MPC-2MPC-3CPU16MHz 386SX25MHz 486SX或兼容芯片75MHz Pentium或兼容芯片RAM2MB4MB8MB硬盘容量30MB160MB540MBCD-ROM150KB/s最大寻址时间1s300KB/s最大寻址时间400msCD-ROM XA600KB/s最大寻址时间200msCD-ROM XA声卡8b数字声音、8个合成音,MIDI16b数字声音、8个合成音,MIDI16b数

53、字声音、WaveTable(波表),MIDI显示器640480 16色640480 256色640480 65536色视频播放352240 30f/s(352288 25f/s)15b/pixelI/O端口MIDI I/O,摇杆端口,串并联端口MIDI I/O,摇杆端口,串并联端口MIDI I/O,摇杆端口,串并联端口操作系统DOS版本3.1以上、Windows3.0带多媒体扩展DOS版本3.1以上Windows3.1Windows3.1三种MPC最低功能要求标准 4.5.3 MPC性能1)图像处理能力2)声音的处理能力3)MIDI乐器数字接口4)动画处理能力 5)多媒体数据的存储 6)MPC

54、之间的信息传递 MPC计算机之间的多媒体信息传递方法有以下四种 (1)可移动式硬盘 包括便携式硬盘片、打印口外接硬盘、抽拉式硬盘盒 (2)可移动光盘 CD-ROM,WORM,可擦写光盘 (3)网络:电子邮件,局域网,远程网 (4)串口通信 第7章 多媒体数据管理内容提要 在这一章将主要学习多媒体数据管理的特点、要求和途径,多媒体数据库特点和体系结构、多媒体数据模型和基于内容的检索和查询,及对MPEG-7的简单介绍。知识要点: 多媒体数据管理的特点和途径;多媒体数据库的特点和体系结构;多媒体数据模型;基于内容的检索和查询;MPEG-7介绍。教学建议: 建议学时数为6学时 7.1 概 述传统数据库

55、与多媒体数据库不同的体系结构 数据库的比较 多媒体对数据库设计的影响主要表现在以下八个方面: (1)数据库的组织和存储 (2)媒体种类的增多增加了数据处理的困难 (3)数据库的内容查询、多解查询 (4)用户接口的支持 (5)多媒体信息的分布对多媒体数据库体系带来巨大的影响 (6)长事务(transaction)多 (7)多媒体数据库对服务质量的要求 (8)多媒体数据管理还要考虑版本控制的问题 1. 多媒体数据管理的途径(1)文件管理系统和特定的逻辑目录 (2)传统的字符、数值数据库管理系统的扩充 (3)多媒体数据库管理系统(MDBMS) (4)超文本和超媒体非线性网络结构(节点、链、网络)的数

56、据模型 2. 多媒体数据库管理系统(MDBMS)的功能(l)多媒体数据库管理系统必须能表示和处理各种媒体的数据,除了传统的规则数据外,重点是如图形、图像、声音等等这样的不规则数据 (2)多媒体数据库管理系统必须能反映和管理各种媒体数据的特性,和表示各种媒体数据之间的空间或时间的关联 (3)多媒体数据库管理系统应具有物理数据独立性、逻辑数据独立性和媒体数据独立性 (4)多媒体数据库管理系统的数据操作功能 (5)多媒体数据库管理系统的网络功能 (6)多媒体数据库管理系统应具有开放功能,提供多媒体数据库的应用程序接口API,并提供独立于外设和格式的接口,以便基于多媒体的数据库的应用程序方便可靠的访问

57、数据库。(7)多媒体数据库管理系统还应提供事务和版本管理功能 7.2 多媒体数据库体系结构7.2.1 多媒体数据库的一般形式1、集中统一型多媒体数据库管理系统的体系结构集中统一型数据库结构 集中统一型多媒体数据库管理系统是指由单独一个多媒体数据库管理系统来管理和建立一个集中的数据库,统一管理各种多媒体资源,并由这个多媒体数据库管理系统来管理对象空间及目的数据的集成. 2、联邦性多媒体数据库管理系统的体系结构联邦性多媒体数据结构 联邦性多媒体数据库管理系统是将不同类型的多媒体资源分别建立不同的数据库,每个数据库都有自己的管理系统,它们各自管理自己的数据库。 3、客户/服务型多媒体数据库管理系统的

58、体系结构客户/服务型多媒体数据库结构 客户/服务型多媒体数据库管理系统和联邦性结构有一定相似性,但它支持网络功能。它也是由多个数据库管理系统来组成,每个数据库管理系统管理不同类型多媒体资源。这种结构支持客户/服务模式,这就要在数据库管理系统和用户之间加入一个多媒体数据库服务器及中间件,用户程序通过相应的接口与服务器相连 7.2.2 多媒体数据库的层次划分 从多媒体数据库的体系结构可以看出多媒体数据库可以划分为四个层次:媒体支持层、存取与存储数据模型层、概念数据模式层、多媒体用户接口层,如图所示 :多媒体数据库的层次结构 7.3 多媒体数据模型7.3.1 数据模型概述 数据库管理系统一般按层次划

59、分为三种模式:物理模式、概念模式和外部模式,如图所示: DBMS的三层模式 物理模式又称为内部模式,其主要功能是定义数据存储组织方法,如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等,有时,该模式还称作存储模式,它对用户是透明的。 概念模式是实现一个数据库管理系统的核心,而数据模型是实现概念模式的基础。 数据模型是数据库管理系统中用于提供信息数据表示和操作手段的形式构架,数据模型通常由数据结构、数据操作和完整性约束三部分组成,也称数据模型三要素 .数据库主要有两大类操作;检索和更新(包括插入、删除、替换、修改) 所谓完整性规则是指给定的数据模型中数据及它们之间的关联所具有的制约

60、和依存规则,用以限定符合数据模型的数据库状态及状态的变化,以保证数据库数据的正确、有效、相容和一致 数据结构是对数据库系统静态特性的描述,是所研究的对象类型的集合。 7.3.2 扩充的关系数据模型 模型扩充的主要技术策略有三种: (1) 使关系数据库管理技术和操作系统中文件系统功能相结合,实现对多媒体非格式化数据的管理。 (2)将关系元组中格式化数据和非格式化数据直接装在一起形成一个完整的元组,存放在数据页面或数据页面组中。 (3)将元组中非格式化数据分成两部分,一部分是格式化数据本身,另一部分是对非格式化数据的引用。 三种策略的关键是要扩充数据类型,解决非格式化数据的语义解释。 7.3.3

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论