ch8多媒体硬件设备

1、第八章第八章多媒体硬件环境多媒体硬件环境计算机科学与技术系计算机科学与技术系董华松董华松音频音频接口接口音频卡的工作原理音频卡处理音频信号的PC插卡是音频卡（Audio Card），又称声音卡，声音卡处理的音频媒体有数字化声音（Wave）、合成音乐（MIDI）、CD音频。 音频卡的工作原理声音是怎样工作的？从模拟到数字声源声波传声器模拟电信号数字声音音频卡的工作原理音频卡的功能 音频的录制与播放编辑与合成MIDI接口文语转换CD-ROM接口游戏接口支持全双工功能 音箱2、Microphone（麦克风输入）3、Speaker（扬声器输出）4、MIDI/Game Port（MIDI/操纵杆端口）7

2、、CD-ROM音频信号接口6、CD-ROM的接口8、跳接器音频输出IDE接口CD-ROM外部音频设备麦克风操纵杆MIDI声音装置1、Line in（线性输入）5、Volume Control（音量调节旋钮）电源跳接线音频卡的连接方式音频卡的工作原理音频卡的体系结构音频卡由下列部件组成：MIDI输入/输出电路；MIDI合成器芯片；用来把CD音频输入与线输入相混合电路；带有脉冲编码调制电路的模数转换器，用于把模拟信号转换为数字信号以生成波形文件；用来压缩和解压音频文件的压缩芯片；用来合成语音输出的语音合成器；用来识别语音输入的语音识别电路；输出立体声的音频输出或线输出的输出电路等。 MIDI接口M

3、IDI合成器语音合成器D/A转换多通道音频合成器A/D转换CD-ROM接口压缩/解压缩MIDI IN 输入CD LAUDIO RLINE IN LMICROPHONE RCD驱动器PC的ISA总线PC的ISA总线MIDI OUT 输出MIDI THRULINE OUT 线输入波形和MIDI文件的输入是来自通过ISA总线的磁盘输入波形和MIDI文件音频卡的工作原理数字化声音处理 声音输入 信号源：麦克风 PGA 音频程控放大器 抗混滤波器 A/D S/H DSP （ASIC） 采样、保持 4 D/A 重建滤波器 PGA 声音输出 4 DMA 接口 PC 总线 音频卡的工作原理混音器 FM MIC

4、 DAC SPK AUX CD-ROM 混音器 总音量 左 右 放大器 4 可编程接口 扬声器 开关 声音录制 音频卡的工作原理合成器波形表（Wave Table）合成 频率调制FM合成 正弦表 正弦表 脉冲 产生器 包络 产生器 脉冲 产生器 包络 产生器 调制单元 F（t） 音频合成和MIDI接口规范MIDIMIDI（Musical Instrument Digital Interface）是指乐器数字接口，是数字音乐的国际标准。 MIDI的音乐符号化过程实际上就是产生MIDI协议信息的过程。音乐合成器是电脑音乐系统中最重要的设备之一 。 音频合成和MIDI接口规范MIDI术语MIDI文件

5、通道 Channels 音序器Sequencer 合成器Synthesizer 乐器Instrument 通道映象Channel Mapping复音Polyphony音色Timbre音轨Track合成音色映射程序Patch Mapper音频合成和MIDI接口规范MIDI接口MIDI In（输入口）接收从其他MIDI装置传来的消息。MIDI Out（输出口）发送某装置生成的原始MIDI消息。向其他设备发送MIDI消息。MIDI Thru（转发口）传送从输人口接收的消息到其他MIDI装置。向其他设备发送MIDI消息。 音频合成和MIDI接口规范MIDI接口 电 子 琴 MIDI OUT MIDI

6、IN 声 音 卡 MIDI电 缆 语音合成概述实现计算机语音输出有两种方法：录音/重放文语转换计算机话语输出按其实现的功能来分，可以分为以下两个档次： 有限词汇的计算机语音输出 基于语音合成技术的文字-语音转换（TTS） 语音合成合成方法 发音器官参数语音合成对人的发音过程进行直接模拟 声道模型参数语音合成基于声道截面积函数或声道谐振特性合成语音 波形编辑语音合成技术波形编辑语音合成技术是直接把语音波形数据库中的波形相互拼接在一起，输出连续语流。PSOLA（Pitch Synchronous Overlap Add）方法 语音合成语音基元数据库的构建 基元的选择 选择音节 选择双音素和三音素

7、语音数据的存储形式 波形存储方式存储数字化的语音波形数据 参数存储方式存储从语音信号中提取的参数，常用的有LPC参数、LSP（LSF）、共振峰参数等 语音合成韵律模拟 自然语言中的韵律特征语调、节奏和重音等能表达说话者的语义和感情，是自然语流的重要组成部分 韵律合成及方法超音段特征（音高、音长、音强及频率分布的变化）的修改构成了韵律合成的基础方法：修改基频模式、共振峰模式、PSOLA算法等 韵律模拟的问题需解决韵律规则、韵律描述、计算模型和修改算法等问题 语音识别概述语音识别是将人发出的声音、字或短语转换成文字、符号，或给出响应，如执行控制、作出回答 。语音识别系统的分类 按可识别的词汇量多少

8、划分 按照语音的输入方式划分按发音人划分说话人识别 语音识别语音识别系统的最终目标 不存在对说话人的限制，即非特定人的。不存在对词汇量的限制，即基于大词汇表的。不存在对发音方式的限制，即可识别连续自然发音的。系统的整体识别率应该相当高，接近于人类对自然语音的识别能力。这也正是听写机系统最终要达到的目标。语音识别语音识别研究的难点 很难适应各种年龄、性别、口音、发音速度、语音强度、发音习惯与方式等的差异。系统随着能够识别的词汇量增大，所需要的空间和时间的花销就越多，最终将导致系统的识别性能急剧下降而丧失可用性。尽管连续发音是人们最为自然的发音方式，但是识别系统很难也不可能把连续语音作为一个整体来

9、进行识别。实用的识别系统要求提高语音特征参数的鲁棒性、对不同非高斯噪声的非敏感性，以及对不同用户的适应能力等，这些复杂性的需求的实现是非常困难的。 视频视频接口接口视频图像显示 概述为了显示原始图像（这里使用的“图像”是泛指，包括全运动视频）的可接受的复制图，需要使用各种显示系统技术来解码信号和压缩数据。 显示系统技术 VGA混合可伸缩的VGA混合双缓冲VGA混合/伸缩 视频图像显示 视频显示技术标准 第一代标准：MDA和CGA第二代标准：EGA 第三代标准：VGA 采用256K种颜色的调色板及用模拟量输出，使显示的颜色更加逼真第四代标准：XGA l990年IBM公司宣布了XGA高性能的视频子

10、系统 视频图像显示 CRT显示系统 屏幕尺寸 荫罩和点间距 荧光粉类型 刷新（或扫描）频率与闪烁 隔行和非隔行扫描 显示缓冲区与颜色定义 模拟信号接口和数字信号接口 视频BIOS 视频图像显示 平板显示系统 被动矩阵单色主动矩阵单色被动矩阵彩色主动矩阵彩色 视频卡的工作原理 视频卡的分类与功能简介视频卡的分类 视频采集卡将视频信号连续转换成计算机存储的数字视频信号（离散）保存在计算机中或在VGA显示器上显示，完成这种功能的视频卡称之为视频采集卡，或称为视频转换卡。如果能够实时完成压缩，则称实时压缩卡。通常可将外部视频输入信号叠加在显示器上，并将视频输入信号变换成计算机可存储的信息保存在硬盘中。

11、只能单帧捕获的，称为图像卡。 视频卡的工作原理视频卡的分类与功能简介视频卡的分类 视频采集卡视频卡的工作原理视频卡的分类与功能简介视频卡的分类 视频采集卡的连接视音频信号线视 音 频 信 号线视 音 频 信 号线电视录象机摄象机VGA输入VGA输出S视频端子视频捕获卡VGA显示卡显示器VGA回路线VGA数据线视频卡的工作原理视频播放卡 将压缩保存在计算机中的视频信号数据在计算机的显示器上播放出来的这种卡称之为视频播放卡，或称解压缩卡，也称之为电影卡。 电视转换卡 电视转换卡分为两类：电视卡和TV编码器。 电视卡：是将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示

12、TV编码器：它将计算机的VGA信号转换为NTSC、PAL、SECAM等标准的信号在电视上播放或进行录像， 视频卡的工作原理 视频卡的分类与功能简介视频卡的主要功能全活动数字图像的显示、抓取、录制、支持Microsoft Video for Windows；可以从录像机（VCR）、摄像机、ID、IV等视频源中抓取定格，存储输出图像；近似真彩色YUV格式图像缓冲区，并可将缓冲区映射到高端内存；可按比例缩放、剪切、移动、扫描视频图像；色度、饱和度、亮度、对比度及R、G、B三色比例可调；可用软件选端口地址和IRQ；具有若干个可用软件相互切换的视频输入源，以其中一个做活动显示。4.3.2 视频卡的工作原

13、理 视频卡的分类与功能简介各种功能的视频卡 电视卡（TV Turner）：将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示，是一块能接收全频道、全制式彩色电视节目的视频信号的转换卡，它的输出与电脑的CRT制式匹配。TV编码器（TV Coder）：把VGA信号转为PAL、NTSC、SECAM制式的视频信号，供电视播放或录像制作使用，多用于广告电视片的后期处理。视频捕获卡：捕捉和编辑静态视频图像，完成视频数字化、编辑以及处理等工作。动态视频捕获和播放卡：用于实时动态视频和声音的同时获取及压缩处理，该卡还具有储存和播放功能。常用于视觉传达系统中的现场监控、办公自动化和多

14、媒体节目创作等场合。视频卡的工作原理 视频采集卡的工作原理视频信号源、摄像机、录像机或激光视盘的信号首先经过A/D变换，送到多制式数字解码器进行解码得到YUV数据，然后由视频窗口控制器对其进行剪裁，改变比例后存入帧存储器。帧存储器的内容在窗口控制器的控制下，与VGA同步信号或视频编码器的同步信号同步，再送到D/A变换器变成模拟的RGB信号，同时送到数字式视频编辑器进行视频编码，最后输出到VGA监视器及电视机或录像机。 视频卡的工作原理 视频采集卡的工作原理 VGA 的特性连接 多路开关 SAA7199 VGA 输入 TDA8708 TDA8709 SAA7191 PC Video 82C900

15、IA 数据 VRAM 地址 SAA9065 TDA4680 VGA 输出 SAA7197 ISA 总线 VGA 同步信号 TV 同步 数据 到 TV 或 VCR 从 VGA 板输入 YUV 数据 YUV 数据 YUV 数据 模拟开关 到 VGA 监视器 彩色键联控制 Video 同步 YUV RGB RGB RGB Sync Add CVBS SVHSY SVHSC 视频卡的工作原理 视频采集卡的工作原理A/D变换和数字解码 输入 选择 8bit ADC 数字峰值比较 黑电平比较器 同步电平比较器 AGC 和 嵌位逻辑 模式选择 TTL输出 AMP TDA8708 输出格式/片选 （三态输入）

16、 TTL 输出 去耦 输入 时钟 输入 AGC 输入 模拟电压 输出 视频输入选择 0 位 1 位 视频 输入 嵌位电容 AGC 电容 峰值电阻输入 同步电平 同步脉冲 黑电平 VP +5V 数字地 模拟 VP +5V 模拟地 D1 D2 D3 D4 D5 D6 D7 D8 视频卡的工作原理 视频采集卡的工作原理窗口控制器PC总线接口部分 VGA 同步和彩色 键联窗口 PC 总线接口和控制寄存器 视频获取 与 比例变换 VRAM 读/写与刷新 控制器 彩色键联开关 DAC sync VRAM R/W VRAM addr VRAM data Shift cloc I/O 总线控制 系统数据 系统

17、地址 Video Sync Video In VGA data VGA sync 视频卡的工作原理 视频采集卡的工作原理窗口控制器视频输入剪裁、变比例部分 VGA 同步和彩色 键联窗口 PC 总线接口和控制寄存器 视频获取 与 比例变换 VRAM 读/写与刷新 控制器 彩色键联开关 DAC sync VRAM R/W VRAM addr VRAM data Shift cloc I/O 总线控制 系统数据 系统地址 Video Sync Video In VGA data VGA sync 视频卡的工作原理 视频采集卡的工作原理窗口控制器VRAM读写、刷新控制部分 VGA 同步和彩色 键联窗口

18、 PC 总线接口和控制寄存器 视频获取 与 比例变换 VRAM 读/写与刷新 控制器 彩色键联开关 DAC sync VRAM R/W VRAM addr VRAM data Shift cloc I/O 总线控制 系统数据 系统地址 Video Sync Video In VGA data VGA sync 视频卡的工作原理 视频采集卡的工作原理窗口控制器输出窗口VGA同步、色键控制部分 VGA 同步和彩色 键联窗口 PC 总线接口和控制寄存器 视频获取 与 比例变换 VRAM 读/写与刷新 控制器 彩色键联开关 DAC sync VRAM R/W VRAM addr VRAM data S

19、hift cloc I/O 总线控制 系统数据 系统地址 Video Sync Video In VGA data VGA sync 视频卡的工作原理 视频采集卡的工作原理帧存储器系统 数模转换和矩阵变换 视频信号和VGA信号的叠加 数字式多制式视频信号编码部分 多媒体多媒体I/O设备设备 笔输入 手写板和手写笔电阻式压力板、电磁式感应板和近期发展的电容式触控板。 笔输入 电阻压力板手写板组成由一层可变形的电阻薄膜和一层固定的电阻薄膜构成，中间由空气相隔离。工作原理用笔或手指对上层电阻加压使之变形，当与下层接触时，下层电阻薄膜就感应出笔或手指的位置。特点原理简单，工艺不复杂，成本较低，价格也比

20、较便宜。材料容易疲劳，使用寿命较短 。 笔输入 电磁式手写板 工作原理：通过在手写板下的布线电路通电后，在一定时间范围内形成电磁场，来感应带有线圈的笔尖的位置进行工作。分类：“有压感”和“无压感”两种特点：对供电有一定的要求易受外界环境的电磁干扰 使用寿命短 笔输入 电容式写字板 工作原理：通过人体的电容来感知手指的位置。即当您手指接触到触控板的瞬间，就在板的表面产生了一个电容。在触控板表面附着有一种传感矩阵，这种传感矩阵与一块特殊芯片一起，持续不断地跟踪着您手指电容的“轨迹”，经过内部一系列的处理从而每时每刻精确定位手指的位置（X、Y坐标），同时测量由于手指与板间距离（压力大小）形成的电容值

21、的变化，确定Z坐标。 笔输入 电容式写字板 特点：用手指和笔都能操作，使用方便 手指和笔与触控板的接触几乎没有磨损，性能稳定 机械测试使用寿命长达30年 元件少，产品一致性好，成品率高，成本较低手写笔 有线笔 无线笔 触摸屏概述触摸屏（Touch Screen）是一种定位设备当用户用手指或者其他设备触摸安装在计算机显示器前面的触摸屏时，所摸到的位置（以坐标形式）被触摸屏控制器检测到，并通过串行口或者其他接口（如键盘）送到CPU，从而确定用户所输入的信息。改善人与计算机的交互方式， 触摸屏触摸屏的分类 按安装方式分类 外挂式 内置式 整体式 投影仪式 触摸屏从结构特性与技术分类 红外：使用红外线

22、传感器，这是一种需要特殊框的触摸屏形式； 电阻膜：使用电阻性传感器，其主要结构是电阻膜；电容：使用电容性传感器，利用人体所带电荷的电容感应作用工作 ；表面声波：使用声波传感器，由声波传感器和反射器组成；压力矢量：使用压力矢量传感器，利用显示器下的垫感受压力 触摸屏红外技术触摸屏原理在普通显示器的前面安装一个外框，通过外框中的电路板在屏幕四边排布红外发射管和红外接收管，对应形成横竖交叉的红外线矩阵。当用户触模屏幕时，手指就会挡住经过该位置的横竖两条红外线，从而利用X、Y方向上密布的红外线矩阵来检测并定位用户的触摸位置，执行该位置的图标或热点、热键。 触摸屏红外技术触摸屏特点价格低廉，安装非常方便

23、，使用键盘接口不需要卡或其他任何控制器 。对光照环境因素比较敏感防干扰能力较弱 手挡住红外线 红外发射管红外接收管 红外接收管红外发射管触摸屏电容技术触摸屏 原理在玻璃屏幕上镀一层透明的薄膜层，再往导体层外加上一块保护玻璃、双玻璃设计能彻底保护导体层及感应器。此外，在附加的触摸屏四边均镀上狭长的电极，在导电体内形成一个低电压交流电场。用户触摸屏幕时，由于人体电场，手指与导体层间会形成一个锅台电容，四边电极发出的电流会流向触点，而电流的强弱与手指及电极间的距离成正比，位于触模屏幕后的控制器便会计算电流的比例及强弱，准确算出触模点的位置。 触摸屏电容技术触摸屏 特点可靠精确 环境电场发生改变，会引

24、起测量漂移，造成不准确 安装不便 触摸屏电阻技术触摸屏 原理它是一块与显示器表面配合紧密的电阻薄膜屏。这是一种多层的复合薄膜，由一层玻璃或有机玻璃作为基层，表面涂有一层叫ITO的透明导电层，上面再盖有一层外表面硬化处理、光滑防刮的塑料层，它的内表面也涂有一层导电材料（ITO或镍金），在两层导电层之间有许多细小（小于10-3英寸）的透明隔离点把它们隔开并绝缘。当手指触摸屏幕时，两层导电层在触摸点位置就有了一个接触，控制器侦测到这个接通并计算出X、Y轴的坐标。 触摸屏电阻技术触摸屏 特点可以用任何很尖细的物体作触针，但怕锐器刮伤； 抗强干扰或灰尘、水汽污染的环境 。 扫描仪概述扫描仪（Scanne

25、r）是一种图像输入设备，利用光电转换原理，通过扫描仪光电的移动或原稿的移动，把黑白或彩色的原稿信息数字化后输入到计算机中。 扫描仪扫描仪的种类手动式扫描仪平面式扫描仪滚筒式扫描仪胶片扫描仪便挟扫描仪扫描仪扫描仪技术参数幅面，如A3、A4光学分辨率，如 600dpi*1200dpi扫描分辨率，如1200dpi*2400dpi灰度与色彩，如256级灰度，24位真彩色扫描速度与计算机接口，如SCSI、USB、打印口配件：投射板、送纸器扫描仪扫描仪技术参数配件：投射板、送纸器数码相机原理数字照相机不用胶片，而使用CCD阵列，把来自CCD阵列的电压信号送到模数转换器后，变换成图像的像素值。虚拟现实的三维

26、交互工具 踪探测设备跟踪器 跟踪球 手数字化设备立体显示设备头盔显示器 立体眼镜 输入输出接口 SCSI接口SCSI（Small Computer System Interface）即“小型计算机系统接口”是当今世界上最流行的用于小型机、工作站和微机的输入输出设备标准接口。 输入输出接口USB接口USB是英文Universal Serial Bus的缩写，中文含义是“通用串行总线”。 它不是一种新的总线标准，而是应用在PC领域的新型接口技术。USB目标想把各种不同的接口统一起来，使用一个4针插头作为标准插头。通过这个标准插头，采用菊花链形式可以把所有的外设连接起来，并且不会损失带宽。也就是说，

27、USB 将取代当前PC上的串口和并口 输入输出接口USB接口USB分为五个部分：控制器控制器驱动程序USB芯片驱动程序USB 设备针对不同USB设备的客户驱动程序 多媒体多媒体计算机计算机 多媒体处理器几种典型的多媒体处理器 MicroUnity公司的Media Processor Philips公司的TrimediaChromatic Research公司的Mpact Media EngineIntel公司的MMX技术MMX是Multi Media eXtension（多媒体扩展）的缩写，MMX CPU的中文名为“多能”。MMX技术提供了面向多媒体和通信应用的新特性，同时保持了对全部现有In

28、tel体系结构微处理器、IA应用程序和操作系统向下全部兼容 多媒体总线 PCI总线局部总线技术（Local BUS） PCI（Peripheral Component Interconnect）总线是Intel公司1993年发布的。PCI的特点协调数据传输并提供总线接口 能支持10种外设，并保持最高的传输速率 硬件成本大为降低 支持PCI总线扩展板和部件支持线性突发的数据传送模式 多媒体总线 AGP总线 加速图形端口（Accelerated Graphics Port，AGP）是Intel公司在1997年秋为应付PC处理3D图形中潜在的数据流瓶颈而提出的一种解决方案 。AGP总线是一条32位的

29、多路地址和数据总线，它还拥有一条8位的侧面寻址总线（Sideband Addressing）。它的加入决定性地改变了PC平台对3D图像的支持。 多媒体个人计算机(MPC) 概述什么是MPCMPC-multimedia Personal Computer具有多媒体功能的个人计算机早期在PC机上增加声音卡和光盘驱动器多媒体技术的发展，不断赋予MPC新的内容对广大用户而言，就是把具有多媒体功能的PC机或把现有增加多媒体升级套件的PC机叫MPC。多媒体个人计算机(MPC) MPC起源MPC源于1990年Microsoft公司联合一些主要的PC厂商和多媒体产品开发商组成的MPC联盟(Multimedia

30、 PC Marketing Council)目的建立计算机系统硬件的最低功能标准，利用Microsoft的windows为操作系统，以PC现有的广大市场，作为推动多媒体的基础MPC特指符合MPC联盟标准的多媒体个人计算机多媒体个人计算机(MPC) MPC要解决的关键技术视频音频信号获取技术；多媒体数据压缩编码和解码技术；视频音频数据的实时处理和特技；视频音频数据的输出技术。多媒体个人计算机(MPC) MPC的技术标准MPC联盟规定多媒体计算机包括5个基本的部件：个人计算机(PC)只读光盘驱动器(CD-ROM)声卡Windows操作系统一组音箱或耳机4.5.3 多媒体个人计算机(MPC) 多媒体

31、个人计算机(MPC) MPC-11990年MPC-l标准诞生得到了许多硬件商的支持发展了多媒体系统的标准操作平台软件开发商也克服了以往无硬件标准而造成的软件的困境MPC-21993年5月MPC联盟又制定了第二代多媒体计算机标准MPC-2主要是提高了基本部件的性能指标。多媒体个人计算机(MPC) MPC-3MPC第三代的标准是1995年6月制定的在进一步提高对基本部件的要求的基础上，MPC-3增加了全屏幕、全动态(30帧秒，fps)视频及增强版的CD音质的视频和音频硬件标准。多媒体个人计算机(MPC) MPC-1RAM2MB中央处理器16MHz 386SX硬盘容量30MBCD-ROM 150KB/s，最大寻址时间 1s声音卡 8bit数字声音，8个合成音，MIDI显示器 640480，16色，视频播放输入输出端口MIDI I/O，摇杆端口，串并联端口多媒体个人计算机(MPC) MPC-2RAM 4MB中央处理器25MHz 486SX硬盘容量160MBCD-ROM 30