N计算机硬件技术基础第8章课件

上课公用信息邮箱：上面有讲课PPTEmail:Password:tju101tju101第八章多媒体技术8.1节多媒体技术概述一、多媒体及其相关名词定义1.多媒体的定义：文本、图像、音频、视频等混合信息。2.多媒体技术定义：

①把文本、图像、音频、视频信息综合在一起，使用计算机对其进行加工处理的技术。a.信息表示的多样性b.信息载体或介质的多样性c.多媒体应用技术的多样性②数字化因为计算机只能处理数字化的信息。所以那些声音和图像必须转化为数字化的形式才能使用与处理。③集成性a.多媒体信息的集成。多媒体文本。b.多媒体介质或设备的集成③交互性④实时性4.多媒体技术的应用（见书上P217）①②③④⑤3.多媒体计算机涉及的关键技术①数据压缩技术②网络与通讯技术③多媒体数据库技术④大规模集成电路技术⑤人机交互设备技术和多媒体软件技术三、多媒体数据压缩和编码技术1.概述①无损压缩利用原始信息的冗余，用简洁的方法来表示这些去除冗余的信息。②有损压缩利用人视觉，听觉的不敏感，舍弃一些非主要的细节，使其还原时仍有满意的质量。2.文本文件的压缩主要是无损的冗余压缩技术。3.图形文件的压缩可以是无损的冗余压缩，也可以有损的算法压缩。4.视频文件压缩①四种常用的视频文件格式a.VideoforWindows*.avib.QuickTime*.movc.MPEG-1*.mpgd.MPEG-2*.mpg注：非常流行的Real-Networks的RM格式文件，因为使用的版权问题，所以不做讨论。②减小视频文件的其它途径。a.减少每秒钟播放的帧数。b.减小播放尺寸。c.计算只对帧差别变化的内容编码。VCD注：帧间图像压缩技术③MPEG动态图象压缩标准（MovingPictureExpertsGroupMPEG-1:码率为1Mbit/s1.5Mbit/s帧内采用JPEG大体相同的DCT压缩算法。帧间采用预测法和插补法压缩。c.MPEG分为MPEG视频、MPEG音频、视频音频同步三个部分。注：现在推出了MPEG-4⑤国际电联的H.261和H.263a.采用基于块的DCT进行残差信号的压缩编码b.像素的每个8X8快映射到频域产生64个频率成分。四、多媒体系统的数据和文件格式1.图形图象和视频表示①位图格式a.把一幅图象看成是由很多象素点构成的。

b.每个象素点用一个数字来表示它的颜色。（其实指的调色板的编号）②矢量图a.矢量图象是一系列可以重构图象（redraw)的指令来表示的。最典型的画线。不同的算法指令描述了不同的图形。b.矢量图象一般比位图图象占用存储空间小，其大小依赖于图象的复杂程度。

c.矢量图形容易修改。比如改变圆半径。③灰度图和彩色图a.单色图象只用一个bit表示象素。要么亮（有色），要么暗（无色）。b.其实在亮与暗之间可以分很多层次（亮度）。用一个八位二进制数可以分成256层亮度。那样的单色图象叫灰度图。（例：黑白照片）c.彩色图用三个单色灰度图RGB合成。如果每个单色都是8位，那样每个象素要8X3=24位，又称真彩色图象。1677万色d.所以位图图象主要由分辨率和象素深度决定。注：通过抖动技术（合并相近颜色）可以减少图象的颜色数量，可以减小文件。2.常见的图形图象和视频文件格式,见P24①BMP位图文件（静态图象文件）a.是微软公司为Windows环境设置的标准图象格式。在PC机上最流行。b.Windows3.0以后的位图文件格式与显示设备无关。c.非压缩格式的BMP是通用格式，最流行。d.BMP文件分为两个部分：文件头和图象数据②PCX文件（静态图象文件）a.最早用于画笔(PaintBrush)软件。b.是一种压缩过的图象文件。（无损压缩）③GIF文件（静、动态图象文件）a.是由CompuServe公司1987年推出的。是一种小巧的文件，主要用于网络和BBS用户浏览。b.采用压缩的，多帧图象结构。里面有个控制块，可以控制播放时间。⑤PNG文件（便携式网络图片）a.支持256色调色板技术以产生小体积文件b.最高支持48位真彩色图像以及16位灰度图像。c.支持存储附加文本信息，以保留图像名称、作者、版权、创作时间、注释等信息。d.使用无损压缩e.渐近显示和流式读写，适合在网络传输中快速显示预览效果后再展示全貌。f.使用CRC循环冗余编码防止文件出错。g.最新的PNG标准允许在一个文件内存储多幅图像。⑥TIFF文件（标签图像文件格式）a（TaggedImage，简写为TIFF）是一种主要用来存储包括照片和艺术图在内的图像的文件格式。b.它最初由Aldus公司与微软公司一起为PostScript打印开发。c.TIFF与JPEG和PNG一起成为流行的高位彩色图像格式。d.如Adobe公司的Photoshop这样的桌面印刷和页面排版应用，e.扫描、传真、文字处理、光学字符识别和其它一些应用等都支持这种格式。f.从Aldus获得了PageMaker印刷应用程序的Adobe公司现在控制着TIFF规范。.⑦WMF文件（静态图象文件）a.是微软为Windows提供的另一种图形文件格式。b.是一种矢量图形格式。*.wmf文件后缀。c.⑧RIFF文件(资源交换文件格式）a.ResourcesInterchange，RIFF文件是windows环境下大部分多媒体文件遵循的一种文件结构,RIFF文件所包含的数据类型由该文件的扩展名来标识。b.能以RIFF文件存储的数据包括：音频视频交错格式数据（.AVI)波形格式数据（.WAV)位图格式数据（.RDI)MIDI格式数据（.RMI)调色板格式（.PAL)多媒体电影（.RMN)动画光标（.ANI)其它RIFF文件（.BND)c.是一种基础文件,对多媒体提供支持。⑨AVI文件（动态影象文件）a.是微软开发的一种RIFF文件格式。b.用于实现数字视频和音频的同步化。⑩Indeo文件(动态影象文件）a.Intel开发的一种动态图象的压缩标准。常见的有4.5和5.10两种。可以适应不同带宽的网络，但必须有相应的解码插件才能顺利地将下载作品进行播放。b.适合于装了Intel公司MMX以上CPU的机器，回放效果优秀。不安装MPEG-1回放卡

c.动态影象文件*.avi和*.mov都用到了Indeo的格式。⑪MPEG(动态影象文件）a.运动图片专家组开发。b.MPEG-1包含MPEG视频，音频和系统同步三部分。早期的VCD采用这个格式。c.MPEG-2采用720X572,可扩展1440X1152高清电视信号。DVD采用这个格式。⑫MOV文件（动态图象文件）a.苹果公司开发的动态影象文件。b.*.mov经常用于DC的摄象。可以转换的。⑬MIDI文件（音乐文件）a.音乐文件格式有两种。（声波和乐器）b.MIDI是乐器演奏文件。⑭RTF文件（多态文本格式文件）a.提供格式信息的文本。（RichText)b.Windows中写字板和WORD都支持的。c.最初用于文本编辑，因为提供连接对多媒体对象支持。8.2节音频技术一、数字音频的基本概念1.声音的定义①声波是周期性的振荡信号。a.频率表示：声音的尖度b.振幅表示音量的大小②实际看到的时域波形是各种频率声波的合成，比较杂乱的样子。2.声音的分类见书上P229①按频率划分。②原始声源划分。③按存储形式划分。3.音频①人耳能听到的20Hz到20KHz的声波。②其中人耳对2KHz的音频最为敏感。4.模拟音频在时间和幅度上都是连续变化的声音信号，自然界的各种声音，大都是这样的模拟音频信号。5.数字音频用一定的时间间隔对模拟音频进行采样，并对采集到的幅度值进行数字量化编码。这样得到的时间和幅度上断续的、数字量化后音频信号。①波形音频把以上通过一定的采样频率采样，数字量化后的声音信号，以数据文件格式存储。*.wav②MIDI音频是一种用于在音乐合成器、乐器和计算机之间交换音乐信息的标准协议。它其实是一套指令，指示MIDI设备或带MIDI接口的乐器，怎样来还原、演奏音乐的声音。文件格式为*.mid二、音频数据的采样和处理1.录音以直接自然的振动信号的声波作为音源，用麦克风这样的拾音器，从一个振动的音源获取波形信息，将其转化为电信号形式，然后对这个电信号进行记录的过程。a.模拟录音b.数字录音2.采样

以一定的时间间隔对声音信号的幅度进行测量，得到离散化的幅值。见书上P231图8.4①采样的频率越高，还原的波形越逼真。常用的采样频率有44.1KHz，22.05KHz,11.025KHz等。②采样频率越高，样本值越多，文件就越大。3.量化

把采样采集到的声音样本值，用数字化的量化值处理。①计算机用模/数转换器(A/D)实现音频的数字化。②A/D转换器的位数，决定了量化的精读。位数越高。最后形成的文件越大。3.编码对声音信号采样、量化的结果以一定的格式进行表示、记录的过程。通常会加入一些用于控制的代码。①音频的编码有三种类型（书上P233）a.波形编码b.参数编码c.混合编码4.数字音频信号质量的技术指标

①采样频率②样本的量化等级③通道个数④编码方式5.数字音频的存储空间①未经压缩的数字音频文件存储容量：

采样频率x(转换精度/8)x声道数x时间b.MIDI文件只是个音乐符号系统。代表着用来重构声音的指令。本身不发声音。c.需要声卡来根据MIDI指令实现发声。d.MIDI文件一般非常小，文件以*.mid,*.cmf,*.rol等作后缀。三、语音识别技术四、音频处理的硬件和软件1.声卡的定义

实现声波/数字音频相互转换的部件。

计算机中记录和播放声音的硬件设备。2.声卡的工作原理见P236图8.6注：漏了几根关键的箭头线3.声卡的类型①适配卡式②主板集成式③外置式4.声卡的结构①大部分声卡都集成在主板上了，适配卡式的声卡结构也比较简单，主要就是一片声音处理芯片。②主要看到的是声卡的外部接口。见书上P237a.麦克风输入b.扬声器输出c.线路输入d.线路输出e.游戏/MIDI接口5.声卡的性能指标①A/D和D/A的转换位数。8位和16位。②采样频率a.11KHz8bitMonoPCMb.22KHz8bitStereoPCMc.22KHz16bitStereoPCMd.44KHz16bitStereoPCM(标准CD音质）③MIDI功能MIDI只是一种指令，要形成电脑音乐必须通过合成。a.FM合成（早期使用，简单，表现一般。）b.波形表合成把各种真实乐器声音采样制成一个波表文件。用ROM存放波形数据，效果逼真。④信噪比SNR

信号和噪声的振幅之比。⑤支持的声道数⑥数字信号处理，

使用数字信号处理DSP技术实现回声，和弦等音效。6.声卡的选购。见书上P2397.声音处理软件见书上P239①MP3音乐a.一种音频压缩的数字声音技术b.其核心技术是利用人耳朵的不敏感性，以牺牲某些细节达到数据压缩的目的。8.3节数字视频技术一、视频的基本概念1.视频的制式①PAL②NTSC2.视频的数字化视频信号的数字化和音频信号类似，也是采样捕获，数字量化转换，编码保存。3.视频编辑使用各种软件对数字化视频信号进行处理。二、视频采集卡1.一种适配卡，用于将模拟摄象信号转换成数字视频信号的装置。2.视频采集卡的工作原理与分类。书上