多媒体技术基础-21822198146.ppt

多媒体技术基础,计算机应用专业系列教材六安电大：薛文涛,课程说明：多媒体技术基础课程是计算机专业信息管理方向开设的选修课程，开设一学期，72学时，其中实验18学时，4学分。目的与任务：通过本课程的学习，理解多媒体技术的基本概念和主要功能，掌握常用的多媒体工具软件的使用方法，了解如何进行多媒体软件开发和多媒体制造。学前知识：学习本课程之前，需掌握一定的Windows使用、计算机组成原理、程序设计语言的使用。资源简介：教材、实验教材、网上资源、形成性考核册、复习指导。,第一章多媒体技术概论学习目标：1.理解：多媒体的概念、多媒体技术的内容和多媒体系统的组成。2.了解：多媒体技术的发展过程，多媒体系统的特点与分类。,学习内容：1.1多媒体技术的形成和发展有关概念媒体的含义:存储信息的实体,如磁盘、光盘、磁带、半导体存储器等。传递信息的载体,如数字、文字、声音、图形和图像等。显然，我们这里说的多媒体属于后者。,2.多媒体(Multimedia)多种媒体的综合定义：文本、声音、图形、图像和动画等是信息的载体，其中两个或多于两个的组合构成了多媒体。分类：感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体。3.其它有关概念多媒体计算机技术：指运用计算机综合处理多媒体信息的技术，包括将多种信息建立逻辑连接，进而集成一个具有交互性的系统。多媒体系统：指利用计算机技术和数字通讯网技术来处理和控制多媒体信息的系统。,多媒体计算机(MPC)：是一种将配备了声卡、视卡的计算机。更确切的说，它是一种将数字声音、数字图像、数字视频、计算机图形和通用计算机集成在一起的人机交互系统。MPC的五个技术特征：(1)具有对包括伴音在内的活动图像的处理、存储和显示的能力。(2)解决了在时间上紧密相关的数字信号的同步问题。(3)具有激光驱动器。(4)输入手段丰富，输出种类多，质量高。(5)具有丰富的软件资源。,二、促进多媒体技术发展的关键技术CDROM解决了多媒体信息的存储问题。高速计算机网络可以传送多媒体信息。高速位处理技术，专用集成电路技术和亚微米电路技术的发展，为多媒体技术提供了高速处理的硬件环境。多媒体压缩技术、人机交互技术和分布式处理技术的出现促进了多媒体系统的产生与发展。三、多媒体技术的特性1.集成性2.实时性3.交互性4.高质量,1.1.2多媒体技术的发展(自学)1.启蒙发展阶段2.初期应用和标准化阶段1.1.3我国多媒体的发展现状1.2多媒体系统的分类一、基于功能的分类,开发系统演示系统培训系统家庭系统,二、基于应用的分类,多媒体信息咨询系统多媒体管理系统多媒体辅助教育系统多媒体通信系统多媒体娱乐系统,1.3计算机系统的组成,计算机硬件,多媒体实时压缩与解压缩,多媒体I/O控制及接口,多媒体核心系统,创作系统,应用系统,计算机硬件,输入设备,接口,存储器控制器,接口,输入/出芯片,存储器,输出设备,(2)多媒体计算机所配置的硬件包括视频和音频的适时压缩和解压缩，音频信号I/O接口卡。(3)多媒体I/O控制及接口它是多媒体硬件与软件的桥梁。(4)多媒体的核心系统主要任务(P7)(5)创作系统(6)应用系统最高层是应用系统，即利用创作系统制作的多媒体应用系统。,1.4多媒体网络应用技术计算机网络是现代通信技术和计算机技术结合的产物。1.4.1局域网定义与功能定义：把分散在一个建筑物或相临几个建筑物中的计算机，终端，带大容量存储器的外围设备，控制器，显示器以及连接其他网络而使用的网络连接器等相互连接起来，以很高的速率进行通信。局域网的组成：计算机及智能型外围设备、网络接口卡及电缆、网络操作系统及有关软件。,局域网的功能：设备共享。(2)信息共享。(3)可进行高速数据通信，也可进行多种媒体信息的通信。(4)分布式处理。(5)提高兼容性。(6)安全性。,2.局域网的分类局域网的分类方式很多，按照网络拓扑分成：,HUB,e,a,d,c,b,a,b,c,d,e,a,b,c,d,e,星形,环形,双环形,e,a,d,c,b,e,a,d,c,b,f,e,a,d,c,b,f,总线形,树形,网络形,3.局域网的参考模型：由物理层、介质访问控制层(MAC)、数据链路控制层(LLC)组成。,物理层,应用层,表示层,会话层,传输层,数据链路层,网络层,物理层,介质访问控制MAC,逻辑链路控制LLC,OSI模型,局域网模型,通信子网,4.局域网应用关键技术通信技术传输介质：双绞线、同轴电缆、光缆、微波及红外通信技术。应用是主要要考虑其性能、成本及使用环境。局域网的拓扑结构(在局域网的分类中已讲)信息传输方式及信号变换方式：传输方式指使信息正确、可靠的在介质上进行传输的各种方法。信号变换方式指如何把数字逻辑信号“1”“0”变换成适合在线路上传输的物理形式。,(2)局域网的访问控制方式和通信协议局域网的访问控制方式必须采用能合理解决访问冲突的控制方法。通常采用冲突检测法和冲突避免法。通信协议：用于保证通信能正确进行的约定称为通信协议。(3)网络操作系统(NOS)-局域网的核心主要特性：硬件独立、桥连接、多用户支持、网络管理、安全性及存取控制、用户界面、能支持多个服务器，并能实现服务器间管理信息的传递。,5.局域网的特点：(1)已经成为计算机网络中使用最广的形式。(2)具有11000Mbps的数据传输速率。(3)地域范围为10m10km左右。(4)可连接几百个相互独立的设备，各设备平等访问网络资源。(5)能进行广播或组播。(6)有效使用包括通信媒体在内的共享资源。(7)高负载情形下的稳定性、可靠性好。(8)易于安装，配置和维护简单，造价低。,1.4.2广域网广域网是在较大地理范围内将计算机连起来的计算机网络。1.4.3因特网1.因特网的发展(自学)2.Internet提供的服务方式基本服务：,电子邮件(E-mail)文件传输(FTP)远程登陆(Telnet),扩展服务方式：,基于电子邮件的服务名录服务索引服务交互式服务,复习要点：1.多媒体的有关概念：什么是多媒体？什么是多媒体计算机技术？什么是多媒体系统？2.促进多媒体技术发展的关键技术有那些？3.多媒体技术的4个特性？4.多媒体系统的组成？,第二章多媒体信息的压缩,学习目标：1.掌握：位图、矢量图的定义2.理解：音频信号的数字化处理、矢量图与位图、图形与图像的比较3.了解：超文本与超媒体,学习内容：,多媒体数据的特点,数据量巨大数据类型多数据类型间区别大数据的输入和输出复杂,输入方式分为多通道异步输入方式和多通道同步方式。,2.1文字文字是人与计算机之间进行信息交换的主要媒体。在现实世界中，文字是人们进行通讯的主要形式，文字包括西文与汉字。2.1.1西文在计算机中，西文采用ASCII码表示，它是一个由7个二进制位组成的字符编码系统。例如：字符A的ASCII码值为065；字符B的ASCII码值为066。2.1.2汉字汉字的输入编码为了能直接使用西文标准键盘把汉字输入到计算机中，就必须为汉字设计相应的输入编码方法。,数字编码：常用的是国际区位码，优点是无重码，且输入码与内部编码的转换比较方便，缺点是代码难以记忆。拼音码：常用的是智能ABC、拼音加加。字型编码：常用的是五笔字型编码。2.汉字内码：汉字内码是用于汉字信息的存储、交换、检索等操作的机内代码、一般采用两个字节表示。其中：英文字符的机内代码是七位的ASCII码，用一个字节表示时，最高位为0；汉字用两个字节表示，最高位均规定为1。3.汉字字模码：字模码是用点阵表示的汉字字型代码，是汉字的输出形式。,2.2音频音频属于听觉媒体，频率范围为20Hz20kHz,主要分为波形声音、语音和音乐，属于连续型时基媒体类型。声音具有音调、音强、音色三要素。音调与频率有关、音强与幅度有关、音色由混入基因的泛音所决定。2.2.1数字音频1.定义：数字音频是指音频信号用一系列的数字表示。2.音频数字化：把模拟音频信号转换成有限个数字表示的离散序列。要考虑采样、量化和编码的问题。,3.一个音频信号转换成在计算机中的表示过程：选择采样频率，进行采样。选择分辨率，进行量化。形成声音文件。一、采样：采样有时也称为数字化，其作用是把时间上连续的信号，变成在时间上不连续的信号序列，即A/D(模/数)转换，其功能是将模拟信号变换成数字信号。根据采样定理，采样的频率至少高于信号最高频率的2倍。在多媒体中，对于音频，最常用的有三种采样频率：44.1kHz、22.05kHz、11.025kHz,二、分辨率：指把采样所得的值数字化，即用二进制来表示模拟量，进而实现模/数转换。在多媒体中，对于音频，分辨率可采用16位。三、声音文件：一般来说，要求声音的质量越高，则量化级数和采样频率也越高。1.数字录音文件大小的计算单声道：S=RD(r/8)1立体声：S=RD(r/8)2其中，S表示文件大小，单位为字节；R表示采样频率，单位为Hz；D表示录音的时间，单位为s；r表示分辨率，单位为二进制位(bit),例：5分钟双声道、16位采样位数，44.1kHz采样频率声音的不压缩数据量是多少？解：S=RD(r/8)2=44.11000(16/8)2560=52920000字节=50.47MB注意：1MB=1024KB=10241024B,2.在多媒体技术中，存储声音信息的常用文件格式：WAV文件、VOC文件、MIDI文件、AIF文件、SNO文件、RMI文件。其中，WAV文件和VOC文件是波形文件。2.2.2乐器数字接口(MIDI)MIDI是乐器数字接口的英文缩写，是数字音乐的国际标准。2.2.3数字化声音和MIDI的比较1.数字化的声音是声音的实际表示，它代表了声音的瞬时幅度；MIDI数据是与设备有关的。2.MIDI数据的优缺点(了解)3.数字化声音和MIDI之间的选择(掌握),2.3视觉媒体视觉媒体是能够利用视觉传递信息的媒体。位图图像、矢量图形、动态图像、符号等都是视觉媒体。2.3.1位图图像1.位图的定义：位图是一个用来描述像素的简单的信息矩阵。2.位图图像的定义：位图图像是值在空间和亮度上已经离散化的图像。3.位图的产生方法：P254.位图处理、图像压缩、图像优化,2.3.2矢量图形：是一个指令集合来描述的。这些指令用来描述构成一幅图的所包含的直线、矩形、圆、圆弧、曲线等的形状、位置、颜色等各种属性和参数。2.3.3矢量图与位图的比较1.空间矢量图是一个指令集合来描述的，所占空间小，位图所占空间大。2.性能对于复杂的图像，用位图比矢量图画对象速度快。,2.3.4监视器与颜色1.监视器分辨率屏幕分辨率(2)图像分辨率(3)像素分辨率2.颜色(了解)确定颜色的模型有RGB、HSB、HSL、CIE等。2.3.5图像文件的格式DIB设备无关位图BMPWindows的位图文件PCX用于MSDOS的绘图软件包TIFF按通用位图图像格式设计的,2.4动画动画是指运动的画面，在多媒体中是一种非常有用的信息交换工具。2.4.1视觉暂留在观察过物体之后，物体的映像将在人眼的视网膜上保留一段的时间。2.4.2造型动画和帧动画1.帧动画：是一幅幅连续的画面组成的画像或图形序列，这是产生各种动画的基本方法。2.造型动画：对每一个活动的对象分别进行设计，并构造每一对象的特征，然后用这些对象组成完整的画面。,2.4.3技术参数1.帧速度：一般选择为每秒30帧或每秒25帧。2.数据量：在不计压缩量的情况下，数据量是指帧速度乘以每幅图像的数据量。3.图像质量：图像质量与压缩的倍数有关。2.5超文本和超媒体定义：(1)超文本：超文本被定义为由信息结点和表示信息结点间相关性的链构成的一个具有一定逻辑结构和语意的网络。,(2)超文本系统：基于超文本信息管理技术组成的系统称为超文本系统。(3)超媒体：超媒体多媒体超文本2.超文本的主要成分(1)结点：结点是超文本表达信息的一个基本单位，其大小可变，结点的内容可以是文本、图形、图像、音频和视频等，也可以是一段程序。在超文本系统中，把结点分成不同类型，不同的结点表示不同的信息。(2)链：链也是构成超文本的基本单位，形式上是从一个结点指向另一个结点的指针，表示不同结点存在的信息的联系。链由涟源、链宿及链的属性三部分组成。,2.5.3超文本系统的结构(三层模型理论)1.数据库层：三层模型的最低层，涉及所有的有关信息存储的问题。2.超文本抽象机层：三层模型的中间层，要确定超文本系统的结点和链的基本特性及它们之间的自然联系，还应知道结点的其他属性。3.用户接口层：三层模型的最高层。目前较流行的接口风格主要有：菜单选择方式(2)命令交互方式(3)图示引导方式,复习重点：1.多媒体数据的特点2.音频信号如何转换成在计算机中的表示3.声音文件大小的计算4.什么是MIDI,MIDI与波形文件的比较5.位图图像、矢量图形的概念，矢量图与位图的比较6.造型动画和帧动画7.超文本与超媒体的概念，超文本的主要成分，超文本系统的三层模型。,第三章多媒体信息的压缩,学习目标：1.掌握：压缩与解压的概念2.理解：常用的压缩与解压算法3.了解：音频信号的压缩编码、视频信号的压缩编码一.压缩：在多媒体信息中，包含大量冗余的信息，把这些冗余的信息去掉，就实现了压缩。,二.冗余信息包括：1.空域相关：每一帧内的相邻像素之间有很大的信息冗余量，这叫做空域相关。2.时域相关：在相邻帧之间也存在很大的信息冗余量，这叫做时域相关。3.视觉掩盖效应：人的视觉对图像边缘急剧变化反应不灵敏。三.数据压缩的三个重要指标压缩前后的信息存储量之比要大；实现压缩的算法要简单；恢复效果要好。,3.1数据压缩的基本原理目前常用的压缩编码方法分为两类：(1)无损压缩法：又叫冗余压缩法或熵编码(2)有损压缩法：又叫熵压缩法注意：什么是熵？熵是各码元承载的平均信息量3.1.1变长编码变长编码使用长度可变的代码来对以不同频率出现的样本进行编码，它主要用于消除代码冗余。Huffman编码和算术编码都属于变长编码。,1.Huffman编码(重点)Huffman编码又称最佳码，是对统计独立信源达到最小平均码长的编码方法，具有惟一可译性。基本原理：按信源符号出现的概率大小进行序，出现概率大的分配短码，出现概率小的则分配长码。编码过程：(1)将信源符号按概率递减顺序排列。(2)把两个最小的概率加起来，作为新符号的概率。(3)重复(1)和(2)，直到概率和达到1为止。(4)在每次合并消息时，将被合并的信源赋予1和0。,(5)寻找从每一信源符号到概率为1的路径，记录下路径上的1和0。(6)对每一符号写出从码树的根到终结点1、0序列。例如：对信源,X=,x1x2x3x4x5x05,对其进行Huffman编码,x10.25x20.25x30.20 x40.15x50.10 x60.05,0,1,0.15,0,1,0.30,1,0,0.45,1,0,0.55,1,0,1,其中：x1=01;x2=10;x3=11;x4=000;x5=0010;x6=0011平均码长为2.45,2.算术编码算术编码是一种二元码的编码方法，在不考虑信源统计的情况下，只要监视一小段时间内码出现的频率，不管统计是平稳的或非平稳的，编码的码率总能趋近于信源熵值，每次迭带时的编码算法只处理一个数据符号，并且只有算术运算。对于二进制编码来说，信源符号只有两个，可预置一个大概率Pe和一个小概率Qe。设编码初始化子区间为0,1,Qe从0算起，则Qe=1-Pe。新子区间的起始位置前子区间的起始位置当前符号的区间左端前子区间的长度新子区间的长度前子区间的长度当前符号的概率,例：已知信源：,X=,011/43/4,按照上述规则，对1011进行算术编码。设C表示子区间的起始位置，A表示子区间的长度。小概率Qe=1/4,大概率Pe=3/4,所以符号“0”的区间左端为0，“1”的区间左端为1/4，初始子区间为0,1,编码过程如下：,序号1234,符号1011,CA,1/4,1/4,19/64,85/256,3/4,3/16,9/64,27/256,最后的子区间起始位置(85/256)d(0.01010101)b,子区间的长度(27/256)d(0.00011011)b,所以子区间尾(7/16)d(0.0111)b。编码结果为子区间头尾之间的取值，其值为“0.011”，可编码成“011”。,3.1.3变换编码变换编码是指对信号进行变换后，再编码。,信源序列,变换,变换域采样,量化编码,存储或传输,译码,填零,反变换,再现序列,变换编码系统构成图,3.1.4模型编码采用模型的方法对传输的图像进行参数估测。,3.2音频信号的压缩编码1.音频信号的分类：电话质量的语音、调幅广播质量的音频信号和高保真立体声信号。2.频率范围：语音信号的频率范围是300Hz到3400Hz,高保真度音频信号的频率范围是20Hz到200000Hz。3.2.1音频信号编码基础只有当信源产生的信号具有冗余，才能对其进行压缩。在语音信号中主要包括时域冗余和频域冗余，还要考虑到人的听觉机理特征。,音频信号编码的分类：(1)基于音频数据的统计特性进行编码，典型技术是波形编码。目标是使重建语音波形保持原波形的形状。(2)基于音频的声学参数，进行参数编码，可进一步提高压缩比。(3)基于人的听觉特性进行编码。注：无损压缩包括不引入任何数据失真的各种熵编编码；有损压缩法又可分为波形编码、参数编码和同时利用这两种技术的混合编码方法。,3.2.2音频信号的压缩编码算法1.基本原理：在多媒体计算机系统中，声音信号被编码成二进制素子序列，经传输和存储，最后由解码器将二进制编码恢复成原始的声音信号。,输入信号,编码器,输出/存储,解码器,输出信号,声音信号的处理流程图,设计声音压缩编码系统考虑的因素：输入声音信号的特点；传输速率及存储容量的限制；对输出重构声音的质量要求；系统的可实现性及其代价。(2)声音质量的等级：电话语音级：200Hz3.4kHz调幅广播级：50Hz7kHz调频广播级：20Hz15kHz宽带音频级：20Hz20kHz,(3)声音信号的编码方式分类波形编码方法分析合成方法混合编码方法2.脉冲编码调制(PCM)PCM方法可以按量化方式的不同，分为均匀量化PCM、对数PCM和自适应量化PCM。3.线性预测编码(LPC)它是根据过去已有的几个采样值的模型的线性组合来预测、推断现在的采样值，进而用实际采样值与预测采样值之差(称作预测误差)及线性预测系数进行编码。,4.自适应预测编码(APC)当预测系数是自适应地随声音信号变化时，就可称作自适应预