多媒体技术-同济大学物理教学网站.ppt

多媒体技术,教育技术学0720103032徐智渊,多媒体技术,多媒体计算机音频信息的获取与处理视频信号的获取与处理多媒体数据压缩编码技术多媒体计算机硬件及软件系统结构超文本和超媒体多媒体计算机的应用技术,备注：多媒体、多媒体技术专业、多媒体应用设计师简单资料,一.多媒体计算机,近年来，多媒体这一术语在计算机领域频繁出现，很多计算机厂商都说自己的产品具有多媒体技术。应用多媒体技术是90年代计算机的时代特征，是90年代计算机又一次革命.多媒体计算机的定义和关键技术多媒体技术促进了通信、娱乐和计算机的融合多媒体计算机技术的发展和应用,返回,二、音频信息的获取与处理,声音是携带信息的重要媒体。娓娓动听的音乐和解说，使静态图像变得更丰富多彩。音频和视频的同步，使视频图像更具真实性。多媒体计算机采用人们最熟悉、最习惯的方式与计算机交换信息。为计算机装上“耳朵“-麦克风，让计算机听懂、理解人们的讲话，这就是语音识别；为计算机按上嘴巴和乐器-扬声器，让计算机能够讲话和奏乐，这就是语音和音乐合成。数字音频基础音频卡的工作原理音频编码基础和标准音乐合成和MIDI规范语音识别,返回,三、视频信号的获取与处理,多媒体计算机需要计算机综合处理声、文、图信息，根据一项心理学测定和估计的结果，几如人类大脑的信息约有80%来自耳朵，其余来自人的其他器官。客观世界较多应该是景物和图象，语言和文字是对客观事物的一种描述。在日常生活中人民会发现，有时用语言和文字难以表达的事物，用一真纳感简单的图就能精辟而准确地表达。因此，在多媒体计算机中视频信息的获取及其文件格式就显得非常重要。彩色空间表示及其转换视频信息获取技术图像文件格式及其转换,返回,四、多媒体数据压缩编码技术,进入信息时代，人们将越来越依靠计算机获取和利用信息。而数字化后的视频和音频等媒体信息具有数据海量性，与当前硬件技术所能提供的计算机存储资源和网络带宽之间有很大差距。这样，就对多媒体信息的存储和传输造成了很大困难，成为阻碍人们有效获取和利用信息的一段时期内，数字化的媒体信息数据以压缩形式存储和传输仍将是唯一的选择。多媒体数据压缩编码的重要性和分类量化统计编码预测编码变换编码多媒体数据压缩编码的国际标准,返回,五、多媒体计算机硬件及软件系统结构,多媒体个人计算机（MPC）数字视频交互式（DVI）多媒体计算机系统将多媒体和通信功能集成到CPU芯片中,返回,六、超文本和超媒体,超文本和超媒体的概念超文本和超媒体的体系结构超文本与超媒体的应用超文本与超媒体存在的问题及发展前景,返回,七、多媒体计算机的应用技术,多媒体电子出版物的创作多媒体会议系统多媒体数据库及基于内容搜索,返回,多媒体计算机的定义和关键技术,多媒体计算机定义计算机综合处理多种媒体信息(文本、图形、图象、音频和视频)，使多种信息建立逻辑连接，集成为一个系统并具有交互性。具有信息载体多样性、集成性和交互性。多媒体计算机的分类从开发和生产厂商以及应用的角度出发可以分成两大类:电视计算机和计算机电视多媒体计算机的关键技术要把一台普通的计算机变成多媒体计算机要解决的关键技术是：1)视频音频信号获取技术；2)多媒体数据压缩编码和解码技术；3)视频音频数据的实时处理技术；4)视频音频数据的输出技术。,50年代到70年代，用文字作为信息的载体，输入输出设备主要是打字机、键盘和显示终端。计算机的应用扩大到具有一般文化程度的科技人员。80年代开始，人们致力于研究将声音、图形和图象作为新的信息媒体输入输出计算机。1984年Apple公司的Macintosh个人计算机，首先引进了“位映射”的图形机理，用户接口开始使用Mouse驱动的窗口技术和图符。今天，国际上下述几项技术又有了突出的进展：超大规模集成电路的密度增加了；超大规模集成路的速度增加了；CD-ROM可作为低成本大容量PC机的只读存储器；双通道VRAM的引进;网络技术的广泛使用。利用多媒体是计算机产业发展的必然趋势,在多媒体计算机发展史上卓有成效的公司和系统有：,Philips/Sony公司的CD-I系统Commodore公司的Amiga系统Apple公司的HyperCardIntel和IBM公司的DVI系统,返回,多媒体技术促进了通信、娱乐和计算机的融合。,多媒体技术是解决常规电视数字化及高清晰度电视（HDTV）切实可行的方案用多媒体技术制作V-CD及影视音响卡拉OK机个人信息通讯中心（PIC）,返回,多媒体技术是解决常规电视数字化及高清晰度电视（HDTV）切实可行的方案常规电视数字化汤姆逊消费电子公司通过休斯银河601卫星，开创世界首次全数字直接到户的卫星广播业务。消费者很容易获得120150个电视频道。用户端只需购置一个易于安装的18英寸或常规碟形天线，一个和录像机体积差不多的接收机/解码器以及一个易于控制和操作的遥控器。高清晰度电视（HDTV）特点：1.采用国际标准的压缩编码算法MPEG-2；2.采用打包数据结构；3.采用双层传输技术。,交互式电视技术（ITV）1.最常用的是节目间的交互，即VOD系统。2.典型的VOD系统主要由下述四部分组成：（1）视频服务器；（2）编码器/路由器；（3）用户请求计算机和记帐计算机；（4）机顶盒。多媒体计算机技术在常规电视和高清度电视节目制作中的应用分影视画面的制作和影视的后期制作两个层次。,返回,用多媒体技术制作V-CD及影视响卡拉OK机V-CD播放系统主要有下述两种产品：MPEG播放卡V-CD播放机,返回,个人信息通讯中心（PIC）PersonalInformationCommunicationCenter（PIC），也有人称它为PAC-PersonalActivityCentre，或PDA-PersonalDigitalAssistant。早期的PAC产品有：深圳英达利信息通讯产品有限公司于1993年首先推出了MPEG-K100PAC产品，它的硬件平台用JT486SMV主板，CPU为Intel486DX-33，VESALOCALBUS，256KBCACHE，8MRAM,I/O总线速率8.33MHz。采用SVGA、视频处理和音频处理功能合为一体的EcomediaI多媒体卡，接上Ecovision电视调谐卡，接上天线即可以收看电视。长城五合一办公通讯系统：中国长城计算机集团公司生产制造的GW-OA5IN1长城五合一办公通讯系统：一根电视线，一台微机，一套五合一板，一部电话机，一对音箱，一个扫描器，能够解决图文传真、数据通讯、电话邮箱、图象处理以及语音合成等问题。,返回,多媒体计算机技术的发展和应用,多媒体数据库多媒体通信多媒体创作工具及其应用多媒体计算机的发展趋势,返回,多媒体数据库多媒体数据库的研究途径1.在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要；2.建立基于一种或几种应用的专用多媒体信息管理系统；3.从数据模型入手，研究全新的通用多媒体数据库管理系统。多媒体数据库要解决的关键技术问题：1.多媒体数据模型；2.数据的压缩和解压缩；3.多媒体数据的存贮管理和存取方法；4.多媒体信息的再现及良好的用户界面；5.分布式技术。多媒体数据库基于内容的检索：目标标识，特征提取，数据库查询接口，检索引擎，索引/过滤器。,返回,多媒体通信多媒体通讯分类1.对称的全双工的多媒体通讯，如分布式多媒体信息系统、视频会议系统及计算机支持的协同工作系统；2.非对称全双工的多媒体通讯系统，如交互式电视系统（ITV）、点播电视系统（VOD）多媒体通讯的关键技术1.多媒体数据压缩。2.高速数据通讯问题，尤其是视频会议系统要解决视频会议系统的国际标准问题。视频会议系统视频会议系统可分为两类:1.点对点视频会议系统;2.多点视频会议系统。,返回,多媒体创作工具及其应用多媒体创作工具的分类:基于时间的创作工具；基于图符（Icon）或流线（Line）创作工具；基于卡片（Card）和页面（Page）的创作工具；以传统程序语言为基础的创作工具。它们的代表产品是：Action、Autherware、IconAuther、ToolBook以及Hypercard等。多媒体创作工具的应用:制作各种电子出版物、教材、参考书、地图、医药卫生、商业手册及游戏娱乐节目。多媒体应用系统、演示系统或信息查询系统、导游系统；培训和教育系统；娱乐、视频动画及广告等等。多媒体同步,返回,多媒体计算机的发展趋势进一步完善计算机支持的协同工作环境CSCW（ComputerSupportedCollaborativeWork）智能多媒体技术1993年12月，英国计算机学会在英国Leeds大学举行的多媒体系统和应用（MultimediaSystemandApplication）国际会议上作了关于建立智能多媒体系统的报告，明确提出了研究智能多媒体技术问题。提出多媒体计算机充分利用了计算机的快速运算能力，综合处理声、文、图信息，用交互式弥补计算机智能的不足。,把多媒体信息实时处理和压缩编码算法作到CPU芯片中计算机产业的发展趋势应该是把多媒体和通讯的功能集成到CPU芯片中。过去计算机结构设计较多地考虑计算功能，主要用于数学运算及数值处理。最近几年随着多媒体技术和网络通讯技术，需要计算机具有综合处理声、文、图信息及通讯的功能。多媒体信息的实时处理、压缩编码算法及通讯，大量运行的是8位和16位定点矩阵运算。从目前的发展趋势看可以把专用芯片分成两类：1.以多媒体和通讯功能为主，融合原有计算功能。2.以通用CPU计算功能为主，融合多媒体和通讯功能。,以多媒体和通讯功能为主，融合原有计算功能。它的设计目标是用在多媒体专用设备，家电及宽带通讯设备，可以取代这些设备中的CPU及大量Asic和其它芯片。它们的代表产品是philips公司的Trimedia，MicroUnity的MediaProcessor，ChromaticResearchInc.的MpactMediaEngine。以通用计算功能为主，融合多媒体和通讯功能。它们的设计目标是与现有的计算机系列兼容，同时具有多媒体和通讯功能，主要用在多媒体计算机中。它们的代表产品是Sun公司的UltraSparc和，CyrixMultimedia586，HP公司的MAX-2，Intel公司的MMX及Motorola公司的VeComp701等。,返回,数字音频基础,模拟音频和数字音频数字音频的采样和量化数字音频的文件格式音频信号的特点,返回,模拟音频和数字音频声音是机械振动。振动越强，声音越大，话筒把机械振动转换成电信号，模拟音频技术中以模拟电压的幅度表示声音强弱。模拟声音在时间上是连续的，而数字音频是一个数据序列，在时间上是断续的。数字音频是通过采样和量化，把模拟量表示的音频信号转换成由许多二进制数1和0组成的数字音频信号。计算机内的基本数制是二进制，为此我们也要把声音数据写成计算机的数据格式，这称之为编码音频数字化.计算机内的音频必须是数字形式的，因此必须把模拟音频信号转换成有限个数字表示的离散序列，即实现音频数字化。在这一处理技术中，涉及到音频的抽样、量化和编码。,返回,数字音频的采样和量化采样：音频实际上是连续信号，或称连续时间函数x(t)。用计算机处理这些信号时，必须先对连续信号采样，即按一定的时间间隔(T)取值,得到x(nT)(n为整数)。T称采样周期，1/T称为采样频率。称x(nT)为离散信号。采样定理：设连续信号x(t)的频谱为x(f)，以采样间隔T采样得到离散信号x(nT),如果满足：当|f|fc时,fc是截止频率T1/2fc或fc1/2T则可以由离散信号x(nT)完全确定连续信号x(t)。当采样频率等于1/（2T）时，即fN=1/2T，称fN为耐魁斯特频率。常用的音频采样率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz。,量化：为了把抽样序列x(nT)存入计算机，必须将样值量化成一个有限个幅度值的集合x(nT)。通常，用二进制数字表示量化后的样值是方便的。用B位二进制码字可以表示2B个不同的量化电平。存储数字音频信号的比特率为：I=Bfs(比特/秒)fs是抽样率(抽样/秒)B是每个样值的比特数(比特/采样)量化采样的过程如下：先将整个幅度划分成为有限个小幅度(量化阶距)的集合，把落入某个阶距内的样值归为一类，并赋予相同的量化值。如果量化值是均匀分布的，我们称之为均匀量化。设为量化阶距，量化器的最大范围是Xmax，则：=2Xmax/2B对于小于(i+1/2)，而大于(i-1/2)的样值，均规定为相同的量化值i。,返回,数字音频的文件格式数字音频的文件格式文件扩展名说明.PCM：PCM数据序列VOC：Creative公司的波形音频文件格式。WAV：Microsoft公司的波形音频文件格式。SND：NeXT计算机的波形音频文件格式。AIF：Apple计算机的波形音频文件格式。MID：MIDI文件格式。RMI：Microsoft公司的MIDI文件格式。它可以包括图片、标记和文本。,返回,音频信号的特点音频信号处理的特点如下：(1)音频信号是时间依赖的连续媒体。(2)即理想的合成声音应是立体声。(3)对语音信号的处理，要抽取语意等其它信息，如可能会涉及到语言学、社会学、声学等。从人与计算机交互的角度来看音频信号相应的处理如下：(1)人与计算机通信(计算机接收音频信号)。包括音频获取；语音识别与理解。(2)计算机与人通信(计算机输出音频)。音频合成；声音定位：音频/视频同步。(3)人计算机人通信人通过网络，与处于异地的人进行语音通信，需要的音频处理包括：语音采集、音频编码/解码、音频传输等。这里音频编/解码技术是信道利用率的关键。,返回,音频卡的工作原理,音频卡的功能和分类音频卡的主要功能是：音频的录制与播放、编辑与合成、MIDI接口、文语转换、CD-ROM接口及游戏接口等。音频卡种类有分别用于录制与播放编辑、合成MIDI接口、音乐合成文语转换、语音识别。音频卡的工作原理开发生产音频卡的公司很多,其中最有影响的公司是新加坡创新科技有限公(CreativeLabs.Inc.)开发的系列产品Soundlaster系列音频卡,它是集语音与音乐于一体的多煤体音频卡,它不但具有优良稳定的硬件特性,而且还有丰富的软件。,返回,音频编码基础和标准,音频编码基础音频编码标准,返回,音频编码基础从信息保持的角度讲,只有当信源本身具有冗余度,才能对其进行压缩。根据统计分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实行压缩。音频编码的分类如下：基于音频数据的统计特性进行编码,其典型技术是波形编码。基于音频的声学参数，进行参数编码,可进一步降低数据率。其目标是使重建音频保持原音频的特性。基于人的听觉特性进行编码：从人的听觉系统出发，利用掩蔽效应，设计心理声学模型，从而实现更高效率的数字音频的压缩。,返回,音频编码标准当前编码技术发展的一个重要的方向就是综合现有的编码技术，制定全球的统一标准，使信息管理系统具有普遍的互操作性并确保了未来的兼容性。国际上，对于语音信号压缩编码的审议在CCITT下设的第十五研究组进行，相应的建议为G系列，多由ITU发表。,返回,音乐合成和MIDI规范,音乐合成MIDI接口规范,返回,音乐合成自1976年应用调频(FM)音乐合成技术以来，其乐音已经很逼真。1984年又开发出另一种更真实的音乐合成技术波形表(Wavetable)合成。一个乐音，包括必备的三要素：音高、音色和响度。这些要素的理想配合是产生优美动听的旋律的必要条件。音高：音高指声波的基频。基频越低，给人的感觉越低沉。音色：具有固定音高和相同谐波的乐音，有时给人的感觉仍有很大差异。比如人们能够分辨具有相同音高的钢琴和小提琴声音，这正是因为他们的音色不同。音色是由声音的频谱决定的。各种乐器的音色是由其自身结构特点决定的。响度是对声音强度的衡量，它是听判乐音的基础。人耳对于声音细节的分辨与响度直接有关，只有在响度适中时，人耳辨音才最灵敏。,返回,MIDI接口规范MIDI是音乐与计算机结合的产物。MIDI(MusicalInstrumentDigitalInterface)是乐器数字接口缩写，泛指数字音乐的国际标准，初始建于1982年。多媒体Windows支持在多媒体节目中使用MIDI文件。标准的多媒体PC平台能够通过内部合成品在或连到计算机MIDI端口的外部合成品在播的MIDI文件。利用MIDI文件演奏音乐，所需的存储量最少。如演奏2分钟乐曲的MIDI文件只需不到8K的存储空间。,返回,语音识别,语音识别的发展和分类汉语语音识别系统的工作原理及其应用计算机语音输出,返回,语音识别的发展和分类语音识别的研究领域比较广，归纳起来，一般有以下四个方面：按可识别的词汇量多少语音识别系统可分为小、中、大词汇量三种。一般来说，能识别词汇小于100的，称为小词表语言识别；大于100的称为中词表语音识别；大于1000的称为大词表语音识别。词表越大，困难越多。按照语音的输入方式语音识别的研究集中于对孤立词、连接词和连续语音的识别。按发音人可分为特定人、限定人和非特定人语音识别三种对于特定人进行语音识别的系统，使用前需由特定人对系统进行训练。如果需要限定的几个人使用同一系统，则可以研制成限定人识别系统。如果一个系统不必经使用者训练就可以识别各种发音者的语音，则称为非特定人语言识别。,返回,汉语语音识别系统的工作原理及其应用汉语语音听写机（CDM,ChineseDictationMachine）是非特定人、大词汇量的连续语流（或连接词）识别系统，其目的是由计算机将人的语流转化为相应的文本信息。在当今人与计算机交互日益频繁的条件下，探索高效而自然的交互方式是人们不断努力的目标。汉语语音听写机正是这样一种十分有潜力的人机交互系统，它可望把人从不自然的信息输入方式中解放出来，从而大大推进计算机的应用和发展。,返回,计算机语音输出一般来讲，实现计算机语音输出有两种方法：一是录音/重放,二是文一语转换。录音/重放，首先要把模拟语音信号转换成数字序列，编码后，暂存于存储设备中(录音)，需要时，再经解码，重建声音信号(重放)，如上节所示。录音/重放可获得高音质声音，并能保留特定人或乐器的音色。但所需的存储容量随发音时间线性增长。文一语转换是基于声音合成技术的一种声音产生技术。它可用于语音合成和音乐合成。文一语转换是语音合成技术的延伸，它能把计算机内的文体转换成连续自然的语声流。若采用这种方法输出语音，应预先建立语音参数数据库、发音规则库等。需要输出语音时，系统按需求先合成语音单元，再按语音学规则或语言学规则，连接成自然的语流。文一语转换的参数库不随发音时间增长而加大；但规则库却随语音质量的要求而增大。,返回,多媒体,“多媒体”一词译自英文“Multimedia”，媒体（medium）原有两重含义：一是指存储信息的实体，如磁盘、光盘、磁带、半导体存储器等，中文常译作媒质；二是指传递信息的载体，如数字、文字、声音、图形等，中文译作媒介。从字面上看，多媒体就是由单媒体复合而成的。“多媒体技术”就是把声、图、文、视频等媒体通过计算机集成在一起的技术。即通过计算机把文本、图形、图像、声音、动画和视频等多种媒体综合起来，使之建立起逻辑连接，并对它们进行采样量化、编码压缩、编辑修改、存储传输和重建显示等处理。,多媒体技术具有以下几项特性：（）信息媒体的多样化和媒体处理方式的多样化。（）集成性。（）交互性。（）实时性。多媒体的发展需要有以下几项关键技术：（）数据压缩和编码技术。（）媒体同步技术。（）多媒体网络技术。,多媒体技术正向三个方面那发展：一、计算机系统本身的多媒体化；二、多媒体技术与点播电视、智能化家电、识别网络通信等技术互相结合，使多媒体技术进入教育、咨询、娱乐。企业管理和办公室自动化等领域；三、多媒体技术与控制技术相互渗透，进入工业自动化测控等领域。如：教育和培训、咨询和演示、娱乐和游戏、触觉类媒体、管理信息系统（MIS）、视频会议系统、计算机支持协同工作。,多媒体技术的前景:家庭教育和个人娱乐是目前国际多媒体市场的主流内容演示和管理信息系统是多媒体技术应用的重要方面多媒体通信和分布式多媒体系统是多媒体技术今后的发展方向多媒体专业的资格证书：网络工程师、平面设计师、广告设计师、软件设计师等。,返回,多媒体技术专业介绍,计算机多媒体信息技术产业是近年来一个新兴的产业群，依托数字化平台，多媒体产业已经形成了以影像、动画、图形、声音等技术为核心，内容涵盖信息、传播、广告、通讯、电子娱乐产品、网络教育、娱乐、出版等多个领域，涉及计算机、影视、传媒、教育等多行业的产业集合。多媒体技术是企事业信息化建设的迫切要求，为影视制作、信息传媒、教育、娱乐等企业注入了新的活力。,专业技能：多媒体软件开发能力；广告设计能力；网页制作能力；影视编辑能力；音频编辑与制作；动画设计与制作；多媒体数据库管理与维护；网络组建与管理；计算机软硬件的操作能力。就业方向及职业岗位:毕业生主要面向行政事业单位、出版社、电视台、广告公司、出版印刷企业以及信息咨询等行业从事计算机信息处理、媒体策划、广告设计与制作、局域网管理，多媒体数据库开发、多媒体通信网络建设、多媒体软件开发等工作，也可以在企事业单位从事经营管理、文秘等方面的工作。专业课程:本专业主要课程有政治理论、英语、大学语文、计算机应用基础、高等数学、体育、广告学、绘画基础、电脑平面设计基础、计算机组装与维护、数据库及应用(SQL)、JAVA程序设计、VB程序设计、计算机网络及应用、图形设计、图像处理、数字影音技术、网站建设、WEB程序设计、动画制作、多媒体开发技术、多媒体高级编程技术、专业英语、职业资格技能训练。,返回,多媒体应用设计师考试,一、考试说明1.考试要求（1）掌握计算机系统组成及各主要部件的性能和基本工作原理；（2）掌握计算机软件、程序设计语言的基础知识及一种通用的C语言程序设计；（3）掌握计算机网络与通信基本知识（C、Java或VisualBasic任选一种）；（4）掌握多媒体的定义、分类和关键技术；（5）熟悉多媒体数据（视频、音频）获取、传输、处理及输出技术；（6）熟悉多媒体数据压缩编码、常用格式及其适用的国际标准；（7）掌握多媒体应用系统的创作过程，包括数字音频编辑、图形绘制、动画和视频的制作、多媒体著作工具使用等；（8）熟悉多媒体课件、电子出版物及其他多媒体应用系统的设计和实施过程；（9）了解信息化、标准化、安全知识以及与知识产权相关的法律、法规要点；（10）正确阅读并理解计算机和多媒体应用领域的相关领域的英文资料。,2.通过本考试的合格人员能根据多媒体应用工程项目的要求，参与多媒体应用系统的规划和分析设计工作；能按照系统总体设计规格说明书，进行多媒体应用系统的设计、制作、集成、调试和改进，并指导多媒体应用制作技术员实施多媒体应用制作；能从事多媒体电子出版物、多媒体课件、商业简报、平面广告及其他多媒体应用领域的媒体集成及系统设计等工作；具有工程师的实际工作能力和业务水平。3.本考试设置的科目包括：（1）计算机与多媒体应用基础知识，考试时间为150分钟，笔试；（2）多媒体应用设计技术，考试时间为150分钟，笔试。,二、考试范围考试科目1.计算机与多媒体应用基础知识计算机基础知识、计算机的发展、计算机的分类及特点、计算机在信息社会的应用。2.计算机硬件及系统组成(1)计算机的基本组成原理(2)中央处理器CPU、工作原理、主要性能指标3.操作系