一、多媒体技术概述_第1页
一、多媒体技术概述_第2页
一、多媒体技术概述_第3页
一、多媒体技术概述_第4页
一、多媒体技术概述_第5页
已阅读5页,还剩78页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

多媒体技术

课程介绍陈娟电子科技大学软件学院教材多媒体技术应用龚声蓉人民邮电出版社,

20082教材教材封面3参考文献图书馆书籍李建,张银丽。《多媒体技术应用案例教程》,(21世纪全国应用型本科计算机案例型规划教材)。北京:

北京大学出版社,2009。丁贵广,尹亚光。《多媒体技术》,(北京市高等教育精品教材立项项目)。北京:

机械工业出版社,

2009。舒怀林,李丽,《多媒体技术与应用》,(21世纪高等学校规划教材)。北京:

中国电力出版社,

2008。杜文洁,刘明国,《多媒体技术应用课程设计案例精编》,(高等院校课程设计案例精编)。北京:

清华大学出版社,

2008。姜楠,王健,《常用多媒体文件格式与压缩标准解析》,北京:电子工业出版社,2005。4参考文献1.郎锐.数字图像处理学

VisualC++实现.北京:希望电子出版社,20032.陈桂明.应用MATLAB语言处理数字信号与图像处理.北京:科学出版社,20003.杨枝灵.VisualC++数字图像获取、处理及实践应用.北京:人民邮电出版社,20034.何斌.VisualC++数字图像处理.北京:人民邮电出版社,20025.张宏林.VisualC++数字图像模式识别技术及工程实践.北京:人民邮电出版社,20036.四维科技,胡小丰,赵辉.VisualC++/MATLAB图像处理与识别实用案例精选.北京:人民邮电出版社,20047.徐慧等.VisualC++数字图像实用工程案例精选.北京:人民邮电出版社,20045课程内容第一章多媒体技术概述第二章音频信息的获取与处理第三章视觉信息处理第四章多媒体数据压缩与编码技术第五章多媒体数据处理的技术标准6考核方式本课程的考核方式为:平时+上机实验+课程考试,其中:1)平时成绩由考勤与作业、中期考试组成2)上机实验成绩,包括实验考勤和实验完成情况3)课程考试为闭卷考试7学习方法理解原理:听课、看教材编程实践:阅读例程、编写程序查阅资料:看参考书、上网搜索归纳总结:知识点类比、知识结构8第1章多媒体技术概述本章重点:多媒体技术的概念及其特点多媒体技术的应用领域多媒体研究的主要内容与涉及的核心技术

9本章概要:1.1多媒体技术的相关概念1.2多媒体技术的发展1.3多媒体技术的应用领域1.4多媒体研究的主要内容与核心技术1.5本章小结101.1多媒体技术的相关概念1.1.1媒体1.1.2多媒体1.1.3多媒体技术的基本特征111.1多媒体技术的相关概念可处理的信息软件技术硬件平台121.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?照相机摄影机131.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?手机14手指运动1.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?动画片151.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?图文电视16网络连接失败1.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?网页17自动弹出窗口1.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?Google地图18地址更新1.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?游戏19声音、视觉提示信息1.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?播放器20“用户-视频”智能交互1.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?虚拟现实211.1多媒体技术的相关概念你的生活中出现过哪些多媒体产品?虚拟触觉221.1多媒体技术的相关概念任何系统理论的产生,都是为了满足人们的需求或需要。计算机科学技术与其所属的各个分支学科也是如此。人们利用计算机进行了各种各样的探索和尝试,逐渐发展起来图形处理技术、动画技术、视频捕捉技术与编辑回放技术、虚拟现实技术等。

伴随着这些技术不断进步,诞生了计算机科学技术的一个非常具有活力的分支——多媒体技术。

231.1多媒体技术的相关概念什么是多媒体技术?多种信息的生成、传输、呈现、存储可感知(感觉)的信息包括:听觉(音频)视觉(视频)触觉(虚拟现实)嗅觉、味觉(虚拟现实)24视频聊天1.1.1媒体“媒体”即媒介、媒质,它是信息的载体,是一种传播和表达信息的方法和手段。国际电信联盟(ITU)根据信息被人们感觉、表示以及实现存储或进行传输的载体不同,将媒体分为了如下六个大类:251.1.1媒体1.感知媒体(PerceptionMedium)指人们的感觉器官所能感觉到的信息的自然种类,比如:人类的各种语言、音乐自然界的各种声音、图形、图像计算机系统内的数据、文本等均可属于感知媒体。261.1.1媒体2.表达媒体(RepresentationMedium)是为了加工、处理和传输感知媒体而通过人工研究、构造出来的媒体,主要用以定义信息的特性。表达媒体以语音编码、图像编码和文本编码等形式来描述。27自然信息的抽象更加简洁的数据表示1.1.1媒体3.呈现媒体(PresentationMedium)指感知媒体与电信号间相互转换用的那类媒体,即呈现信息或获取信息的物理设备。呈现媒体有显示器、扬声器、打印机等输出类设备以及键盘、鼠标器、扫描器、话筒和摄像机等输入类设备。281.1.1媒体4.存储媒体(StorageMedium)指存储表达媒体数据(感知媒体数字化后的代码)的物理设备,如光盘磁盘磁带等。291.1.1媒体5.传输媒体(TransmissionMedium)指媒体传输用的一类物理载体,如同轴电缆光缆双绞线无线电链路等。301.1.1媒体6.交换媒体(ExchangeMedium)指在系统之间交换数据的方法,它们可以是存储媒体、传输媒体或者两者的结合使用。311.1.1媒体你能描述6种媒体之间的关系吗?32感知媒体呈现媒体表达媒体存储媒体传输媒体交换媒体感觉器官研究、构造物理设备软件1.1.1媒体这些不同层次的“媒体”为多媒体技术的诞生和发展提供了基本的空间和舞台。在以上六种媒体中,感觉媒体是在多媒体应用中呈现给用户的媒体元素,它主要包括:文本、图形、图像、视频、音频、动画等。33可操作、处理的信息1.1.1媒体1.文本(Text):包含字母、数字、字、词语等基本元素。341.1.1媒体2.图形(Graph):是多媒体中的静态可视元素之一,一般是以采用算法语言或某些应用软件生成的矢量图(VectorDrawing)的形式来表达的。3.图像(Image):也是多媒体的一种静态可视元素,其基本形式为位图(Bitmap)。35照相机成像画图板1.1.1媒体4.视频(Video):多媒体技术中的一类重要媒体,属于动态可视元素。图像与视频是两个既有联系又有区别的概念。5.音频(Audio):是指大约在15Hz~20kHz频率范围的连续变化的波形。36动态图像序列声波1.1.1媒体6.动画(Animation):是采用计算机动画软件创作并生成的一系列可供实时演播的连续画面,属于一种动态可视媒体元素。

37动态图形序列1.1.1媒体你能描述6种感觉媒体之间的关系吗?38文本图像图形视频动画音频动态动态1.1.2多媒体在绝大多数场合,多媒体是指多媒体技术,即指能够同时获取、处理、编辑、存储和回放两种或者两种以上不同类型信息媒体的技术,这些信息媒体包括文字、声音、图形、图像、动画、视频等,它一般不是指多种媒体本身,而主要是指处理和应用的一整套技术手段。39举例:照片1.1.2多媒体从技术角度来说,多媒体是计算机综合处理文本、图形、图像、音频、视频等多种媒体信息,使多种信息建立逻辑连接,集成为一个系统并具有交互性和实时性的崭新技术。它是一种迅速发展的综合性电子信息技术,已渗透到相关领域的方方面面,给人们的工作、生活和娱乐带来了深刻的变革。

40举例:ATM1.1.3多媒体技术的基本特征1.多样性2.集成性3.交互性4.实时性5.非线性总之,多媒体有许多特点,但其最显著的特点是具有媒体的多样性、集成性和交互性。411.1.3多媒体技术的基本特征请你设计一个熟悉的多媒体系统架构。比如:网站管理系统游戏引擎主要内容:处理的数据种类,数据之间的关系,处理技术,预期的结果,反馈,修正421.2多媒体技术的发展多媒体技术的发展是社会需求的结果,是社会不断推动的结果,是计算机技术不断成熟和扩展的结果。在多媒体的整个发展进程中,有几个具有代表性的阶段:1984年,美国Apple(苹果)公司开创了用计算机进行图像处理的先河,在世界上首次使用Bitmap(位图)概念对图像进行描述,从而实现了对图像进行简单的处理、存储和传送等。

43苹果计算机Macintosh首次推出图形用户界面1.2多媒体技术的发展1985年,美国Commodore公司将世界上首台多媒体计算机系统展现在世人面前,该计算机系统被命名为Amiga。并在随后的Comdex‘89展示会上,展示了该公司研制的多媒体计算机系统Amiga的完整系列产品。1986年3月,荷兰PHILIPS(飞利浦)公司和日本SONY(索尼)公司共同制定了CD-I(CompactDiscInteractive)交互式激光光盘系统标准,使多媒体信息的存储规范化和标准化。

441.2多媒体技术的发展1987年3月,RCA公司制定了DVI(DigitalVideoInteractive)技术标准,该技术标准在交互式视频技术方面进行了规范化和标准化,使计算机能够利用激光光盘以DVI标准存储静止图像和活动图像,并能存储声音等多种信息模式。1990年11月,美国Microsoft(微软)公司和包括荷兰PHILIPS(飞利浦)公司在内的一些计算机技术公司成立“多媒体个人计算机市场协会(MultimediaPCMarketingCouncil)”。

451.2多媒体技术的发展1991年,多媒体个人计算机市场协会提出MPC1标准。1993年5月,多媒体个人计算机市场协会公布了MPC2标准。1995年6月,多媒体个人计算机工作组公布了MPC3标准。46软硬件最低配置、升级规范声音、图像、视频、动画的播放视频压缩技术MEPG指标1.2多媒体技术的发展目前,多媒体技术的发展趋势是逐渐把计算机技术、通信技术和大众传播技术融合在一起,建立更广泛意义上的多媒体平台,实现更深层次的技术支持和应用。471.2多媒体技术的发展从多媒体应用方面看,有以下几个发展趋势:从单个PC用户环境转向多用户环境和个性化用户环境;从集中式、局部环境转向分布式、远程环境;从专用平台和系统有关的解决方案转向开放性、可移植的解决方案;多媒体通信从单向通信转向双向通信;从被动的、简单的交互方式转向主动的高级的交互方式;从改造原有的应用转向建立新的应用。481.3多媒体技术的应用领域1.3.1娱乐1.3.2教育与培训1.3.3电子出版物1.3.4咨询、信息服务与广告1.3.5工业控制与科学研究1.3.6医疗影像与远程诊断1.3.7多媒体办公系统1.3.8通信系统中的应用491.3.1娱乐家庭信息中心视频点播系统高清晰电视与数字电视影视娱乐业50511.3.2教育与培训计算机辅助教学计算机辅助学习计算机化教学计算机化学习计算机辅助训练计算机管理教学52531.3.3电子出版物软件游戏电影书籍杂志报纸541.3.4咨询、信息服务与广告平面设计与广告业网络信息旅游业551.3.5工业控制与科学研究工业控制科学计算可视化过程模拟领域561.3.6医疗影像与远程诊断远程医疗保健医疗诊断系统571.3.7多媒体办公系统办公信息管理电话会议、电视会议多媒体邮件581.3.8通信系统中的应用可视电话视频会议远程文件传输浏览与检索多媒体信息资源多媒体邮件远程教学591.4多媒体研究的主要内容与核心技术要把一台普通的计算机变成具有多媒体计算功能的计算机,要解决多种媒体的数字化、压缩、通信传输、存储、同步回放等一系列的关键技术问题。综合起来讲,多媒体技术的核心问题应当是:多媒体信号数字化与计算机获取技术;多媒体数据压缩编码和解码技术;多媒体数据的实时处理和特技效果技术;多媒体数据的输出与回放技术。601.4多媒体研究的主要内容与核心技术如何高效地解决如上问题,也是多媒体相关研究领域及本课程研究的核心问题。多媒体技术的研究涉及到:媒体数字化技术、数据压缩编解码技术、多媒体存储技术、硬件平台、软件平台、多媒体数据库、超文本和超媒体、虚拟现实、人机接口、多媒体通信技术以及分布式多媒体等众多领域。611.4多媒体研究的主要内容与核心技术1.多媒体数据压缩编解码技术在多媒体计算机系统中要表示、传输和处理大量的声音、图像甚至影像视频信息,其数据量之大是非常惊人的,加之信息品种多、实时性要求高,给数据的存储和传输以及加工处理均带来了巨大的压力。因此,在采用新技术增加CPU处理速度、存储容量和提高通信带宽的同时,还须研究高效的数据压缩编解码技术。62多媒体数据压缩编码和解码技术

过去计算机企图综合处理声、文、图,但是不可以,原因在于:文件量过大631.4多媒体研究的主要内容与核心技术以一幅彩色静态图像(RGB)为例:BGR设分辨率为512

512每一种颜色用8bit表示即R用8bit256级别表示

G用8bit256级别表示

B用8bit256级别表示则一幅彩色静态图像的数据量为

512

51238bit64

PAL是通用于中国大陆与西欧大部分国家(除去法国)的彩色电视信号格式,以交错方式扫描,每秒钟出25幀画面,每幀画面含625条水平扫描线,50Hz。

NTSC制式,美国、日本等国采用,每秒钟出30幀画面,每幀画面含525条水平扫描线,60Hz。

SECAM——通用于法国,中东,和多数东欧国家,25幀/秒,625线/幀,50Hz.65PAL,SECAM制式25帧/秒NTSC制式30帧/秒以PAL制25帧/秒为例,视频每秒钟的数据量512

5123825=180Mbps66过去,计算机的总线为ISA(16位),ISA总线时钟最大8MHz,ISA总线的传输率最大为16MB/s

变成bit为16M8=128

Mbps

把180Mbps的视频流经过传输率为16MB/s(128

Mbps

)的ISA总线送到计算机的硬盘几乎是不可能的。180Mbps的视频流>

ISA总线(128

Mbps)67

陆地卫星(Landsat—3)的例子,其水平、垂直分辩率分别为2340和3240,四波段采样精度7位,它的一幅图像的数据量为2340×3240×7×4=212Mbit,按每天30幅计,每天数据为212×30=6.36Gbit,每年的数据量高达2300Gbit。单纯扩大存储容量,增加通信干线的传输率是不现实的,数据压缩是行之有效的方法。68

现在VCD的标准MPEG-1的固定传输率为1.5Mbps

通过MPEG-1可以把这个视频流传输到计算机并存储。如何压缩数据?

帧内压缩帧间压缩69帧内压缩图——Bitmap——存储器——颜色相同的块——帧内压缩70习题1.多媒体数据压缩编解码技术帧内压缩71i行,j列的图像分成8×8的块每块的均值作为新图像的一个点写程序完成这个过程帧间压缩不变化部分:只传送一次变化部分:传送一个运动矢量721.4多媒体研究的主要内容与核心技术2.多媒体数据存储技术随着多媒体与计算机技术的发展,多媒体数据量越来越大,对存储设备的要求越来越高。因此,高效快速的存储设备是多媒体技术得以应用的基本部件之一。731.4多媒体研究的主要内容与核心技术3.多媒体数据库技术多媒体数据库是一个由若干多媒体对象所构成的集合,这些数据对象按一定的方式被组织在一起,可为其他的应用所共享。多媒体数据库管理系统则负责完成对多媒体数据库的各种操作和管理功能,包括对数据库的定义、操纵和控制等这样一些传统数据库功能。此外,还必须解决一些新的问题,如海量数据的存储功能、信息提取功能等。741.4多媒体研究的主要内容与核心技术4.超文本和超媒体技术超文本和超媒体技术是一种模拟人脑的联想记忆方式,把一些信息块按照需要用一定的逻辑顺序链接成非线性网状结构的信息管理技术。超文本技术以节点作为基本单位,这种节点要比字符高出一个层次。由链把节点链接成网状结构,即非线性文本结构。这种已组织成网的信息网络即是超文本。751.4多媒体研究的主要内容与核心技术5.智能多媒体技术智能多媒体是一种更加拟人化的高级智能计算技术。多媒体技术的进一步发展迫切需要引入人工智能,要利用多媒体技术解决计算机视觉和听觉方面的问题,必须引入知识,这必然要引入人工智能的概念、方法和技术。

761.4多媒体研究的主要内容与核心技术6.多媒体信息检索技术多媒体信息检索是根据用户的要求,对图形、图像、文本、声音、动画和视频等多媒体信息进行检索,以得到用户所需的信息。多媒体信息检索系统有着广阔的应用前景,它将广泛地应用于电子会议、远程教学、远程医疗、电子图书馆

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论