多媒体技术MultimediaTechnology

1、多媒体技术多媒体技术Multimedia Technology全校公选课： 3*12=36学时，2学分研究生选修课：3*18=54学时，3学分电子课件：电子课件：http:/ 多媒体技术基础. 清华大学出版社/北京交通大学出版社，2009.9.成绩成绩：考勤答问5% + 平时作业15% + 大作业20%+ 期末考试（开卷笔试）60%课程要求课程要求 内容内容：多媒体技术的内容丰富且应用广泛。通过本课程的学习，掌握各种媒体(文、声、图、像、动画、视频)的性质；掌握多媒体数据的压缩算法、编码标准与存储格式；了解光存储和多媒体网络通信等技术；了解超文本的概念与模型；了解多媒体技术的主要应用。 重点重

2、点：数据压缩、编码标准、标记语言（网页设计） 、开发编程。参考书参考书 林福宗. 多媒体技术基础(第3版). 清华大学出版社，2009.1. 李泽年、Mark S. Drew. 多媒体技术教程. 机械工业出版社，2007.1. Tay Vaughan. 多媒体技术及其应用（第6版）. 清华大学出版社，2004.11 鄂大伟. 多媒体技术基础与应用（第二版）. 高等教育出版社，2003.9. 钟玉琢等. 多媒体技术基础及应用. 清华大学出版社，2000.8. Ralf Steinmetz & Klara Nahrstedt. 多媒体原理（第一册）媒体编码及内容分析. 电子工业出版社，20

3、03.8. 作业要求 编程工具：Visual C+ 或 Java、VB、C#等 提交的作业内容：（说明文档占作业成绩的30%以上） 说明性文档：姓名、学号、章节，题目的名称、内容和要求，使用的算法、方法和技术，程序的模块、功能和使用方法、界面/结果画面、参考文献、心得体会。（电子文档，老Word格式.doc文件） 源程序：工作区与项目文件(*.sln与*.vcproj)、头文件(*.h)、代码文件(*.cpp)、资源文件(*.rc)等文件及资源目录res、数据文件、可执行文件的发行版。（不要其他中间文件及整个Debug子目录和Release子目录中的非可执行文件） 注意：作业包名应该包含自己的

4、学号、姓名，及与作业内容相关的文字串（如“12380123张三-文字.rar”、“13380124李四-压缩.rar”、“14380125王五-网页.zip”） 提交作业的方式：将作业打包后作为电子邮件附件，发到我的邮箱 。 交平时作业的时间：布置作业后一周之内第第1章章 引论引论 1.1 媒体与多媒体 媒体、多媒体 1.2 多媒体技术 概念、主要特点、定义 1.3 意义、简史与内容 1.1 媒体与多媒体媒体与多媒体 多媒体技术 = 多种 + 媒体 + 技术 媒体 媒体(medium) = 信息的载体(复数media) 1993年国际电信联盟(ITU = International Telec

5、ommunication Union) 定义了五种媒体 本课程所说的媒体是指感觉媒体 计算机(多媒体技术)所处理的媒体主要是表示媒体国际电信联盟ITU定义的五类媒体 感觉(Perception)媒体：人的感官能感觉到的东西，如声音、文字、图像、质地、气味、温度、压力等； 表示(Representation)媒体：为了加工感觉媒体而构造出来的一种媒体，如各种编码。即感觉媒体的数字化编码（人造媒体），如各种媒体文件； 展现(Presentation)媒体：感觉媒体与通信电信号进行转换的一类媒体，它又可分为：输入展现媒体，输出展现媒体。即I/O工具与设备； 存储(Storage)媒体：用于存放表示媒

6、体的物理实体，如：纸、唱片、录音带、录像带、胶片，内存、硬盘、光盘、磁带等； 传输(Transmission)媒体： 用来将表示媒体从一处传送到另一处的物理传输介质，如通信电缆、光纤、电磁空间等。多媒体 多媒体：多种媒体（文本、图形、图像、声音、动画、视频等）的综合。 计算机技术的发展（处理对象）：操作系统：无OS DOS/Unix MacOS/Windows/X-Window Linux/iOS/Android编程语言：Fortran COBOL Basic/C C+/Java/C#/Object-C处理数据：数字 字符 图形 多媒体适用对象：专家 商用 通用 人性化人类接受外部信息的途径与

7、所占的百分比 感觉（感官）百分比视觉（眼）80%听觉（耳）10%嗅觉（鼻）味觉（舌）触觉（皮肤）10%Ted Nelson：“我们居身在媒体世界里就像鱼生活在水中”媒体的种类 目前的计算机主要处理6种视觉和听觉媒体：文本、图形、图像、声音、动画、视频等。 气味（嗅觉）和压力（触觉）媒体（平版电脑和智能手机的触摸屏主要用作输入设备）也有少量应用（如仿真影院、游戏操纵杆、虚拟现实等），但不太普及；味觉媒体至今仍未见应用；所以，这些媒体种类本课程将不予讨论。 可以依据是否与时间相关，将媒体分成如下两类： 静态媒体（离散媒体/非时基媒体）：与时间无关的媒体，如文本、图形、图像； 流式媒体（连续媒体/时

8、基媒体）：与时间有关的媒体，如声音、动画、视频。该类媒体有实时和同步等要求。 1.2 多媒体技术多媒体技术1.2.1 概念的抽象层次： 哲学/信念(社科) | 科学/研究(理科) | 工程/应用（工科） 主义主义思想思想 理论理论方法方法技术技术工艺工艺 产品产品 信仰 观念 体系 算法 应用 操作 生产 技术：方法的应用，理论性不强、实用性强 多媒体技术：没有自己的成套理论，是各种相关方法的综合应用。为计算机应用学科的一个分支。 定义：计算机综合处理多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性的一种技术。（至今无严格统一的定义） 1.2.2 多媒体技术的主要特点(1)

9、多样性：多种媒体、丰富感觉(2) 集成性：多种媒体信息与技术设备的综合集成与同步(3) 交互性：人机交互、主动参与(4) 实时性：流媒体（音频/动画/视频）传统电视符合(1)(2)(4)，但不符合(3) 数字电视全符合多媒体的其他特点：数字化、数据量巨大（所以数据压缩是多媒体的核心技术核心技术） 1.3 意义、简史与内容意义、简史与内容1.3.1 多媒体技术的意义多媒体技术的意义 人类最重要的三大资源：材料（物质）、能源（动力）、信息（数据） 信息技术的五飞跃：印刷术、广播电视、计算机、多媒体、因特网（万维网） 信息环境E = 多媒体m * 计算机c * 通信c （质能公式E = mc2） 信

10、息时代计算机的发展方向：智能（聪明）+ 多媒体（人性化）+ 网络（便捷）= 智能手机/普适计算？1.3.2 多媒体技术的简史下面从图形用户界面、光存储、多媒体系统、压缩编码标准、网络与标记语言等几个方面来介绍多媒体技术的发展简史。 图形用户界面： 1950年MIT的林肯实验室推出CRT显示器 1963年Douglas Engelbart发明鼠标，1968年他公开演示视窗与人机界面、超媒体和群件 1972年Alan Kay设计出面向对象的Smalltalk语言，首创下拉式菜单，提出GUI概念 1973年施乐Xerox公司的PARC研究中心推出具有图形用户界面（键盘+显示器 / 鼠标+位图）的原型

11、机Alto 1982年多伦多大学发明感应食指指压的多点触控（multi-touch）屏幕。1984年贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏 1984年Apple公司推出Macintosh计算机(Motorola 6800)，在微机中引入图形界面；1987年8月Apple公司在Mac机中引入超级卡HyperCard系统，使其成为多媒体计算机 1985年MIT推出X-Window（Unix的图形界面） 1985年11月Microsoft推出Windows 1.0（PC机的图形界面），1990年5月Windows 3.0获得成功，1992年4月推出多媒体操作系统(MOS) Windo

12、ws 3.1，1999年推出具有流媒体功能的MOS Windows 2000，2006年11月推出具有3D用户界面的Windows Vista（远景），2012年10月推出支持Metro卡片界面与多点触控的Windows 8 2005年9月17日日本的任天堂公司发布了Wii游戏机的Wii遥控器，支持指向定位与动作感应；Wii遥控器 2007年1月Apple推出支持多点触控的智能手机iPhone，大获成功，开创了智能手机的新时代； 2008年4月17日Microsoft推出支持多点触控和声音指令的Surface技术；PlayStation Move 2009年6月2日索尼公司推出了针对其Play

13、Station 3 (PS3) 游戏机的PlayStation Move控制器，配合PlayStation Eye可提供了六轴感应、振动及体感功能； 2010年11月4日微软推出针对其Xbox 360游戏机的体感设备Kinect for Xbox 360，不需要手持或踩踏控制器，可使用语音指令或手势来操作游戏机界面，并能捕捉玩家全身上下的动作，用身体来玩游戏。2012年2月1日又推出面向Windows的Kinect版本“Kinect for Windows”； 2011年10月14日Apple推出同时支持多点触控和智能语音指令的iPhone 4S。 2013年3月14日三星推出的Galaxy

14、S4智能手机，支持悬浮操作和眼球控制。体感输入设备 任天堂的Wii遥控器 索尼的PS运动控制器 微软的Kinect 光存储： 1981年Philips & Sony 推出CD-DA； 1985年Philips & Sony 推出CD-ROM； 1993年JVC、Philips、Matsushita、Sony联合推出VCD； 1995年9月Sony & Philips / Toshiba & Time Warner推出DVD； 2002年2月索尼等9个公司提出蓝光盘BD(Blu-ray Disc)，单层25GB/双层50GB/四层100GB/八层200GB； 20

15、05年2月23日EVD成为中国电子行业推荐性标准（采用DVD-9介质和新压缩算法，可实现全高清19201080i的视频编码与重放）； 2009年12月17日 蓝光光盘协会(BDA)正式宣布完成Blu-ray 3D标准的制定； 2014年9月5日BDA宣布4K Blu-ray Disc标准将支持4K分辨率（4096*2160）的视频、采用H.265/HEVC编码、数据率50100Mbps，计划于2014年底推出标准、2015年春夏发放许可、2015年秋冬推出4K-BD机。 压缩编码标准： 1986年CCITT与ISO成立JPEG(Joint Photographic Experts Group，

16、联合图象专家组) 1991年公布静态图像压缩标准JPEG(ISO/IEC 10918) 2000年12月公布JPEG 2000(ISO/IEC 15444) 1988年成立MPEG(Moving Picture Expert Group，运动图像专家组) ：(MPEG1/2的视频压缩率为30倍左右) 1992年11月推出MPEG-1(ISO/IEC 11172) 1994年11月推出MPEG-2(ISO/IEC 13818) 1998年10月推出MPEG-4(ISO/IEC 14496) 2001年9月推出MPEG-7(ISO/IEC 15938) 2001年12月开始推出MPEG-21 (I

17、SO/IEC 21000) 1996年10月W3C推出静态图像编码标准PNG； 2001年12月MPEG与ITU-T的VCEG共同成立的JVT (Joint Video Team，联合视频组)： 2003年5月推出了视频编码标准H.264/AVC（Advanced Video Coding，先进视频编码），对应于MPEG-4的第10部分AVC（ITU-T H.264、ISO/IEC 14496-10），其压缩率是MPEG1/2的3倍左右 2013年4月13日又推出了压缩比是H.264/AVC的2倍左右的视频编码标准H.265，对应于MPEG-H的第2部分HEVC（High Efficiency

18、 Video Coding，高效视频编码）（ITU-T H.265、ISO/IEC 23008-2） 2006年2月22日中国公布先进音视频编码国家标准AVS（Audio Video coding Standard，音视频编码标准）的视频部分（GB/T 20090.2-2006） 2009年7月AVS与H.264/AVC和VC1被ITU并列为IPTV的三大视频编码标准 2011年6月AVS成为我国数字电视接收机唯一必须支持的视频编码标准 2012年7月支持3D高清视频编码的AVS+的第一部分成为广电行业标准GY/T 257-2012 2012年12月31日公布AVS的系统部分（GB/T 200

19、90.1-2012）、符合性测试部分（GB/T 20090.4-2012）和参考软件部分（GB/T 20090.5-2012） 2014年8月支持超高清视频编码的第二代AVS标准AVS2的制订工作已经完成，现在正在公开征求意见 网络与标记语言： 1983年因特网的前身ARPANet启用TCP/IP协议集； 1989年Tim Berners-Lee提出HTML/HTTP，创立万维网；1994年他又牵头成立万维网协会W3C； 1990年Tim Berners-Lee发明了首个（只支持文本的）网页浏览器WorldWideWeb；1993年初，Marc Anderressen与Eric Bina合作开

20、发出支持内嵌图像的网页浏览器马赛克（Mosaic），1994年10月Anderressen等人创办的网景公司Netscape推出了Navigator浏览器；1995年网景公司的Brendan Eich发明了JavaScript，为网页浏览器提供了脚本功能和动态能力；1995年微软公司购得马赛克技术，并在此基础上开发出IE（Internet Explorer，因特网探索者）浏览器，随Windows 95免费推出；1998年2月23日Netscape推出了开源项目Mozilla，2002年9月23日推出Mozilla Fixfox（火狐）浏览器，2008年9月2日谷歌在Mozilla的基础上开发出Google Chrome（铬）浏览器； 1998年2月W3C推出XML；接着W3C又推出基于XML的系列应用标准，如SMIL(多媒体集成，1998年6月)、XHTML（网页描述，2000年1月）、SVG(二维矢量图与动画，2000年9月)等。1.3.3 多媒体技术的内容 多媒体技术的内容广泛，涉及多个学科和领域。多媒体技术的教材的内容选取和编排也各不相同，主要分为两类： 应用型简单介绍媒体的基本属性，重点讲解各种用户级的多媒体素材和著作工具软件的使用，如Photoshop、Corel Dr