多媒体技术教程.ppt

1、本科学位课程,武汉大学,2012年秋季学期,多媒体技术,第一章 多媒体技术导论,1.1 多媒体技术的基本概念 1.2 多媒体技术的发展进程 1.3 多媒体技术研究的主要内容 1.4 多媒体计算机的组成 1.5 多媒体技术的应用领域 1.6 小结,1.1 多媒体技术的基本概念,1.1 .0 信息 在通常情况下，信息是指“事物运动的状态及状态变化的方式”（站在客观事物立场上），或者是 “认识主体所感知或所表述的事物运动及其变化方式的形式、内容和效用”（站在认识主体立场上）。 在计算机信息系统中，通过解释、推论、归纳、分析、综合等方法，从数据所获得的有意义的内容称为信息。 信息是人们认识世界、改造世

2、界的一种基本资源,1.1 多媒体技术的基本概念,1.1 .1 媒体和多媒体 信息的价值在于交流，信息交流需要载体。 人们使用数字、文字、声音和图像等来表达信息、记录信息和传递信息，数字、文字、声音和图像等就称为信息的“媒体”。,1.1 多媒体技术的基本概念,媒体分类 视觉,媒体分类 听觉 触觉 其他感觉,其它（嗅觉、味觉等）,1.1 多媒体技术的基本概念,感知媒体：指人的感觉器官所能感觉到的信息的自然种类。如声音、图形、图像、动画、电影和文本等。人的感觉包括视觉、听觉、触觉、嗅觉、味觉等。感知媒体帮助人类感知环境的信息。目前，人类主要靠视觉和听觉来感知环境的信息。触觉作为一种感知方式也慢慢引入

3、到计算机中。 人类从外部世界获取信息的70%80%是从视觉获得，10%从听觉获得，其余的10%从触觉、嗅觉和味觉获得。,感知媒体例：文本,象形文字：foot(埃及）,汉字：水（唐朝怀素、东晋王羲之及周朝石鼓文）,中国甲骨文字 释文 旬壬申夕月有食 说明 远在三千年前我国即有关于天文方面的记录，本片甲骨是当时月食的记录。这说明我国具有悠久的文明历史。,感知媒体例：图形和图像,图形,图像,感知媒体例：动画和视频,动画,视频,感知媒体例：音频,感知媒体例：音视频,表示媒体：指被交换的数据类型，它们定义信息的特性。表示媒体的特性用信息的计算机内部编码表示，例子有语音PCM编码、图像JPEG编码、文本A

4、SCII编码和乐谱等。,表现媒体：指为人们再现信息的物理工具和设备（输出设备），或者指获取信息的工具和设备（输入设备）。如显示器、扬声器、打印机等输出类显现媒体，以及键盘、鼠标器、扫描器等输入类表现媒体。,存储媒体：指存储数据的物理介质，如纸张、磁盘、光碟等。,传输媒体：指传输数据的物理媒介，如双绞线、同轴电缆、光缆、无线电链路等传输媒体。,传输媒体：电缆,（a）双绞线,（b）同轴电缆,传输媒体：光纤,传输媒体：无线,“多媒体（multimedia）”一词大约在1960-1965年开始使用，其中“multi”是“许多”的意思。术语“多媒体”的原意是指“通过计算机、电视、电话等散布和表现用图形、

5、动画、音频、视频、文本等格式编码的信息”。 多媒体 = 多种媒体数据 + 一系列交互,多媒体 = 多种媒体数据 + 一系列交互,多种媒体数据：多种源的、多种类型的和多种格式的数据（multisource, multitype and multiformat data）的集合。 多媒体成分之间的交互：由复杂的关系组成。如果没有这些关系，多媒体只能是音频数据、视频数据与其他数据的简单集合。,交互,交互是人类获取信息、掌握知识的重要途径 看见的信息人们只能记住20% 听见的信息人们只能记住30% 既看见同时又听见的信息人们能记住50% 既看见同时又听见并且也参与的信息人们能记住80%,1.1.3 多

6、媒体分类和描述,从人类感知角度划分，媒体可以分成听觉媒体、视觉媒体、触觉媒体、嗅觉媒体和味觉媒体等五大类。 听觉媒体又称为可聆听（Audio）媒体，视觉媒体又称为可视（Visual）媒体。现在多媒体包含的主要是可听和可视两大类。,多媒体的描述,值（Value） 表现域（presentation domain），又称为表现空间（presentation space） 表现维（presentation dimension）,多媒体描述,值：不同媒体形式的信息都是用“值”来表示 表达值可以是一序列连续值或者一个单值序列。 不同媒体形式的信息其表示一般也是不同的 自包含的量或物理量（例如温度、味觉、嗅

7、觉） 符号（例如文字符号，手势） 表现域： 媒体需要在一定的表现域中才能表现。 可以是时间域，空间域，或时间-空间域。 示例：超文本（Hypertext）的表现空间是网络空间或赛伯空间（Cyberspace）。立体电影需要四维时空域，即X、Y和Z轴，再加上时间轴。 表现维：每一个表现空间有一个或多于一个的表现维 示例：声音，一维；图片，2维,多媒体分类和描述,如果媒体的显示域是一个连续域，这种媒体一般称为模拟媒体（analog medium）或连续媒体（continuous medium）。 如果媒体的显示域是一些离散的点，这种媒体一般称为离散媒体（discrete medium）。,模拟媒体

8、例：时间和幅度均连续 离散媒体例：时间和幅度均不连续,多媒体分类和描述,按照显示域里的时间维，媒体被分为非时间媒体或离散媒体与时间媒体或连续媒体两类。 非时间媒体或时间离散媒体。它们由不依赖于时间的信息组成。 时间媒体或时间连续媒体。其显示要求随时间变化连续地播放 。,时间离散媒体,时间连续媒体,多媒体分类和描述,从网络连接的角度，媒体可以分为非实时媒体和实时媒体两大类。 根据应用的不同，上述时间离散媒体既可能是非实时的，也可能是实时的。,媒体的网络分类,数字媒体,在多媒体技术中，绝大多数数字媒体是对模拟媒体进行适当处理而得到的。,数字媒体,处理大致分为两步： 第一步：对模拟媒体在显示域进行采

9、样（sampling），形成离散媒体。 第二步：对离散媒体的表达值（即第1步得到的样本值）进行量化（quantization）。,采样,如果对模拟信号，每隔相等的一小段时间采样一次，这种采样称为均匀采样(uniform sampling)；否则称为非均匀采样。通常采用均匀采样。,量化,连续幅度的离散化通过量化来实现，就是把信号的强度划分成一小段一小段，并用某种准则（例如四舍五入）将其数值表示出来。如果幅度的划分是等间隔的，就称为线性量化，否则称为非线性量化。,模拟-数字转换的两个问题,采样频率(fs)：每秒钟需要采集多少个信号样本 量化精度：每个信号样本的比特数b/s(bit per samp

10、le)应该是多少,奈奎斯特理论（Nyquist theory）,采样频率不应低于模拟信号最高频率的两倍，这样就能把以数字表达的信号还原成原来的信号，这叫做无损数字化（lossless digitization） fs 2f 或者 Ts T/2 其中f为被采样信号的最高频率，T为被采样信号的最低周期，fs称为采样频率，Ts为采样间隔。,奈奎斯特理论解释,模拟信号可看成是由许许多多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为fmax，采样频率最低要选择2fmax。 示例：电话话音的信号频率约为3.4 kHz，采样频率通常选为8 kHz,1.

11、1 多媒体技术的基本概念,1.1 多媒体技术的基本概念,1.1 多媒体技术的基本概念,1.1 .2 多媒体技术的关键特性,1.1 多媒体技术的基本概念,1.1 多媒体技术的基本概念,1.2 多媒体技术的发展进程,多媒体技术发展简史,启蒙发展阶段 标准化阶段 蓬勃发展,启蒙发展阶段,远古：壁画，文字 报纸：主要使用文字内容，也使用图形和图像 无线电通信：1895年，俄罗斯亚斯波波夫和意大利工程师马可尼（Gugliemo Marconi）分别独立地实现了第一次无线电传输 电视：20世纪出现 Memex系统 ：Vannevar Bush(1890-1974)在1945年发表的论文“ As We Ma

12、y Think”中提出，引入hypertext的概念 hypertext（超文本）：1965年，纳尔逊（Ted Nelson）为计算机上处理文本文件提出了一种把文本中遇到的相关文本组织在一起的方法，并为这种方法杜撰了“hypertext”一词,启蒙发展阶段（续）,1967年，Nicholas Negroponte在美国麻省理工学院（MIT）组织体系结构机器组（Architecture Machine Group）。 1968年，Douglas Engelbart在SRI演示了NLS系统。 1969年，纳尔逊（Nelson）和Van Dam在布朗大学（Brown）开发出超文本编辑器。 1976年

13、，美国麻省理工学院体系结构机器组向DARPA提出多种媒体（Multiple Media）的建议。,启蒙发展阶段（续）,多媒体技术实现于20世纪80年代中期 1984年美国Apple的Macintosh采用图形用户界面，1987年引入了“超级卡”（Hypercard） 1985年Microsoft公司推出Windows 1985年，美国Commodore公司推出世界上第一台多媒体计算机Amiga系统 1985年，Negroponte和Wiesner成立麻省理工学院媒体实验室（MIT Media Lab） 1986年荷兰Philips公司和日本Sony公司联合研制并推出CD-I（compact d

14、isc interactive，交互式紧凑光碟系统） 1987年3月美国无线电公司RCA研究中心 在国际第二届CD-ROM年会上展示了这项称为交互式数字视频（DVI，Digital Video Interactive）的技术。这便是多媒体技术的雏形 1985年10月IEEE计算机杂志首次出版了完备的“多媒体通信”的专集 Intel和IBM公司合作，在Comdex/Fall89展示会上推出Action Media 750多媒体开发平台。）。1991年，又推出了改进型Action Media II,标准化阶段,标准化阶段：20世纪90年代以来，多媒体技术逐渐成熟。多媒体技术从以研究开发为重心转移到

15、以应用为重心 1989年，Tim Berners-Lee向核研究欧洲委员会（CERN，European Council for Nuclear Research）建议建立万维网（WWW，Word Wide Web）。 1990年，K. Hooper Woolsey建立100人的苹果公司多媒体实验室（Apple Multimedia Lab）。 1990年10月提出了多媒体个人机的性能标准MPC 1.0标准。1993年推出MPC 2.0。1995年6月推出MPC 3.0。,标准化阶段（续）,1992年，实现网络上的第一个M-Bone音频广播。 1993年，在美国伊利诺斯大学的美国超级计算应用国家

16、中心（NCSA，National Center for Supercomputing Applications）开发出第一个万维网浏览器Mosaic。 1994年，Jim Clark和Marc Andreesen开发出万维网浏览器Netscape。 1995年，与平台无关的应用开发语言Java面世。,标准化阶段（续）,多媒体数据压缩（编码）和解压（解码）标准 传真系统：CCITT Group 2(G2) ，CCITT Group 3(1980年)和CCITT Group 4(1984年) 静态图像：T.81, JPEG标准（ISO/IEC 10918, 1991） 视频/运动图像：MPEG-1

17、 ( ISO/IEC 11172)、MPEG-2(ISO/IEC 13818)和MPEG-4(ISO/IEC 14496) , H.261，H.263 视频会议：H.320、H.321和H.322，H.323、H.324和H.310 更深层次的标准：MPEG-7, MPEG-21 光碟标准：CD，DVD,蓬勃发展,多媒体芯片和处理器：奔腾处理器为代表的CPU，图像加速器芯片等 AC97杜比数字环绕音响，声卡，视频卡 网络电脑(Internet PC、NC)及新一代消费性电子产品：DVD、视频电话、视频会议、数字电视 虚拟现实（Virtual reality） ,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.2 多媒体技术的发展进程,1.3 多媒体技术研究的主要内容,1.3 多媒体技术研究的主要内容,1.3 多媒体技术研究的主要内容,1.3 多媒体技术研究的主要内容,1.3 多媒体技术