多媒体技术教程

多媒体技术教程第一页，共八十八页，2022年，8月28日第一章多媒体技术导论1.1多媒体技术的基本概念1.2多媒体技术的发展进程1.3多媒体技术研究的主要内容1.4多媒体计算机的组成1.5多媒体技术的应用领域1.6小结第二页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念1.1.0信息在通常情况下，信息是指“事物运动的状态及状态变化的方式”（站在客观事物立场上），或者是“认识主体所感知或所表述的事物运动及其变化方式的形式、内容和效用”（站在认识主体立场上）。在计算机信息系统中，通过解释、推论、归纳、分析、综合等方法，从数据所获得的有意义的内容称为信息。信息是人们认识世界、改造世界的一种基本资源第三页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念1.1.1媒体和多媒体信息的价值在于交流，信息交流需要载体。人们使用数字、文字、声音和图像等来表达信息、记录信息和传递信息，数字、文字、声音和图像等就称为信息的“媒体”。第四页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念第五页，共八十八页，2022年，8月28日媒体分类视觉视觉（静止）图像图形文字符号语言文字抽象化抽象化（动态）图像图形动态影像视频真实感三维动画二维动画三维动画其它表示为视觉的媒体第六页，共八十八页，2022年，8月28日媒体分类听觉触觉其他感觉抽象化听觉声音声响（自然界）语音（人类语言）音乐其它（嗅觉、味觉等）触觉振动运动传感/发生器第七页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念第八页，共八十八页，2022年，8月28日感知媒体：指人的感觉器官所能感觉到的信息的自然种类。如声音、图形、图像、动画、电影和文本等。人的感觉包括视觉、听觉、触觉、嗅觉、味觉等。感知媒体帮助人类感知环境的信息。目前，人类主要靠视觉和听觉来感知环境的信息。触觉作为一种感知方式也慢慢引入到计算机中。人类从外部世界获取信息的70%~80%是从视觉获得，10%从听觉获得，其余的10%从触觉、嗅觉和味觉获得。

第九页，共八十八页，2022年，8月28日感知媒体例：文本象形文字：foot(埃及）汉字：水（唐朝怀素、东晋王羲之及周朝石鼓文）中国甲骨文字释文旬壬申夕月有食

说明

远在三千年前我国即有关于天文方面的记录，本片甲骨是当时月食的记录。这说明我国具有悠久的文明历史。

第十页，共八十八页，2022年，8月28日感知媒体例：图形和图像图形图像第十一页，共八十八页，2022年，8月28日感知媒体例：动画和视频动画视频第十二页，共八十八页，2022年，8月28日感知媒体例：音频第十三页，共八十八页，2022年，8月28日感知媒体例：音视频第十四页，共八十八页，2022年，8月28日表示媒体：指被交换的数据类型，它们定义信息的特性。表示媒体的特性用信息的计算机内部编码表示，例子有语音PCM编码、图像JPEG编码、文本ASCII编码和乐谱等。

第十五页，共八十八页，2022年，8月28日表现媒体：指为人们再现信息的物理工具和设备（输出设备），或者指获取信息的工具和设备（输入设备）。如显示器、扬声器、打印机等输出类显现媒体，以及键盘、鼠标器、扫描器等输入类表现媒体。

第十六页，共八十八页，2022年，8月28日存储媒体：指存储数据的物理介质，如纸张、磁盘、光碟等。

第十七页，共八十八页，2022年，8月28日传输媒体：指传输数据的物理媒介，如双绞线、同轴电缆、光缆、无线电链路等传输媒体。第十八页，共八十八页，2022年，8月28日传输媒体：电缆（a）双绞线（b）同轴电缆第十九页，共八十八页，2022年，8月28日传输媒体：光纤第二十页，共八十八页，2022年，8月28日传输媒体：无线第二十一页，共八十八页，2022年，8月28日“多媒体（multimedia）”一词大约在1960-1965年开始使用，其中“multi”是“许多”的意思。术语“多媒体”的原意是指“通过计算机、电视、电话等散布和表现用图形、动画、音频、视频、文本等格式编码的信息”。多媒体

=多种媒体数据

+一系列交互第二十二页，共八十八页，2022年，8月28日多媒体

=多种媒体数据

+一系列交互多种媒体数据：多种源的、多种类型的和多种格式的数据（multisource,multitypeandmultiformatdata）的集合。多媒体成分之间的交互：由复杂的关系组成。如果没有这些关系，多媒体只能是音频数据、视频数据与其他数据的简单集合。第二十三页，共八十八页，2022年，8月28日交互交互是人类获取信息、掌握知识的重要途径看见的信息人们只能记住20%听见的信息人们只能记住30%既看见同时又听见的信息人们能记住50%既看见同时又听见并且也参与的信息人们能记住80%第二十四页，共八十八页，2022年，8月28日1.1.3多媒体分类和描述从人类感知角度划分，媒体可以分成听觉媒体、视觉媒体、触觉媒体、嗅觉媒体和味觉媒体等五大类。听觉媒体又称为可聆听（Audio）媒体，视觉媒体又称为可视（Visual）媒体。现在多媒体包含的主要是可听和可视两大类。第二十五页，共八十八页，2022年，8月28日多媒体的描述值（Value）表现域（presentationdomain），又称为表现空间（presentationspace）表现维（presentationdimension）第二十六页，共八十八页，2022年，8月28日多媒体描述值：不同媒体形式的信息都是用“值”来表示表达值可以是一序列连续值或者一个单值序列。不同媒体形式的信息其表示一般也是不同的自包含的量或物理量（例如温度、味觉、嗅觉）符号（例如文字符号，手势）表现域：媒体需要在一定的表现域中才能表现。可以是时间域，空间域，或时间-空间域。示例：超文本（Hypertext）的表现空间是网络空间或赛伯空间（Cyberspace）。立体电影需要四维时空域，即X、Y和Z轴，再加上时间轴。表现维：每一个表现空间有一个或多于一个的表现维示例：声音，一维；图片，2维第二十七页，共八十八页，2022年，8月28日多媒体分类和描述如果媒体的显示域是一个连续域，这种媒体一般称为模拟媒体（analogmedium）或连续媒体（continuousmedium）。如果媒体的显示域是一些离散的点，这种媒体一般称为离散媒体（discretemedium）。

模拟媒体例：时间和幅度均连续离散媒体例：时间和幅度均不连续第二十八页，共八十八页，2022年，8月28日多媒体分类和描述按照显示域里的时间维，媒体被分为非时间媒体或离散媒体与时间媒体或连续媒体两类。

非时间媒体或时间离散媒体。它们由不依赖于时间的信息组成。时间媒体或时间连续媒体。其显示要求随时间变化连续地播放。第二十九页，共八十八页，2022年，8月28日时间离散媒体

第三十页，共八十八页，2022年，8月28日时间连续媒体

第三十一页，共八十八页，2022年，8月28日多媒体分类和描述从网络连接的角度，媒体可以分为非实时媒体和实时媒体两大类。根据应用的不同，上述时间离散媒体既可能是非实时的，也可能是实时的。第三十二页，共八十八页，2022年，8月28日媒体的网络分类媒体类型非实时类实时类文本数据图像离散的连续的容许时延的不容许时延的文本方式聊天及时消息气象报告流式音频/视频交互式音频/视频远程桌面应用不容错的第三十三页，共八十八页，2022年，8月28日数字媒体

在多媒体技术中，绝大多数数字媒体是对模拟媒体进行适当处理而得到的。第三十四页，共八十八页，2022年，8月28日数字媒体

处理大致分为两步：

第一步：对模拟媒体在显示域进行采样（sampling），形成离散媒体。

第二步：对离散媒体的表达值（即第1步得到的样本值）进行量化（quantization）。

采样量化模拟媒体输入数字媒体输出离散媒体第三十五页，共八十八页，2022年，8月28日采样如果对模拟信号，每隔相等的一小段时间采样一次，这种采样称为均匀采样(uniformsampling)；否则称为非均匀采样。通常采用均匀采样。第三十六页，共八十八页，2022年，8月28日量化连续幅度的离散化通过量化来实现，就是把信号的强度划分成一小段一小段，并用某种准则（例如四舍五入）将其数值表示出来。如果幅度的划分是等间隔的，就称为线性量化，否则称为非线性量化。

第三十七页，共八十八页，2022年，8月28日模拟-数字转换的两个问题

采样频率(fs)：每秒钟需要采集多少个信号样本量化精度：每个信号样本的比特数b/s(bitpersample)应该是多少第三十八页，共八十八页，2022年，8月28日奈奎斯特理论（Nyquisttheory）

采样频率不应低于模拟信号最高频率的两倍，这样就能把以数字表达的信号还原成原来的信号，这叫做无损数字化（losslessdigitization）

fs≥2f或者Ts≤T/2其中f为被采样信号的最高频率，T为被采样信号的最低周期，fs称为采样频率，Ts为采样间隔。第三十九页，共八十八页，2022年，8月28日奈奎斯特理论解释模拟信号可看成是由许许多多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为fmax，采样频率最低要选择2fmax。示例：电话话音的信号频率约为3.4kHz，采样频率通常选为8kHz第四十页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念第四十一页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念第四十二页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念1.1.2多媒体技术的关键特性第四十三页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念第四十四页，共八十八页，2022年，8月28日1.1多媒体技术的基本概念第四十五页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第四十六页，共八十八页，2022年，8月28日多媒体技术发展简史启蒙发展阶段标准化阶段蓬勃发展第四十七页，共八十八页，2022年，8月28日启蒙发展阶段远古：壁画，文字报纸：主要使用文字内容，也使用图形和图像

无线电通信：1895年，俄罗斯亚·斯·波波夫和意大利工程师马可尼（GugliemoMarconi）分别独立地实现了第一次无线电传输电视：20世纪出现Memex系统：VannevarBush(1890-1974)在1945年发表的论文“AsWeMayThink”中提出，引入hypertext的概念hypertext（超文本）：1965年，纳尔逊（TedNelson）为计算机上处理文本文件提出了一种把文本中遇到的相关文本组织在一起的方法，并为这种方法杜撰了“hypertext”一词第四十八页，共八十八页，2022年，8月28日启蒙发展阶段（续）1967年，NicholasNegroponte在美国麻省理工学院（MIT）组织体系结构机器组（ArchitectureMachineGroup）。1968年，DouglasEngelbart在SRI演示了NLS系统。1969年，纳尔逊（Nelson）和VanDam在布朗大学（Brown）开发出超文本编辑器。1976年，美国麻省理工学院体系结构机器组向DARPA提出多种媒体（MultipleMedia）的建议。第四十九页，共八十八页，2022年，8月28日启蒙发展阶段（续）多媒体技术实现于20世纪80年代中期1984年美国Apple的Macintosh采用图形用户界面，1987年引入了“超级卡”（Hypercard）

1985年Microsoft公司推出Windows1985年，美国Commodore公司推出世界上第一台多媒体计算机Amiga系统1985年，Negroponte和Wiesner成立麻省理工学院媒体实验室（MITMediaLab）1986年荷兰Philips公司和日本Sony公司联合研制并推出CD-I（compactdiscinteractive，交互式紧凑光碟系统）1987年3月美国无线电公司RCA研究中心在国际第二届CD-ROM年会上展示了这项称为交互式数字视频（DVI，DigitalVideoInteractive）的技术。这便是多媒体技术的雏形1985年10月IEEE计算机杂志首次出版了完备的“多媒体通信”的专集Intel和IBM公司合作，在Comdex/Fall’89展示会上推出ActionMedia750多媒体开发平台。）。1991年，又推出了改进型ActionMediaII第五十页，共八十八页，2022年，8月28日标准化阶段标准化阶段：20世纪90年代以来，多媒体技术逐渐成熟。多媒体技术从以研究开发为重心转移到以应用为重心1989年，TimBerners-Lee向核研究欧洲委员会（CERN，EuropeanCouncilforNuclearResearch）建议建立万维网（WWW，WordWideWeb）。1990年，K.HooperWoolsey建立100人的苹果公司多媒体实验室（AppleMultimediaLab）。1990年10月提出了多媒体个人机的性能标准MPC1.0标准。1993年推出MPC2.0。1995年6月推出MPC3.0。第五十一页，共八十八页，2022年，8月28日标准化阶段（续）1992年，实现网络上的第一个M-Bone音频广播。1993年，在美国伊利诺斯大学的美国超级计算应用国家中心（NCSA，NationalCenterforSupercomputingApplications）开发出第一个万维网浏览器Mosaic。1994年，JimClark和MarcAndreesen开发出万维网浏览器Netscape。1995年，与平台无关的应用开发语言Java面世。第五十二页，共八十八页，2022年，8月28日标准化阶段（续）多媒体数据压缩（编码）和解压（解码）标准传真系统：CCITTGroup2(G2)，CCITTGroup3(1980年)和CCITTGroup4(1984年)静态图像：T.81,JPEG标准（ISO/IEC10918,1991）视频/运动图像：MPEG-1(ISO/IEC11172)、MPEG-2(ISO/IEC13818)和MPEG-4(ISO/IEC14496),H.261，H.263

视频会议：H.320、H.321和H.322，H.323、H.324和H.310更深层次的标准：MPEG-7,MPEG-21光碟标准：CD，DVD第五十三页，共八十八页，2022年，8月28日蓬勃发展多媒体芯片和处理器：奔腾处理器为代表的CPU，图像加速器芯片等AC97杜比数字环绕音响，声卡，视频卡网络电脑(InternetPC、NC)及新一代消费性电子产品：DVD、视频电话、视频会议、数字电视虚拟现实（Virtualreality）……第五十四页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第五十五页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第五十六页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第五十七页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第五十八页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第五十九页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第六十页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第六十一页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第六十二页，共八十八页，2022年，8月28日1.2多媒体技术的发展进程第六十三页，共八十八页，2022年，8月28日1.3多媒体技术研究的主要内容第六十四页，共八十八页，2022年，8月28日1.3多媒体技术研究的主要内容第六十五页，共八十八页，2022年，8月28日1.3多媒体技术研究的主要内容第六十六页，共八十八页，2022年，8月