多媒体技术基础及应用

1、 多媒体技术基础及应用中央广播电视大学袁 薇副教授1多媒体技术基础及应用期末复习2多媒体技术基础及应用期末复习考核要求重点难点题型解析3第1章 多媒体计算机概述 考核要求 掌握：多媒体计算机的定义。理解：什么是多媒体计算机的关键技术、多媒体技术和计算机的融合解决了哪些实际问题。 了解：多媒体计算机发展史上卓有成效的公司和系统。 4第1章 重点难点 多媒体计算机的定义 多媒体计算机的分类 多媒体计算机要解决的关键技术 多媒体计算机的发展趋势 5多媒体计算机的定义多媒体计算机的定义是：计算机综合处理多媒体信息（文本、图形、图像、音频和视频）使多种信息建立逻辑连接、集成为一个系统并具有交互性的技术。

2、简单地说：计算机综合处理声、文、图信息；具有集成性和交互性。 。 6多媒体计算机的分类 一类是家电制造厂商研制的电视计算机（Teleputer），是把CPU放到家电中通过编程控制管理电视机、音响。有人称它为“灵巧”电视-Smart TV； 另一类是计算机制造厂商研制的计算机电视（Compuvision），采用微处理器（80X86，68XXX）作为CPU，其它设备还有VGA卡，CD-ROM，音响设备以及扩展的多媒体家电系统，有人说它的发展方向是TV-Killer。 7多媒体计算机的分类电视计算机计算机电视8多媒体计算机要解决的关键技术视频音频信息的获取技术；多媒体数据压缩编码和解码技术；视频音频

3、数据的实时处理和特技；视频音频数据的输出技术。 9多媒体计算机的发展趋势进一步完善计算机支撑的协同工作环境（CSCW）。智能多媒体系统。把多媒体信息实时处理和压缩编码算法集成到CPU芯片中。 10第2章 音频信息的获取与处理 考核要求掌握：数字音频信息的获取与处理的原理过程、音频卡的工作原理。理解：数字音频采样量化的原理过程、音乐合成的原理。了解：数字音频编码的标准。11第2章 重点难点模拟音频与数字音频的概念音频信号处理的特点是什么 音频卡的功能 音频卡的工作原理 12模拟音频与数字音频的概念 模拟音频是把机械振动转换成电信号，以模拟电压的幅度来表示声音的强弱。 数字音频是把表示声音信号强弱

4、的模拟电压用一系列数字表示，也就是说，把模拟量表示的音频信号转换成由许多1和0组成的二进制数的数字音频文件。 13音频信号处理的特点是什么音频信号是时间依赖的连续媒体。理想的合成声音是立体声。对语音信号的处理，不仅是信号处理问题，还要抽取语意等其他信息。 14音频卡的功能音频卡的功能有以下几个主要方面：音频录放、编辑、音乐合成、文语转换、CD-ROM接口、MIDI接口、游戏接口等。 15第3章 视频信息的获取与处理 考核要求掌握：视频信息的获取与处理的基本原理、彩色全电视信号的组成、视频卡的工作原理。理解：彩色空间的表示及转换、图像文件格式及转换。 16第3章 重点难点彩色空间的概念色度学中的

5、三基色原理 黑白全电视信号和彩色全电视信号 17彩色空间的概念RGB彩色空间 YUV彩色空间 YIQ彩色空间 HSI彩色空间 18彩色全电视信号 彩色全电视信号是由色度信号F、亮度信号Y（或用B表示）、复合消隐信号A（包括行消隐和场消隐信号）、复合同步信号S（包括行同步和场同步信号）等迭加在一起组成的 19色度学中的三基色原理自然界常见的各种颜色光，都可由红（R）、绿（G）、蓝（B）三种颜色光按不同比例相配而成；（2）同样绝大多数颜色也可以分解成红（R）、绿（G）、蓝（B）三种颜色光，这就是色度学中最基本原理，三基色原理。（3）三基色的选择不是唯一的，但三种颜色必须是相互独立的，即任何一种颜色

6、都不能由其他两种颜色合成。 20黑白全电视信号全电视信号主要由图像信号、复合消隐信号（包括行消隐信号、场消隐信号）和复合同步信号（包括行同步信号、场同步信号）三部分组成。 21彩色全电视信号彩色全电视信号是由色度信号F、亮度信号Y（或用B表示）、复合消隐信号A（包括行消隐和场消隐信号）、复合同步信号S（包括行同步和场同步信号）等迭加在一起组成的 22第4章 多媒体数据压缩编码技术 考核要求掌握：数据压缩编码的方法、常用的压缩编码和算法、JPEG的原理和实现技术。理解：量化的原理和量化器的设计、MPEG-1的原理和实现技术。了解：其它的国际标准等。 23第4章 重点难点为什么要进行数据压缩 数据

7、压缩方法的分类 预测编码的基本思想 哈夫曼编码方法 信息熵的概念 24为什么要进行数据压缩多媒体信息包括了文本、数据、声音、动画、图形、图像以及视频等多种媒体信息。虽然经过数字化处理后其数据量是非常大的，如果不进行数据压缩处理，计算机系统就无法对它进行存储和交换。另一个原因是图像、音频和视频这些媒体具有很大的压缩潜力。因为在多媒体数据中，存在着空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余等。它们为数据压缩技术的应用提供了可能的条件。因此在多媒体系统中必须采用数据压缩技术，它是多媒体技术中一项十分关键的技术。 25数据压缩方法的分类常用的压缩编码方法可以

8、分为两大类，一类是无损压缩法；另一类是有损压缩法。常用的数据压缩方法按其原理分类也可分为：预测编码、变换编码、量化与矢量量化编码、信息熵编码、分频带编码、结构编码和基于知识的编码。 26预测编码的基本思想首先建立数学模型，利用以往的样本值对新的样本值进行预测；将样本的实际值与其预测值相减得到一个误差值；对误差值进行编码。27哈夫曼编码方法概率统计（如对一幅图像，或m幅同种类型图像作灰度信号统计），得到n个不同概率的信息符号。 将n个信源信息符号的n个概率，按概率大小排序。 将n个概率中，最后两个小概率相加，这时概率个数减为n-1个。 将n-1个概率，按大小重新排序。 重复，将新排序后的最后两个

9、小概率再相加，相加和与其余概率再排序。 如此反复重复n-2次，得到只剩两个概率序列。 以二进制码元（0.1)赋值，构成霍夫曼码字。编码结束。 28 例如：a1 0.20 01a2 0.19 00a3 0.18 111a4 0.17 110a5 0.15 101a6 0.10 1001a7 0.01 1000 10111000.3900.3510.2600.1100.61129 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 0.110.260.350.390.6130 a1 0.20 a2 0.19 a3 0.18 a4 0.17

10、 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.61131 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.6110132 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.611010033a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.

11、01 10111000.3900.3510.2600.1100.611010011134a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.611010011111035a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.611010011111010136 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0

12、.01 10111000.3900.3510.2600.1100.6110100111110101100137a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.61101001111101011001100038信息熵的概念信息:是用不确定性的量度定义的。信息量:从N个相等可能事件中选出 一个事件所需要的信息度量或含量。熵:如果将信源所有可能事件信息量 进行平均就得到信息的熵(熵就是平 均信息量)。39信息熵的概念信息量:信息熵:40信息熵的概念信源X中有16个随机事件，即n

13、=16。每一个随机事件的概率分别为：X1-X81/32 ； X9-X121/16；X13-X161/8，请写出信息熵的计算公式并计算信源X的熵。 41信息熵的概念42第5章 媒体计算机硬件及软件系统结构 掌握：DVI系统的设计思想和工作原理及其成功和失败的教训。 43第5章 重点难点数字视频交互式多媒体计算机系统 型DVI系统的核心是什么 理想多媒体系统的设计原则 44数字视频交互式多媒体计算机系统DVI ，Digital Video Interactive，数字视频交互式多媒体计算机系统。DVI(Digital Video Interactive),是Intel公司推出的支持对多媒体信息进行

14、处理及表现的一个集成环境。该产品采用了PLV(Product Level Video)视频压缩编码算法；45数字视频交互式多媒体计算机系统设计了两个专用芯片（82750 PB像素处理器及82750 DB显示处理器）；设计制造了三块门阵电路：82750LH主机接口门阵、82750LV VRAM/SCSI/capture接口门阵、82750LA音频子系统接口门阵；首次设计了视频音频引擎 (AVE-Audio Video Engine)；开发了多媒体计算机软件系统： AVSS(Audio Video Sub-System)和AVK(Audio Video Kernel)。 46数字视频交互式多媒体计

15、算机系统DVI系统主要在以下几个方面取得了实质性的突破：一种全数字化的方法视频压缩声音压缩合成图形47数字视频交互式多媒体计算机系统DVI-II型比DVI-I型主要的改进主要有以下几点：性能指标高使用了三个专用的门阵列电路将多块处理板集成为一块处理板 48型DVI系统的核心是什么II型 DVI系统的核心是视频算法和显示引擎；它们是由 82750 PB像素处理器，82750 DB显示处理器和静止图像压缩编码和解压缩算法。49理想多媒体系统的设计原则采用国际标准设计的原则多媒体和通信功能的单独解决变成集中解决体系结构设计和算法相结合把多媒体和通信技术作到CPU芯片中 50第6章 多媒体计算机概述

16、掌握：超文本和超媒体的基本概念、主要特性和体系结构以及超文本和超媒体组成要素。了解：超文本和超媒体的应用及研究的问题。 51第6章 重点难点超文本和超媒体的概念超文本和超媒体的主要特征 超文本的组成要素 超文本和超媒体的两个基本模型 52超文本和超媒体的概念由信息结点和表示信息结点间相关性的链构成的一个具有一定逻辑结构和语义的网络超媒体（Hypermedia)： 超媒体=超文本+多媒体是对超文本的扩展，超文本中节点的数据不仅可以是文本，还可以是图形、图像、动画、声音或它们的组合体。这就形成了超媒体的概念53超文本和超媒体的主要特征多媒体化网络结构交互性54超文本的组成要素结点链55超文本和超媒

17、体的两个基本模型56第7章 多媒体计算机概述 掌握：视频会议系统的组成和基本的工作原理。了解：多媒体数据库及基于内容的检索。 57第7章 重点难点视频会议系统的分类 视频会议系统的组成以及各部分的主要功能。 基于内容检索的关键技术 58视频会议系统的分类视频会议系统根据通讯节点数量分成两类：点对点视频会议系统多点视频会议系统 59视频会议系统的组成以及各部分的主要功能视频会议终端；视频会议终端的主要功能是：完成视频音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端。60视频会议系统的组成以

18、及各部分的主要功能多端控制单元（MCU）；多端控制单元的主要功能是：对视频、语音及数据信号进行切换，例如它把传送到MCU某会场发言者的图像信号切换到所有会场。61视频会议系统的组成以及各部分的主要功能信道（网络）；信道（网络）的主要功能是：保证视频音频数据压缩码流安全在信道上传输到视频会议系统的终端。62视频会议系统的组成以及各部分的主要功能控制管理软件；控制管理软件主要是视频会议系统的标准，其中最著名的标准是H.320系列和T.120系列建议。H系列的建议和标准是专门针对交互式电视会议业务而制定的，而T系列是针对其他媒体的管理功能做出规定，两种协议的结合将使多媒体会议系统的通信有更完善的依据

19、。H.320系列标准包括了视频、音视的压缩和解压缩，静止图像，多点会议，加密及一些改进的特性。T.120是国际电信联盟通信标准部开发的系列国际标准，此标准是为多媒体会议系统中发送数据而制定的。 63题型解析一、单项选择题（每小题2分，共20分） 二、多项选择题（每小题3分，共15分） 三、填空题（每空2分，共10分）四、简答题（每小题6分，共30分）五、综合题（共25分） 64题型解析单项选择1.下列数字视频中哪个质量最好（ ）。A240180分辨率、24位真彩色、15帧/秒的帧率B320240分辨率、30位真彩色、25帧/秒的帧率C320240分辨率、30位真彩色、30帧/秒的帧率D640480分辨率、16位真彩色、15帧/秒的帧率答案：C65题型解析2.下