多媒体复习资料

1、第一章多媒体技术概述一、 媒体1,含义：媒体(Media)就是指信息的载体，其本质是信息传播的技术和手段。2 .按照媒体的发展，媒体可以分为传统媒体和新媒体：传统媒体：广播、电视、报刊杂志新媒体：基于互联网、PC和移动终端技术的数字媒体技术，包括网站、博客、微博、微信、手机App等。3 .国际电信联盟(International Telecommunication Union , ITU)对媒体进行了详细的分类：1) 感觉媒体(Perception media )：指直接作用于人的感觉器官、从而为人的感知系统 所接受的信息形态或媒体形式。举例：文字、声音、图形、图像、动画、视频2) 表示媒体(

2、Presentation media)：指感觉媒体在电子设备、计算机、网络等系统内部的存在形式，即编码形态的媒体。举例：计算机系统中的 ASCII码、国家标准汉字字符集的区位码、字符的点阵码、音频、图像与视频编码。3) 表现媒体(Representation media ):指将编码形式的媒体显示成感觉媒体的设备或 技术，实际上就是指多媒体系统的输入、输出设备。举例：显示器、投影仪、打印机、绘图仪、有源或无源音箱、键盘、鼠标、摄像机、 麦克风。4)存储媒体(Store media):指用于存放表示媒体(即编码形态的媒体)的设备或技 术。举例：内存、寄存器、磁盘、磁带、光盘、 USB盘。5)传输

3、媒体(Transmission media):指用于传送表示媒体的设备或技术。举例：双绞线、电缆、光纤、空气、电磁波。二、 多媒体1 .含义：多媒体就是指能够同时处理两种以上感觉媒体的计算机系统，其目标是为用户提供更丰富的应用体验。2,多媒体技术的特征：1)媒体类型或媒体技术的多样性。一个可以被称为多媒体的应用系统，必须至少集成了两种不同类型的媒体及其相关技术。该特征是多媒体系统的本质特征，也是其魅力所在。2) 媒体内容的同步性(synchronization ) o在多媒体应用系统中，多种媒体是融合在一 起的，它们是以一种协同的方式工作的。3) 交互性(Interactive )。与交互性密

4、切相关的另外两个概念是人机交互 (Human-Computer Interaction ,HCI)和人机界面(Human-Compute门nterface ,HCI)。 前者是研究、设计、评价和实现交互式计算系统的科学。人机界面则是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。3.多媒体应用：1)大众传媒领域大众传媒(mass media)是指传播速度快、覆盖范围广、影响效果大的媒体， 主要包括报纸、广播、电视、电影、互联网等。2)消费电子领域消费电子(consumer electronics )产品是指用于个人和家庭的与广播、电视有 关的各类音频和视频产品，主要包

5、括：电视机、影碟机(VCD SVCD DVD)、录像机、摄录机、收音机、收录机、组合音响、激光唱机(CD)、视频游戏设备、智能电视机顶盒等。3)现代教育技术领域现代教育技术是指建立在信息与网络技术基础之上的教育教学手段构成的系 统。4)多媒体通信领域数字通信是用数字信号作为载体来传输消息，或用数字信号对载波进行数字调制后再传输的通信方式。它可传输电报、数字数据等数字信号，也可传输经过数字 化处理的语声和图像等模拟信号。数字通信系统通常由用户设备、编码与解码、调制和解调、加密和解密、传输和交换设备等组成。多媒体通信是指在一次呼叫过程中能同时提供多种媒体信息如声音、图像、图形、数据、文本等的新型通

6、信方式，所以，它是通信技术和多媒体技术相结合的产物。视频会议是最典型的多媒体通信系统，它由视频会议终端、 会议服务器、多点控制单元（MCU）等子系统构成。多媒体技术在视频会议终端中占有重要地位，主要包括音视频数据的采集、编码、解码、传输与呈现等处理。5） 表演与会展6） Web应用Web应用是指基于浏览器/服务器模型的应用系统，在客户端表现为浏览器页面，是一种以HTTP协议为核心的网络应用。数量最多的Web应用是各类网站，如门户网站（搜狐、163、新浪等）、搜索网站（百度等）和各种专业网站（音乐、 视频、软件、行业等等）。7） 物联网领域物联网是通过各种信息传感设备及系统（如传感器网络、射频识

7、别（RadioFrequency Identification, RFID）、红外感应器、条码与二维码、全球定位系统、激光 扫描器等）和其它基于物物通信模式的短距离无线传感网络，按约定的协议，把物体接入互联网所形成的一个巨大的智能网络。8） 军事领域首先，多媒体技术在战场信息采集和传输中具有重要的作用，例如通过图像、 视频和音频信息的采集获取战场和相关地域的直观战况和态势，能够为指挥决策提供有力支持。其次，多媒体技术在军事指挥系统中也扮演重要角色。目前最现代化的军事指挥系统被称为 C4ISR 系统（C4 表示 Command > Control > Communication &g

8、t; Computer, I 表示 Information , S 代表 Surveillance, R 表示 Reconnaissance）,以美国的国家军事指挥中心为典型代表。第三，军事训练中应用了大量多媒体技术。 为了提高军事训练效果、节省训练 成本，各国军事训练系统都不同程度地采用了基于多媒体技术的各种模拟、仿真训练方法。9） 游戏与软件游戏软件通常是指各种游戏规则与声音图像视频相结合的软件产品。目前，在网络上我们经常看到的大型3D网络游戏和网页游戏等都是通过用3DMAX、MAYA、FLASH等多媒体软件和 JAVA C+、VB、HTML5等程序语言相结合而开发出来的， 所以叫游戏软件

9、。4,多媒体技术的体系结构1）硬件平台层现代多媒体计算平台，从硬件配置上看，主要包括如下几个方面：a） 光盘驱动器：包括可重写光盘驱动器（ CD-R） WORM光盘驱动器和 CD-ROM 驱动器。b）音频卡：在音频卡上连接的音频输入输出设备包括话筒、音频播放设备、MIDI合成器、耳机、扬声器等。数字音频处理的支持是多媒体计算机的重要方面， 音频卡具有A/D和D/A音频信号的转换功能， 可以合成音乐、混合多种声源， 还可以外接 MIDI电子音乐设备。c）图形加速卡：图文并茂的多媒体表现需要分辨率高，而且同屏显示色彩丰富的显示卡的支持，同时还要求具有Windows的显示驱动程序，并在 Window

10、s下的像素运算速度要快。所以现在带有图形用户接口GUI加速器的局部总线显示适配器使得Windows的显示速度大大加快。d）视频卡：可细分为视频捕捉卡、视频处理卡、视频播放卡以及TV编码器等专用卡，其功能是连接摄像机、VCR影碟机、TV等设备，以便获取、处理和表现各种动画和数字化视频媒体。e）扫描卡：它是用来连接各种图形扫描仪的，是常用的静态照片、文字、 工程图 输入设备。f） 打印机接口：用来连接各种打印机，包括普通打印机、激光打印机、彩色打印机等，打印机现在已经是最常用的多媒体输出设备之一了。g）交互控制接口：它是用来连接触摸屏、鼠标、光笔等人机交互设备的，这些设 备将大大方便用户对MPC的

11、使用。h）网络接口：是实现多媒体通信的重要MPC扩充部件。计算机和通信技术相结合的时代已经来临，这就需要专门的多媒体外部设备将数据量庞大的多媒体信 息传送出去或接收进来，通过网络接口相接的设备包括视频电话机、传真机、LAN 和 ISDN 等。2）操作系统层计算机操作系统是管理计算机软硬件资源，控制其他程序运行，并为用户提供操作界面的系统软件的集合。操作系统中配置的重要多媒体组件如下：a） 编解码器（codec, coder和decoder合成词语）：是系统中完成媒体数据 压缩、解压缩、格式转换（转码）等操作的软件，在多媒体操作系统中居 核心地位。b） 媒体服务器（media server）：

12、一种通过网络或平台向用户提供各种多媒体 业务所需的媒体资源功能的系统软件，通常表现为操作系统中的媒体服务（media service） 组件。c） 多媒体编程接口：应用编程接口是指一组数量可观、结构复杂的子程序、 函数、变量、常量、类、数据结构，是应用系统设计与实现的软件资源。Windows操作系统中常见的多媒体编程接口有DirectX、DirectShow、Media Foundation > SilverLight等。Andriod操作系统下，开发人员可以使 用Media APIs,实现移动设备上的MP3、MP4、高清视频播放等等。3）应用系统层整个多媒体技术架构的最上层是各类多媒体

13、开发工具和应用系统。最典型的应用系统是各类多媒体著作或编辑工具，如Photoshop、Authorware、川ustrator、PowerPoint > Premier > 3D Max 等等。5 .多媒体应用系统设计面临的挑战1）数据量大2） 实时性要求高3）同步性要求严格4）数据来源繁多6 .多媒体技术的核心问题暂无第二章数字音频基础1 .含义：声音是物体振动形成的机械波，称为声波。声波通过介质(例如空气、水等)传播到听觉系统里产生听觉反应。声音本质上是介质的周期振动。2 .基本属性：频率和振幅频率：指振动的快慢，通常用每秒钟的振动次数表示(赫兹)。人耳可以听到的声音频率范围在

14、20到2万赫兹之间。高于这个范围的波动称为超声波( Ultrasonic),而低于这一范围的称为次声波(Subsonic)。我们把人类听觉系统所能听到的声音称为音频(Audio)。振幅：指声波在某个位置上的瞬时强弱。3 . 三要素：音高、音质(音色)、音强二、从模拟到数字1 .模拟音频信号：用连续变化的电压或电流表示的音频信号。2 .数字音频信号：通过采样和量化技术获得的离散性(数字化)音频数据。3 .采样：指以一定的频率(或周期)捕获模拟音频信号，从而得到一系列离散化音频样本的过程。采样频率：单位时间内捕获的样本个数，是采样周期的倒数。采样定理：将频带为F的模拟音频信号 f(t)采样为离散化

15、样本序列f(t0+At)> f(t0+2 t) - f(t0+nAt)B,如果1Gt (即采样频率)大于 2F,即采样频率大于模拟信号频带F的两倍，则可从离散样本序列恢复原来的信号f(t)o序号*杆顿半(kHz)应用跖合弧嬴济帝DVD (HD-DVD),或先CD4K毂字电机，DVD344.耳逋CD唱盘422.05码携广插511,025敢宇之话6帽访、互联月通信常见的采样频率及其应用场合T4 .量化：指用若干比特表示一个样本的过程。量化深度(bit depth )：表示一个样本所使用的比特数。采样是时间上的离散化，而量化则是空间上的离散化。5 .编码：以某种格式最终生成数字音频数据流的过程

16、，所得到的数字音频数据将会被存储、传输或者进行各种处理。模拟音频数字化的三个步骤是采样、量化、编码。三、声卡1 . 结构:2 .功能模块1) DSP Digital Signal Processor 数字信号处理负责采样、量化、编码和解码、数模转换2) Synthesizer :合成器负责将数字音频波形数据或MIDI消息合成为声音。3) ROM or/and RAM :波表 /软波表ROM存放有实际音乐设备的声音样本，用于合成，称之为波表RAM能够被新的样本数据更新，称之为软波表。4) Mixture :混声器负责过滤以降低噪音、混合不同的声音信号、单/双通道转换、音量调节四、数字音频编码1

17、.含义：指将模拟音频转换成数字音频并以某种格式存储的技术或过程。2 .种类：1） PCM（Pulse Code Modulation脉冲编码调制）编码：即通过脉冲编码调制方法生成数 字音频数据的技术或格式。a）系统原理系统由三个部分构成：防失真滤波器：它是一个低通滤波器，用来滤除音频信号以外的信号。波形编码器：主要完成采样任务。量化器：负责对样本进行量化，即对每一个样本赋予一个对应的二进制数据，从而彳#到PCM样本序列，作为系统的输出。其实，量化器输出的PCM样本序列还会进一步被编制成格式化的二进制码流，包括帧和通道的构成，这个处理可以视为狭义的编码过程。b）量化分类均匀量化（线性量化）：指采

18、用相等的量化间隔（量化阶跃）进行的量化。量化间隔：指将整个量化空间分割成若干离散的有限状态后，相邻的两个离散状态值之间的差值。* -砧输 由Ift据 .1 1I，生化网隔为门）-Li111111_东梓捺K样本值X1的XjXjx5%x7非均匀量化(非线性量化)：指量化间隔在量化空间中不是一个常数的量 化。般情况下，量化间隔的大小分布服从一种非线性函数，对小的输入信号采用较小的量化间隔，大的输入信号则采用较大的量化间隔。分类:1 律压扩-.-Law):所定义的函数关系如下：X：输入信号的幅值，其大小归一化为-1和+1之间的一个小数,即-1 W xW 1 osgn(x): x的极性，也就是信号的正负

19、。科：一个常量参数，由最大量化间隔和最小量化间隔之比决定，一般在100500之间取值。科值越大，整个对数曲线越往上拱， 反之就越靠近45度的线性量化曲线。在具体实现时，科一般取255,并把对数曲线变成8条折线以简化计算。A律压扩(A-Law):所定义的函数关系如下:X：为输入信号的幅度，归一化成为-1 < X < 1。Sgn(x):x的极性，也就是信号的正负。A:为确定压缩量的参数，为最大量化间隔和最小量化间隔之比。A律压扩的前一部分是线性的，以1/A为分界点，其余部分与科律压扩类似，为对数函数。具体计算时，A取87.56。为简化计算，同样把整个曲线变成8条折线。2) DM(Del

20、ta Modulation增量调制)编码：通过增量起伏来记录模拟音频信号实际变化 过程的数字音频编码。a) 原理理xl x2书网 x5 k网 x7 x8 x9中胭11中2一xi：编码输出yi ： yi的预测值yi：第i个采样值A :量化间隔连续的1表示信号在上升，每次上升一个A ；连续的。表示信号在下降，每次下降一个A ；在信号的平缓部分，编码输出表现为0和1的交错，即数字化信号以阶A的大小上下起伏，用以记录模拟波形的平缓变化(对DM编码来说只能这 样做)。伪代码描述：Algorithm : DM 编码input:模拟信号样本序列output : DM编码比特流 x口DM_coding()(/

21、初始化阶段x0 = 1; /第一个编码比特等于1y0 = 0; /第一个样本的预测值赋 0while(输入第i个样本)/预测值计算阶段if (xi-1 = 1 ) /如果前一个编码输出是1yi = yi-1 + A ; /则当前样本的预测值等于前一个预测值加A)elseyi = yi-1 - A ; /当前样本的预测值等于前一个预测值减A)/编码阶段if(yi > yi) /如果实际样本值大于预测值xi = 1;编码输出等于1)Elsexi = 0; /否则，编码输出等于0)b)优缺点优点数据量得到显著压缩。DM编码总是用一个比特来表示一个样本，即对应一个样本的编码不是1就是0。所以，D

22、M编码被称为一位系统。缺点? 斜率过载如果输入信号变化太快，那么预测信号将不能保持对输入信号的跟踪， 因为当前预测值只能在前一次预测值的基础上加1个A (或减1个A ),也就是说，由于量化阶跃A固定不变，导致预测值跟不上信号的变化。这种现象称为增量调制器的 “斜率过载"(slope overload ), 即模拟信号的斜率太大，超过了量化阶跃允许的变化幅度。一般来说，当输入信号的变化速度超过输出信号的最大变化速度时，就会出现斜率过载。? 粒状噪声当输入信号变化比较平缓时，增量调制器的编码输出为交错出现的0和1,即数字信号并不平缓，而是以量化阶跃A的大小起伏变化，这 就相当于引入了噪声

23、信号。DM编码器的这种噪声是系统固有的，不 可能彻底消除。3) ADPCM(Adaptive Difference Pulse Code Modulation,自适应差分脉冲编码调制 ):利用 样本与样本之间的高度相关性和量化阶自适应来压缩数据的一种波形编码技术a) 原理第一，使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测值之间的差值总是最小，并对差值进行编码。第二，利用自适应的思想在时间维度上改变量化阶跃的大小，对小的差值使用4) SB-ADPCM（Sub Band-ADPCW带自适应差分脉冲编调制 ）：是一种融合了子带与自适应差分脉冲编调制技术的新型编码方法。SBC（Sub

24、 Band Coding子带编码）：子带编码使用一组带通滤波器（Band-Pass Filter,BPF）把输入音频信号的频带分成若干个连续的子频段，子频段又称为子带。对每 个子带中的音频信号采用独立的编码方案编码。在传输编码信号时，系统会采用复用技术，将所有子带的编码整合起来传输。在接收端解码时，首先进行解复用，即把各个子带信号分解出来，然后对每个子带的数据独立解码。当然，最后还原音频信号时，系统会把所有子带的解码信号融合起来，从而还原成原来的音频信号。这里的融合，实际上就是相加，即某一时刻的还原信号样本等于同一时刻所有子带样 本之和。3.数字音频编码国际标准序号标准名称编码算法基本属性1G

25、.711PCM（含线性、科律以及A律PCM编码算法）采样频率为8kHz,每样本8 bits,数据率为 64kbps2G.721ADPCM采样频率为8kHz,每样本4 bits,数据率为 32kbps3G.722SB-ADPCM米样频率为 8kHz,每样本高于带 2 bits ,低于带6位，数据率为 64kbps4G.723ADPCM采样频率为8kHz,每1本3或5 bits,数据率为24或40kbps5G.723.1LPC提供5.3kbps、6.3kbps两种速率的配置第三章音频数据处理程序设计一、波形音频文件1 .含义：波形音频文件（WAVE文件）是存储数字音频样本（samples）序列的格

26、式文件， 这些样本直接记录了音频的波形，故称波形音频文件。2 . 格式标准：RIFR Resource Interchange ），一个 WAVE文件的最开头四个字节便是 "RIFF'：3 .组成：WAVE文件是由若干个 Chunk （可以翻译为块）组成的。按照在文件中的出现位置，它们分别是 RIFF WAVE Chunk Format Chunk、Fact Chunk （可选）和 Data Chunk。RIFF WAVE Chunk ID -'RIFF' RillType =Formiii ChunklD=Tm1Pact Chun k(opt lonal)

27、ID - TacfData Chunk ID -1) RIFF WAVE Chunk字段名称所占字节数具体内容ID4 Hytes"RIFF,Size4 Bytes由数据决定Type4 Bytea"WAVE"size是整个wav文件大小减去ID和Size所占用的字节数，即 -8 = Sizastruct RIFF_HEADERIdiar szRiffiD4; / R、T；FrFDWORD dwR田Si女：charszRiaFormat4J; / W/AW/K字我名彝所占字节教具体内容ID4 BytesTmi*Sl2£4 Bytew驳值为16或IK./则最后

28、行图加信息ForrndlTug2 Hytcs编码方式，一般为0x0001Channels2 Bytes声道敦耳，k单声道，2:此声道SiimplcsPerSec,4 Hytcs采样微率AvgBylesPe! S<c4 Bytes每秒掰需字节数BlockAlign2载据块对齐单位（等个采件需者的字节数）BdsPerStnple2 Bytes每小泉样需要的3蒙& 口2 Bytes附加陆息（可选，通过加来到斯有无struct WAVL FORMAT(WORD wFoimatlag, WORD wChannels;DWORD dSitmp 1 csJerSec;DWORD dwAvByi

29、esPerSec;WORD wBlock Align;WORD tvBils Per Sample:struct FMT BLOCK!char szFmtlDH; /Y/in'X1 DWORD dwFmtSi7e;WAVE FORMAT wavFornujL；字段名称所占字节激具体内容4 BytesfarfSize4 Byres赶住为4data4 Uytes用户定义Fact Chunk是可选字段，一般当wav文件由某些软件转化而成，则包含该 Chunk。stnict FAC1- BLOCK "char SzFactID4;Z/lf；al；c,TDWORD dwFsi 点加；4

30、) Data Chunk字段名祢所占字节敕具体内蒙ID4 BytesSize4 Btcs音频数据的大小da taii*不趣过m停所 能表示的字节数音频数据.是文件的主体根据Format Chunk中的声道数以及采样bit数，wav数据的bit位置可以分成以下4种形式：单声道8bit量化样本1样本2样本3样本4声道0闺声道0声道0（在）声道。Ci）8bit量化样本1样本2声道0 （左）宙道1值）声道。（左）£道1古）单声道I6bil i：化祥本1样本2声道0 （£）（低位字节）步道。（左）（高值字节）声道0 （左）（低位字节）声道0 （左）高位字节）双产it16Mt量化样本1

31、声道Q （安）（低位字节）声道0（左） （“字节）声道1 （右） f低位字节）声道1 （右）（高位字外）Channel 0Sample 1Channel 0Sample 2单声道、每样本8 Bits情形（singleChannel 0Sample 3channel 8 Bitsper sample）：»HChannel 0Channel 1双声道、每样本8 Bits情形(double channels, 8 Bits per sample)：Channel 0Channel 1Sample 1Sample 1Sample 2Sample 2Channel 0>JChannel

32、0单声道、每样本16 Bits情形Channel 0Ckamiel 0(single channel,16 Bits persample):.Sample 1Sample 2Channel 0Sample 1Channel 0双声道、每样本16 Bits情形 (doublechannels. 16 Bits per sample )：Channel 1Channel 1Channel 0Channel 0Channel 1Channel 1stnict DATA_BLOCKchar szDattID钻讥尔也讨DWORD dwDataSize;；Sample 1Sample 2Sample 2二

33、、音频播放程序1 .利用PlaySound函数播放音频文件1) 基本介绍：PlaySound是Windows系统提供的基本音频播放函数，在C/C+中使用。PlaySound函数不仅能够播放波形音频文件，而且可以播放系统事件对应的音频。2) 原型：BOOL PlaySound( LPCTSTR pswSowd HMODULEhmod, DWORD fdwSoiindpszSound:字符串变量，指向播放的波形音频文件，可以为NULL,这时任何当前播放的音频将停止hmod：可执行文件的句柄，该可执行文件包含了需要加载的资源。一般情况下，hmod被设置为 NULL。fdwSound :播放标识，有

34、15种取值：? SDN_ASYNC异步播放，即调用 PlaySound函数后声音开始播放，而调 用立即返回，无需等待播放完毕。? SDN_SYNC同步播放，即调用要在播放完毕后才能返回。?SND_RESOURCE此时hmod设置为一个可执行文件的句柄。? SND_ALIAS此时pszSound不能是文件名，而必须是注册的事件别名。3) 核心代码：switch (wmId)case ID_DISP_SOUND: /控彳IDPlaySound(L"angry_bird.wav",NULL,SND_ASYNC); /播放音频 break;case ID_STOP_SOUND:Pl

35、aySound(NULL, NULL,SND_ASYNC);停止播放break;2 . 基于 MF Media Session的音频播放1) 基本框架：2) 基础过程：调用 MFStartup 函数进行 Media Foundation platform 的初始化；调用 MFCreateMediaSession 函数创建一个 Media Session 对象实例；利用 Source Resolver创建媒体源。创建Topology,并将媒体源节点与SAR节点连接起来。实际上，应用程序在这里只需要创建一个Partial Topology (部分拓扑)，然后将媒体源与输出节点SAR连接，这时，Pa

36、rtial Topology能够自动在两者之间插入必要的解码器， 这体现出 Media Foundation的智能性；调用 IMFMediaSession:SetTopology 将 Topology 设置至U Media Session;使用 IMFMediaEventGenerator 接口从 Media Session 取得事件；调用 IMFMediaSession:Start 启动播放。之后， 可以调用IMFMediaSession:Pause、IMFMediaSession:Stop 暂停、停止播放。退出应用程序时，需调用 IMFMediaSession:Close关闭Media S

37、ession。该方 法是异步的，因此，当调用完毕， Media Session发送MESessionClosed事件， 并能够安全处理后面的操作。3.音频转码程序1） 功能：将 MP3、WMA以及AVI、WMV中的音频数据转换成 WAV文件输出的功2） 函数声明：#Liwhide "sidafvli"include "try.hptcmpklc t)id SafeRcleas4T 41 *ppT) if (*ppT)( *ppT)->Rekiise();*ppT = NULL;HRESULT rriteWavehiMIMFSourcekeader*, HAN

38、DLE LONG);HRESULT ConfigurcAudioSircamtlMFSaurceRcadcr4.1M! McdiaTypc*4);HRESULT WriteWaveHeadrtHAWDLE, IMFMediaType*, DWORDt)；DWORD CalculateMaxAudioDataSizcdtrMcdiaTypc*, DWORDDWORD);HRESULT WriieWaveDatafHANDLE, MFSourRcadcr*t DWORD, DWORD*);HRESULT Fix! p( hunkSizcMHANDLR, DWORD. DWORD);HRESULT Wr血ToFiMHANDLE, “oid*, DW