多媒体复习资料(20210212114936)

1、第一章 多媒体技术概述一、 媒体1.含义：媒体( Media )就是指信息的载体，其本质是信息传播的技术和手段。2.按照媒体的发展，媒体可以分为传统媒体和新媒体： 传统媒体：广播、电视、报刊杂志新媒体：基于互联网、PC和移动终端技术的数字媒体技术，包括网站、博客、微博、 微信、手机 App 等。3.国际电信联盟(In ternatio nal Telecommu ni cati on Un io n，ITU)对媒体进行了详细的分 类：1)感觉媒体(Perception media):指直接作用于人的感觉器官、从而为人的感知系 统所接受的信息形态或媒体形式。举例：文字、声音、图形、图像、动画、视

2、频2)表示媒体(Presentation media):指感觉媒体在电子设备、计算机、网络等系统 内部的存在形式，即编码形态的媒体。举例：计算机系统中的 ASCII 码、国家标准汉字字符集的区位码、字符的点阵码、 音频、图像与视频编码。3)表现媒体( Representation media ) ：指将编码形式的媒体显示成感觉媒体的设备 或技术，实际上就是指多媒体系统的输入、输出设备。举例：显示器、投影仪、打印机、绘图仪、有源或无源音箱、键盘、鼠标、摄像 机、麦克风。4)存储媒体(Store media):指用于存放表示媒体(即编码形态的媒体)的设备或 技术。举例：内存、寄存器、磁盘、磁带、光

3、盘、 USB 盘。5)传输媒体(Transmissionmedia):指用于传送表示媒体的设备或技术。 举例：双绞线、电缆、光纤、空气、电磁波。二、 多媒体1.含义：多媒体就是指能够同时处理两种以上感觉媒体的计算机系统，其目标是为用户 提供更丰富的应用体验。2.多媒体技术的特征：1)媒体类型或媒体技术的多样性。一个可以被称为多媒体的应用系统，必须至少集 成了两种不同类型的媒体及其相关技术。该特征是多媒体系统的本质特征，也是 其魅力所在。2)媒体内容的同步性( synchronization )。在多媒体应用系统中，多种媒体是融合在 一起的，它们是以一种协同的方式工作的。3)交互性( Inter

4、active )。与交互性密切相关的另外两个概念是人机交互( HumanComputer In teraction , HCI)和人机界面(Huma n-Computer In terface, HCI)。前 者是研究、设计、评价和实现交互式计算系统的科学。人机界面则是人与计算机 之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。3.多媒体应用：1)大众传媒领域大众传媒( m ass medi a )是指传播速度快、覆盖范围广、影响效果大的媒体， 主要包括报纸、广播、电视、电影、互联网等。2)消费电子领域消费电子(consumer electronics)产品是指用于个人和家庭的

5、与广播、电视有关的各类音频和视频产品，主要包括：电视机、影碟机(VCD、SVCD、DVD)、录像机、摄录机、收音机、收录机、组合音响、激光唱机(CD)、视频游戏设备、智能电视机顶盒等。3)现代教育技术领域 现代教育技术是指建立在信息与网络技术基础之上的教育教学手段构成的系统。4)多媒体通信领域 数字通信是用数字信号作为载体来传输消息，或用数字信号对载波进行数字 调制后再传输的通信方式。它可传输电报、数字数据等数字信号，也可传输经过 数字化处理的语声和图像等模拟信号。数字通信系统通常由用户设备、编码与解码、调制和解调、加密和解密、传 输和交换设备等组成。多媒体通信是指在一次呼叫过程中能同时提供多

6、种媒体信息如声音、图像、 图形、数据、文本等的新型通信方式，所以，它是通信技术和多媒体技术相结合 的产物。视频会议是最典型的多媒体通信系统，它由视频会议终端、会议服务器、多点控制单元（MCU）等子系统构成。多媒体技术在视频会议终端中占有重要地位， 主要包括音视频数据的采集、编码、解码、传输与呈现等处理。5）表演与会展6） Web 应用Web 应用是指基于浏览器 / 服务器模型的应用系统，在客户端表现为浏览器 页面，是一种以HTTP协议为核心的网络应用。数量最多的Web应用是各类网站，如门户网站（搜狐、 163、新浪等）、搜索网站（百度等）和各种专业网站（音乐、 视频、软件、行业等等）。7）物联

7、网领域物联网是通过各种信息传感设备及系统（如传感器网络、射频识别（RadioFrequency Identification, RFID）、红外感应器、条码与二维码、全球定位系统、激 光扫描器等）和其它基于物物通信模式的短距离无线传感网络，按约定的协议， 把物体接入互联网所形成的一个巨大的智能网络。8）军事领域首先，多媒体技术在战场信息采集和传输中具有重要的作用，例如通过图像、 视频和音频信息的采集获取战场和相关地域的直观战况和态势，能够为指挥决策提供有力支持。其次，多媒体技术在军事指挥系统中也扮演重要角色。目前最现代化的军事 指挥系统被称为C4ISR系统（ C4表示Command、 Cont

8、rol、 Communication 、 Computer， I 表示 Information ， S 代表 Surveillance， R 表示 Reconnaissance） ，以美国的国家军事指挥中心为典型代表。第三，军事训练中应用了大量多媒体技术。为了提高军事训练效果、节省训 练成本，各国军事训练系统都不同程度地采用了基于多媒体技术的各种模拟、仿 真训练方法。9）游戏与软件 游戏软件通常是指各种游戏规则与声音图像视频相结合的软件产品。目前， 在网络上我们经常看到的大型3D网络游戏和网页游戏等都是通过用3DMAX、 MAYA、 FLASH 等多媒体软件和 JAVA、 C+、 VB、 HT

9、ML5 等程序语言相结合而开发出来的，所以叫游戏软件。4.多媒体技术的体系结构轴恥：川 對耐伽 购现实 腳:紳 事數悴检微一橫作SH|廿颉州澤训悴 现颍瞬惟例鉴 瓏检n务對 网塔賤口編闻張口1）硬件平台层现代多媒体计算平台，从硬件配置上看，主要包括如下几个方面:a）光盘驱动器：包括可重写光盘驱动器（CDR）、WORM光盘驱动器和CD-ROM 驱动器。b）音频卡：在音频卡上连接的音频输入输出设备包括话筒、音频播放设备、MIDI合成器、耳机、扬声器等。数字音频处理的支持是多媒体计算机的重要方面，音频卡具有 A/D和D/A音频信号的转换功能，可以合成音乐、混合多 种声源，还可以外接 MIDI电子音乐

10、设备。c）图形加速卡：图文并茂的多媒体表现需要分辨率高，而且同屏显示色彩丰富的显示卡的支持，同时还要求具有Win dows的显示驱动程序，并在Windows下的像素运算速度要快。所以现在带有图形用户接口GUI加速器的局部总线显示适配器使得 Windows的显示速度大大加快。d）视频卡：可细分为视频捕捉卡、视频处理卡、视频播放卡以及TV编码器等专用卡，其功能是连接摄像机、VCR影碟机、TV等设备，以便获取、处理和表现各种动画和数字化视频媒体。e）扫描卡：它是用来连接各种图形扫描仪的，是常用的静态照片、文字、工程 图输入设备。f）打印机接口：用来连接各种打印机，包括普通打印机、激光打印机、彩色打

11、印机等，打印机现在已经是最常用的多媒体输出设备之一了。g）交互控制接口：它是用来连接触摸屏、鼠标、光笔等人机交互设备的，这些设备将大大方便用户对 MPC的使用。h）网络接口：是实现多媒体通信的重要MPC扩充部件。计算机和通信技术相结 合的时代已经来临，这就需要专门的多媒体外部设备将数据量庞大的多媒体信息传送出去或接收进来，通过网络接口相接的设备包括视频电话机、传真机、LAN和ISDN等。2)操作系统层 计算机操作系统是管理计算机软硬件资源，控制其他程序运行，并为用户提 供操作界面的系统软件的集合。操作系统中配置的重要多媒体组件如下：a)编解码器( codec， coder 和 decoder

12、合成词语)：是系统中完成媒体数 据压缩、解压缩、格式转换(转码)等操作的软件，在多媒体操作系统 中居核心地位。b)媒体服务器(media server)：种通过网络或平台向用户提供各种多媒 体业务所需的媒体资源功能的系统软件，通常表现为操作系统中的媒体 服务(media service) 组件。c)多媒体编程接口：应用编程接口是指一组数量可观、结构复杂的子程序、 函数、变量、常量、类、数据结构，是应用系统设计与实现的软件资源。Windows操作系统中常见的多媒体编程接口有DirectX、 DirectShow、 Media Foundation 、 SilverLight 等。 Andriod

13、 操作 系统下，开发人员可以使用MediaAPIs,实现移动设备上的MP3、MP4、高清视频播放等等。3)应用系统层 整个多媒体技术架构的最上层是各类多媒体开发工具和应用系统。最典型的 应用系统是各类多媒体著作或编辑工具,如Photoshop、 Authorware 、 Illustrator、 PowerPoint、 Premier、 3D Max 等等。5.多媒体应用系统设计面临的挑战1)数据量大2)实时性要求高3)同步性要求严格4)数据来源繁多6.多媒体技术的核心问题暂无第二章 数字音频基础声音1.含义：声音是物体振动形成的机械波，称为声波。声波通过介质（例如空气、水等）传播到听觉系统里

14、产生听觉反应。声音本质上是介质的周期振动。2.基本属性：频率和振幅频率：指振动的快慢，通常用每秒钟的振动次数表示（赫兹） 。人耳可以听到的声音频 率范围在 20 到 2 万赫兹之间。高于这个范围的波动称为超声波（ Ultrasonic ），而低于 这一范围的称为次声波（Subsonic）。我们把人类听觉系统所能听到的声音称为音频（ Audio ）。振幅：指声波在某个位置上的瞬时强弱。3.三要素：音高、音质（音色） 、音强从模拟到数字1.模拟音频信号：用连续变化的电压或电流表示的音频信号。2.数字音频信号：通过采样和量化技术获得的离散性（数字化）音频数据。3.采样：指以一定的频率（或周期）捕获模

15、拟音频信号，从而得到一系列离散化音频样 本的过程。采样频率：单位时间内捕获的样本个数，是采样周期的倒数。米样定理：将频带为F的模拟音频信号f（t ）米样为离散化样本序列f（tO+ ）、f（t0+2 f（t0+n 后，如果 t （即米样频率）大于 2F,即米样频率大于模拟信 号频带 F 的两倍， 则可从离散样本序列恢复原来的信号f（t）。并号汇样颉軒(kHzJ高DVD (FID-DVD t2救年电肌TAP344.1呼组CD唱盘422.C5调噩广桶51 1.025菽寧电话6a常见的采样频率及其应用场合f4.量化：指用若干比特表示一个样本的过程。量化深度(bit depth)：表示一个样本所使用的比

16、特数。采样是时间上的离散化，而量化则是空间上的离散化。5.编码：以某种格式最终生成数字音频数据流的过程，所得到的数字音频数据将会被存储、传输或者进行各种处理。模拟音频数字化的三个步骤是采样、量化、编码。三、 声卡1.结构：2.功能模块1)DSP Digital SignalProcessor 数字信号处理负责采样、量化、编码和解码、数模转换2） Synthesizer:合成器负责将数字音频波形数据或MIDI消息合成为声音。3） ROMor/and RAM:波表 /软波表ROM存放有实际音乐设备的声音样本，用于合成，称之为波表RAM能够被新的样本数据更新，称之为软波表。4） Mixture :混

17、声器负责过滤以降低噪音、混合不同的声音信号、单/双通道转换、音量调节四、数字音频编码1.含义：指将模拟音频转换成数字音频并以某种格式存储的技术或过程。2.种类：1） PCM（PulseCode Modulation脉冲编码调制）编码：即通过脉冲编码调制方法生成数字音频数据的技术或格式。a）系统原理Ando 卵AiitFiilias4Wave tisnnPCM codetnpul.FillerC IHICT橫松&頻PCM 硝就椅洁号输入血系统由三个部分构成：防失真滤波器：它是一个低通滤波器，用来滤除音频信号以外的信号。波形编码器：主要完成采样任务。量化器：负责对样本进行量化，即对每一个样本赋予一

18、个对应的二进制数据， 从而得到 PCM样本序列，作为系统的输出。其实，量化器输出 的PCM样本序列还会进一步被编制成格式化的二进制码流，包括帧和 通道的构成，这个处理可以视为狭义的编码过程。b）量化分类均匀量化（线性量化）：指采用相等的量化间隔（量化阶跃）进行的量 化。量化间隔：指将整个量化空间分割成若干离散的有限状态后，相邻的两 个离散状态值之间的差值。非均匀量化（非线性量化）：指量化间隔在量化空间中不是一个常数的 量化。般情况下，量化间隔的大小分布服从一种非线性函数，对小的输入信分类:律压扩（卩丄aw）:所定义的函数关系如下:(/WE即-1 w xW 1。sgn（x）:x的极性，也就是信号

19、的正负。卩:一个常量参数，由最大量化间隔和最小量化间隔之比决定, 般在100500之间取值。卩 值越大，整个对数曲线越往上拱，反之弄址帝加（Zx:输入信号的幅值，其大小归一化为-1和+1之间的一个小数,号采用较小的量化间隔，大的输入信号则采用较大的量化间隔。a)原理就越靠近45度的线性量化曲线。在具体实现时，卩一般取255，并把对数曲线变成8条折线以简化计算。? A 律压扩(A-Law):所定义的函数关系如下：(A)=sgn(x) -0U 1/1耳(X)= sgn書号心 卜| IX：为输入信号的幅度，归一化成为-1 x yi) / 如果实际样本值大于预测值xi =1; / 编码输出等于 1El

20、sexi =0;/ 否则，编码输出等于 0b） 优缺点优点 数据量得到显著压缩。 DM 编码总是用一个比特来表示一个样本，即对 应一个样本的编码不是 1 就是 0 。所以， DM 编码被称为一位系统。缺点? 斜率过载如果输入信号变化太快，那么预测信号将不能保持对输入信号的跟踪，因为当前预测值只能在前一次预测值的基础上加1个（或减1个）,也就是说，由于量化阶跃固定不变，导致预测值 跟不上信号的变化。这种现象称为增量调制器的“斜率过载”（ slope overload ） ，即模拟信号的斜率太大，超过了量化阶跃允许 的变化幅度。一般来说，当输入信号的变化速度超过输出信号的最 大变化速度时，就会出现

21、斜率过载。? 粒状噪声当输入信号变化比较平缓时，增量调制器的编码输出为交错出现的0和1,即数字信号并不平缓，而是以量化阶跃的大小起伏变化，这就相当于引入了噪声信号。 DM 编码器的这种噪声是系统固有的， 不可能彻底消除。3） ADPCM（Adaptive Difference Pulse Code Modulation, 自适应差分脉冲编码调制 ）：利 用样本与样本之间的高度相关性和量化阶自适应来压缩数据的一种波形编码技术a） 原理第一,使用过去的样本值估算下一个输入样本的预测值,使实际样本值和预测值之间的差值总是最小,并对差值进行编码。 第二,利用自适应的思想在时间维度上改变量化阶跃的大小,

22、对小的差值使 用小的量化阶跃（），对大的差值则使用大的量化阶跃进行编码。4） SBADPCM（SubBand-ADPCM,子带自适应差分脉冲编调制）：是一种融合了子带与自适应差分脉冲编调制技术的新型编码方法。SBC（Sub BandCod in g,子带编码）：子带编码使用一组带通滤波器（Ban d-PassFilter，BPF）把输入音频信号的频带分成若干个连续的子频段，子频段又称为子带。对每个子带中的音频信号采用独立的编码方案编码。在传输编码信号时，系统会采用复用技术，将所有子带的编码整合起来传输。在接收端解码时，首先进行解复用，即把各个子带信号分解出来，然后对每个子带的数据独立解码。当然

23、，最后还原音频信号时，系统会把所有子带的解码信号融合起来，从而还原成原来的音频信号。这里的融合，实际上就是相加，即某一时刻的还原信号样本等于同一时刻所有子带样本之和。3.数字音频编码国际标准序号标准名称编码算法基本属性1G.711PCM （含线性、卩律以及A律PCM编码算法）采样频率为8kHz,每样本8 bits，数据率为64kbps2G.721ADPCM采样频率为8kHz,每样本4 bits，数据率为32kbps3G.722SBADPCM米样频率为8kHz,每样本咼子带2bits，低子带6位，数据率为64kbps4G.723ADPCM采样频率为 8kHz,每样本3或5 bits,数据率为24

24、或40kbps5G.723.1LPC提供 5.3kbps、6.3kbps两种速率的配置第三章音频数据处理程序设计一、波形音频文件1.含义：波形音频文件（WAVE文件）是存储数字音频样本（samples）序列的格式文件， 这些样本直接记录了音频的波形，故称波形音频文件。2.格式标准：RIFF（ Resource Interchange File Format），个 WAVE 文件的最开头四个字 节便是“ RIFF”。3.组成：WAVE 文件是由若干个 Chunk （可以翻译为块）组成的。按照在文件中的出现位置，它们分别是RIFF WAVE Chunk、Format Chunk、Fact Chun

25、k （可选）和 DataChu nk。RIFF WAVE Chunk ID - RIFF RiltType = +WAVEfForm til ChunkID = finiILKC Chunkf optkiriAl) ID =旳旳Dm 険 CtwnkID da畑1) RIFFWAVEChu nk字段塔称所占字节教鼻体內容IID4 Hytes“RIFF*Si/e4 Bytes由数据决走Eype4 BytesWAVE11size是整个wav文件大小减去ID和Size所占用的字节数，即FileLen - 8 = Size=trucl ftIFf IlFADFR1 一char szRiillDH;旷 D

26、WORD dwRtffiize;trhar/.2)Format Chunk字侵若希跻上宇节数具献内畧ID4 RytxfnirSiz?4 hiyleii然桂方“亂廿，僚迥最J&疔阳脚信札? R 徧码方扎，一吧却（hOOGI：hinndii2 Hytcs声遇掘目，It单/!. 2;址声逍SamplFcrSfc4 H札样*fl半AByiesPcr5ix4 BytesBlocLAlign2 Byks龍搦肚科养单值（寿子沆样需黄的子节$0HihFci Sample2 B4esf母个采聊霍婪的閒釵&忤2 fl-T -附狗淸思（可选，運谊创恥眾却斷育无）_siruct WAVR FORMATrtWORD w

27、FormaiTag:WORD Channels;7 WORD dwSa mpl esPerSec;DWORD dw/SvgByiCiiPcrSet;WORD wftlockAlin:WORD Ei-itsPcrSampk;struct FMT rtLCK Kchar szFmiID4;/T；m,/* WORD dwFmiSize;WMT FORMAT wayForniai,3) FactChu nk字段名痂所占字节雜具体內営1D4 BytesTacFSie4 Bytes觀值为4data4 Byres用户定楚Fact Chunk是可选字段，一般当 wav 文件由某些软件转化而成，则包含该Chun

28、k。struct FACT BLOCKchar旺F兀HD4;卑月上T DWORD dwFactSic;4) Data Chunk分成以下4种形式：4F+ 1样本2样本3忏益4羊声道 Bbit 耋 H女逋。CA）声適0 (A)4連Q （左）占逍0 g样杓邨跟IRbit 量 ft玄逋仆（A）走道K右）帝逍0 (4)声迪1（6）怦本1聊本2IE6hit童化韦道U左）（低位丰节）序逋（圭）高位字节）Xo（ tj（UChannel 0Sample 1双声道.每样本16 Bits情形(doublechannels, 16 Bits per sample):Channel 1- Channel 1Chann

29、el 0Channel 0Sample 1Sample 2Sample 2struct DATA JiLOCK(char szDataID4;/,dtXT：a, DWORD dvvDataSizc;二、音频播放程序1.利用PlaySound函数播放音频文件1)基本介绍：PlaySound是Windows系统提供的基本音频播放函数，在C/C+中使用。PlaySound函数不仅能够播放波形音频文件，而且可以播放系统事件对应的音 频。2)原型：BOOL PlaySoundf LPCTSTR pszSound HMODULE hmod. DWORD fdwSvund)；pszSound：字符串变量，指

30、向播放的波形音频文件，可以为NULL，这时任何当前播放的音频将停止hmod :可执行文件的句柄，该可执行文件包含了需要加载的资源。一般情况 下，hmod被设置为 NULL。fdwSound :播放标识，有 15种取值：? SDN_ASYNC异步播放，即调用PlaySound函数后声音开始播放，而调用立即返回，无需等待播放完毕。? SDN_SYNC同步播放，即调用要在播放完毕后才能返回。? SND_RESOURCE此时hmod设置为一个可执行文件的句柄。? SND_ALIAS此时pszSound不能是文件名，而必须是注册的事件别名。3)核心代码：switch (wmld)case ID_DISP

31、_SOUND/ 控件 IDPlaySound(Langry_bird.wav,NULL,SND_ASYNC)/ 播放音频break;case ID_STOP_SOUND:PlaySound(NULL,NULL,SND_ASYNC 停止播放break;i rResolverMedia SourceMedia SessionTopologyStream |Decoder1 * 1Decoder2.基于 MF Media Session的音频播放1)基本框架：Application2)基础过程：调用 MFStartup 函数进行 Media Foundation platform 的初始化； 调用

32、MFCreateMediaSession 函数创建一个 Media Session 对象实例； 利用Source Resolver创建媒体源。创建Topology，并将媒体源节点与 SAR节点连接起来。实际上，应用程序 在这里只需要创建一个 Partial Topology (部分拓扑)，然后将媒体源与输出节 点SAR连接，这时，Partial Topology能够自动在两者之间插入必要的解码器，这体现出Media Foundation的智能性；调用 IMFMediaSession:SetTopology 将 Topology 设置到 Media Session;使用 IMFMediaEven

33、tGenerator 接口从 Media Session 取得事件；调用IMFMediaSessio n:Start启动播放。之后，可以调用IMFMediaSessio n:Pause、IMFMediaSession:Stop 暂停、停止播放。退出应用程序时，需调用 IMFMediaSession:Close关闭 Media Session 该方 法是异步的，因此，当调用完毕，Media Session发送 MESessionClosed事件，并能够安全处理后面的操作。3.音频转码程序1)功能：将 MP3、WMA以及AVI、WMV中的音频数据转换成 WAV文件输出的 功能。2)函数声明：inc

34、lude sidaf.W,include *tiy_htemplate vend Safe kc I easel T *ppT) iWppT( *ppT)-Release();*ppT = NULL;HRbSULT VVri(eWavcFiie(MhSourueKeader+. HANDLE, LONG；HRESlt I Configure Audit) Sirwi t M F Surtt： Reader*, IM IKkdiu ryjH；4); HRKSliLT WrheWavcHeadertHANDLE, IMFMedmiype*, UWORD*); DWORD CalcukicKkixAudioDataSirc(TMFMcdiaTypc DWORD, DWORD);HRESL LT WrrieWaveDatHANDLE, lMFSourceRcader*, DWORD, DWORDS ilRESULT FixUpCliLiiikSiycsfllANDLE. DWORD. DWORD);HRRSULT WrireToFiKHAMDLR,也汩=DWORDS勺 uid OnFi le