多媒体复习重点2详细版

1、第一章：多媒体技术概论媒体：在计算机领域有含义：即媒质和媒介媒质：存储信息的实体，如磁盘、光盘、磁带、半导体存储器等媒介：传递信息的载体，如数字、文字、声音、图形和图像等媒体的类型感觉媒体：能直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。如语音、音乐、各种图像。表示媒体：为了传送感觉媒体而人为研究出来的媒体。如语言编码、电报码、图像JPEG编码。表现媒体：用于通信中使电信号和感觉媒体之间产生转换用的媒体。如输入、输出设施，键盘鼠标器、显示器、打印机等。存储媒体：用于存放某种媒体的媒体如纸张、磁带、磁盘、光盘等。传输媒体：用于传输某些媒体的媒体，如电话线、电缆光纤等。多媒体技术的关键特

2、性。多样性信息媒体的多样化交互性使用者对信息处理的全过程，能进行完全有效的控制，并将结果进行综合表现集成性?多媒体信息的集成；?处理媒体的设备与设施的集成音频压缩标准G.711标准：电话质量的语音压缩（PCM）,64kbit/sG.722标准：广播质量的音频压缩（子带编码）G.723标准：用于多媒体传输的5.3kbit/s或6.4kbit/s双码率语音编码G.728标准：16kbit/sG.729.A标准：主要用于无线移动网、数字多路复用系统和计算机通信系统。存储局域网SAN以数据为存储中心网络拓扑结构可伸缩光通道直接连接内部任意节点之间多路可选择的数据交换多种操作系统下共享多媒体技术发展的新

3、颖技术1 ,流媒体技术2 .影视制作及其动画的平台技术3,虚拟现实技术4,多媒体数字水印技术5 .多媒体数据挖掘技术6,跨媒体技术多媒体数据挖掘技术：通过综合分析视听特性和语义，发现隐含的、有效的、有价值的、可理解的模式，进而发现知识，得出事件的趋向和关联。为用户提供决策依据。数字水印技术：用信号处理的方法，在数字化的多媒体数据中嵌入隐蔽的标记，这种标记不可见，只有通过专用的检测器才能提取。应用领域：数字作品的知识产权保护、商务交易的票据防伪、声像数据的隐藏标识和篡改提示、隐蔽通信及对抗等第二章数字声音及话音编码声音与听觉器官：声音是通过空气传播的一种连续的波，叫声波。声音的强弱（音强）音调的

4、高低（频率）声波的特性：反射（reflection）、折射（refraction）和衍射（diffraction带宽：它用来描述组成复合信号的频率范围。2020000Hz（音频，人能感知的），低于20的是次音，高于2万的是超声波。803400Hz（话音0120dB（人能感知的音强）声音信号数字化：为什么要数字化？话音信号是典型的连续信号，数字化过程：采样：将声音信号在时间上离散化。量化：将连续的信号幅度离散化。采样频率：采样频率不应低于声音信号最高频率的两倍，fs>=2fmax采样精确度：两种表示：1、每个尸首样本的数子化位数，2、信噪比(signal-to-noiseratio,SNR

5、)SNR=10log(Vsignal/Vnoise)2=20log(Vsignal/Vnoise)数字音频信号的获取；话筒微型机奈奎斯特理论：了解话音编译码器PCM脉冲编码调制，均匀量化与非均匀量化m律(m-Law)压扩：A律(A-Law)压扩、DM增量调制ADM自适应增量调制APCM自适应脉冲编码调制，一种根据输入信号幅度大小自动改变量化阶大小的一种波形编码技术。DPCM利用相邻样本之间冗余信息来进行编码的一种数据压缩技术ADPCMADPCM综合了APCM的自适应特性和DPCM系统的差分特性LPC:线性预测编码LPC是通过分析话音波形来产生声道激励和转移函数的参数，对声音波形的编码实际就转化

6、为对这些参数的编码，第三章数据压缩多媒体数据冗余类型：空间冗余、时间冗余、信息嫡冗余、结构冗余、知识冗余、视觉冗余算术编码的计算方法：把整个信源表示为实数线上的0到1之间的一个区间,其长度等于该序列的概率，再在该区间内选择一个代表性的小数，转化为二进制作为实际的编码输出。符号概率初始区间00011011030,04)0*05)0.5,0J)缰码间隔570.520.520.51460,514402曲出0.51438760.5140514输入1000(或者叫做还原，解压缩无损压缩：是指使用压缩后的数据进行重构与原来的数据完全相同"Pqfl/),重构后的数据0.514420.51442信源

7、】aw111有损压缩：指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同,但不影响人对原始资料表达的信息造成误解各种无损数据压缩算法的主要思想：:香农范诺编码、书p62霍夫曼编码具体步骤：(1)初始化，按概率排序(2)合并概率最小的两个事件(3)重复(2),形成一棵树(4)从根节点开始分配代码(5)写出每个符号的代码(6)按照香农理论计算嫡RLE(行程编码：利用连续数据单元有相同数值这一特点对数据进行压缩。在编码时，对相同的数值只编码一次，同时计算相同数值连续重复的次数。词典编码：查找正在压缩的字符序列是否在以前输入的数据中出现过，然后用已经出现过后字符串替代重复的部分。LZ77算法

8、：查找从前向缓冲器开始的最长的匹配用。LZSS算法：如果匹配用输出的长度比指针本身的长度长就输出指针，否则就输出真实字符。LZ78算法：不断地从字符流中提取新的缀-符串，然后用代号(码字)表示这个词，生成码字流。LZW算法：输入是字符流，字符流可以是用8位ASCII字符组成的字符，输出是用n位表示的码字流，码字代表单个字符或多个字符组成的字符串第四章数字图像基础图像的RGB颜色模型、CMYK颜色模型：颜色=R（红色的百分比）+G（绿色的百分比）+B（蓝色的百分比）,CMYK颜色模型：无源物体的颜色，由它吸收或反射哪些光波决定。所以用CMY相减混色模型。青色（C）、洋红（M）和黄色（Y）色素能合

9、成吸收所有颜色并产生黑色。所以增加一种黑色（K）,即为CMYK各这些油墨混合产生颜色叫作四色印刷。色域、颜色空间：颜色空间是表示颜色的一种数学方法。颜色空间有设备相关和设备无关之分。色域是一个色系能够显示或打印的颜色范围。CIELAB颜色模型：CIEL*a*b是1976年国际照明委员会（CIE）制定的颜色度量国际标准。颜色由亮度或光亮度分量（L）和两个色度分量组成；两个分量即a分量（从绿到红）和b分量（从蓝到黄）。它包括RGB和CMYK色域中的所有颜色。图像基本属性：分辨率包括显示分辨率（点距）和图像分辨率（像素点数目）、像素深度（位数）、真彩色（颜色查找表）、伪彩色，直接色（三种压缩分别采样

10、查找表），a（alpha）通道：在用32位表示一个像素时，若R,G,B分别用8位表示，剩下的8位常称为a通道（属性位）-他口马）校正：光电转换特性都是非线性的：满足哥函数关系，称为哥一律转换特性（power-law）整个系统的传递函数是一个哥函数：它的指数丫等于所有单个部件的丫的乘积。明亮环境丫=1暗淡环境丫之1,25黑暗环境丫M.5JPEG压缩编码：一个适用范围很广的静态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。一种是采用以离散余弦变换为基础的有损压缩算法。另一种是采用以预测技术为基础的无损压缩算法。JPEG2000,采用小波变换（wavelet）算法。1.JPEG压缩是有损压缩，

11、使用正向离散余弦变换把空间域表示的图变换成频率域表布的图。2,使用加权函数对DCT系数进行量化，3,使用霍夫曼可变字长编码器对量化系数进行编码。JPEG算法的主要计算步骤1 .正向离散余弦变换（FDCT）。2 .量化（quantization）。3 .Z字形编码(zigzagscan)。4 .嫡编码(entropycoding)。第五章数字视频基础ITU-RBT.601数字化标准：数字化的两种方法:1. 模拟信号分离数字采样量化2. 数字采样量化数字信号分离亮度信号采样频率fs=13.5MHZ色度信号采样频率fc=6.75MHZ或13.5MHZ每行采样点数N=864(PAL),858(NTS。

12、对于所有制式，每个扫描行的有效样本数均为720。使用4：2：2的采样格式，亮度采样频率为13.5MHz/s,色差彳t号Cr、Cb的采样频率为6.75MHz/s,在传输通道上的数据传输率为270Mb/s取值范围：亮度信号220级，色度信号225级。运动图像数据压缩的主要根据是什么：1)运动图像序列中有许多重复的数据，使用数学方法来表示这些重复数据就可以减少数据量；(2)人的眼睛对图像细节和颜色的辨认有极限，把超过极限的部分去掉，也能压缩数据。数字视频压缩算法、I、P、B的压缩编码:帧内图像I的压缩编码算法：1 .将图像进行颜色空间变换，将RGB空间转换为YCrCb空间表示的图像。2 将图像平面分

13、成8X8的图块。3 对每个图块进行离散余弦变换(DCT)。4 最后用哈夫曼(Huffman)编码或用算术编码。预测图像P的压缩编码：预测图像的编码也是以宏块为基本编码单元。一个宏块定义为IxJ像素的图像块，一般取16X16,双向预测图像B的压缩编码电视图像的结构：MPEG编码器算法允许选择帧内图像I的频率和位置。一般,I的频率为2。也可以选择双向预测图像B的数目。P,在两者的基础上才处I、P、B数目的选择依据主要是节目的内容。图像压缩首先需要处理I帧图像，然后是对应的前向预测图像理B图像。图像子采样：图像子采样是最简便的图像压缩技术。依据是人眼对色度信号太敏感；对图像细节分辩力有限。1 .是亮

14、度信号和色度信号用相同的采样频率2 .对色差信号采样的频率比对亮度的采样频率低些。这叫图像子采样。不数字电视、高清标准格式：数字电视信号标清(SDTV)格式特点。美国ATSCSDTV欧洲DVBSDTVP208增强清晰度电视(EDTV格式特点。垂直分辩率均为480行水平分辩率均为640或704象素宽高比为4:3或16:9扫描方式均为逐行扫描。刷新率有三种(HDTV)高清标准格式：720P(1280X720逐行)1080i(1920M080、1440M080隔行)1080P(1920X1080逐行第六章数字视频标准简介MPEG标准：MPEG(MovingPictureExportGroup)是19

15、88年联合成立的活动图像专家组，它的工作是开发满足各种应用的运动图像和声音的编码、解码和它们的同步等国际标准。MPEG标准分为MPEG视频、MPEG音频。MPEG-1的标准名称为信息技术一一用于数据速率高达大约1.5Mb/s的数字存储媒体的电视图像和伴音编码”。处理的是标准图像交换格式(源输入格式)的电视。已经开发和正在开发的MPEG标准有：MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21。MPEG-2勺配置与等级：MPEG-2要达到的最基本目标是：位速率为4Mb/s9Mb/s,最高达15Mb/s。5个类型依次为简单类SP、主流类(MainProfile)、信噪比可变类(

16、SNRProfile)、空间分辨率可变类(SimpleProfile)、高级类(HighProfile)。4个等级由低到高为低级(LowLevel)、基本级(MainLevel)、高级1440等级(HighT440Level)和高级(HighLevel)。MPEG-1、MPEG-2声音、听觉系统的感知特性、掩蔽效应听觉系统的感知特性：1. 响度2. 首（Wj3. 掩蔽效应掩蔽效应：一种频率的声音阻碍听觉系统感受另一种频率的声音现象称为掩蔽效应，前者称掩蔽单调，后者称被掩蔽单调。分成频率掩蔽（一个强纯音会掩蔽在其附近同时发声的弱纯音）和时效掩蔽。MPEG-4、MPEG4的音频标准不仅支持自然声音

17、，而且支持合成声音。引入了基于对象表达的概念，表达视听对象AVO;扩充了编码的数据类型，采用合成数据对象/自然数据对象混合编码算法（SNHC）;在实现交互功能和重用对象中引入了组合、合成、编排等重要概念。MPEG-4支持基于视觉内容的交互功能。即输入视频序列的每一帧被分割成许多任意形状的图像对象区（视频对象平面），每个区域可能包括一个感兴趣的具体图像或视频内容。在一个场景中属于同一物理对象的VOP序列称为一个视频对象（VideoObject,VO。属于同一VO的VOP形状、移动和纹理信息，均在一个分开的视频对象层（VideoObjectLayer,VOD内编码和传输。MPEG-4的应用领域包括

18、：数字广播电视、实时多媒体监控、低比特率下的移动多媒体通信、基于内容的信息存储和检索多媒体系统、网络视频流与可视游戏、基于面部表情模拟的虚拟会议、DVD上的交互多媒体应用、演播室和电视的节目制作等。MPEG-7、MPEG-7的处理链包括三个部分：特征抽取、标准描述、检索工具MPEG-7的应用领域包括：数字图书馆(DigitalLibrary),如图像目录、音乐词典等；多媒体目录服务(MultimediaDirectoryServices),如黄页；广播媒体的选择，如无线电频道，TV频道等。潜在应用领域还包括：教育、娱乐、新闻、旅游、医疗、购物等。MPEG-稽在的应用主要分为三大类：第一类是索引

19、和检索类应用，第二类是选择和过滤类应用，第三类是专业化应用H.264标准、在ISO/IEC中该标准命名为AVAdvancedVideoCoding),作为MPEG-4标准的第10个选项；在ITU-T中正式命名为H.264标准。不论是MPEG-4AVC、MPEG-4Part10,还是ISO/IEC14496-10,都是指H.264。优点:1 .低码流：采用H.264技术压缩后的数据量只有MPEG2勺1/8,MPEG4ASP勺1/3。2 .高质量的图象：H.264能提供连续、流畅的高质量图象（DVD质量）。3 .容错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。4

20、.网络适应性强：H.264提供了网络抽取层（NetworkAbstractionLayer）,使得H.264的文件能容易地在不同网络上传输。第七章多媒体硬件环境各手中硬件：多媒体硬件系统是由计算机传统硬件设备光盘存储器（CD-ROM）、音频输入/输出和处理设备、视频输入/输出和处理设备等选择性组合而成，1、声卡是处理和播放多媒体声音的关键部件，2 .视频卡视频卡是一种对实时视频图像进行数字化、存储和输出处理的工具。视频卡的分类：视频采集卡、视频播放卡、视频转换卡、视频显示卡3 .显卡4.输入输出设备笔输入、触摸屏、扫描仪数码照相机、打印机、数字摄像头、虚拟现实的三维交互工具?显卡是一种重要的视

21、频卡；?显卡也称为3D图形加速卡；?它工作在CPU和显示器之间；基本作用就是控制电脑的图形输出3D打印：光盘的3种类型：只读型光盘存储器、多次可写光盘存储器、可擦写光盘存储器CDDVD光盘：CD盘只使用一个面并且只用一个记录层来记录信息。DVD盘可分为单面单层、单面双层、双面单层以及双面双层4种结构。光驱工作时有CLV和CAV两种方式。CD-ROM光盘驱动器既能读CD-ROM盘，也能读其他如CD-DACD-R和VCD等光盘，但它不能读DVD等特殊形式的DVD-ROM勺一倍速是1.33MB/SDVD采用波长更短的红色激光、光盘。DVD刻录速度：目前DVD刻录机能达到的最高刻录速度为16倍速。DV

22、D读取速度：最大读取速度是是以DVD-ROM速来定义的。蓝光或称蓝光盘(Blu-rayDisc,缩写为BD)能够在单位面积上记录更多的信息。蓝光极大地提高了光盘的存储容量。单彳音1X速率为，即4.5MB/S(36MbpsCD-ROM勺剖面结构标签封面保护层反射层记录层透明基底视频采集卡：视频卡是一种对实时视频图像进行数字化、存储和输出处理的工具。?视频采集卡又称视频捕获卡，是对模拟视频图像进行捕捉并转化为数字信号的工具。?功能：对输入的模拟视频进行采样、量化后转换为数字图像文件。?系统结构中主要包括以下6大部分：(1)A/D变换和数字解码(2)窗口控制器总体(3)帧存储器系统(4)数模转换和矩

23、阵变换(5)视频信号和VGA信号的叠加(6)数字式多制式视频信号编码部分第八章多媒体网络技术应用多媒体网络应用、分类：通常把任何一种声音通信和图像通信的网络应用称为多媒体网络应用应用举例：现场声音和视频广播或预录制内容的广播声音点播(audioondemand)视频点播，也称交互电视因特网电话(Internetphone)分组实时电视会议应用分类：1、现场交互应用2、交互应用3、非实时交互应用流媒体：流媒体是指网络上独立于网络负载，以给定速率传输音频、视频信息的一种传输技术。特点：1.节省存储空间3.实时传输和实时播放实现流传略主要有两种方法：实时流传输和顺序流传输。虚拟现实技术、特征：三维计

24、算机图形学技术，采用多功能传感器的交互式接口技术，以及高清晰度显示技术。特征：沉浸感(Immersion)、交互性(Interaction)、构想性(Imagination四大关键技术：人机接口技术、虚拟现实计算平台技术、虚拟现实应用系统开发工具、系统集成技术IPQoS技术、参数：IPQoS是指IP的服务质量，即指IP数据流通过网络时的性能，以向用户提供端到端的服务质量保证。IPQoS参数描述：1 .业务可用性用户与因特网业务之间连接的可靠性。2 .延迟发送端发送一个分组到接收端所需的时间。3 .延迟抖动在同一路由上发送的一组数据流中，数据分组之间的时间差异。4 .吞吐量网络发送数据包的速率。5 .分组丢失率网络中传输数据分组时，丢失数据分组的最高比率。IPQoS规范概述ATM和帧中继。电气与电子工程师学会