多媒体复习2.doc

第一章 多媒体技术概论（12）通常概念的“媒体” 的类型五种类型：感觉媒体 表示媒体 表现媒体 存储媒体 传输媒体多媒体的关键特性多维性 交互性 集成性 音频压缩标准 G.711标准：电话质量的语音压缩（PCM），64kbit/s G.722标准：广播质量的音频压缩（子带编码） G.723标准：用于多媒体传输的5.3kbit/s或6.4kbit/s双码率语音编码 G.728标准：16kbit/s G.729.A标准：主要用于无线移动网、数字多路复用系统和计算机通信系统。存储局域网SAN 以数据为存储中心 网络拓扑结构可伸缩 光通道直接连接 内部任意节点之间多路可选择的数据交换 多种操作系统下共享多媒体技术发展的新颖技术-流媒体技术-影视制作及其动画的平台技术-虚拟现实技术-多媒体数字水印技术-多媒体数据挖掘技术-跨媒体技术-影视制作及其动画的平台技术数字水印技术用信号处理的方法，在数字化的多媒体数据中嵌入隐蔽的标记，这种标记不可见，只有通过专用的检测器才能提取。特征：隐蔽性、隐藏位置的安全性、鲁棒性多媒体数据挖掘技术数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、有用信息和知识的过程。基于内容的信息检索，只能找出“信息”，无法分析出“知识”。多媒体数据挖掘，通过综合分析视听特性和语义，发现隐含的、有效的、有价值的、可理解的模式，进而发现知识，得出事件的趋向和关联。为用户提供决策依据。第二章数字声音及话音编码（9）声音与听觉器官声音是通过空气传播的一种连续的波，叫声波。声音的强弱（音强）音调的高低（频率）声波的特性 反射 (reflection)、折射 (refraction)和衍射 (diffraction)声音信号由许多频率不同的信号组成。带宽：它用来描述组成复合信号的频率范围。2020000 Hz（音频，人能感知的）,低于20的是次音，高于2万的是超声波。803400 Hz （话音）0120 dB（人能感知的音强）声音质量的度量1.声音的质量与声音的带宽有关，一般来说频率范围越宽，声音质量也就越高。20Hz20kHzCD20Hz15kHz调频广播50Hz7kHz调幅广播200H3.4kHz电话语音带 宽声音类型2.客观质量度量：信噪比（SNR）奈奎斯特理论采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，称为无损数字化。话音编译码器的分类n 波形编译码器（waveform coder）：不利用生成话音的信号的任何知识，将话音视为一种普通的声音，直接对波形信号进行采样和量化。例如PCM、DPCM、ADPCM等。n 音源编译码器（Source coder）：也叫参数编译码器、声码器（vocoder）。它从话音波形信号中提取生成话音的参数，使用这些参数通过话音生成模型重构出话音。n 混合编译码器（Hybrid coder）：综合使用上述两种技术。使用的激励信号波形尽可能接近于原始话音信号的波形。例如CELP。n 基于音频数据的统计特性（波形编码）n 基于音频声学参数的编码（线性预测编码）n 基于人的听觉特性编码（掩蔽效应）n MPEG中高频编码 Dolby AC3第三章数据压缩（14）多媒体数据冗余类型n 多媒体数据有大量的冗余数据，如将重复的数据，改用数学方法表示，就可以减少数据量。n 将人的眼睛和耳朵感觉不到的信息去掉，也可以压缩数据。算术编码的计算方法无损压缩：无损压缩是指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。有损压缩：有损压缩是指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。有损压缩适用于重构信号不一定非要和原始信号完全相同的场合。了解各种无损数据压缩算法的主要思想第四章数字图像基础（14）图像的RGB颜色模型：绝大部分可见光谱可用红、绿和蓝 (RGB) 三色光按不同比例和强度的混合来表示。在颜色重叠的位置，产生青色、洋红和黄色。 因为 RGB 颜色合成产生白色，它们也叫作加色。将所有颜色加在一起产生白色就是说，所有光被反射回眼睛。加色用于光照、视频和显示器。 CIE LAB颜色模型：CIE L*a*b 颜色模型是1976年国际照明委员会（CIE）制定的颜色度量国际标准。 L*a*b 颜色设计为与设备无关；不管使用什么设备（如显示器、打印机、计算机或扫描仪）创建或输出图象，这种颜色模型产生的颜色都保持一致。L*a*b 颜色由亮度或光亮度分量 (L) 和两个色度分量组成；两个分量即 a 分量（从绿到红）和 b 分量（从蓝到黄）。 图像基本属性：分辨率：显示分辨率（点距） 图像分辨率（象素数目）象素深度（位数）真彩色、伪彩色，直接色：伪彩（颜色查找表、直接色（三种压缩分别采样查找表）a（alpha）通道：在用32位表示一个像素时，若R，G，B分别用8位表示，剩下的8位常称为通道 (属性位 ) JPEG压缩编码主要步骤：1. 正向离散余弦变换(FDCT)。 2. 量化(quantization)。 3. Z字形编码(zigzag scan)。 4. 使用差分脉冲编码调制(differential pulse code modulation，DPCM)对直流系数(DC)进行编码。 5. 使用行程长度编码(run-length encoding，RLE)对交流系数(AC)进行编码。 6. 熵编码(entropy coding)。第五章数字视频基础 (13)ITU-RBT.601数字化标准：CCIR为NTSC制、PAL制和SECAM制规定了共同的电视图像采样频率。这个采样频率也用于远程图像通信网络中的电视图像信号采样。n 亮度信号采样频率 fs = 13.5 MHZn 色度信号采样频率 fc6.75MHZ 或 13.5MHZn 每行采样点数 N = 864 (PAL) ，858（NTSC）n 对于所有制式，每个扫描行的有效样本数均为720。取值范围：亮度信号220级，色度信号225级。运动图像数据压缩的主要根据是什么：（1）运动图像序列中有许多重复的数据，使用数学方法来表示这些重复数据就可以减少数据量；（2）人的眼睛对图像细节和颜色的辨认有极限，把超过极限的部分去掉，也能压缩数据。数字视频压缩算法I、P、B的压缩编码：为保证图像质量基本不降低而又能够获得高的压缩比，MPEG标准定义了三种图像：帧内图像I （Intra），预测图像P （Predicted），双向预测图像B（Bidirectionally interpolated）。电视图像的结构：1.MPEG编码器算法允许选择帧内图像I的频率和位置。一般，I的频率为2.2.也可以选择双向预测图像B的数目。3.I、P、B数目的选择依据主要是节目的内容。快速运动的图像慢速运动的图像数字电视按比特率的大小分类 高清标准格式：原则上讲，HDTV是由它所能提供的画面质量定义的。n 分辨率:HDTV画面水平和垂直的像素目都差不多是常规系统的2倍。垂直方向的高清晰度是由1 000多行的扫描线获得的。大约为传统5倍的视频带宽使灰度层次更加丰富，再加上有一些带宽用于单独传输色彩值，使得总带宽就是现有彩色电视系统的58倍。n 宽高比:HDTV画面的指定宽高比为16:9=1.777。n 采用高清晰显像管，点节距（即荧光点的大小）应小于毫米；n 观看距离:由于人眼分辨细节的能力是有限的，所以观看细节更丰富的HDTV画面，观看距离要更近一些。第六章数字视频标准简介（14）MPEG标准：MPEG（Moving Picture Export Group）是1988年联合成立的活动图像专家组，它的工作是开发满足各种应用的运动图像和声音的编码、解码和它们的同步等国际标准。MPEG标准分为MPEG-2的配置与等级：MPEG-2提出了配置与等级的概念。配置是按视频编码技术的简单还是复杂而确定的；对每个配置，根据编码参数的不同，即图像格式的简单还是复杂，进一步划分为不同的等级。MPEG-2标准中规定了5种配置4个等级。MPEG1、MPEG2声音：MPEG-1、 MPEG-2的声音数据压缩编码是利用人的听觉系统的特性来达到的，叫感知声音编码。听觉系统的感知特性：响度、音高、掩蔽效应。MPEG4：n MPEG4的音频标准不仅支持自然声音，而且支持合成声音。 MPEG-4为了达到目标。n 引入了对象基表达的概念，表达视听对象AVO；n 扩充了编码的数据类型，采用合成数据对象/自然数据对象混合编码算法（SNHC）；n 在实现交互功能和重用对象中引入了组合、合成、编排等重要概念。MPEG-4支持基于视觉内容的交互功能。MPEG7：MPEG-7也称为多媒体内容描述接口（Multimedia Content Description Interface），目的是制定一套描述符标准，用来描述各种类型的多媒体信息和它们之间的关系，以便更快、更有效地检索信息。MPEG-7的处理链包括三个部分：特征抽取、标准描述、检索工具H.264标准：H.264 是由ISO/IEC 与ITU-T 组成的联合视频组（JVT）制定的新一代视频压缩编码标准。第七章多媒体硬件环境（5）光盘的3种类型：CD、DVD、蓝光光盘DVD光盘的结构：DVD（Digital Versatile Disk，数字多功能光碟，也称作Digital Video Disk，数字影像光碟），以其影院级的音像效果，支持多语音、多字幕、多视角及强大的交互功能，将视听享受带到非VCD所能比拟的层次。DVD采用MPEG2的高画质压缩算法，原版DVD的信号源是高达1000多线的电影原始拷贝转成的数字式Beatcam带，所以可以轻易达到520线的解析度。P262清华CD、DVD、蓝色激光技术主要参数的比较：视频采集卡：视频采集卡是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号等输出的视频数据或者视频音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。第八章多媒体网络技术应用(14)多媒体网络应用：多媒体网络分类：1、现场交互应用实例：因特网电话、实时电视会议。说话和移动的动作视频时延应几百毫秒。声音的时延应400ms，在150ms内人觉察不出来2、交互应用实例：视频点播。用户要求服务器开始传输文件、暂停、播放、跳转等。请求的时延在15S人们可以接受。3、非实时交互应用实例：声音和视频广播。用户只简单的播放。从源端发出信号到接收端的时延10s或更多都可以接受。视频点播VOD系统：VOD（Video On Demand）系统，是按用户需求将视频信息通过宽带发布的一种方式。分布式环境由子系统组成：一个VOD管理工作站、一个或多个控制器（系统的核心）、多个数据源、按业务的交互性能， VOD可分为两类：全交互型VOD或真视频点播（TVOD ）、准VOD。流媒体：流媒体是指网络上独立于网络负载，以给定速率传输音频、视频信息的一种传输技术。它具有隐含的时间性、传输实时性、高吞吐量等特性。因特网环境存在带宽不足等缺陷，所以，IETF制定了一系列的实时传输和服务控制协议，如RTP/RTCP，RSVP，RTSP等协议。流媒体概述：网络上传输视音频等多媒体信息，有下载和流式传输两种方式。下载需要等待较长时间，采用流式传输方式，用户只要等待很短的启动延时后即可开始观看，剩余的文件由服务器从后台自动继续下载。（也支持完全下载后再播放。）主要特点：节省存储空间，实时传输和实时播放 。虚拟现实技术：虚拟现实Virtual Reality的定义可归纳为：利用计算机技术生成的一个逼真的视觉、听觉触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。虚拟现实技术特征沉浸感(Immersion)、交互性(Interaction) 、构想性(Imagination)IPQoS技术：IPQoS是指IP的服务质量，即指IP数据流通过网络时的性能，以向用户提供端到端的服务质量保证。IPQoS技术参数：1、业务可用性用户与因特网业务之间连接的可靠性。2、延迟 发送端发送一个分组到接收端所需的时间。3、延迟抖动在同一路由上发送的一组数据流中，数据分组之间的时间差异。4、吞吐量网络发送数据包的速率。5、分组丢失率网络中传输数据分组时，丢失数据分组的最高比率。第九章多媒体数据库技术 ( 6)多媒体数据库MDB：是对多媒体数据进行统一存储管理、操纵与控制的数据库，多媒体数据库技术是研究多媒体数据库的数据模型、 MDB管理系统、 MDB体系结构、 MDB查询与检索、 MDB系统及其应用等多学科交叉的高级数据库技术。基于内容检索的结构和方法：基于内容的检索CBR，是根据媒体和媒体对象的内容语义及上下文语义环境进行检索，如图像中颜色、纹理、形状，视频中的镜头、场景、运动等。利用内容特征建立索引并进行检索。图像和视频的检索与