多媒体知识整理1.doc

数字音频信息的获取与处理的原理过程、音频卡的工作原理。 1.数字化音频的质量取决于采样频率和量化位数这两个重要参数。反映音频数字化质量的另一个因素是通道（或声道）个数样频率（Hz）量化位数（位）声道数/82.例如，数字激光唱盘（CD-DA，红皮书标准）的标准采样频率为44.1kHz，量化位数为16位，立体声（这就是所谓的CD音质，CD-Quality Sound），可以几乎无失真地播出频率高达22kHz的声音，这也是人耳所能听到的最高声音频率。1分钟CD-DA音乐所需的存储量为：44.1100016260/8=10 584 000B3. 数字音频格式：WAV、 MP3、 RA、RAM、RPM 、WMA、 MIDI、VOC 1.音频信号处理的特点(1) 音频信号是时间依赖的连续媒体(2) 理想的合成声音应是立体声(3) 对语音信号的处理，要抽取语意等其它信息2.声卡的分类 1按应用环境分类 2. 从技术角度分类 3. 根据采样和量化的位数分类（根据采样量化的位数，常用有8位、16位和32位声卡。位数越高，量化精度越高，质量越好。 ）3.音频卡的工作原理（1）采集声音信号：声卡从话筒中获取模拟声音信号，通过模数转换器(ADC)，将声波振幅信号采样转换成一串数字后存储到计算机中。（2）重放声音信号：将存储到计算机中的数字信号送到数模转换器(DAC)，以同样的采样速率还原为模拟波形，待放大后送到扬声器发声，这一技术也称为脉冲编码调制技术(PCM)。4.音频卡的功能（见另一个整理）录制(采集)数字声音文件5.乐音的几个要素1) 音高3) 响度和时值2) 音色6.音乐合成技术P57页。MIDI是音乐与计算机结合的产物利用MIDI文件演奏音乐，所需的存储量最少。使用MIDI谱曲比使用波形音频更合适，1）需要播放长时间高质量音乐2）需要以音乐作背景音响效果3）需要以音乐作背景音响效果7.本章小结只有当信源本身具有冗余度，才能对其进行压缩。根据统计分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实行压缩。2）成熟的压缩编码技术和算法，较常用的有脉冲编码调制（PCM）；差分脉冲编码调制（DPCM）和自适应差分编码调制（ADPCM）等其它编码算法和标准等.第三章：一.三基色(RGB)的原理:红色+绿色=黄色红色+蓝色=品红绿色+蓝色=青色红色+绿色+蓝色=白色2. RGB相加混色与CMY相减混色的关系(互为补码的关系)二： 颜色的表示1.亮度、色调、饱和度I(Y) 亮度：光的强和弱。H 色调：光的波长、人眼的感觉(反映)颜色(的基本特征)。S 饱和度：颜色渗入白光的程度(表示)颜色深浅的程度2.X Y的离散化称为采样f（x，y）值的离散化称为量化数字化：两种离散化结合在一起，叫做数字化. 离散化的结果称为数字图像。3.图像是二维数据视频是三维数据三：彩色空间：1）RGB 彩色空间YUV 彩色空间 转换见P78页YIQ 彩色空间 （ R、G、B和Y、U、V或YIQ (RGB=红绿蓝；Y亮度，UV或IQ是色差信号)HSI 彩色空间2）黑白和彩色全电视信号显示图像扫描方式：隔行扫描和逐行扫描隔行扫描奇数场+偶数场=1帧每一行有正程和逆程。每一场有正程(显示)和逆程（消隐）3）视频信息获取技术黑白视频信号获取器的工作原理同步分离电路锁相和时序电路A/D变换器帧存储器的设计D/A变换及显示输出彩色视频信号获取器的工作原理1.A/D变换和数字解码2.窗口控制器3.帧存储器系统4.数模转换和矩阵变换5.视频信号和VGA信号的叠加6.数字式多制式视频信号编码部分4）1静态图形与图像文件格式 常见的静态图形与图像格式包括BMP、TIF、GIF、PSD、WMF、TGA、PNG、PCX、JPG、MPT、DIB、PCP、PCD等。2动态动画与数字视频文件格式 常见的动态动画文件：FLIC文件格式、MMM文件格式、SWF文件格式等 常见的数字视频文件格式：AVI文件格式，ASF文件格式 、 MOV文件格式 、MPG文件格式 、DAT文件格式 等四：1.在数字视频信息获取与处理过程中，采样、A/D变换、压缩、存储、解压缩、D/A变换 2.NTSC制的帧频为30帧每秒，PAL制和SECAM制的帧频率为25帧每秒。3.全电视信号主要由（图像信号、复合同步信号、复合消隐信号）组成。4.彩色全电视信号主要由（亮度信号、色度信号、复合同步信号、复合消隐信号）组成5.在全电视信号中，把（奇数场同步信号 ）的前沿作为一场的起点。第4章 多媒体数据压缩编码技术一、数据压缩基本概念1.数据压缩就是以最少的数码表示信源所发的信号，减少容纳给定消息集合或数据采样集合的信号空间。2. 多媒体数据压缩的必要性 多媒体数据数字化后的海量性3.多媒体数据压缩的可能性数据冗余 空间冗余 时间冗余信息量与数据量的关系 I = D du du冗余量 4.编码方法可以分成下述三类： 1）考虑信源的统计特性：预测编码方法、变换编码方法、矢量量化编码方法、子带小波编码方法、神经网络编码方法等；2.）考虑人眼视觉特性：基于方向滤波的图像编码方法，基于图像轮廓纹理的编码方法；3）考虑图像传递景物特性：分形编码，基于内容的编码方法。 5.数据压缩标准：JPEG标准；H.261标准；MPEG标准。二：量化P114通常量化是指模拟信号到数字信号的映射，由于模拟量是连续的，而数字量是离散量，因此量化操作实质上是用有限的离散量代替无限的连续模拟量的多对一映射操作。 三：编码方法1) 统计编码1.信息:是用不确定性的量度定义的。“不确定性”、“随机”性、“度量”性， 2.信息量:从N个相等可能事件中选出 一个事件所需要的信息度量或含量。 3.熵:如果将信源所有可能事件信息量 进行平均就得到信息的熵(熵就是平均信息量)。 4.信源发出的消息是一个随机过程，它是时间与空间的函数.2)计算公式：最大离散熵定理：所有概率分布P（Xi）所构成的熵，以等概率时为最大。以信源X中有8个随机事件，即n=8。3）哈夫曼编码编码就是利用变字长最佳编码，实现信源符号按概率大小顺序排列。4）算术编码 P121（1）不需要码表；(2)当信源概率比较接近时，建议使用算术编码。(3)JPEG成员对多幅图进行算术编码效率可以提高5%。JPEG扩展系统用算术编码代替Huffman。5）预测编码1.基本思想:建立一个数学模型 利用以往的样本数据 对新样本值进行预测 将实际值与预测值相减 对其差值进行编码 这时差值很少可以减少编码码位.2.预测编码分为：线性预测和非线性预测3.ADPCM自适应预测编码这种编码方法中，量化器的步长和预测器的参数均能根据图象的局部特征作自适应的调整6) 变换编码1.变换编码是进行一种函数变换，映射变换从信号域变换到另一个信号域四静态图像压缩编码的国际标准(JPEG)1. JPEG算法被确定为JPEG国际标准，它是国际上，彩色、灰度、静止图像的第一个国际标准。JPEG标准是一个适用范围广泛的通用标准。它不仅适于静态图像的压缩；电视图像序列的帧内图像的压缩编码，也常采用JPEG压缩标准。2. JPEG 标准定义了两种基本压缩算法： (1) 基于DCT变换有失真的压缩算法(2) 基于空间预测编码DPCM的无失真压缩算法。3. 动态图像压缩编码标准MPEG的基本原理五本章小结：1.压缩方法分类：有失真压缩和无失真压缩。有失真压缩能提供较高的压缩比，但由于损失了信源的熵，压缩后的数据是无法准确无误的恢复的，无失真压缩则能准确无误地恢复原信源，它只是去掉了信源的冗余部分，但却不能提供较高的压缩比。2.变换编码的基本思想是什么？答：首先将空域图像信号变换到另一个正交矢量空间（变换域或频域），获得一系列的变换系数，然后对这些变换系数进行编码。如将时域信号变换到频域信号，因为声音、图像大部分信号都是低频信号，在频域中信号的能量较集中，再进行采样、编码就可以压缩数据。 3. 预测编码的基本思想是什么？首先建立数学模型，利用以往的样本值对新的样本值进行预测； 将样本的实际值与其预测值相减得到一个误差值； 对误差值进行编码。第五章 多媒体计算机硬件及软件系统结构一：DVI系统 1. DVI系统解决计算机综合处理声、文、图信息：采用PLV(Product Level Video)视频压缩编码算法设计了二个专用芯片 82750PB (PA) 像素处理器 82750DB (DA) 显示处理器2.DVI系统由以下三部分组成DVI视频板DVI音响板DVI多功能板二：将多媒体和通讯功能集成到CPU芯片中1.集成设计原则 l 采用国际标准的设计原则l 多媒体和通信功能的单独解决变成集中解决l 体系结构设计和算法相结合l 把多媒体和通信技术作到CPU芯片中1. 一类是多媒体和通信功能为主，融合CPU芯片原有的计算功能；2.另一类是以通用CPU计算功能为主,融合多媒体和通信功能。3. （CPU芯片Motorola公司的Phenix芯片。Intel公司的MMX技术）三：多媒体处理器 Mpact和Trimedia四：多媒体计算机是综合处理声、文、图信息。为了更好发挥多媒体计算机的功能，必须有高性能的硬件支持。视频和音频的专用处理芯片和新型的体系结构是多媒体计算机硬件支持的关键第六章：超文本和超媒体 一超文本：1.文本的最显著特点是它在组织上是线性的和顺序的这种联想方式实际上表明了信息的结构及其动态性2.超文本：定1由信息结点和表示信息结点间相关性的链构成的一个具有一定逻辑结构和语义的网络。定义2：是一种存储文本信息页的系统。在这种系统中，每个信息包含内嵌的对于其他信息页的引用。把可选择的菜单镶嵌入文本之中的概念就称为“超文本”。3.超文本与超媒体的组成要素 1）节点超媒体是由节点和链构成的信息网络。节点是表达信息的单位，是围绕一个特殊主题组织起来的数据集合。节点的内容可以是文本、图形、图像、动画、音频、视频等，也可以是一般计算机程序。2）链（索引链是超文本所特有的）超媒体链又称为超链，是节点间的信息联系，它以某种形式将一个节点与其它节点连接起来3）网络超文本由节点和链构成网络是一个有向图。二：超媒体1.超媒体（Hypermedia)：超媒体=超文本+多媒体是对超文本的扩展，超文本中节点的数据不仅可以是文本，还可以是图形、图像、动画、声音或它们的组合体。这就形成了超媒体的概念。2.超媒体与超文本之间不同之处是，超文本主要是以文字的形式表示信息，建立的链接关系主要是文句之间的链接关系。超媒体除了使用文本外，还使用声音、图形、图像、动画和视频片段等多种媒体信息来表示信息，建立的链接关系是文本、声音、图形、图像、动画和视频片段之间的链接关系。 3. 超媒体系统的特征 1.节点多媒体化 2.网状的信息链接结构 3.导航工具和导航能力 4.窗口化的管理功能 5.共享数据库等三、超文本与超媒体系统的两个模型 1. 超文本和超媒体的系统结构较著名的是Campbell和Goodman模型,另一个是从事超文本标准化研究Dexter小组提出的Dexter模型2.HAM模型 组成见书P263超文本与超媒体的体系结构，分为三个层次：表现层、超文本抽象机层、数据库层。第7章 多媒体计算机的应用技术一、视频会议系统的结构和标准1.视频会议系统的分类根据通信节点的数量，视频会议系统可分为 点对点视频会议系统多点视频会议系统2.视频会议系统的结构终端多点控制器 具体详解见书P290信道（网络）控制管理软件 QOS（Quality of Service） 安全保密3.视频会议系统的标准1.H系列 国际电讯联盟ITU2.T系列 国际电报电话咨询委员会 CCITT3.个人会议标准PCS (Personal Conferencing Spe