多媒体与系统方案复习总结

个人资料整理 仅限学习使用多媒体原理与系统设计第一章多媒体技术概述相关基本概念媒体：信息传输、存储和呈现的载体新媒体：艺术与现代数字媒体技术结合的新型媒体形态媒体分类：感觉媒体：作用于感觉器官的信息形态表示媒体：以模拟或数字编码形态出现的感觉媒体显示媒体：(显示器>存储媒体：(光盘>传输媒体：(光纤>多媒体(技术>：融合了两种以上感觉媒体的协同应用系统和技术，以帮助人们获得更丰富的应用体验超媒体：(媒体的媒体>通过超链接技术构成的多媒体系统多媒体技术的特点：媒体形式的多样性媒体技术的集成性媒体应用的交互性应用场景多媒体电子消费领域现代教育技术领域通信领域军事领域管理与决策领域表演与会展领域个人资料整理 仅限学习使用信息可视化领域物联网工程领域Web应用系统多媒体技术的体系结构第二章数字音频基础声音的相关概念声音的基本物理属性：频率、振幅声音的三要素：音高、音色、音强模拟音频(AnalogousAudio>：用连续的电流或电压表示的音频信号4)数字音频(DigitalAudio> ：通过采用和量化技术获得的离散性 (数字化>音频数据采样频率：单位时间内采集的样本数，是采样周期的倒数CD-Audio采样频率为 44.1kHz一般网络和移动通信采样频率： 8kHz量化深度：表示一个样本的二进制的位数(样本的比特数>声卡的结构及工作原理功能模块：DSP：DigitalSignalProcessor(数字信号处理器>Sampling(采样>Quantization(量化>Codeanddecode(编/解码>D/ASynthesizer：合成器ROM/RAM：波表个人资料整理 仅限学习使用Mixture：混声器(过滤、去噪、切换单/双声道>数字音频编码音频编码：将模拟音频转换成数字音频里并以某种格式存储的技术或过程PCM编码：即通过脉冲编码调制的方式生成数字音频数据的技术或格式PCM的均匀量化：量化阶跃值是常数的PCM量化非均匀量化：量化阶跃值为变量的PCM量化(又称非线性量化>μ律压扩：有μ洗漱调节的对数函数型非线性量化PCM编码A律压扩：由A系数调节的分段函数型线性与非线性组合量化构成的PCM编码增量调制编码(DM>：通过增量起伏来记录模拟音频信号实际变化过程的数字音频编码(数据量很小，用离散的跳跃信号去仿真 (模拟>去逼近输入信号的变化 >DM算法描述：y0 =0；y[0]=0 ；x[0] =1；for(ithsamplingnotend>{if(x[i-1] == 1>y[i]=y[i –1]+ ；elsey[i]=y[i-1]-；if(yi>y[i]>x[i]=1elsex[i]=0。}第三章音频数据处理程序设计个人资料整理 仅限学习使用音频数据格式分析波形音频文件格式：存储数字音频样本序列的格式文件，该文件直接记录的音频的波形WAVE波形音频文件：使用最广泛，遵从 RIFF格式标准文件结构：RIFFWAVEChunk、FormatChunk、FactChunk、DataChunkwav数据的bit格式形式：单声道8bit量化、双声道 8bit量化单声道16bit量化、双声道 16bit量化音频回放与编程接口使用PlaySound函数使用MCI函数3) 基于DirectShow开发包的应用程序：目标是简化在 Windows平台上创建数字媒体的任务，通过将应用程序从数据传输、硬件区别、同步中隔离出来诸多挑战：多媒体流包含大量需要被快速处理的数据音频和视频必须同步数据来源很多：本地、计算机网路、广播、摄像机数据格式繁多：Audio-VideoInterleaved(AVI>AdvancedStreamingFormat(ASF>MotionPictureExpertsGroup(MPEG>DigitalVideo(DV>应用程序并不能预见终端设备上的硬件基于MediaFoundation开发包的应用程序3. 基于MF的音频转码程序设计个人资料整理 仅限学习使用第四章无损数据压缩编码熵编码算术编码(ArithmeticCoding>行程编码：可用索引+索引对象(重复对象>的方式来表示字典编码第一类字典编码:用指向早起曾经出现过的字符串的指针来表示当前被编码字符串算法：LZ77算法、LZSS算法(LZ77的改进版>第二类字典编码：从输入的数据流中创建一个短语词典，后续数据流中若出现词典中的短语，则可用该短语在词典中的索引表示该短语，而不需要输出短语本身个人资料整理 仅限学习使用算法：LZ78算法第五章数字图像基础1. 色彩及其模型1)色彩的概念2)色彩的三特性a) 亮度：色光的明暗程度，由色光所含的能量决定b) 色调：颜色的类别c) 饱和度：色调深浅的程度3)色彩模型：对三维色彩空间中的可见光子集的一个描述4)RGB模型：用红、绿、蓝三种基本颜色表示其他颜色的模型RGBA模型：A表示Alpha通道(一般用作不透明度参数，0%表示完全透明，100%表示完全不透明>5)CMYK模型：用物质吸收光的数量表示色彩的方式 (青C，品M，黄Y，黑K>HSV模型：色相(H>：色彩的基本属性饱和度(S>：色彩的纯度亮度值(V>：颜色的明亮程度数字图像的概念个人资料整理 仅限学习使用数字图像：用二维像素矩阵表示的图像像素：图像平面中特定位置的一个点，具有一定的颜色属性二值图像：像素值仅仅为两种颜色的图像灰度图像：像素值分布在RGB色彩空间中的灰度线上的数字图像色彩图像：由三幅原色图像(红、绿、蓝>融合而成的图像真彩图像：像素值直接表示了颜色属性的彩色图像伪彩图像：像素值不直接表示颜色值本身而表示了颜色在调色板中索引的彩色图像图像分辨率：图像在水平和垂直方向上的像素数的乘积图像的存储格式BMP文件格式BMP文件的数据存储格式非压缩格式：压缩格式：BI_RLE_8编码：一个字节表示一个像素，二个字节为一个编码单元BI_RLE_4编码图像压缩技术JPEG的格式第六章图像处理程序设计图像的基本操作利用系统函数显示图像利用打点函数显示图像滤波与合成个人资料整理 仅限学习使用卷积运算高斯模板第七章数字视频基础模拟电视信号分析模拟电视系统的主要概念：扫描：逐行扫描、隔行扫描电视制式彩色模型模拟电视信号分析电视信号的调制过程复合电视信号分量电视信号S-Video信号模拟视频信号的数字化数字化方法先分离再采样先采样再分离采样频率每行有效样本数采样格式视频图像的公共交换格式数字视频数据格式YUV文件格式个人资料整理 仅限学习使用AVI文件格式第八章数字视频编码视频编码原理视频数据分层视频图像的类型frame：采用帧内编码的图像P-frame：采用单向预测编码的图像B-frame：采用双向预测编码的图像P/B图像的处理过程块匹配标准绝对差均方差平均绝对差最佳匹配宏块搜索算法二维对数法三步法对偶搜索法H.261个人资料整理 仅限学习使用H.263支持更多格式运动向量的模式不受限制基于语法的算术编码高级预测模式P/B帧模式MPEG-1/2MPEG-1采用了I、B、P的帧分类MPEG-1帧内量化表与帧间量化表不同MPEG-2采用分场压缩技术MPEG-2的DCT系数行程编码之子形扫描方式MPEG-4MPEG-4的基本概念视频对象：视频图像序列中的同一个物理对象视频对象区：位于一个图像中的视频对象MPEG-4的编码方法帧视频对象编码任意视频对象的编码轮廓编码纹理编码MPEG-4面向对象的表示与交互式框架第九章MPEG音频听觉系统的感知特性对响度的感知个人资料整理 仅限学习使用对音高的感知掩蔽效应MPEGAudio的心理声学模型MPEGAudio编解码系统系统结构部件分析多相滤波器组：将输入信号分层32个频率子带编码器心理声学模型d) 心理声学模型如何作用于编码器：计算所谓信掩比，通过 SMR来调节量化深度3)MPEGAudio的编码分层：层 1、层2、层3(MP3>第十章光学存储媒体基本技术光盘的构造光盘驱动器的构造通道编码激光数字唱盘CD-DA：RedBook帧、扇区和区的概念CD-DA的数据率与容量计算CD-ROM：黄皮书CompactDiskWriteOnce第十一章网络组播技术个人资料整理 仅限学习使用组播的概念广播：将源端数据发送到一个网络中的所有主机的传播方式。广播使用广播地址单播：将源端数据发送到网络中的某个特定主机的传播方式。单播使用特定主机地址组播：将源端数据发送到网络中的一组主机的传播方式。组播使用组地址组播的应用：远程会议、Web缓存更新组播与广播、单播的比较广播<Broadcast）:将一个数据拷贝发送到网络中的所有主机实现简单<Simple）,但是效率不高<inefficient）即使主机对该数据不感兴趣也必须处理它因此占用了主机的CPU资源会产生广播风暴“broadcaststorms”多个重复的单播<ReplicatedUnicast）：发送者依次向各接收主机发送相同的数据发送者必须事先知道每个接收主机的地址通讯量在发送方过于集中，但比较可靠<Reliability=>per-receiverstate,separatesessions/processesatsender ）IP组播的体系结构IP组播模型：RFC1112IP组播地址IP组播地址到链路层组地址的映射群组关系管理协议个人资料整理 仅限学习使用组播路由第十二章视频会议系统视频会议系统的概念基