多媒体技术基础与实验教程5

多媒体技术基础和实验教程、第5章视频处理技术、第5章目录、5.1视频概述5.1.1视频的视觉原理5.1.2视频压缩标准5.2.1视频压缩原理5.2.2MPEG5.2.3H.26X5.3视频文件格式5.3.1本地图像视频格式5.3对于多媒体技术，视频信息的访问和处理成为当前和未来多媒体应用的关键技术。因为5.1.1视频的视觉原理，即内容随时间变化的动态图像集(每秒25或30帧)，所以视频也称为运动图像或活动图像。视频信号有两个本质特征：内容随时间变化和与屏幕动作同步的声音(音频)。视频和图像是相互连接和区分的两个概念，静止的图片称为图像；移动的图像称为视频。另外，两种源方法不同。根据5.1.2视频的分类、处理方式，视频分为模拟视频和数字视频。其中数字视频可分为两类：适合本地播放的本地图像视频和适合在网络上播放的网络流媒体图像视频。模拟视频、电视系统的发展前景是数字彩色电视，数字视频的基本是模拟视频，而彩色电视又是基于黑白电视开发的。电视的基本原理、电视标准、数字视频和数字视频的特征，适合网络应用。再现性好。编辑处理方便。数字视频开发、早期阶段的主要特征是在台式计算机上添加简单的视频功能。在主流阶段，数字视频在计算机中广泛使用，并成为主流。高级阶段，普通个人计算机进入了成熟的多媒体计算机时代。要使视频数字化，在计算机上处理视频信息，首先要解决视频数字化问题。视频数字化是将模拟视频信号转换为计算机可以处理的数字信号。这类似于前面所说的音频、图像数字化过程，计算机也必须对输入的模拟视频信号进行采样和量化，使其成为数字图像。模拟视频的数字化涉及许多技术问题，如电视信号采用不同的标准和复合YUV信号方法，计算机在RGB空间工作。电视是隔行扫描，电脑显示器大部分是按线扫描。电视图像的分辨率与显示器的分辨率不同。模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换、分辨率的集成等。数字视频获取、数字视频源主要有三种使用计算机生成的动画；将静态图像或图形文件序列合并为视频文件序列。通过视频捕获卡将模拟视频转换为数字视频，并将其存储为数字视频文件格式。从硬件平台的角度来看，数字视频获取需要三个部分的结合，视频捕获过程包括：1)安装采集卡硬件和软件驱动程序2)设置音频和视频源3)准备MPC系统环境4)开始收集程序5)播放收集的数据6)简单编辑收集的原始数据，5.2视频压缩标准，视频压缩标准H.26X和MPEG而H.26X只是视频编码标准，MPEG既包含视频编码标准，又包含音频编码标准和视频同步标准。5.2.1视频压缩原理，基本概念，有损和无损压缩，无损压缩，即压缩前后数据完全匹配。大多数无损压缩使用RLE笔划编码算法。有损压缩意味着解压缩的数据与压缩前的数据不匹配。压缩过程中，对人眼和耳朵不敏感的图像或音频信息将丢失，丢失的信息无法恢复。、帧内和帧间压缩、帧内压缩通常使用有损压缩算法，而帧内压缩通常达不到高压缩。“帧间”(Interframe)压缩通过比较时间轴中不同帧之间的数据来压缩。帧到帧压缩通常是无损的。对称和不对称编码是压缩编码的核心特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适用于实时压缩和传输视频。非对称编码、非对称或非对称在压缩时需要处理能力和时间，解压缩时实时播放，即以不同的速度压缩和压缩效果更好。位速率，位速率是一个数据流每秒可以通过的信息量。一种压缩策略，使用多种方法和策略压缩数字媒体文件，使其大小易于管理。以下是三种最常用的策略类型：删除相关性，视频图像数据具有强大的相关性。也就是说，有很多重复信息。在这里，冗余信息可以分为空域冗余信息和时域冗余信息。可以使用帧间编码技术消除时域重复信息。1.运动补偿2。运动表达3 .可以使用运动估计、帧间编码技术和熵编码技术消除空域重复信息。主要编码方法包括：1.转换编码2。量化编码3。熵编码、心理声学音频压缩、心理声学等术语看起来很神秘。其实很简单。意思是“人脑解释声音的方法”。压缩音频的所有形式是通过强大的算法删除听不到的音频信息。心理视觉图像压缩，心理视觉图像压缩类似于等效的音频压缩。心理视觉模型去除的不是听不见的音频数据，而是消除眼睛不需要的视频数据。MPEG的全名为MovingPicturesExpertsGroup的5.2.2MPEG，MPEG专注于ISO和IEC于1988年共同创建的视频图像(MPEG视频)和音频编码(MPEG音频)标准化工作。此专家组开发的标准称为MPEG标准，截至目前，MPEG-1(数字电视标准)MPEG-2(数字电视标准)MPEG-4(多媒体内容技术接口标准)MPEG-7(多媒体内容技术接口标准)MPEG-21()MPEG-1标准系统分为五个部分：1)系统(System)，规定视频数据、声音数据和其他相关数据的同步。2)视频(Video):指定视频数据的编码和解码。3)音频(Audio):指定声音数据的编码和解码。4)一致性测试：详细说明编码器制造商和客户均可用于测试编码器生成的代码流是否正确的位数据流(Bitstreams)和解码器是否符合MPEG-1的前三部分中列出的要求。5)软件模拟：从技术角度看，这一部分不能视为标准，这只是描述MPEG-1标准前三部分的软件实现的技术报告，源代码不公开。MPEG-2，MPEG-2标准(ISO/IEC13818)是1994年开发的，是运动图像和音频编码的国际标准，数据传输速率为3到10mbps。MPEG-2中的编码图像分为三类：I帧、p帧和b帧。MPEG-2以语法提供层次结构，以便更好地表示编码数据。分为六个层：图像序列层、图像组、图像、宏块栏、宏块、块。，MPEG-2标准系统分为系统(1)的9个部分，规定视频数据、声音数据和其他相关数据的同步。2)视频(Video):指定视频数据的编码和解码。3)音频(Audio):MPEG-1Audio的扩展，它规定声音数据的编码和解码，支持多通道，并向下兼容MPEG-1 Audio标准。4)一致性测试：详细说明了如何测试编码代码流是否符合MPEG-2标准。5)软件仿真：描述MPEG-2标准前三部分的软件实现方法；(6)数字存储介质命令和控制扩展协议(DSM-CC)用于管理MPEG-1和MPEG-2的数据流，数据可以在独立或异构网络环境中运行。7)高级音频编码(AAC):规定与MPEG-1音频不兼容的多通道音频数据的编码和解码。(8)本计划用于采样精度为10位的音频编码，但业界对此几乎没有兴趣，目前已停止；9)提供发送代码流的实时接口。MPEG-4，MPEG-4于1998年11月宣布，对于特定比特率下的视频、音频编码，人们更加关注多媒体系统的交互性和灵活性。为此，MPEG-4引入了AV对象(Audio-vide objects)，从而实现了更多的交互。MPEG-4主要使用五种类型的AV对象：1)使用AV对象表示听觉、视觉或视听组合内容。2)合并现有AV对象以生成复合AV对象，从而生成AV场景。3) AV对象的数据将灵活地多路复用和同步，以便选择适当的网络进行传输。4)允许接收方用户在AV场景中交互操作AV对象等，5)MPEG-4支持AV对象的知识产权和保护。MPEG-4标准由系统(1)的六个主要部分组成，系统(1)规定视频数据、声音数据和其它相关数据的同步。(2)视频(Video):规定视频数据的编码和解码，MPEG-4支持自然和合成视觉对象的编码。合成的可视对象包括2D、3D动画和人脸表情动画等。(3)音频(Audio):规定声音数据的编码和解码，MPEG-4不仅支持自然声音，还支持合成声音；4)一致性测试：详细说明了如何测试编码代码流是否符合MPEG-4标准。5)参考软件：提供演示功能和说明此标准其他部分的软件。(6)delivery ESM ultimdiaintegratinframwork(DMIF):主要用于管理交互式网络、广播环境和磁盘(包括光盘)中多媒体应用程序的多媒体数据流。MPEG-7，MPEG-7于1996年开始了名为“多媒体内容描述接口(MCDI)”的工作，它制定了一系列描述符标准，用于描述各种类型的多媒体信息及其关系，以便更快、更高效地检索信息。MPEG-7的处理链，MPEG-7由1)系统(System)组成。这包括有效传输和存储描述符所需的工具、确保内容和说明之间同步的工具，以及管理和保护知识产权的工具。2)说明定义语言(DDL):定义新说明工具的语法，然后定义新说明方案。3)视频：包含用于描述视频对象的各种描述符和描述方案。4)音频(Audio):处理音频说明。音频说明结构、声音效果说明工具、乐器音质说明工具、语音识别说明工具、带有旋律的说明工具等：5)MultimediaDescriptionSchemes(MMDS):用于规范多媒体描述符的创建和其他描述符之间的有机连接。6)参考软件：提供了演示功能和说明此标准其他部分的软件。7)一致性测试(ConformanceTesting):详细说明如何测试一个编码代码流是否符合MPEG-7标准。，MPEG-21、MPEG-21标准的制定目的是：1)将不同的协议、标准、技术等有机地融合在一起。2)制定新标准。3)合并这些不同的标准。MPEG-21的基本框架元素包括数字项目说明、多媒体内容表示、数字项目的标识和说明、内容管理和使用、知识产权管理和保护、终端和网络、事件报告。5.2.3H.26X、H.26X是ITU-T研究和开发的一系列视频编码的国际标准。使用最广泛的是H.261、H.262、H.263和H.264。H.261，H.261标准也称为p64，是视频编码的先驱。H.261标准的起点是在integratedservicesdigitalnetwork(ISDN)中实现主要用于实时编码和解码的电视电话和视频会议。与H.261相关的国际标准：H.320:窄带视频电话系统和终端设备H.221:视听通信业务中64 1920kb/s通道的帧结构H.230:视听系统的帧同步控制和显示信号H.242:不超过2Mb/s数字通道的视听终端的通信标准，H.262负责制定B- isdn(broadbandintegrateservicedigitalnetwork，宽带集成服务数字网络)信道ATM编码传输标准。该专家组于1993年11月与ISO MPEG专家组一起提交了H.262建设草案，该草案最终发展为MPEG-2视频部分H.262标准。H.262标准是数字存储媒体和数字视频通信中图像信息的编码表示和解码规定。H.263，H.263是1995年创建的较低比特率的视频编码方案。这一方面以基于H.261的混合编码为核心，其基本原理与H.261非常相似，原始数据和码流组织也很相似。另一方面，H.263吸收了H.324:极低比特率多媒体通信终端设备H.223:极低比特率多媒体通信复合协议H.245:多媒体通信控制协议g . 723 . 1 . 1:5.3 kb/秒和6.3 kb/秒传输速率的语音编码器、H.264等其他国际标准中有效合理的部分。基于ITU-T增强多媒体通信标准H.26L，在技术上构建了MPEG标准和系统，可与2003年5月H.264压缩标准引入的ITU-T和ISO/IEC配合使用。在实际使用中，较MPEG-4更适合在压缩率高、带宽有限的环境中传输视频数