多媒体技术应用视频处理技术课件.ppt

1,多媒体技术应用,数学与计算机学院陈永强chenyqwh,2013-2014-2,2,第四章视频处理技术,4.1视频概述4.1.1视频的视觉原理4.1.2模拟视频4.1.3数字视频4.2常用视频压缩标准4.2.1视频压缩原理4.2.2MPEG4.2.3H.26X4.3常用视频处理软件4.3.1WindowsMovieMaker4.3.2AdobePremiere,3,第四章视频处理技术,4.1视频概述4.1.1视频的视觉原理4.1.2模拟视频4.1.3数字视频,4,视觉是人类感知外部世界最重要的途径之一，人类接受的所有信息中大约有70%来自视觉。视觉接受的信息可分为两大类：静止的和运动的。相对静止的图形图像，视频所含的信息量更丰富、更直观、更生动。在多媒体技术中，视频信息的获取和处理无疑占有举足轻重的地位，视频处理技术在目前和将来都是多媒体应用的一个核心技术。,5,4.1.1视频的视觉原理视频与图像是两个既有联系又有区别的概念：静止的图片称为图像，运动的图像称为视频。二者的信源方式不同，图像的输入主要有扫描仪、数码相机等设备，而视频的输入只能是电视接收机、摄像机、录像机等可以输入连续图像信号的设备。,6,4.1.1视频的视觉原理视频就其本质而言，就是其内容随时间变化的一组动态图像（每秒25或30帧），所以视频又被称为运动图像或活动图像。视频信号具有内容随时间而变化和有与画面动作同步的声音（伴音）两大本质特征。,7,所谓视觉暂留，是指人体的视觉器官在看到的物象消失后，仍可暂时保留视觉的印象。视觉印象在人的眼中大约可保持0.1s。如果两个视觉印象之间的时间间隔不超过0.1s，那么前一个视觉印象尚未消失，而后一个视觉印象已经产生，并与前一个视觉印象融合在一起，就形成视觉暂留现象。动画和电影利用的正是人眼的这一视觉暂留特性。,8,4.1.2模拟视频电视系统的发展前景是数字彩色电视，数字视频的基础是模拟视频，而彩色电视又是在黑白电视的基础上发展起来的。,9,4.1.2模拟视频1.电视的基本原理2.电视制式,10,4.1.2模拟视频1.电视的基本原理电视的基本工作原理为顺序扫描和传输图像信号，然后在接收端同步再现。主要有逐行扫描和隔行扫描两种扫描方式。逐行扫描有图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，以及改善视频压缩效率等优点。相对隔行扫描而言，逐行扫描主要有码率高，行扫描频率高和硬件复杂度增大等缺点。,11,4.1.2模拟视频1.电视的基本原理电视系统大都采用隔行扫描，因为隔行扫描能节省频带，且硬件实现简单。隔行扫描的行集合为场，一帧由两个场组成。一帧电视信号称为一个全电视信号，由奇数场行信号、偶数场行信号及同步信号顺序构成，见图4-2。,12,4.1.2模拟视频1.电视的基本原理,图4-2隔行扫描一帧信号的合成过程,13,4.1.2模拟视频2.电视制式电视制式就是用来实现电视图像信号和伴音信号或其他信号传输的方法，电视图像的显示格式，以及这种方法和电视图像显示格式所采用的技术标准。对于模拟电视，有黑白电视制式、彩色电视制式及伴音制式等；对于数字电视，有图像信号、音频信号压缩编码格式（信源编码）、TS流（TransportStream）编码格式（信道编码）、数字信号调制格式及图像显示格式等制式。,14,4.1.2模拟视频2.电视制式为了实现黑白和彩色信号的兼容，色度编码对副载波的调制有三种不同方法，形成了三种彩色电视制式：NTSC制式、PAL制式和SECAM制式。,15,4.1.2模拟视频2.电视制式1）NTSC制式即正交平衡调幅制式，1953年由美国全国电视标准委员会（NationalTelevisionSystemCommittee）制定，分为NTST-M、NTSC-N等，主要使用国家包括美国、加拿大、日本、韩国、菲律宾等。,16,4.1.2模拟视频2.电视制式2）PAL制式即正交平衡调幅逐行倒相制式。1967年由西德创立，主要使用国家包括中国、德国、英国、意大利、荷兰等。分为PAL-B、PAL-I、PAL-M、PAL-N和PAL-D等，中国的电视播放制式为PAL-D。,17,4.1.2模拟视频2.电视制式3）SECAM制式即顺序传送与存储彩色电视系统。1966年由法国研制成功，分为SECAM-D/K等。主要使用国家包括俄罗斯、前苏联和东欧国家及部分非洲国家。,18,4.1.3数字视频1.数字视频的特点2.数字视频的发展史3.数字视频的常用格式,19,4.1.3数字视频1.数字视频的特点数字视频是模拟视频数字化的结果。相对模拟视频，数字视频有如下特点：适合网络应用再现性好便于编辑处理,20,4.1.3数字视频2.数字视频的发展史自20世纪40年代计算机诞生以来，从计算机所能处理的信息类型这个角度来看，计算机大约经历了以下三个发展阶段。1）数值计算阶段2）数据处理阶段3）多媒体阶段,21,4.1.3数字视频2.数字视频的发展史初级阶段，其主要特点就是在台式计算机上增加简单的视频功能。主流阶段，数字视频在计算机中得到广泛应用，成为主流。高级阶段，普通个人计算机进入了成熟的多媒体计算机时代。,22,4.1.3数字视频3.数字视频的常用格式视频格式可以分为适合本地播放的本地影像视频和适合在网络中播放的网络流媒体影像视频两大类。网络流媒体影像视频的广泛传播性使之正被广泛应用于视频点播、网络演示、远程教育、网络视频广告等因特网信息服务领域。,23,4.1.3数字视频3.数字视频的常用格式AVI英文全称为AudioVideoInterleaved，即音频/视频交错格式。顾名思义，是将语音和影像同步组合在一起的文件格式。RM（RealMedia）格式是RealNetworks公司开发的一种新型流式视频文件格式。RMVB格式是一种由RM视频格式升级延伸出的新视频格式，它的先进之处在于RMVB视频格式打破了原先RM格式那种平均压缩采样的方式。,24,4.1.3数字视频3.数字视频的常用格式MOV即QuickTime影片格式，它是Apple公司开发的一种音频、视频文件格式，用于存储常用数字媒体类型。ASF是微软公司WindowsMedia的核心。这是一种包含音频、视频、图像以及控制命令脚本的数据格式。WMV的英文全称为WindowsMediaVideo，也是微软推出的一种采用独立编码方式，并且可以直接在网上实时观看视频节目的文件压缩格式。,25,第四章视频处理技术,4.2常用视频压缩标准4.2.1视频压缩原理4.2.2MPEG4.2.3H.26X,26,视频压缩标准有H.26X和MPEG。比较而言，H.26X仅仅是视频编码的标准，而MPEG既包括视频编码标准，也包括音频编码标准和视音同步标准。,27,4.2.1视频压缩原理视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。1.基本概念2.压缩策略,28,4.2.1视频压缩原理1.基本概念,（1）有损和无损压缩,无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。,（2）帧内和帧间压缩,帧内（Intraframe）压缩一般采用有损压缩算法，帧内压缩一般达不到很高的压缩。帧间（Interframe）压缩通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。,2019/12/16,29,可编辑,30,4.2.1视频压缩原理1.基本概念,（3）对称和不对称编码,对称性（symmetric）是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频。不对称（asymmetric）编码，不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。,（4）位速率,位速率是指在一个数据流中每秒钟能通过的信息量。,31,4.2.1视频压缩原理2.压缩策略,（1）去掉相关性,视频图像数据有很强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。,使用帧间编码技术可去掉时域冗余信息，包括以下三部分：运动补偿运动表示运动估计,使用帧间编码技术和熵编码技术可以去掉空域冗余信息，主要的编码方法有：变换编码量化编码熵编码,32,4.2.1视频压缩原理2.压缩策略,（2）心理声学音频压缩,心理声学指“人脑解释声音的方式”。压缩音频的所有形式都是用功能强大的算法将听不到的音频信息去掉。,（3）心理视觉视频压缩,心理视觉视频压缩与和其对等的音频压缩相似。心理视觉模型去掉的不是听不到的音频数据，而是去掉眼睛不需要的视频数据。,33,4.2.2MPEGMPEG的全称应该是MovingPicturesExpertsGroup（即动态图像专家组），由ISO与IEC于1988年联合成立，致力于运动图像（MPEG视频）及其伴音编码（MPEG音频）标准化工作。这个专家组开发的标准称为MPEG标准，到目前为止，MPEG的主要标准有五个：,34,4.2.2MPEG1.MPEG-1（数字电视标准）2.MPEG-2（数字电视标准）3.MPEG-4（多媒体应用标准）4.MPEG-7（多媒体内容描述接口标准）5.MPEG-21（多媒体框架标准）,35,4.2.2MPEG1.MPEG-1（数字电视标准）MPEG-1标准（ISO/IEC11172）制定于1992年，是针对1.5Mbps以下数据传输率的数字存储媒体运动图像及其伴音编码设计的国际标准。,36,4.2.2MPEG1.MPEG-1（数字电视标准）MPEG-1标准体系共分为以下5个部分:系统（System）：规定视频数据、声音数据及其他相关数据的同步；视频（Video）：规定视频数据的编码和解码；音频（Audio）：规定声音数据的编码和解码；一致性测试（ConformanceTesting）：详细说明如何测试比特数据流（Bitstreams）和解码器是否满足MPEG-1前三个部分中所规定的要求，编码器制造商和客户均可以使用这些方法来测试编码器产生的码流是否正确；软件仿真（SoftwareSimulation）：从技术角度来说，这部分不能算是标准，只是一种技术报告，描述了MPEG-1标准的前三个部分的软件实现，但源代码是不公开的。,37,4.2.2MPEG2.MPEG-2（数字电视标准）MPEG-2标准（ISO/IEC13818）制定于1994年，是针对310Mbps的数据传输率制定的运动图像及其伴音编码的国际标准。MPEG-2的编码图像被分为三类，分别称为I帧，P帧和B帧。为更好地表示编码数据，MPEG-2用句法规定了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组、图像、宏块条、宏块、块。,38,4.2.2MPEG2.MPEG-2（数字电视标准）MPEG-2标准体系共分为以下9个部分：1）系统（System）2）视频（Video）3）音频（Audio）4）一致性测试（ConformanceTesting）5）软件仿真（SoftwareSimulation）6）数字存储媒体命令和控制扩展协议（DigitalStorageMediaCommandandControl，DSM-CC）7）高级音频编码（AdvancedAudioCoding，AAC）8）原计划用于采样精度为10位的音频编码，但由于工业界对此兴趣不大，现已停止；9）规定了传送码流的实时接口。,39,4.2.2MPEG3.MPEG-4（多媒体应用标准）MPEG-4于1998年11月公布，是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。为此，MPEG-4引入了AV对象（Audio-VideoObjects），使得更多的交互操作成为可能。,40,4.2.2MPEG3.MPEG-4（多媒体应用标准）MPEG-4对AV对象的操作主要有以下五种：1）采用AV对象来表示听觉、视觉或者视听组合内容；2）组合已有的AV对象来生成复合的AV对象，并由此生成AV场景；3）对AV对象的数据灵活地多路合成与同步，以便选择合适的网络来传输这些AV对象数据；4）允许接收端的用户在AV场景中对AV对象进行交互操作等；5）MPEG-4支持AV对象知识产权与保护。,41,4.2.2MPEG3.MPEG-4（多媒体应用标准）MPEG-4标准则由以下6个主要部分构成：1）系统（System）2）视频（Video）3）音频（Audio）4）一致性测试（ConformanceTesting）5）参考软件（ReferenceSoftware）6）多媒体传送整体框架（DeliveriesMultimediaIntegrationFramework，DMIF）,42,4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7的工作于1996年启动，名称叫做多媒体内容描述接口（MultimediaContentDescriptionInterface，MCDI），目的是制定一套描述符标准，用来描述各种类型的多媒体信息及它们之间的关系，以便更快更有效地检索信息。,43,4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7的处理链：,特征抽取,内容描述,检索工具,MPEG-7的处理范围,图4-3MPEG-7的范围,44,4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7的目标如下：支持多种音频和视觉的描述。根据信息的抽象层次，提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求。支持数据管理的灵活性、数据资源的全球化和互操作性。,45,4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7由以下几部分组成：1）系统（System）2）描述定义语言（DescriptionDefinitionLanguage，DDL）3）视频（Video）4）音频（Audio）5）多媒体描述方案（MultimediaDescriptionSchemes，MMDS）6）参考软件（ReferenceSoftware）7）一致性测试（ConformanceTesting）,46,4.2.2MPEG5.MPEG-21（多媒体框架标准）制定MPEG-21标准的目的是：1）将不同的协议、标准、技术等有机地融合在一起。2）制定新的标准。3）将这些不同的标准集成在一起。,47,4.2.2MPEG5.MPEG-21（多媒体框架标准）MPEG-21的基本框架要素包括：数字项目说明多媒体内容表示数字项目的识别和描述内容管理与使用知识产权管理和保护终端和网络事件报告,48,4.2.3H.26XH.26X是ITU-T研究和制定的一系列视频编码的国际标准。其中应用最为广泛的是H.261、H.262、H.263和H.264。,49,4.2.3H.26X1.H.2612.H.2623.H.2634.H.264,50,4.2.3H.26X1.H.261H.261标准也称p64，是视频编码的先驱者。H.261标准的出发点是为了实现在综合业务数字网（IntegratedServicesDigitalNetwork，ISDN）上进行电视电话和电视会议，主要针对实时编码和解码而设计的。,51,4.2.3H.26X1.H.261与H.261有关的国际标准：H.320：窄带可视电话系统和终端设备H.221：视听电信业务中641920Kb/s信道的帧结构H.230：视听系统的帧同步控制和指示信号H.242：不超过2Mb/s数字信道的视听终端的通信标准,52,4.2.3H.26X2.H.262ITU-T于1990年成立了“ATM视频编码专家组”，负责制定适用于B-ISDN（BroadbandIntegratedServiceDigitalNetwork，宽带综合业务数字网）信道ATM编码传输标准。该专家组于1993年11月与ISO的MPEG专家组联合提出了H.262建设草案，这一草案终于