5.2　视频信息的采集与加工（通用）

音视频处理,Audio/VideoProcessing,江苏省锡东高级中学戴平,2017.11.29,1,多媒体,多媒体的分类：文字、图片、声音、视频、动画。,2,音频,音频格式：音频文件格式主要包括:1CD2WAV3MP3,MP3po4MIDI5WMA6AAC7OGG8REALAUDIO,3,CD,当今世界上音质最好的音频是CD,因此要讲音频格式，CD自然是打头阵的先锋。在大多数播放软件的“打开文件类型”中，都可以看到.cda格式，这就是CD音轨了。标准CD格式也就是44.1K的采样频率，速率88K/秒，16位量化位数，因为CD音轨可以说是近似无损的，因此它的声音基本上是忠于原声的，因此如果你如果是一个音响发烧友的话，CD是你的首选。它会让你感受到天籁之音。CD光盘可以在CD唱机中播放，也能用电脑里的各种播放软件来重放。一个CD音频文件是一个.cda文件，这只是一个索引信息，并不是真正的包含声音信息，所以不论CD音乐的长短，在电脑上看到的“.cda文件”都是44字节长。注意：不能直接的复制CD格式的.cda文件到硬盘上播放，需要使用象EAC这样的抓音轨软件把CD格式的文件转换成WAV，这个转换过程如果光盘驱动器质量过关而且EAC的参数设置得当的话，可以说是基本上无损抓音频。,4,WAV,WAV：无损的音乐WAV是微软公司开发的一种声音文件格式，它符合PIFFResourceInterchangeFileFormat文件规范，用于保存WINDOWS平台的音频信息资源，被WINDOWS平台及其应用程序所支持。“*.WAV”格式支持MSADPCM、CCITTALAW等多种压缩算法，支持多种音频位数、采样频率和声道，标准格式的WAV文件和CD格式一样，也是44.1K的采样频率，速率88K/秒，16位量化位数，WAV格式的声音文件质量和CD相差无几，也是目前PC机上广为流行的声音文件格式，几乎所有的音频编辑软件都“认识”WAV格式。,5,MP3,MP3：流行的风尚MP3(MovingPictureExpertsGroupAudioLayerIII)格式诞生于八十年代的德国，所谓的MP3也就是指的是MPEG标准中的音频部分。需要提醒大家注意的地方是：MPEG音频文件的压缩是一种有损压缩，MP3音频编码具有10：112：1的高压缩率，同时基本保持低音频部分不失真，但是牺牲了声音文件中12KHz到16KHz高音频这部分的质量来换取文件的尺寸，相同长度的音乐文件，用.mp3格式来储存，一般只有.wav文件的1/10，而音质要次于CD格式或WAV格式的声音文件(44.1khz-128kb/s的MP3只是接近CD音质，但如果使用较高档的音响系统测试的话，MP3在音质上的不足是很明显的，尤其是在高音部分的表现上)。由于其文件尺寸小，音质好；所以在它问世之初还没有什么别的音频格式可以与之匹敌，因而为.mp3格式的发展提供了良好的条件。直到现在，这种格式还是风靡一时，作为主流音频格式的地位难以被撼动。但是树大招风，MP3音乐的版权问题也一直是找不到办法解决，因为MP3没有版权保护技术，说白了也就是谁都可以用。,6,MP3po,在WMA刚开始流行的时候，还没有高品质的MP3，所以当时MP3的地位真的有点动摇了，于是Thomson(法国汤姆生)公司在2001年6月，携手FaunhofeIIS(德国夫朗和费研究院)，发布了一种新的格式MP3po，这是对MP3格式的改良，编码算法比MP3要复杂得多，简单的说，就是分两层编码，在MP3的基础上，再与另外一种技术（SB频段复制技术）混合编码。MP3po与原来的MP3兼容，文件扩展名同为.mp3，这种格式在低位率的时候，压缩效率非常高，所以在一般音质情况下，同位率的MP3po的体积要比MP3甚至WMA都小得多，而音质却是三者中最好的。从技术上讲，MP3po是一种非常优秀的编码方式，但是它高昂的专利费，使它没有真正流行起来，而目前据笔者所知，也只有Thomsn的机器才能真正支持MP3po格式的文件。,7,MIDI,MIDI：作曲家的最爱经常玩音乐的人应该常听到MIDI（MusicalInstrumentDigitalInterface）这个词，MIDI允许数字合成器和其他设备交换数据。MID文件格式由MIDI继承而来。MID文件并不是一段录制好的声音，而是记录声音的信息，然后在告诉声卡如何再现音乐的一组指令。这样一个MIDI文件每存1分钟的音乐只用大约510KB。今天，MID文件主要用于原始乐器作品，流行歌曲的业余表演，游戏音轨以及电子贺卡等。.mid文件重放的效果完全依赖声卡的档次。.mid格式的最大用处是在电脑作曲领域。.mid文件可以用作曲软件写出，也可以通过声卡的MIDI口把外接音序器演奏的乐曲输入电脑里，制成.mid文件。,8,WMA,WMA(WindowsMediaAudio)格式是来自于微软的重量级选手，后台强硬，音质要强于MP3格式，更远胜于RA格式，它和日本YAMAHA公司开发的VQF格式一样，是以减少数据流量但保持音质的方法来达到比MP3压缩率更高的目的，WMA的压缩率一般都可以达到1：18左右，WMA的另一个优点是内容提供商可以通过DRM（DigitalRightsManagement）方案如WindowsMediaRightsManager7加入防拷贝保护。WMA支持流技术，即一边读一边播放，因此WMA可以很轻松的实现在线广播，由于是微软的杰作，因此，微软在Windows中加入了对WMA的支持，WMA有着优秀的技术特征，在微软的大力推广下，这种格式被越来越多的人所接受。,9,AAC,AAC（高级音频编码技术，AdvancedAudioCoding）是杜比实验室为音乐社区提供的技术。一种专为声音数据设计的文件压缩格式，与Mp3类似。利用AAC格式，可使声音文件明显减小，而不会让人感觉声音质量有所降低.AAC号称最大能容纳48通道的音轨，采样率达96KHz，并且在320Kbps的数据速率下能为5.1声道音乐节目提供相当于ITU-R广播的品质。和MP3比起来，它的音质比较好，也能够节省大约30%的储存空间与带宽。它是遵循MPEG-2的规格所开发的技术。,10,OGG,Ogg全称应该是OGGVobis(oggVorbis)是一种新的音频压缩格式，类似于MP3等现有的音乐格式。但有一点不同的是，它是完全免费、开放和没有专利限制的。OGGVobis有一个很出众的特点，就是支持多声道，随着它的流行，以后用随身听来听DTS(DigitalTheatreSystem)编码的多声道作品将不会是梦想。Vorbis是这种音频压缩机制的名字，而Ogg则是一个计划的名字，该计划意图设计一个完全开放性的多媒体系统。目前该计划只实现了OggVorbis这一部分。OggVorbis文件的扩展名是.OGG。这种文件的设计格式是非常先进的。现在创建的OGG文件可以在未来的任何播放器上播放，因此，这种文件格式可以不断地进行大小和音质的改良，而不影响旧的编码器或播放器。,11,RealAudio,RealAudio流动的旋律RealAudio主要适用于在网络上的在线音乐欣赏，现在大多数的用户仍然在使用56Kbps或更低速率的Modem，所以典型的回放并非最好的音质。有的下载站点会提示你根据你的Modem速率选择最佳的Real文件。现在real的的文件格式主要有这么几种：有RA（RealAudio）、RM（RealMedia，RealAudioG2）、RMX（RealAudioSecured），还有更多。这些格式的特点是可以随网络带宽的不同而改变声音的质量，在保证大多数人听到流畅声音的前提下，令带宽较富裕的听众获得较好的音质。,12,视频,视频格式：视频文件格式主要包括:本地影像流媒体影像,AVIMPEG(MPEG-1,MPEG-2,MPEG-4)MOVDIVX,XVID,ASFWMVRMRMVBRA,RAMMOVH.264,13,又叫流式媒体，是边传边播的媒体。前台播放，后台下载。,AVI,AVI格式：它的英文全称为AudioVideoInterleaved，即音频视频交错格式。它于1992年被Microsoft公司推出，随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”，就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，而低版本Windows媒体播放器又播放不了采用最新编码编辑的AVI格式视频，所以我们在进行一些AVI格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题，如果用户在进行AVI格式的视频播放时遇到了这些问题，可以通过下载相应的解码器来解决。,14,MPEG,MPEG格式：它的英文全称为MovingPictureExpertGroup，即运动图像专家组格式，家里常看的VCD、SVCD、DVD就是这种格式。MPEG文件格式是运动图像压缩算法的国际标准，它采用了有损压缩方法减少运动图像中的冗余信息，说的更加明白一点就是MPEG的压缩方法依据是相邻两幅画面绝大多数是相同的，把后续图像中和前面图像有冗余的部分去除，从而达到压缩的目的(其最大压缩比可达到200:1)。目前MPEG格式有三个压缩标准，分别是MPEG1、MPEG2、和MPEG4，另外，MPEG-7与MPEG-21仍处在研发阶段。,15,MOV,MOV即QuickTime影片格式，它是Apple公司开发的一种音频、视频文件格式，用于存储常用数字媒体类型，如音频和视频。当选择QuickTime（*.mov）作为“保存类型”时，动画将保存为.mov文件。具有较高的压缩比率和较完美的视频清晰度等特点，但是其最大的特点还是跨平台性，即不仅能支持MacOS，同样也能支持Windows系列。,16,DIVX,DivX格式：这是由MPEG4衍生出的另一种视频编码(压缩)标准，也即我们通常所说的DVDrip格式，它采用了MPEG4的压缩算法同时又综合了MPEG-4与MP3各方面的技术，说白了就是使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩，同时用MP3或AC3对音频进行压缩，然后再将视频与音频合成并加上相应的外挂字幕文件而形成的视频格式。其画质直逼DVD并且体积只有DVD的数分之一。这种编码对机器的要求也不高，所以DivX视频编码技术可以说是一种对DVD造成威胁最大的新生视频压缩格式，号称DVD杀手或DVD终结者。,17,XVID,XVID:于2002年2第一次发布1.0版本。XviD是最新的MPEG-4codec，而且是第一个真正开放源代码的，一旦完成就会通过GPL协议发布。DivX跟XviD采用不定时设立关键画面来改善原先固定时间关键画面所造成的动态画面画质不佳的情形,而2PASS的压缩模式使画质更加滑顺,基本上两种编码的效果差别不大,不过就同画质的档案大小来说XviD更省容量,这也就是网络上流传的影片,DivX编码的大多为两片CD,而Xvid编码的大多仅需一片CD容量即可!,18,ASF,ASF格式：它的英文全称为AdvancedStreamingformat(高级串流格式)，它是微软为了和现在的RealPlayer竞争而推出的一种视频格式，用户可以直接使用Windows自带的WindowsMediaPlayer对其进行播放。由于它使用了MPEG-4的压缩算法，所以压缩率和图像的质量都很不错,高压缩率有利于视频流的传输，但图像质量肯定会有一定的损失，ASF最适于通过网络发送多媒体流，也同样适于在本地播放。任何压缩/解压缩运算法则（编解码器）都可用来编码ASF流。,19,WMV,WMV格式：它的英文全称为WindowsMediaVideo，也是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。WMV文件一般同时包含视频和音频部分。视频部分使用WindowsMediaVideo编码，音频部分使用WindowsMediaAudio编码。它是在“同门”的ASF格式升级延伸得来。在同等视频质量下，WMV格式的体积非常小，因此很适合在网上播放和传输。,20,RM,RM格式：RealNetworks公司所制定的音频视频压缩规范称为RealMedia，用户可以使用RealPlayer或RealOnePlayer对符合RealMedia技术规范的网络音频/视频资源进行实况转播并且RealMedia可以根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。这种格式的另一个特点是用户使用RealPlayer或RealOnePlayer播放器可以在不下载音频/视频内容的条件下实现在线播放。另外，RM作为目前主流网络视频格式，它还可以通过其RealServer服务器将其它格式的视频转换成RM视频并由RealServer服务器负责对外发布和播放。RM和ASF格式可以说各有千秋，通常RM视频更柔和一些，而ASF视频则相对清晰一些。,21,RMVB,RMVB格式：这是一种由RM视频格式升级延伸出的新视频格式，它的先进之处在于RMVB视频格式打破了原先RM格式那种平均压缩采样的方式，在保证平均压缩比的基础上合理利用比特率资源，就是说静止和动作场面少的画面场景采用较低的编码速率，这样可以留出更多的带宽空间，而这些带宽会在出现快速运动的画面场景时被利用。这样在保证了静止画面质量的前提下，大幅地提高了运动图像的画面质量，从而图像质量和文件大小之间就达到了微妙的平衡。另外，相对于DVDrip格式，RMVB视频也是有着较明显的优势，一部大小为700MB左右的DVD影片，如果将其转录成同样视听品质的RMVB格式，其个头最多也就400MB左右。不仅如此，这种视频格式还具有内置字幕和无需外挂插件支持等独特优点。要想播放这种视频格式，可以使用RealOnePlayer2.0或RealPlayer8.0加RealVideo9.0以上版本的解码器形式进行播放。,22,RealVIDEO,REALVIDEO（RM、RAM）格式由一开始就是定位就是在视频流应用方面的，也可以说是视频流技术的创始者。它可以在用56KMODEM拨号上网的条件实现不间断的视频播放，当然，其图象质量和MPEG2、DIVX等比相差很多。,23,MOV,MOV文件格式（QuickTime）MOV也可以作为一种流文件格式。QuickTime能够通过Internet提供实时的数字化信息流、工作流与文件回放功能，为了适应这一网络多媒体应用，QuickTime为多种流行的浏览器软件提供了相应的QuickTimeViewer插件（Plugin），能够在浏览器中实现多媒体数据的实时回放。该插件的“快速启动（FastStart）”功能，可以令用户几乎能在发出请求的同时便收看到第一帧视频画面，而且，该插件可以在视频数据下载的同时就开始播放视频图像，用户不需要等到全部下载完毕就能进行欣赏。此外，QuickTime还提供了自动速率选择功能，当用户通过调用插件来播放QuickTime多媒体文件时，能够自己选择不同的连接速率下载并播放影像，当然，不同的速率对应着不同的图像质量。此外，QuickTime还采用了一种称为QuickTimeVR的虚拟现实（VR，VirtualReality）技术，用户只需通过鼠标或键盘，就可以观察某一地点周围360度的景象，或者从空间任何角度观察某一物体。,24,H.264,H.264是一种高性能的视频编解码技术。目前国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。而H.264则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是ITU-T的H.