常见音视频格式

1、常见音频视频格式简介（1）MPEG 系列MPEG即（Moving Pictures Experts Group）运动图象专家组，属于ISO（InternationalOrganization for Standardization）国际标准组织，他们开发了一系列视频音频编码，最为大家熟悉的就是MP3，MPEG-1/2/4。MPEG-1较早的视频编码，质量比较差，主要用于 CD-ROM 存储视频，国内最为大家熟悉的就是 VCD（Video CD），他的视频编码就是采用 MPEG-1。MPEG-2在MPEG-1 的基础上开发的一种视频编码，它的质量远远好于 MPEG-1，所以被运用在了 DVD-V

2、ideo 上面，MPEG-2 是DVD-Video 唯一指定的视频编码。MPEG-2 不光运用于 DVD-Video ，现在大部分 HDTV（高清电视）也采用 MPEG-2编码，分辨率达到了 1920x1080。由于 MPEG-2 的普及，本来为 HDTV 准备的 MPEG-3 最终宣告放弃。MPEG-4为了应对网络传输等环境，传统的 MPEG-1/2 已经不能适应，所以促使了 MPEG-4 的诞生。MPEG-4采用了一系列新技术，来满足在低带宽下传输较高视频质量的需求。DivX，XviD，MS MPEG4 都是采用的 MPEG-4 视频编码，除了在DVDRip 上面的应用，3GPP 现在也接

3、纳了 MPEG-4 作为视频编码方案。MPEG-4 AVC它和 MPEG-4 是两种不同的编码，主要是在极低码率下 MPEG-4 表现并不好，而 AVC 更加适合低带宽传输。在高码率上，AVC的表现也要好过 MPEG-4，所以现在大有取代 MPEG-4 的趋势。下一代 HD DVD 和 Blue Ray Disc 已经正式接纳AVC 为视频编码方案之一，相信 AVC 的发展前途会非常好。MPEG Audio Layer 1/2也就是 MP1、MP2 ，较早的音频编码，是 MP3 的前身，主要用于 VCD，DVD，SVCD 的音频编码。MPEG Audio Layer 3大名鼎鼎的 MP3，已经

4、成为网络音频的主流格式，能在 128kbps 的码率接近 CD 音质。MPEG-2 AAC在 MPEG-2 上开发的一种新的音频编码，和传统的 MPEG Audio 不兼容，它的质量理论上高于 MP3，并且支持多声道。在 96kbps 的码率范围内就能接近 CD 音质，比 MP3 更加适合地码率传输。MPEG-4 AACAAC 已经作为 MPEG-4 标准的音频编码，当然 MPEG-4 Audio 还有其他多种音频编码。MPEG-4 aacPlus采用了 SBR 频带复制技术的 AAC，SBR 技术能够让音频编码降低一半的码率而音质不会有太大改变，已经成为 MPEG-4 标准的一部分。MPEG

5、-4 VQFNTT 开发的一种音频格式，曾经销声匿迹了一段时间，只在 Nero 里面见到过它的身影。现在搭上 SBR 技术又进入了 MPEG-4 标准，似乎不甘心就这么被遗忘，据说在低比特率下表现比 aacPlus 更好。mp3PROMP3 加上 SBR 技术诞生的一种产品，但是并没有得到多大推广，更没有进入标准。MP3 Surround让MP3 插上多声道的翅膀，Fraunhofer 开发的又一种 MP3 升级产品，听说 DivX 6 准备将它作为音频编码。Fraunhofer一直都在围绕着 MP3 升级，mp3PRO、MP3 Surround，这些产品都能和传统 MP3 兼容，但是随着层出

6、不穷的新编码，不知道MP3 还能走多远。DVD系列说了 MPEG ，就不能不提这个 MPEG-2 最大受益者-DVD。当然，这里是指 DVD-Video 和 DVD-Audio，也会涉及一些HD DVD。DVD 的编码都属于应用级的，它们自己并不开发编码，这一点要和 MPEG 区别开来。Dolby Digital AC3DVD 事实上的音频编码标准，现在所有的 DVD 都采用它压缩音频，提供了最大 5.1 声道的输出支持，能在有限的空间存储高质的音频。Dolby Digital Plus下一代 HD DVD 的音频编码，是 AC3 的升级版本，支持 7.1 甚至更多的声道，码率范围也有大幅提升

7、。MLP LosslessHD DVD 上的无损音频编码，同样为 Dolby 公司开发，最高采样能达到 192KHz，也为 DVD-Audio 的音频编码标准。DTSDTS 最初是为电影院开发的音频系统，后来才应用于 DVD 中。它是 AC3 的有力竞争者，不过在 DVD 中只有 D9 才能够看到他的身影，虽然广大发烧友都在鼓吹它的效果超过 AC3，但是测试出来并不如想象中的那么好，特别是高频方面不及 AC3。DTS-HD下一代 HD DVD 的音频编码，它和 Dolby Digital Plus 都被指定为强制编码，看来在未来会和 Dolby 平分秋色。LPCM没有压缩的 PCM 编码，只能

8、存储两声道，但是采样率能够高达 96KHz，是 DVD-Video 中音质最好的一种，当然体积也是最大的。MPEG Audio主要是 MP2，应用于 PAL 制式的 DVD，压缩率高，支持多声道（MPEG-2 规范都支持多声道）。DSD这个似乎扯远了，不过作为 DVD-Audio 的最大竞争对手 SACD，顺带介绍一下。DSD（Direct StreamDigital）直接比特流数字，由 Sony 推出，能够避免传统 PCM 编码的弊端，达到非常高的品质。最高采样和 DVD-Audio一样，192KHz。H.26X系列“ITU（InternationalTelecommunication Un

9、ion）国际电传视讯联盟”主导的编码系列，主要应用于实时视频通信领域，如会议电视等。由于现在 MPEG系列也开始向这个领域进军，所以这两个组织也开始了密切的合作，如最近热门的 AVC/H.264，就是由 ITU 旗下的“VCEG（VideoCoding Experts Group）视频编码专家组”和“ISO（International Organization forStandardization）国际标准组织”旗下的“MPEG （Moving Pictures ExpertsGroup）运动图象专家组”联合制作发布的。H.261H.261是ITU-T为在综合业务数字网(ISDN)上开展双向声

10、像业务(可视电话、视频会议)而制定的，它是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、DCT变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。H.263H.263是ITU-T为低于64kb/s的窄带通信信道制定的视频编码标准，它是在H.261基础上发展起来的。H.263+H.263 的第二个版本，加入了许多新技术来扩展 H.263 的应用范围。H.263+在 H.263+ 上增加了几个选项，来增强码流在恶劣信道上的抗误码性能，同时提高增强编码效率。H.264也就是前面提到的 MPEG-4AVC。H.264是由ISO/IEC与ITU-T组成的联合

11、视频组(JVT)制定的新一代视频压缩编码标准。在ISO/IEC中该标准命名为AVC(Advanced Video Coding)，作为MPEG-4标准的第10个选项；在ITU-T中正式命名为H.264标准。3GPP现在通讯领域最热门的话题之一，既然说了 MPEG 和 ITU，和这两个千丝万缕的 3GPP 应用就不得不提了。3GPP 的视频采用了MPEG-4 和 H.263 两种编码，可能还将加入 H.264，音频方面音乐压缩采用 AAC，语音则采用先进的 AMR，另一个aacPlus 随着 V2 版本的推出，底码率下的效果更加突出，也有望加入标准。Windows Media系列Microsof

12、t 公司主导的音频视频编码系列，它的出现主要是为了进行网络视频传输，现在已经向 HDTV 方面进军，开发了 WMV HD 应用。Microsoft MPEG-4 v1/v2/v3最早的 ASF 采用的视频编码，基于 MPEG-4 技术开发，DivX3.11 就是基于 Microsoft MPEG-4 v3 破解出来的，后来才进行了重写。Windows Media Video 7Microsoft正式开发的第一个 Windows Media Video，开始脱离了 MPEG-4，和 MPEG-4不兼容，从这一点上可见微软的野心。可惜这个版本压缩效果非常烂，打破了微软一飞冲天的美梦，不过它在压缩速

13、度上非常快，现在网络上有很多采用这种格式压缩的 WMV。Windows Media Video 8在 WMV7 基础上改进的版本，质量上面进不了不少。Windows Media Video 9微软的重头戏，不光是这一个编码，V9 系列更是一个平台，让微软有足够的能力挑战 MPEG，ITU等标准化组织。虽然这个版本并没有微软吹得那么厉害，特别是低码率下比较差，不过跟以前版本相比进步还是非常多的。特别是 WMV HD的应用，让微软也跻身视频标准领域。Windows Media Video 9 ProfessionalWMV HD 应用的编码，和 WMV9 兼容，在高比特率上进行了优化，画面非常优秀

14、。（不过几十M的码率能不优秀吗？全是体积换来的。）Windows Media Video 9 Advanced Profile随着 Windows Media Player 10 推出的编码器，能够更进一步控制 WMV9 的质量。但是不能在老版本的 WMP9 上播放，也就是不兼容老版本的 WMP9，真不知微软在搞什么？Windows Media Video 9 Screen静态屏幕无损压缩编码，质量非常好，压缩率高，只针对如屏幕等变化非常小的环境。Windows Media Video 9 Image静态图像压缩编码。Windows Media Audio v1/v2微软最早的音频编码技术，用

15、于 ASF 中，后来被破解也用在 DivX Audio 中，质量比较差。Windows Media Audio 7/8/9随着各种不同的 WMV 而推出的相应的音频编码，质量节节提升，不过还没有达到 64kbps CD音质的神化。Windows Media Audio 9 ProfessionalWMA9 中出现的新编码，主要用于多声道编码和高采样率音频的编码，质量不错。Windows Media Audio 9 Voice针对语音的编码，最高 20kbps ，不过和 AMR 相比，效果就太差了。Windows Media Audio 9 Lossless无损音频编码，可以完美保留CD原质量，

16、是CD备份的不错选择，不过代价是体积过大。RealMedia系列RealNetworks 所开发的系列编码技术，也是主要用于网络传输，在底码率下表现不错。RealVideo G2早期的 RealVideo 编码，质量比较糟糕，不过那时在网络上算是很先进了，毕竟当时能用网络看视频的人不多。RealVideo 8随着 RealPlayer 8 推出的视频格式，是现在主流的网络视频编码之一。编码速度较慢，质量也只能算一般。RealVideo 9RealNetworks 开发的新一代编码，质量进步了很多，特别是在底码率下，而且编码速度很快，做到了速与质的很好统一。RealVideo 10在 RealV

17、ideo 9 基础上加入了一些参数，如 EHQ 等，更加精确控制码率，和 RealVideo 9 兼容。RealAudio Cook早期的音频编码，但是在现在看来，仍然质量不错，可惜最高码率 96kbps。应用到了两代音频编码中：RealAudio G2、RealAudio 8。RealAudio Cook MultichannelCook 的改进版本，增加了5.1声道的支持，应用到了 RealAudio 10 Multichannel 中。RealAudio Sipro采用了 Sipro 语音编码技术，主要针对语音编码，应用在更早期的 RealAudio 4.0、RealAudio 5.0

18、中。RealAudio ATRAC3Sony 公司开发的 ATRAC3 编码，被 RealNetworks 公司购买过来应用到了 RealAudio 8 中，以弥补 Cook 高码率上的不足。RealAudio AACAAC 音频编码，用于 RealAudio 10 中。RealAudio aacPlusaacPlus 音频编码，用于 RealAudio 10 中，不过并没有随 RealProducer 发行，需要单独购买。RealAudio Lossless无损音频编码。QuickTime系列QuickTime 并不是一个编码，而是一个多媒体平台，它的上面有众多编码，这里只介绍几个主流的编码

19、器。Sorenson Video 2Sorenson Media 公司开发的编码器，主要用于 QuickTime 4 的视频编码，质量较差。Sorenson Video 3Sorenson Media 公司随 QuickTime 5 发布的编码器，质量很不错，已经成为 QuickTime 的标准视频编码，网络上大部分电影预告片都采用这种编码。Apple MPEG-4Apple 公司自己开发的 MPEG-4 编码器，随 QuickTime 6 发布，质量很差。Apple H.264Apple 公司自己开发的 H.264 编码器，随 QuickTime 7 发布，支持 HDTV。QDesign M

20、usic 1QDesign 公司开发的音频编码器，这个版本现在已经开不到它的身影了。QDesign Music 2QDesign Music 的第二个版本，也是最后一个版本，在时下这些先进的音频编码面前，它已经没有生命力了，主要应用于网上的电影预告片。Qualcomm PureVoiceQualcomm 公司开发的语音编码器，质量不错。Apple MPEG-4 AACApple 公司自己开发的 AAC 编码器，质量非常好，是最优秀的 AAC 编码器之一，随 QuickTime 6 发布。AMR NarrowbandAMR 语音编码器，这个版本只支持 AMR-NB。Apple LosslessA

21、pple 公司开发的无损音频编码，主要应用于 iTunes 抓取 CD。Ogg系列Ogg 是 X 基金会发起的一个开放源代码项目，包括视频音频，服务器，传输系统，客户端，硬件支持等，最为大家熟悉的就是音频 Ogg Vorbis，它被认为是迄今为止 128kbps 码率上最好的编码器。Ogg TheoraOgg 的视频编码，基于 On2 VP3 开发，现在还处于测试阶段。Ogg VorbisOgg 的音频编码，质量非常优秀，特别是低码率下，支持多声道。最高码率能够达到 500kbps，是 AAC 的有力竞争者。Ogg SpeexOgg 的语音编码，专门针对低码率的语音编码。Ogg

22、FLACOgg 的无损音频编码。On2 VPX系列On2 公司开发了一系列优秀的视频编码，现在应用得最多的恐怕是 Nullsoft Video 的视频，它们就采用了 VP3，VP5，VP6 视频编码。VP3已经作为开放源代码公布，现在是 Ogg Theora 项目，当然，Theora 的质量可比 VP3 好多了。VP4On2 公司当年吹牛全球最好的视频编码，后来证明质量很一般。VP5至今还很神秘，On2 并没有放出来，只在 Nullsoft Video 里面见到他的身影。VP6从一开始，On2 就把这个编码器提供给大家下载，质量还是不错的。不过最近似乎又关闭了，主页上只有一个解码器。VP7On

23、2 最新的编码器，在 VP6 上有不少进步。Flash VideoMacromedia公司推出的多媒体格式，主要用于在 Flash 中压缩视频。视频采用 Sorenson 公司的 Spark 编码器，音频采用MP3，质量比较差。传闻下一代 Flash Video 准备使用 On2 VP6 ，那将让视频质量得到一个量的提升。容器MPGMPEG编码采用的容器，具有流的特性。里面又分为 PS，TS 等，PS 主要用于 DVD 存储，TS 主要用于 HDTV。VOBDVD采用的容器格式，支持多视频多音轨多字幕章节等。MP4MPEG-4编码采用的容器，基于 QuickTime MOV 开发，具有许多先进

24、特性。3GP3GPP视频采用的格式，主要用于流媒体传送。ASFWindows Media 采用的容器，能够用于流传送，还能包容脚本等。RMRealMedia 采用的容器，用于流传送。MOVQuickTime 的容器，恐怕也是现今最强大的容器，甚至支持虚拟现实技术，Java 等，它的变种 MP4,3GP都没有这么厉害。MKVMKV 它能把 Windows Media Video，RealVideo，MPEG-4 等视频音频融为一个文件，而且支持多音轨，支持章节字幕等。OGGOgg 项目采用的容器，具有流的特性，支持多音轨，章节，字幕等。OGMOgg 容器的变种，能够支持基于 DirectShow

25、 的视频音频编码，支持章节等特性。AVI最常见的音频视频容器。NSVNullsoft Video 的容器，用于流传送。WAV一种音频容器，大家常说的 WAV 就是没有压缩的 PCM 编码，其实 WAV 里面还可以包括 MP3 等其他 ACM 压缩编码。MP4文件格式中，所有的内容存在一个称为movie的容器中。一个movie可以由多个tracks组成。每个track就是一个随时间变化的媒体序列，例如，视频帧序列。track里的每个时间单位是一个sample，它可以是一帧视频，或者音频。sample按照时间顺序排列。注意，一帧音频可以分解成多个音频sample，所以音频一般用sample作为单位

26、，而不用帧。MP4文件格式的定义里面，用sample这个单词表示一个时间帧或者数据单元。每个track会有一个或者多个sample descriptions。track里面的每个sample通过引用关联到一个sample description。这个sample descriptions定义了怎样解码这个sample，例如使用的压缩算法。与其他的多媒体文件格式不同的是，MP4文件格式经常使用几个不同的概念，理解其不同是理解这个文件格式的关键。这个文件的物理格式没有限定媒体本身的格式。例如，许多文件格式将媒体数据分成帧，头部或者其他数据紧紧跟随每一帧视频，！TODO（例如MPEG2）。而MP4文

27、件格式不是如此。文件的物理格式和媒体数据的排列都不受媒体的时间顺序的限制。视频帧不需要在文件按时间顺序排列。这就意味着如果文件中真的存在这样的一些帧，那么就有一些文件结构来描述媒体的排列和对应的时间信息。MP4文件中所有的数据都封装在一些box中（以前叫atom）。所有的metadata(媒体描述元数据)，包括定义媒体的排列和时间信息的数据都包含在这样的一些结构box中。MP4文件格式定义了这些这些box的格式。Metadata对媒体数据（例如，视频帧）引用说明。媒体数据可以包含在同一个的一个或多个box里，也可以在其他文件中，metadata允许使用URLs来引用其他的文件，而媒体数据在这些

28、引用文件中的排列关系全部在第一个主文件中的metadata描述。其他的文件不一定是MP4文件格式，例如，可能就没有一个box。有很多种类的track，其中有三个最重要，video track包含了视频sample；audio track包含了audio sample；hint track稍有不同，它描述了一个流媒体服务器如何把文件中的媒体数据组成符合流媒体协议的数据包。如果文件只是本地播放，可以忽略hint track，他们只与流媒体有关系。Physical structure of the mediaBox定义了如何在sample table中找到媒体数据的排列。这包括data refere

29、nce(数据引用), the sample size table, the sample to chunk table, and the chunk offset table. 这些表就可以找到track中每个sample在文件中的位置和大小。data reference允许在第二个媒体文件中找到媒体的位置。这样，一部电影就可以由一个媒体数据库中的多个不同文件组成，而且不用把它们全部拷贝到另一个新文件中。例如，对视频编辑就很有帮助。为了节约空间，这些表都很紧凑。另外，interleave不是sample by sample，而是把单个track的几个samples组合到一起，然后另外几个sam

30、ple又进行新的组合，等等。一个track的连续几个sample组成的单元就被称为chunk。每个chunk在文件中有一个偏移量，这个偏移量是从文件开头算起的，在这个chunk内，sample是连续存储的。这样，如果一个chunk包含两个sample，第二个sample的位置就是chunk的偏移量加上第一个sample的大小。chunk offset table说明了每个chunk的偏移量，sample to chunk table说明了sample序号和chunk序号的映射关系。注意chunk之间可能会有死区，没有任何媒体数据引用到这部分区域，但是chunk内部不会有这样的死区。这样，如果在

31、节目编辑的时候，不需要一些媒体数据，就可以简单的留在那里，而不用引用，这样就不用删除它们了。类似的，如果媒体存放在第二个文件中，但是格式不同于MP4文件格式，这个陌生文件的头部或者其他文件格式都可以简单忽略掉。Temporal structure of the media文件中的时间可以理解为一些结构。电影以及每个track都有一个timescale。它定义了一个时间轴来说明每秒钟有多少个ticks。合理的选择这个数目，就可以实现准确的计时。一般来说，对于audio track，就是audio的sampling rate。对于video track，情况稍微复杂，需要合理选择。例如，如果一个media TimeScale是30000，me