浅谈数字视频的编解码

1、浅谈数字视频的编解码技术视频监控的数字化进程已经不可避免，在数字视频监控领域中，视频的编解码技术是核心概念，正确的理解数字视频的编解码概念有助于更好的设计数字视频监控系统，也有助于合理的选择相关产品。然而长久以来，充斥于网络上关于各种编解码技术的描述艰涩难懂，有时几乎难以通读，更谈不上理解。本文试图以简单明了的语言叙述关于视频编解码的若干重要概念，正确理解了这些概念将为研究具体的编解码标准打下良好的基础。1 模拟视频信号的缺憾及其数字化我们都知道，原始的视频信号是模拟信号，即信号的幅度、频率或者相位是随着时间做连续变化的。模拟视频信号在一定条件下能保证图像质量的优秀以及完全没有延时性，鉴于此，

2、模拟监控仍然在目前占据主流的地位，在某些对画面质量和延时性要求较高的领域甚至是不可替代的。但是，模拟信号的传输和存储都存在巨大的问题，模拟信号中除了有用的信号之外，还会有伴生的噪声信号以及在各种因素下侵入的干扰信号。模拟视频信号是由一系列不同频率的正弦电磁波信号组成。和所有电磁波一样，模拟视频信号在介质中传递也会损耗，在同一种介质中，频率越高的电磁波损耗越剧烈，而对于模拟视频信号来说，频带中的高频分量决定了图像的清晰度和色彩饱和度，这也就解释了为什么模拟视频信号经过较长一段同轴电缆的传递后变得色彩丢失图像模糊了。为了避免在传输介质中的损耗，在传输路径上往往会增设一些放大器，但问题是，在有用的信

3、号被增强放大的同时，没用的噪声也被增强放大了，同时，由于目前电子产品制造工艺水平的局限，模拟信号传输路径上的各种设备都无法做到输入和输出的完全线性对应，这就是说，模拟视频信号，每经过一个设备，就不可避免的对原始信号产生变形和破坏，中间的环节越多，最后输出的信号和原始信号相比走样的就越厉害。同时，模拟视频的存储也是一大问题，最初，模拟视频被存储在磁带或者磁盘上，经过一段时间的存放，磁带或磁盘上磁性粉末会变质氧化，造成回放录像资料时图像的劣化，而且随着时间的流逝，这种劣化是不可避免和逐渐加重的。为解决上述模拟视频存在的问题，有必要将模拟视频数字化。数字化后，原始视频信号变成由0和1构成的数字流，复

4、杂的信号就变成了简单的2个状态的组合，无论是传输还是存储，维持2个状态的准确性显然要容易的多，无论经过多少级传输，无论视频资料保存多久，只要0/1的数字流不变，输出的视频质量就不会变化。模拟视频信号数字化的好处是显而易见的。那么如何实现模拟视频信号的高分辨率模拟-数字转化呢？众所周知，模拟视频信号的峰峰值是1V，即一个周期的视频信号，波峰到波谷的幅度是1V。在数模转化中，通常要使用PCM编码（又叫脉冲编码调制）：数字通信的编码方式之一。主要过程是将话音、图像等模拟信号每隔一定时间进行取样，使其离散化，同时将抽样值按分层单位四舍五人取整量化，同时将抽样值按一组二进制码来表示抽样脉冲的幅值）技术，

5、如果这个信号以10位PCM的数字编码表示，那么将把1V均分为1024（即2的10次方）份，因此模数转换后的信号电压幅度误差为1/1024V，此电压叫做量化电压误差，量化电压误差将随着编码位数的增加而下降。1024份不同的幅值从小到大排列，0V，1/1024V，2/1024V，3/1024V1V分别对应的数字编码为0000000000，0000000001，0000000010.1111111111。每个这样的01组合对应一个特定的幅值，而这个幅值将对应产生此幅值的时刻，这样，每个不同的01组合都和一个周期内的某个特定的时刻建立了对应关系，至此，一个周期的模拟视频已经完成了数字化的全过程。这样的

6、过程也称模拟视频的编码（注意不同于后文提到的压缩编码），编码设备只需在上述特定的时刻发送一个01组合到接受设备即可，接受设备根据接收到的01组合可恢复出此时刻的信号幅值，一系列恢复出的幅值连接起来就形成了一个在时间上近似连续的视频信号。编码位数越高，恢复出的信号在波形上就越接近于原始视频信号，这个逆过程就是视频的解码。这就是模拟视频数字化的基本过程，此过程可用下图表示。2 数字视频的压缩模拟视频信号数字化后就具备了在网络上传输以及存储的基本条件，然而，一路模拟视频数字化后的数据量非常大（大概有120M左右），这样的数据量在现有条件下无论是网络传输或者是硬盘存储都显得不现实，所以有必要对数字视频

7、流进行编码压缩，压缩的规则称之为算法，而压缩算法则是数字视频领域内最重要的概念。通常可以采用有损或者无损压缩的方式来进行图像或者视频的压缩。在无损压缩中，所有的像素都会被保留到解压的同一图像中，其原理类似于WINWAR压缩应用软件。但是无损压缩的缺点在于压缩率十分有限，压缩过的视频数量仍然很大，不适合应用于网络视频解决方案。有损视频压缩技术用于减少和删除多余的视频数据，以便更高效的在网络上传输以及节省保存硬盘的容量。从理论上来说，模拟视频经过PCM数字化转换后，就已经对源视频信号产生了损耗，但是只要PCM编码位数高到一定程度，就可以认为视频质量经过数字化转化后仍然是优秀的（可参见数字光端机）。

8、仅仅经过上述过程后生成的数字视频数据量仍然非常大，必须对这些视频流进行某种规则下的压缩，而这些规则必须能在保证视频质量或者尽量维持视频质量的前提下，大量删除那些对视频质量影响不大且人类无法看见的数据，这些数据的删除基本不会影响视频的观感。理论上说，数字视频经过压缩一定会损失一些细节，但是却能大大减小数字视频的信息量，便于网络传输以及节省存储容量，所以这样的牺牲是值得的。以下仅讨论有损压缩技术。目前最常用的视频压缩算法分别是M-JEPG、MPEG4和H.264，其中H.264是最有前途的视频压缩算法，在可预见的未来，H.264将成为市场的主流。由于视频可以看做连续的图片，所以在介绍视频压缩算法之

9、前，有必要先介绍一下图片的压缩。图片的压缩算法只处理单幅的图片，最广为人知的图片压缩方式就是JEPG，我们通常看到图片大都是JEPG文件格式的。JPEG的压缩级别是可以由用户指定的，比如，如果我们想把绘制好的VISIO图片保存为JPEG文件格式，就会被要求写入压缩比率，压缩比率将会决定生成JEPG图片的文件大小，但是无论如何，生成的JEPG图片的数据量都会小于VISIO图片的数据量。再举个例子，比如我们用WINDOWS自带的画图软件画一幅图片，把他保存为JPEG文件格式后，可以明显看到，同一副图片，JPEG文件的数据量远小于BMP文件的数据量。在把不同文件格式的图片选择保存为JPEG格式时，其

10、实就执行了静态图片压缩算法，只是过程极短，我们难以察觉，同理，我们在电脑上看JPEG图片时，电脑其实也执行了相应的解码算法。M-JPEG是最基本的视频编解码算法。顾名思义，MJPEG就是M（MOTION移动）的JPEG算法，网络摄像机或者编码器和数码照相机类似，捕捉压缩单幅的图片输出，如果要看到连续的效果，那么每秒中输出的图片数量不能低于15幅，当帧率达到30时，我们看到的就是流畅的视频了。由于输出的每幅图片都是JPEG的图片，所以他们都拥有同样的画面质量，最终形成的视频质量取决于数字摄像机或者编码器的内设置的压缩比率。以上图为例，对于M-JPEG算法来说，这个视频片段由3幅静态画面构成，每幅

11、图片单独采集，单独进行压缩然后打包传输，每幅图片相对独立，和彼此没有关系。压缩编码芯片将对每幅画面中所有对象进行压缩计算，生成压缩文件，这种方式也叫帧内压缩。MPEG4和H.264是真正的视频压缩算法，均采用帧间压缩的办法进一步压缩视频的数据量。帧间压缩方案基于以下原理：图像采集设备同样先会生成一定帧率的原始帧，然后对比2帧监控前端采集到的图像，第一帧图像将作为参考帧，第二帧图像将和第一帧图像做对比，只有那些变化了的部分才被压缩传输，换句话说，真正压缩传输的那一后续帧只包含变化的部分。解压时将基于参考帧和差异部分来构建一系列视频。显然，一个视频片段中，只需要完全压缩一帧或者个别帧画面，而别的帧

12、只压缩相对于基础帧变化的部分，这样做明显的降低了视频的信息量，如下图所示：上图中，房子的图像在一系列画面中不变，那么只在第一帧图像中对房子进行编码压缩，后续视频中不再处理房子的画面，而只压缩发生变化的画面，即跑动的人，显然，视频的数据量会下降很多。这种办法基于差分算法。在这种算法中，相邻的帧存在彼此依存的关系，后续帧的压缩编码要基于基础帧，故这种压缩方法又叫帧间压缩。此外，基于“块”的运动补偿技术可以进一步压缩视频数据。这种压缩方法由上述方法演变而来，其原理是：一幅画面由不同的对象构成，可以把图中不同的对象定义为不同的对象“块”。视频序列中大量的 “块”都可以在前面的帧中找到，不同的是，这些变

13、化的对象“块”可能会出现在不同的位置。于是，可以通过在参考帧上查找匹配块的方式逐块的构建新的图像帧，而在此过程中，只需对基础帧中的各个图像块编码压缩，在后续视频中，仅计算相关对象块的移动矢量（带方向的数值）即可，通俗的讲，就是计算每一个块往某个方向移动的距离。新生成的后续帧内将只包含各个块的运动矢量值而不含块本身，而所有的对象块的编码都可以在基础帧内找到，毫无疑问，这样会极大的压缩视频数据量，这种方法叫做运动补偿技术。如图所示：在帧间压缩的视频编码方式里，将把图像序列中的不同的帧分为3种类型，分别是I帧 、B帧和P帧。I帧叫帧内编码帧，这是一种自带全部信息的独立帧，在帧间压缩编码算法中充当基础

14、帧的角色。后续画面将和基础帧进行对比以找出发生变化的部分进行压缩编码。由于I帧本身独立，包含所有视频信息，所以解码时不需要其他图像的参考即可独立解码。I帧的缺点在于，由于包含所有视频信息，故压缩率不可能太大，压缩后的数据量不会很小，这点类似于前述的M-JPEG方式。P帧也叫帧间预测编码帧，P帧的构建需要参考前面的I帧或者P帧的内容。P帧内仅仅包含相对于前帧变化的部分的压缩编码。正因如此，P帧对前面的I帧或者P帧有着复杂的依赖性，对传输中的错误非常敏感。P帧只需要参考前面的I或P帧。B帧即双向预测编码帧，B帧的构建需要和其前面和后面的帧同时进行对比才能完成。换句话说，B帧完全是压缩算法有根据的“

15、猜”出来的。由于压缩编码芯片多了这部分工作，故采用B帧后将会产生较大的延时。通俗的讲，B帧类似数码相机中的电子变倍，我们都知道，电子变焦的原理是利用插值算法，实际画面并没有变大，只是CPU计算出相邻像素的中间值然后插在相邻像素之间，形成画面被放大的感觉。B帧的原理也是如此，他会对相邻的前帧和后帧进行比对处理，找到2者画面的中间状态，然后生成一幅新的图像，这幅图像完全是芯片根据前后2帧画面计算出来的，芯片认为2幅画面之间应该是什么样子，于是按既定算法生成一个B帧。理论上任2幅连续画面之间都存在一个或多个过渡的画面，B帧就是利用这个原理生成的。当然，可以根据需要添加若干个B帧。显然，B帧能使画面更

16、加平滑流畅但将对压缩编码芯片的计算能力提出更高的要求。B帧需要同时参考其前后的帧才能构建完成，这点和P帧有所不同。当视频解码器逐帧对视频流进行解码重构视频时，必须从I帧进行解码，如果使用了P帧和B帧，则要和相关的参考帧一起进行解码。可以想象，如果很长一段视频只有一个I帧，而后续帧统统是基于I帧参考计算出的B或者P帧的话，再精确再高级的算法也没法保证图像质量一直优秀，因为实际图像很快就会发生较大的变化，可能整个画面完全变化。所以需要不断的插入新的I帧供后续P帧参考，I帧的插入频率是可以通过视频编码设备设置的，但是频繁的插入I帧，无疑将增大视频的数据量。此外，采用B帧将会加大视频的延时性。目前，主

17、流的实用化的视频压缩算法都是以上原理为基础实现的，当然，实际的算法要复杂的多，但基本原理如此。对于MPEG4和H.264的详细算法定义，可以去网上查询，这里只对上述几种压缩算法做一对比。显然，M-JEPG可以最大限度的保证视频质量，但是由于压缩率低，压缩后的视频数据量仍然很大，在目前的视频监控领域基本不采用。真正实际使用的压缩算法是MPEG4和H.264，而H.264在保证同样视频质量的条件下，占用带宽要小于MPEG4，远小于MJPEG。目前业内已经达成共识，H.264算法将成为未来一段时间内视频压缩算法的主流技术。下图可明白的比较出同样视频质量的条件下，不同算法的占用带宽情况。上图中H.26

18、4算法采用基准类别，即视频序列中不出现B帧，用于减少延时。而MPEG4则以使用运动补偿算法和不使用这种算法的做了一个对比，可见，使用运动补偿算法的占用带宽要少于不使用这种算法的。无论如何，H.264在实现同样视频质量的前提下，将分别比MPEG4和M-JEPG节省50和80的数据量，正因如此，H.264算法才成为行业的首选。凡事总有两面性，H.264的先进性能是以算法的复杂程度为代价的，此算法的实现将对编码设备芯片以及解码工作站的性能提出更高的要求。3视频编码器（视频服务器）在以往的模拟视频监控系统中，监控前端是模拟摄像机，图像传输需通过同轴电缆，在数字视频监控中，监控前端输出的视频信号直接是经

19、过压缩算法计算后的适合网络传输的数字视频流，可经过有线或者无线网络设备传输。可以说，数字摄像机就是将模拟摄像机和数字编码器结合的产物，其内部除了传统的模拟图像采集部件外还集成了内置数字视频压缩算法的处理芯片以及用于网络传输的相关模块，数字监控前端将不再输出模拟视频信号，而只有一个网口用于传输数字视频。这种监控前端被叫做纯数字摄像机，那么如果原来已经存在模拟摄像机，怎么把系统改造为数字监控系统呢？这时就必须采用数字视频编码器，简单的说，一个模拟摄像机加一个数字视频编码器就等于一个纯数字摄像机，如下图：编码器的核心部分就是压缩算法芯片，此芯片内将根据上述各种既定算法对模数转换后的原始数字视频流进行

20、压缩计算，然后输出到网络传输模块传送到网络。对于开发实力不强的厂家来说，他们通常采购已经内置了固定算法的处理芯片（ASIC）来生产数字摄像机，这种芯片在市场上可以购买的到，内置的算法是现成的，厂家不需要做二次开发直接使用即可，但这种方式的弊端是算法相对固定，且被固化在芯片中，厂家即使发现算法不合理，也不能对其进行改善，这些算法通常是较为通用的压缩算法，芯片的制造商认为其内置的压缩算法可以满足市场上一般的应用。对于具有较强开发实力的厂家来说，他们的做法通常是购买通用的高性能数字信号处理芯片(DSP)而根据项目实际或者根据长期的开发经验把自己认为较好的压缩算法写入这些空白芯片，这样做的好处是显而易

21、见的，数字摄像机厂商可以根据市场的要求或者自己对技术的理解开发自己的视频压缩算法，但是这对厂家的开发实力提出了较高的要求。值得说明的是，即使对于同一种压缩算法，如果要完全按照算法的标准定义去做开发，难度是巨大的，且算法本身的复杂程度也超出预料，将会造成较大的延时，同时对设备性能要求极高。正因如此，各个厂家也会根据实际需要选择此标准算法下部分算法集做开发以降低开发难度和算法的复杂程度。由于上述现状的存在，导致了目前数字监控领域的一个极大不便之处，就是编解码算法严重不统一，各家的算法千差万别，导致不同厂家的编解码器不能混用。众所周知，纯数字监控系统的核心是一套数字监控管理软件，如果要在PC上观看视

22、频，软件必须取得监控前端的视频SDK开发包才行，所以目前数字系统的管理软件多由数字摄像机制造厂商自己提供，这里会产生一个问题，这些厂商长于硬件制造，其提供的管理软件往往在功能上较为简单，无法完全满足用户的要求，而市场上也有专门做数字视频监控管理软件的厂家，他们善于软件开发往往具有多年的软件开发经验，他们的软件功能完善，能较好的满足用户的要求，但是他们往往不生产监控前端，于是，每一次数字监控系统的实施中，要么就是用户对管理软件不满意，要么就是专业软件厂商用硬件设备的SDK开发包做二次开发，如果前端使用的设备不同，那么软件厂家就要获得各家的硬件开发包才行，这点技术在上没有难度，但是却增加了开发成本

23、和周期。前端设备压缩算法的不统一也是数字系统没有达到原来传统模拟监控所达到的开放性的原因之一，在模拟系统中，增加一个前端点，无论是哪家的模拟摄像机都可以顺利接入，但是在数字系统中，如果新接入的不同厂家数字前端无法直接在PC或者解码器上解码输出，无形中，这将限制业主选择不同的设备，不利于增强系统可延续性，也不便于未来的系统扩容和维护。现阶段数字监控系统的瓶颈在此，这是技术转型期必然出现的问题，随着技术的发展和行业的规范，数字编解码算法必然趋于统一，那时，这个问题将迎刃而解，不过现在，我们必须面对这个问题并耐心等待。4软解码和硬解码解码是编码的逆过程。模数转换后生成的数字视频经过特定算法的压缩后将

24、生成压缩数字视频，这样的视频不经过解码计算是无法还原成可见视频的。这里就牵扯到如何解码的问题，从原理上说，解码的过程是编码的逆过程，解码设备把压缩过的视频经过对应的解码算法以及数模转换后还原为原始视频，在PC上或者经过解码器输出。具体来说，如果图像要在PC机上浏览，那么数字监控软件里一定有解码算法，解码的工作将交给计算机的CPU完成，由于CPU还要完成别的工作，解码的工作只是占用计算机CPU的部分资源，换言之，这种类型的解码是一种特殊的应用程序，和大多数运行于PC机操作系统下的应用程序一样，都由计算机的CPU完成，如果一台客户端要同时浏览多路视频，我们就能明显感觉到延时性增加，同时CPU的占有率直线上升，每解一路视频都要耗费PC机CPU的资源，所以对于那些要同时浏览多路高分辨率的数字系统客户端来说，PC的配置性能要求会较高。这种方式就是软解码。硬解码有所不同，和编码设备一样，厂商通常采购相应的DSP芯片，把相关解码算法写入这些芯片，这些固化了解码算法的芯片只用来进行视频的解码而不做别的用途，厂家可以利用这些芯片做成特定的硬件设备，也可以做成板卡插入PC机箱内，但是这种做法不再占用PC的C