视频编码的基本原理.doc

视频编码的基本原理.txt两个男人追一个女人用情浅的会先放弃。两个女人追一个男人用情深的会先放弃。你的话，我连标点符号都不信男女授受不亲，中国哪来13亿人口。视频编码的基本原理视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。去时域冗余信息使用帧间编码技术可去除时域冗余信息，它包括以下三部分： 运动补偿 运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。 运动表示 不同区域的图像需要使用不同的运动矢量来描述运动信息。运动矢量通过熵编码进行压缩。 运动估计 运动估计是从视频序列中抽取运动信息的一整套技术。 注：通用的压缩标准都使用基于块的运动估计和运动补偿去空域冗余信息主要使用帧间编码技术和熵编码技术： 变换编码 帧内图像和预测差分信号都有很高的空域冗余信息。变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。 量化编码 经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。这一过程导致精度的降低。 熵编码 熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一步的压缩。视频编码的基本框架H.261 H.261标准是为ISDN设计，主要针对实时编码和解码设计，压缩和解压缩的信号延时不超过150ms，码率px64kbps(p=130)。 H.261标准主要采用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩技术。 只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。支持两种图像扫描格式：QCIF和CIF。H.263 H.263标准是甚低码率的图像编码国际标准，它一方面以H.261为基础，以混合编码为核心，其基本原理框图和H.261十分相似，原始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分，如：半像素精度的运动估计、PB帧预测等，使它性能优于H.261。 H.263使用的位率可小于64Kb/s,且传输比特率可不固定（变码率）。H.263支持多种分辨率： SQCIF(128x96)、 QCIF、CIF、4CIF、16CIF。与H.261和H.263相关的国际标准与H.261有关的国际标准H.320：窄带可视电话系统和终端设备；H.221：视听电信业务中641 920Kb/s信道的帧结构；H.230：视听系统的帧同步控制和指示信号；H.242：使用直到2Mb/s数字信道的视听终端的系统。与H.263有关的国际标准H.324：甚低码率多媒体通信终端设备；H.223：甚低码率多媒体通信复合协议；H.245：多媒体通信控制协议；G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器。JPEG 国际标准化组织于1986年成立了JPEG(Joint Photographic Expert Group)联合图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩编码标准。常用的基于离散余弦变换(DCT)的编码方法，是JPEG算法的核心内容。MPEG-1/2 MPEG-1标准用于数字存储体上活动图像及其伴音的编码，其数码率为1.5Mb/s。 MPEG-1的视频原理框图和H.261的相似。 MPEG-1视频压缩技术的特点：1. 随机存取；2. 快速正向/逆向搜索；3 .逆向重播；4. 视听同步；5. 容错性；6. 编/解码延迟。MPEG-1视频压缩策略：为了提高压缩比，帧内/帧间图像数据压缩技术必须同时使用。帧内压缩算法与JPEG压缩算法大致相同，采用基于DCT的变换编码技术，用以减少空域冗余信息。帧间压缩算法，采用预测法和插补法。预测误差可在通过DCT变换编码处理，进一步压缩。帧间编码技术可减少时间轴方向的冗余信息。 MPEG-2被称为“21世纪的电视标准”，它在MPEG-1的基础上作了许多重要的扩展和改进，但基本算法和MPEG-1相同。 MPEG-4 MPEG-4标准并非是MPEG-2的替代品，它着眼于不同的应用领域。MPEG-4的制定初衷主要针对视频会议、可视电话超低比特率压缩（小于64Kb/s）的需求。在制定过程中，MPEG组织深深感受到人们对媒体信息，特别是对视频信息的需求由播放型转向基于内容的访问、检索和操作。 MPEG-4与前面提到的JPEG、MPEG-1/2有很大的不同，它为多媒体数据压缩编码提供了更为广阔的平台，它定义的是一种格式、一种框架，而不是具体算法，它希望建立一种更自由的通信与开发环境。于是MPEG-4新的目标就是定义为：支持多种多媒体的应用，特别是多媒体信息基于内容的检索和访问，可根据不同的应用需求，现场配置解码器。编码系统也是开放的，可随时加入新的有效的算法模块。应用范围包括实时视听通信、多媒体通信、远地监测/监视、VOD、家庭购物/娱乐等。JVT：新一代的视频压缩标准 JVT是由ISO/IEC MPEG和ITU-T VCEG成立的联合视频工作组（Joint Video Team），致力于新一代数字视频压缩标准的制定。 JVT标准在ISO/IEC中的正式名称为：MPEG-4 AVC(part10)标准；在ITU-T中的名称:H.264（早期被称为H.26L）H264/AVC H264集中了以往标准的优点，并吸收了以往标准制定中积累的经验, 采用简洁设计,使它比MPEG4更容易推广。H.264创造性了多参考帧、多块类型、整数变换、帧内预测等新的压缩技术，使用了更精细的分象素运动矢量（1/4、1/8)和新一代的环路滤波器，使得压缩性能大大提高，系统更加完善。 H.264主要有以下几大优点： 高效压缩：与H.263+和MPEG4 SP相比，减小50%比特率 延时约束方面有很好的柔韧性 容错能力 编/解码的复杂性可伸缩性 解码全部细节：没有不匹配 高质量应用 网络友善监控中的视频编码技术 目前监控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC等几种视频编码技术。对于最终用户来言他最为关心的主要有：清晰度、存储量（带宽）、稳定性还有价格。采用不同的压缩技术，将很大程度影响以上几大要素。 MJPEG MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要820K！MPEG-1/2 MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240；PAL制为352X288)的图像进行压缩. 压缩位率主要目标为1.5Mb/s.较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方:存储容量还是过大、清晰度不够高和网络传输困难。 MPEG-2 在MPEG-1基础上进行了扩充和提升，和MPEG-1向下兼容，主要针对存储媒体、数字电视、高清晰等应用领域，分辨率为：低(352x288)，中(720x480)，次高(1440x1080)，高(1920x1080)。MPEG-2视频相对MPEG-1提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适和网络传输。MPEG-4 MPEG-4视频压缩算法相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。 MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另外对于中国企业来说还要面临高昂的专利费问题，目前规定： 每台解码设备需要交给MPEG-LA 0.25美元 编码/解码设备还需要按时间交费（4美分/天=1.2美元/月 =14.4美元/年）H.264/AVC H.264集中了以往标准的优点，在许多领域都得到突破性进展，使得它获得比以往标准好得多整体性能： 和H.263+和MPEG-4 SP相比最多可节省50的码率，使存储容量大大降低； H.264在不同分辨率、不同码率下都能提供较高的视频质量； 采用“网络友善”的结构和语法，使其更有利于网络传输。 H.264采用简洁设计,使它比MPEG4更容易推广，更容易在视频会议、视频电话中实现，更容易实现互连互通，可以简便地和G.729等低比特率语音压缩组成一个完整的系统。 MPEG LA吸收MPEG-4的高昂专利费而使它难以推广的教训，MPEG LA制定了以下低廉的H.264收费标准：H.264广播时基本不收费；产品中嵌入H.264编/解码器时，年产量10万台以下不收取费，超过10万台每台收取0.2美元，超过500万台每台收取0.1美元。低廉的专利费使得中国H.264监控产品更容易走向世界。 监控中视频编码分辨率的选择 目前监控行业中主要使用以下分辨率：SQCIF、QCIF、CIF、4CIF。 SQCIF和QCIF的优点是存储量低，可以在窄带中使用，使用这种分辨率的产品价格低廉；缺点是图像质量往往很差、不被用户所接受。 CIF是目前监控行业的主流分辨率，它的优点是存储量较低，能在普通宽带网络中传输，价格也相对低廉，它的图像质量较好，被大部分用户所接受。缺点是图像质量不能满足高清晰的要求。 4CIF是标清分辨率，它的优点是图像清晰。缺点是存储量高，网络传输带宽要求很高，价格也较高。 分辨率新的选择528x384 2CIF（704x288）已被部分产品采用，用来解决CIF清晰度不够高和4CIF存储量高、价格高昂的缺点。但由于704x288只是水平分辨率的提升，图像质量提高不是特别明显。 经过测试，我们发现另外一种2CIF分辨率528x384，比704x288能更好解决CIF、4CIF的问题。特别是在512Kbps1Mbps码率之间，能获得稳定的高质量图像，满足用户较高图像质量的要求。目前这一分辨率已被许多网络多媒体广播所采用，被广大用户所接受。比如杭州网通网上影院是采用512x384分辨率,在768k下能稳定地获得近似DVD的图像质量。监控中实现视频编码的最佳方式 目前视频编码正处于一个技术日新月异的时期，视频编码的压缩性能在不断得到提升。 在监控中主要使用ASCI和DSP两种方案。由于ASIC芯片的设计、生产周期过长，使它已跟不上视频编码的发展速度。而DSP芯片，由于它的通用设计，使它能实现各种视频编码算法，并且可以及时更新视频编码器，紧跟视频编码的发展速度。另外使用DSP芯片可以比ASIC更灵活的配置编码器，使编码器达到最佳性能。海康威视产品目前达到的技术水准 海康威视产品采用最先进的H.264视频压缩算法和高性能的DSP处理器。 强大的H.264视频压缩引擎使产品获得极高的压缩比、高质量的图像质量和良好的网络传输性能。高性能的DSP处理器能灵活的配置视频编/解码器：动态设置分辨率、帧率、码率、图像质量等；可以双码流输出，达到本地存储和网络传输分别处理的功能。 使用TM130X DSP的产品，单个芯片能实时压缩一路以下分辨率的视频：SQCIF、QCIF、CIF、2CIF(PAL:704x288或528x384)。 使用DM642 DSP的产品，单个芯片能实时压缩4路以下分辨率的视频：SQCIF、QCIF、CIF、2CIF(PAL:704x288或528x384)。单个芯片能实时压缩2路4CIF视频。*压缩技术与电视有很大的关系，交织技术是最简单的压缩形式，它使带宽以2:1的比例降低。人的视觉系统总要用一定时间才能识别图像元素，如果在一定的刷新频率下，每帧图像的停留时间长于人眼观察所需要的时间，那么在下一帧图像的显示过程中，第一幅图像仍然会残留在人的视觉印象中。这种视觉残留可以消除画面的闪烁现象，将连续的画面呈现在人们眼前。电影的帧速率为24 帧/秒，但在显示每一帧画面的中间有一次中断，所以实际的刷新率是48 帧/秒。因此对电影而言画面更新率是24 而刷新速率是48。电视则采用隔行扫描以获得同样的效果。电视没有采用电影的24帧而是采用了25帧与30帧是为了和电网频率同步降低对电源的要求。 用色差信号代替GBR信号是另一种压缩形式，利用了人眼对色彩细节不敏感的特性。YUV（亦称YCrCb）是被欧洲电视系统所采用的一种颜色编码方法（PAL）。YUV主要用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只需占用极少的带宽（RGB要求三个独立的视频信号同时传输）。其中“Y”表示明亮度（Luminance或Luma），也就是灰阶值；而“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是通过RGB输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面色调与饱和度，分别用Cr和CB来表示。其中，Cr反映了GB输入信号红色部分与RGB信号亮度值之间的差异。而CB反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。 PAL、NTSC、SECAM都是压缩的形式，称为复合视频系统(CVBS?)，他们在保留了黑白电视的频道结构的同时增加了色彩信号。信号的细节取决于应用的视频标准或者“制式”-NTSC（美国全国电视标准委员会，National Television Standards Committee）、PAL（逐行倒相，Phase Alternate Line）以及SECAM（顺序传送与存储彩色电视系统，法国采用的一种电视制式，SEquential Couleur Avec Memoire）。NTSC和PAL彩色视频信号是这样构成的-首先有一个基本的黑白视频信号，然后在每个水平同步脉冲之后，加入一个颜色脉冲和一个亮度信号。因为彩色信号是由多种数据“叠加”起来的，故称之为“复合视频”。S-Video则是一种信号质量更高的视频接口，它取消了信号叠加的方法，可有效避免一些无谓的质量损失。它的功能是将RGB三原色和亮度进行分离处理。 在所有实际的节目内容中有两种信号分量：一种是异常而无法预见的，另一种是可以预见的。异常分量叫作熵，它是信号中的真实信息。余下的部分叫作冗余，因为它不是必需的。冗余可能是空间性的，它位于画面的大片单色区域中，相邻的象素几乎具有相同值。冗余也可能是时间性的，它是连续画面间相似部分使用的地方。所有压缩系统的工作方式都是在编码器中将熵从冗余中分离出来。只有熵被录制或传输，而解码器则计算传输信号中的冗余。 理想的编码器会提取出所有的熵，并仅将它们传送给解码器。理想的解码器则会重新制作原始信号。实际上，“理想的”是很难达到的。在压缩系统中当发生质量损耗时，说明压缩不合理。如果可用的比特率不足，最好通过降低输入画面的熵来回避该区域。 这可用滤波器来实行，因滤波引起的分辨率损耗要比压缩副产物更容易被接受。 帧内编码是一项利用空间性冗余或画面中冗余的技术；而帧间编码则是利用时间性冗余的技术。帧内编码可以单独使用，如用于静止画面的JPEG 标准，或者如在MPEG 中那样与帧间编码一起组合起来使用。 帧内编码依赖于典型图象中的两个特点。首先，并非所有的空间频率会同时出现。其次，空间频率越高则幅度可能越低。帧内编码需要对图象中的空间频率进行分析。该分析是诸如弱波和DCT(离散余弦变换)那样的变换的目的。变换产生描述每个空间频率大小的系数。一般来讲，许多系数均为零，或接近于零。这些系数可以被省略，从而使数据率降低。 帧间编码则依赖于找到连续画面的相似之处。如果解码器中有了一个画面，那么下一个画面可以通过仅仅发送画面差异来创建。当物体移动时，画面差异会增加，但由于移动物体在画面之间一般不大改变其外形，所以画面差异的大小可以通过运动补偿来抵销、如果运动可以被度量，那么可以通过将前面画面中的部分内容移动到新位置上的方法来创建当前画面中的近似值。这个移动处理过程由通过传送到解码器中的矢量来控制。矢量传送比发送画面差异数据所需的数据要小得多。*视频编码的基本原理 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。 去时域冗余信息 使用帧间编码技术可去除时域冗余信息，它包括以下三部分： 运动补偿 运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。 运动表示 不同区域的图像需要使用不同的运动矢量来描述运动信息。运动矢量通过熵编码进行压缩。 运动估计 运动估计是从视频序列中抽取运动信息的一整套技术。 注：通用的压缩标准都使用基于块的运动估计和运动补偿。 去空域冗余信息 主要使用帧间编码技术和熵编码技术： 变换编码 帧内图像和预测差分信号都有很高的空域冗余信息。变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。 量化编码 经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。这一过程导致精度的降低。 熵编码 熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一步的压缩。 视频编码的基本框架（图） 国际音视频压缩标准发展历程 H.261 H.261标准是为ISDN设计，主要针对实时编码和解码设计，压缩和解压缩的信号延时不超过150ms，码率px64kbps(p=130)。 H.261标准主要采用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩技术。 只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。支持两种图像扫描格式：QCIF和CIF。 H.263 H.263标准是甚低码率的图像编码国际标准，它一方面以H.261为基础，以混合编码为核心，其基本原理框图和H.261十分相似，原始数据和码流组织也相似;另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分，如：半像素精度的运动估计、PB帧预测等，使它性能优于H.261。 H.263使用的位率可小于64Kb/s,且传输比特率可不固定（变码率）。H.263支持多种分辨率： SQCIF(128x96)、 QCIF、CIF、4CIF、16CIF。 与H.261和H.263相关的国际标准 与H.261有关的国际标准 H.320：窄带可视电话系统和终端设备; H.221：视听电信业务中641 920Kb/s信道的帧结构; H.230：视听系统的帧同步控制和指示信号; H.242：使用直到2Mb/s数字信道的视听终端的系统。 与H.263有关的国际标准 H.324：甚低码率多媒体通信终端设备; H.223：甚低码率多媒体通信复合协议; H.245：多媒体通信控制协议; G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器。 JPEG 国际标准化组织于1986年成立了JPEG(Joint Photographic Expert Group)联合图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩编码标准。常用的基于离散余弦变换(DCT)的编码方法，是JPEG算法的核心内容。 MPEG-1/2 MPEG-1标准用于数字存储体上活动图像及其伴音的编码，其数码率为1.5Mb/s。 MPEG-1的视频原理框图和H.261的相似。 MPEG-1视频压缩技术的特点：1. 随机存取;2. 快速正向/逆向搜索;3 .逆向重播;4. 视听同步;5. 容错性;6. 编/解码延迟。MPEG-1视频压缩策略：为了提高压缩比，帧内/帧间图像数据压缩技术必须同时使用。帧内压缩算法与JPEG压缩算法大致相同，采用基于DCT的变换编码技术，用以减少空域冗余信息。帧间压缩算法，采用预测法和插补法。预测误差可在通过DCT变换编码处理，进一步压缩。帧间编码技术可减少时间轴方向的冗余信息。 MPEG-2被称为“21世纪的电视标准”，它在MPEG-1的基础上作了许多重要的扩展和改进，但基本算法和MPEG-1相同。 MPEG-4 MPEG-4标准并非是MPEG-2的替代品，它着眼于不同的应用领域。MPEG-4的制定初衷主要针对视频会议、可视电话超低比特率压缩（小于64Kb/s）的需求。在制定过程中，MPEG组织深深感受到人们对媒体信息，特别是对视频信息的需求由播放型转向基于内容的访问、检索和操作。 MPEG-4与前面提到的JPEG、MPEG-1/2有很大的不同，它为多媒体数据压缩编码提供了更为广阔的平台，它定义的是一种格式、一种框架，而不是具体算法，它希望建立一种更自由的通信与开发环境。于是MPEG-4新的目标就是定义为：支持多种多媒体的应用，特别是多媒体信息基于内容的检索和访问，可根据不同的应用需求，现场配置解码器。编码系统也是开放的，可随时加入新的有效的算法模块。应用范围包括实时视听通信、多媒体通信、远地监测/监视、VOD、家庭购物/娱乐等。 JVT：新一代的视频压缩标准 JVT是由ISO/IEC MPEG和ITU-T VCEG成立的联合视频工作组（Joint Video Team），致力于新一代数字视频压缩标准的制定。 JVT标准在ISO/IEC中的正式名称为：MPEG-4 AVC(part10)标准;在ITU-T中的名称:H.264（早期被称为H.26L） H264/AVC H264集中了以往标准的优点，并吸收了以往标准制定中积累的经验, 采用简洁设计,使它比MPEG4更容易推广。H.264创造性了多参考帧、多块类型、整数变换、帧内预测等新的压缩技术，使用了更精细的分象素运动矢量（1/4、1/8)和新一代的环路滤波器，使得压缩性能大大提高，系统更加完善。 H.264主要有以下几大优点： 高效压缩：与H.263+和MPEG4 SP相比，减小50%比特率 延时约束方面有很好的柔韧性 容错能力 编/解码的复杂性可伸缩性 解码全部细节：没有不匹配 高质量应用 网络友善 监控中的视频编码技术 目前监控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC等几种视频编码技术。对于最终用户来言他最为关心的主要有：清晰度、存储量（带宽）、稳定性还有价格。采用不同的压缩技术，将很大程度影响以上几大要素。 MJPEG MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。 MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要820K！ MPEG-1/2 MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240;PAL制为352X288)的图像进行压缩. 压缩位率主要目标为1.5Mb/s.较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方:存储容量还是过大、清晰度不够高和网络传输困难。 MPEG-2 在MPEG-1基础上进行了扩充和提升，和MPEG-1向下兼容，主要针对存储媒体、数字电视、高清晰等应用领域，分辨率为：低(352x288)，中(720x480)，次高(1440x1080)，高(1920x1080)。MPEG-2视频相对MPEG-1提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适和网络传输。 MPEG-4 MPEG-4视频压缩算法相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。 MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另外对于中国企业来说还要面临高昂的专利费问题，目前规定： 每台解码设备需要交给MPEG-LA 0.25美元 编码/解码设备还需要按时间交费（4美分/天=1.2美元/月 =14.4美元/年） H.264/AVC H.264集中了以往标准的优点，在许多领域都得到突破性进展，使得它获得比以往标准好得多整体性能： 和H.263+和MPEG-4 SP相比最多可节省50的码率，使存储容量大大降低; H.264在不同分辨率、不同码率下都能提供较高的视频质量; 采用“网络友善”的结构和语法，使其更有利于网络传输。 H.264采用简洁设计,使它比MPEG4更容易推广，更容易在视频会议、视频电话中实现，更容易实现互连互通，可以简便地和G.729等低比特率语音压缩组成一个完整的系统。 MPEG LA吸收MPEG-4的高昂专利费而使它难以推广的教训，MPEG LA制定了以下低廉的H.264收费标准：H.264广播时基本不收费;产品中嵌入H.264编/解码器时，年产量10万台以下不收取费，超过10万台每台收取0.2美元，超过500万台每台收取0.1美元。低廉的专利费使得中国H.264监控产品更容易走向世界。 监控中视频编码分辨率的选择 目前监控行业中主要使用以下分辨率：SQCIF、QCIF、CIF、4CIF。 SQCIF和QCIF的优点是存储量低，可以在窄带中使用，使用这种分辨率的产品价格低廉;缺点是图像质量往往很差、不被用户所接受。 CIF是目前监控行业的主流分辨率，它的优点是存储量较低，能在普通宽带网络中传输，价格也相对低廉，它的图像质量较好，被大部分用户所接受。缺点是图像质量不能满足高清晰的要求。 4CIF是标清分辨率，它的优点是图像清晰。缺点是存储量高，网络传输带宽要求很高，价格也较高。 分辨率新的选择528x384 2CIF（704x288）已被部分产品采用，用来解决CIF清晰度不够高和4CIF存储量高、价格高昂的缺点。但由于704x288只是水平分辨率的提升，图像质量提高不是特别明显。 经过测试，我们发现另外一种2CIF分辨率528x384，比704x288能更好解决CIF、4CIF的问题。特别是在512Kbps1Mbps码率之间，能获得稳定的高质量图像，满足用户较高图像质量的要求。目前这一分辨率已被许多网络多媒体广播所采用，被广大用户所接受。比如杭州网通网上影院是采用512x384分辨率,在768k下能稳定地获得近似DVD的图像质量。 监控中实现视频编码的最佳方式 目前视频编码正处于一个技术日新月异的时期，视频编码的压缩性能在不断得到提升。 在监控中主要使用ASCI和DSP两种方案。由于ASIC芯片的设计、生产周期过长，使它已跟不上视频编码的发展速度。而DSP芯片，由于它的通用设计，使它能实现各种视频编码算法，并且可以及时更新视频编码器，紧跟视频编码的发展速度。另外使用DSP芯片可以比ASIC更灵活的配置编码器，使编码器达到最佳性能。 海康威视产品目前达到的技术水准 海康威视产品采用最先进的H.264视频压缩算法和高性能的DSP处理器。 强大的H.264视频压缩引擎使产品获得极高的压缩比、高质量的图像质量和良好的网络传输性能。高性能的DSP处理器能灵活的配置视频编/解码器：动态设置分辨率、帧率、码率、图像质量等;可以双码流输出，达到本地存储和网络传输分别处理的功能。 使用TM130X DSP的产品，单个芯片能实时压缩一路以下分辨率的视频：SQCIF、QCIF、CIF、2CIF(PAL:704x288或528x384)。 使用DM642 DSP的产品，单个芯片能实时压缩4路以下分辨率的视频：SQCIF、QCIF、CIF、2CIF(PAL:704x288或528x384)。单个芯片能实时压缩2路4CIF视频。电视节目制作数字网络化已成为大家关心的热点，其中重要的技术之一是数字视频压缩。运动图像专家组(MPEG)是ISO/IEC的一个工作组，负责开发运动图像、声频及其混合信息的压缩、解压缩、处理和编码表示方面的国际标准。MPEG已经制定了MPEG-1、MPEG-2和MPEG-4标准。MPEG-1和MPEG-2已广泛应用在多媒体工业，例如数字电视、CD、视频点播、归档、因特网上的音乐等等。MPEG-4主要用于64 kb/s以下的低速率音视频编码，以使用于窄带多媒体通信等领域。MPEG目前正在制定MPEG-7和MPEG-21。但M-JPEG、MPEG-2和DV三大压缩技术已占据着当今视频压缩技术的主要地位，呈现互不替代，激烈竞争，共同发展的状态。M-JPEG和DV均采用帧内压缩方式，压缩效率要比MPEG-2低。在低码率的时候，MPEG-2可以提供比M-JPEG高的压缩比而保持较好的图像质量;在要求高图像质量的时候(比如节目编辑和后期制作)，MPEG-2与M-JPEG、DV的输出码率差别要小得多。电视台业务的多样性要求压缩标准能提供多种码率。可变码率(VBR)特性对电视台有效利用资源非常重要。MPEG-2可以通过改变GOP结构和DCT及霍夫曼编码的参数来调整输出码率;M-JPEG可以通过改变DCT及霍夫曼编码参数调节压缩比;DV格式因其应用特点，没有提供VBR。M-JPEG发展较早，在非线性视频编辑方面应用多年，软、硬件技术成熟，成本低廉，以目前硬件平台而言，平均比MPEG-2平台便宜5000美元左右。目前，M-JPEG、DV和MPEG-2三个标准各有长处，设备都获得了广泛使用。日本和北美大多用DV格式进行后期制作;EBU在1999年的D84、D85技术声明中推荐电视台在演播室使用50 Mb/s的纯I帧4:2:2P MPEG-2;而中国在广泛使用M-JPEG的同时热烈讨论MPEG-2 IBP格式的编辑。下面针对现今在电视台数字化网络中主要应用的两种视频压缩技术，即M-JPEG和MPEG-2做一下对比。最后对MPEG-7作简单概述。M-JPEG是针对活动图像而优化的JPEG压缩而称。而JPEG是针对一帧图像DCT变换来对图像数据进行压缩，通过对电视数字信号（4:2:2数据）的每一帧进行JPEG压缩。由于电视编辑、特技制作均需要以帧为基本单位，所以对以帧为单元进行压缩（帧内压缩）的M-JPEG格式被成功地用于数字视频系统，特别是数字非线性节目编辑系统。目前我国非线性编辑系统大都采用4:1 M-JPEG压缩，被认为是可以接受的广播级水平。当PAL制4:2:2数字信号采用4:1压缩时，其数据率是5 MB/s(40M b/s), 每小时视频节目占用18 GB存储空间。由于M-JPEG是帧内压缩方式，可以提供精确到帧的随机存取访问，不附带任何的访问延迟，能够实现精确到帧的节目编辑。 所谓MPEG-2压缩是根据运动图像相邻帧之间有一定的相似性原则，通过运动预测，参考前一帧图像与这一帧图像的相似情况，去掉与前一帧相似的冗余数据，而只记录这一帧与上一帧不同的数据，从而大大提高了视频数据的压缩效率，这种压缩方法也称为帧相关压缩。因为采用运动预测帧相关的压缩方式，针对视频压缩有很好的效果，在获得广播级数字视频质量的前提下，可以实现20:1的压缩效率，数据率可降至1 MB/s(8M b/s)，一小时视频节目占用3.6 GB空间。数据存储空间利用率高，网络传输效率是M-JPEG系统的5倍以上。这给基于MPEG-2压缩视频的存储、传输、编辑、播出带来极大的好处，在存储方面可以大大节约存储体成本，并能引入各种类型的存储介质，如硬盘、光盘、数据磁带以及存储器芯片等。但由于MPEG-2格式只有一个完整的帧，即I帧，所以在电视需要帧精确地进行剪接时会带来一定的困难，需要硬件板卡或软件系统的支持。MPEG-2在压缩方面有帧内压缩和帧间压缩两种方式，使用三种类型的图像，即I帧、P帧和B帧。I帧使用帧内压缩，不使用运动补偿，提供中等压缩比。由于I帧不依赖其它帧，所以是随机存取的入点，同时是解码的基准帧。P帧根据前面的I帧或P帧进行预测，使用运动补偿算法进行压缩，压缩比要比I帧高。P帧是对B帧和后继P帧进行解码的基准帧。它本身有误差，会造成误差传播。B帧是基于内插重建的帧，它基于前后两个IP帧或PP帧，不传播误差。它使用双向预测进行压缩，提供更高的压缩比。目前各硬件板卡厂商正在抓紧开发，以解决基于MPEG-2的IBP帧编辑，目前国内很多公司如奥维迅、索贝、大洋已经用软件解决了IBP帧精确编辑的问题，使MPEG-2格式应用到电视节目的制作、传输、存储、播出，构架全电视台的数字化网络系统成为可能。1996年10月，运动图像专家组开始着手一项新的研究课题来解决多媒体内容描述的问题，即多媒体内容描述接口（简称MPEG-7）。MPEG-7将扩大现今在识别内容方面存在的能力限制，将包括更多的数据类型。MPEG-7的目标是支持多种音频和视觉的描述，包括自由文本、N维时空结构、统计信息、客观属性、主观属性、生产属性和组合信息。对于视觉信息，描述将包括颜色、视觉对象、纹理、草图、形状、体积、空间关系、运动及变形等。MPEG-7的目标是根据信息的抽象层次，提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求。以视觉内容为例，较低抽象层将包括形状、尺寸、纹理、颜色、运动（轨道）和位置的描述。对于音频的较低抽象层包括音调、调式、音速、音速变化、音响空间位置。MPEG-7的目标是支持数据管理的灵活性、数据资源的全球化和互操作性。对于未来的多媒体服务，必须将内容的表示和描述共同来考虑，也就是说，许多涉及内容表示的服务必须要首先处理内容描述。利用MPEG-7 描述可用的音视信息，大家就能快速找到我们想要的信息，可以更加自由的与多媒体内容交互及重新使用音视信息的内容，或以新的方式将这些内容的某些成分结合起来使用。编解码技术在过去十年中不断改进。最新的编解码技术(H.264/AVC与VC-1)代表着第三代视频压缩技术。为具体应用选择正确的编解码器并优化其实时实施仍然是一项巨大的挑战，最佳的设计必须权衡压缩效率及可用的计算能力。 视频压缩是所有令人振奋的、新型视频产品的重要动力。为具体应用选择正确的编解码器并优化其实时处理仍然是一项巨大的挑战。最佳的设计必须权衡压缩效率及可用的计算能力。此外，如何在计算能力有限的情况下获得最佳压缩效率也是一门大学问。数字视频的主要挑战在于原始或未压缩的视频需要存储或传输大量数据。例如，标准清晰度的 NTSC 视频的数字化一般是每秒 30 帧速率，采用 4:2:2 YCrCb 及 720480，其要求超过 165Mbps 的数据速率。保存 90 分钟的视频需要 110GB 空间，或者说超过标准 DVD-R 存储容量的 25 倍。即使是视频流应用中常用的低分辨率视频（如CIF：352288 4:2:0、30 帧/秒）也需要超过 36.5Mbps 的数据速率，这是 ADSL 或 3G 无线等宽带网络速度的许多倍。目前的宽带网可提供 110Mbps 的持续传输能力，显然数字视频的存储或传输需要采用压缩技术。 视频压缩的目的是对数字视频进行编码在保持视频质量的同时占用尽可能少的空间。编解码技术理论依据为信息理论的数学原理。不过，开发实用的编解码技术需要艺术性的精心考虑。压缩权衡在选择数字视频系统的编解码技术时需要考虑诸多因素。主要因素包括应用的视频质量要求、传输通道或存储介质所处的环境（速度、时延、错误特征）以及源内容的格式。同样重要的还有预期分辨率、目标比特率、色彩深度、每秒帧数以及内容和显示是逐行扫描还是隔行扫描。压缩通常需要在应用的视频质量要求与其他需求之间做出取舍。首先，用途是存储还是单播、多播、双向通信或广播？对于存储应用，到底有多少可用的存储容量以及存储时间需要多久？对于存储之外的应用，最高比特率是多少？对于双向视频通信，时延容差或容许的端到端系统延迟是多少？如果不是双向通信，内容需要在脱机状态提前完成编码还是需要实时编码？网络或存储介质的容错能力如何？根据基本目标应用，不同压缩标准以不同方式处理这些问题的权衡。另一方面是需要权衡编解码实时处理的成本。如 H.264/AVC 或 WMV9/VC-1等能够实现较高压缩比的新算法需要更高的处理能力，这会影响编解码器件的成本、系统功耗以及系统内存。标准对编解码技术