（通信与信息系统专业论文）数字网络摄像机的设计与实现.pdf

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 e t 其i i ：鲨丑生 堕兰塑 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注 释： 2 兰堡竺 堡1 笪2 堡 妇? 亟1 卑- 2 日乒碑垒二单滥一 摘要 经济的发展促使着人们不断的提高安防意识，当传统的本地模拟监 控方式逐渐不能满足某些行业大范围、远距离监控的需求，如银行跨地 区联网监控时，能通过网络将图像进行远程传输的网络远程监控系统也 就应运而生。网络远程监控系统具有便于集中管理、节约成本，灵活集 成，操作方便等优势，在公安、金融、司法等部门都得到很好地运用。 数字网络摄像机专为远程网络监控应用所设计。作为系统核心设 备，网络摄像机是集视频采集、压缩、传输、控制于一体的嵌入式终端 设备，通过网络摄像机可以将采集到的音视频数据经过压缩后经由网络 传输到用户端。配合系统软件，能够为用户提供灵活的视频监控和视频 记录的功能。 本文讨论了基于i p 协议，采用实时操作系统和h 2 6 4 标准，具有实 时编码能力的嵌入式网络摄像机( i pc a m e r a ) 的设计，并从硬件结构、软 件设计和视频压缩算法几个方面介绍具体的实现方法。 系统硬件采用t i 的d s p 作为核心处理器，采用d s p b i o s 嵌入式实 时操作系统，完成视频h 2 6 4 编码，音频编解码，网络协议处理，用户 管理，报警等功能。 采用h 2 6 4 视频压缩算法是网络摄像机设计的亮点，它能以较低的 数据速率传送基于互联网协议( i p ) 的视频流，在视频质量、压缩效率和 数据包恢复丢失等方面，超越了现有的m p e g 一2 、m p e g 一4 和h 2 6 3 视频压 缩标准，更适合窄带传输。 关键词：网络摄像机，视频编码，h 2 6 4 ，d s p ，d m 6 4 2 d e s i g na n di m p l e m e n t p 坷i o no fi pc a m e r a e c o n o m i cr a p i dg r o w t hm a k e su sp u t t i n gm o r ea n dm o r ea t t e n t i o no n s e c u r i t ya n dp r o t e c t i o n a st h et r a d i t i o n a ll o c a la n a l o gt y p eo fs u r v e i l l a n c e s y s t e mc a n ts a t i s f yt h er e q u i r e m e n t so fs o m ea p p l i c a t i o n s ，s u c ha sl a r g ew i d e a r e a ，l o n gd i s t a n c es u r v e i l l a n c ej u s tl i k ec r o s sr e g i o nr e m o t es u r v e i l l a n c ei n t h eb a n ks y s t e m t h ee v o l u t i o no fn e t w o r ks u r v e i l l a n c ea p p e a r st of i tt h e s e n e e d s i n h e r e n ta d v a n t a g eo ft h en e t w o r ks u r v e i l l a n c ea r e g o o d a t c o n c e n t r a t i v e m a n a g e m e n t s ，c o s ts a v i n g ，s m a r ti n t e g r a t i n g ，c o n v e n i e n t o p e r a t i n ga n dw i d e l yu s e di nf i e l d so ff i n a n c e , a d m i n i s t r a t i o no fj u s t i c e ， p u b l i cs e c u r i t ya n ds oo n t h ei ps u r v e i l l a n c em a r k e ti sg r o w i n gs i g n i f i c a n t l y a n di sr e c e i v i n gg l o b a la t t e n t i o nn o w i pc a m e r ab e c o m e sm o r ea n dm o r e p o p u l a ri nc u r r e n ts u r v e i l l a n c es y s t e mm a r k e t i pc a m e r a sa r ed e s i g n e df o c u so nn e t w o r ks u r v e i l l a n c e a st h ec o r e d e v i c eo fn e t w o r k s u r v e i l l a n c e ，i p c a m e r a s i n t e g r a t e v i d e o c a p t u r e c a p a b i l i t i e s ，v i d e oc o m p r e s s ，t r a n s m i s s i o na n dc o n t r o l a so n e b yu s e do f t h e s ed e v i c e s ，u s e rc a nt r a n s m i tc a p t u r e dv i d e ot oa n o t h e rp e e rb yn e t w o r k a s s o c i a t e dw i t ht h es o f t w a r ei np c c a nr e a l i z er e m o t ev i d e os u r v e i l l a n c ea n d r e c o r dc o n v e n i e n t l y a l s og e tt h eb e n e f i t so f d i s p o s i n gq u i c k l y t h i sp a p e rf o c u so nt h ed e s i g no fi pc a m e r a ，w h i c ha d o p tr e a lt i m eo s ， h 2 6 4c o d e d e c o d es t a n d a r da n db a s eo nt h ei pp r o t o c 0 1 d e s c r i b ei nd e t a i l a b o u th a r d w a r ea r c h i t e c t u r e ，s o f t w a r ed e s i g na n da r i t h m e t i co fa u d i o v i d e o c o m p r e s s i o n i nt h i sd e s i g n ，t id s pi su s e da sm a i np r o c e s s o rw h i c hs u p p l yt h e c a p a b i l i t yo fh 2 6 4 v i d e oc o d e ，a u d i oc o d e d e c o d e ，n e t w o r k p r o t o c o l p r o c e s s i n g ，c o n s u m e rm a n a g e m e n ta n da l a r mm a n a g e m e n ta s s o c i a t e dw i t h d s p b i o se m b e d d e dr e a lt i m eo p e r a t i o ns y s t e m 4 a d o p t i n gs t a n d a r dh 2 6 4i st h eh i g h l i g h to ft h i sd e s i g n ，i tc a nt r a n s m i t v i d e os t r e a mu p o ni pp r o t o c o la tl o w e rb i tr a t e c o m p a r ew i t ht h ec u r r e n t s t a n d a r ds u c ha sm p e g - 2 、m p e g - 4a n dh 2 6 3 ，w ec a ns u p p l yb e t t e rv i d e o q u a l i t y , m o r ee f f i c i e n c yc o m p r e s s i o na n dh i g hr e c o v e rr a t eo fd a t ap a c k a g e a n db e t t e rs u i t a b l ef o rh a ! t o wb a n dt r a n s m i s s i o nc h a n n e l k e y w r o r d s ： i pc a m e r a ，v i d e oc o d i n g ，h 2 6 4 ，d s p ，d m 6 4 2 5 第1 章绪论 1 1 研究数字网络摄像机的意义 经济的发展促使着人们不断的提高安防意识，当传统的本地模拟监控方式逐渐不 能满足某些行业大范围、远距离监控的需求，如银行跨地区联网监控时，通过网络将 图像进行远程传输的集中监控方式应运而生。目前，随着互联网的大范围普及，远程 监控已经渗透到教育、政府、娱乐场所、医院、酒店、运动场馆、城市治安等多种领 域。网络摄像机不仅可基于计算机局域网用于区域监控，如住宅小区监控、办公楼、 银行、商场等本地监控；而且也能通过i n t e r n e t 用于新型的跨区域远程监控及网上 展示，远程儿童及老人看护、无人值守通信机房监控、旅游景点网上演播、产品网上 展览等。 熟悉远程监控的人都知道，将图像摄取后进行远程传输的主要方式除了互联网， 还有光纤。有入认为，通过光端机和光纤进行远程监控，其视频图像的质量和传输速 度要优于网络传输，但它的昂贵成本和复杂的布线工程让入望而却步。更重要的是， 其组网能力相对较差，不能满足大型监控项目的需求。而网络监控则在此显示出它独 有的优势：凡是有网络的地方就能构建网络监控系统。由于省去了传统的布线和线路 维护费用，使得网络监控系统的安装成本大大降低。对于使用者来说，网络监控还不 受时间、地点限制，即插即用，方便快捷。因此，i p 网络监控一致被业界认为是未 来视频联网监控的主要趋势。 数字网络摄像机，作为数字视频监控系统的核心设备，因为具有更多的智能特性 和强大的联网功能，而成为网络监控市场的新宠儿，由于采用了先进的数字压缩技术， 可使传输带宽和存储要求达到最小化，以弥补因网络带宽不足而导致的缺陷。 1 2 网络摄像机的市场前景 m 网络监控一致被业界认为是未来视频联网监控的主要趋势。在互联网发展日 新月异的今天，网络监控则在此显示出它独有的优势：凡是有网络的地方就能构建网 络监控系统。由于省去了传统的布线和线路维护费用，使得网络监控系统的安装成本 s 大大降低。对于使用者来说，网络监控还不受时间、地点限制，在授权的情况下可以 随时按需监控，实现即插即用即看，使用方式相当便捷。 从国际市场来看，据i s u p p l i 公司的一份分析报告指出，由于社会对公共安全的 日益关注、技术的进步以及价格的降低等因素，口视频监控系统的市场将在2 0 0 6 年 到2 0 1 0 年间增长将近十倍。 i pc a m e r a sa n ds e r v e r sw d o m i n a t et h e r k e l 时2 0 10 图1 - 1 网络摄像机的市场占有率 根据i s u p p l i 的预测，摄像机、视频服务器、外围设备和软件等构成讲监控系统 的各种设备的市场总额将在2 0 1 0 年达到7 l 亿美元，远高于2 0 0 6 年的7 3 5 亿美元。 到2 0 1 0 年，口视频监控摄像机的销售收入将达到3 9 亿美元，远高于2 0 0 6 年的3 o l 亿美元。而到2 0 0 9 年年底，全球口监控摄像机市场将超越传统的闭路电视( c c t v ) 摄像机市场。 从国内市场来看，目前网络摄像机的发展正在进入快速增长期，从以下两图可以 看出，网络摄像机的求购比较旺盛，相对来说，供应量不足。 9 璐筚7 月刭钟零1 月五种摄馕魄畿敷比例 黼毽滑期囔i ，鼹络按蹦躐 缝! 缀馕槐 爹机 檄盘彩“ 图卜2 0 6 年7 月到0 7 年1 月5 种摄像机供应比例 钳胄碧泐唪1 月j 淋掇像桅裳黪鹱躜 臻形缀缀_ 撬 槐 图卜30 6 年7 月到0 7 年1 月5 种摄像机求购比例 两年前公布了对未来市场的预测后，业界还对网络摄像机的发展存在很多的怀 疑，但现在，这己成为了过去，使用者们越来越来看到了网络视频监控系统的优势所 在，随着人们开始采用一些最新的技术来对系统进行升级，网络摄像机市场在今后几 年内也必将会有更为迅猛的增长。 未来网络摄像机市场增长还有其它原因，其中包括网络产品的不断推出，人们对 网络摄像机的了解和接受度也相应提高。由于产品选择的余地有限，使之成为了之前 发展的障碍，而如今，大量供应商推出了不同的型号的产品，潜力客户也大大增加。 同时，f 两络摄像机也从低档到高档不同的产品过度，例如百万像素网络摄像机和快球 网络摄像机，使得产品可以适应更广泛的监控应用环境。 1 0 1 3 网络摄像机的技术发展现状 1 3 1视频压缩算法日益成熟 视频压缩算法的日益成熟为图像在网络传输提供了可能。图像压缩算法在朝着高 质量低码流的方向发展。用于网络摄像机的主要算法有： m o t i o n - j p e g ，m ，j p e g ( m o t i o n - j o i np h o t o g r a p h i ce x p e r t sg r o u p ) 技术即运动静 止图像( 或逐帧) 压缩技术，广泛应用于非线性编辑领域可精确到帧的编辑和多层图 像处理，把运动的视频序列作为连续的静止图像来处理采用逐帧压缩。它的的优点是： 可以很容易做到精确到帧的编辑、算法相对简单。缺点是压缩效率不高。 i t 2 6 3 h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码流通信而设计的。 但实际上这个标准可用在很宽的码流范围，而并非只用于低码流的应用，它在许多应 用中可以认为被用于取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善 和改变，以提高性能和纠错能力 m p e g 4 ，同m ，j p e g 和h 2 6 3 相比，有更高的编码效率。可以在低带宽的信道 上传送视频、音频。同时m p e g - 4 还能对同时发生的数据流进行编码。一个场景的多 视角或多声道数据流可以高效、同步地合成为最终数据流。 h 2 6 4 ，不仅编码效率优于m p e g 4 ，并且网络亲和性好，支持不同网络资源下的分 级编码传输，从而获得平稳的图像质量。能以较低的数据速率传送基于互联网协议 ( i p ) 的视频流，在视频质量、压缩效率和数据包恢复丢失等方面，超越了现有的 m p e g - 2 、m p e g - 4 和h 2 6 3 视频压缩标准，更适合窄带传输。它引入了面向i p 包的编 码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。h 2 6 4 具有较强 的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。 a v s 是我国具备自主知识产权的第二代信源编码标准。从主要技术指标编码 效率比较：m p e g _ 4 是m p e g - 2 的1 4 倍，a v s 和h 2 6 4 相当，都是m p e g - 2 两倍以 上。a v s 标准包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性 测试等支撑标准，应用范围包括数字电视、激光视盘、网络流媒体、无线流媒体、数 字音频广播、视频监控等等领域。 1 3 2芯片技术飞速发展 芯片技术的发展日新月异，使复杂的图像压缩算法的嵌入式应用成为可能。目前， 单芯片可以实现复杂的图像编解码算法，大大降低了网络摄像机的成本和实现复杂 度。运算能力在4 0 0 0 m i p s 以上的d s p 都可以完成d 1 分辨率图象的实时压缩。使用最 为普遍的有t i 的t m s 3 2 0 d m 6 4 x 系列，d a v i n c i 系列，飞利浦的p n x - 1 5 0 0 系列，p n x l 7 0 0 系列。a d i 的b l a c k f i n 系列d s p 。另外用于视频压缩的专用芯片也已面世。其价格 是d s p 芯片的一半，但缺乏d s p 的灵活性，很难实现对一些专业应用的扩展和升级。 1 3 3 网络应用的普及 网络的普及为网络监控提供了传输和使用平台，各种网络协议的使用为网络监控 提供了非凡的灵活性。 音视频服务器：可直接通过网络获得实时视频及音频数据。 用户管理服务器：用户可以在网内任何一台机器对网络摄像机进行远程控制， 和参数修改。 接入方便，即插即用：用户可以随时感知网络摄像机的状态，并可对其下达 命令。 收发电子邮件：可根据用户需求把静态图片发到用户指定的电子邮箱。 无线接入：安装和使用极为方便。 1 4 本文内容安排和主要研究成果 1 4 1 本文内容安排 第一章，首先介绍研究数字网络摄像机意义和市场前景，然后简单地从技术和 应用的角度介绍了网络摄像机应用技术的发展。 第二章，从视频压缩算法，d s p 和网络协议三方面介绍了网络摄像机的背景技术 发展和应用。 第三章，介绍了网络摄像机的系统设计和实现，重点讲硬件的系统设计。硬件 调试，系统软件的功能实现和用于网络摄像机的h 2 6 4 算法性能测试和实用性分析。 第四章，介绍h 2 6 4 算法的为适应网络摄像机应用而作的优化。 1 2 第五章，论文总结和对后续工作的展望 1 4 2主要研究成果 主要研究成果是数字网络摄像机，系统采用h 2 6 4 视频压缩算法。选用基于t i d s p 的嵌入式处理平台，完成音视频实时采集、压缩、传输、控制等功能。通过网 络摄像机可以将采集到的音视频数据经过压缩后通过网络传输到用户端。配合系统 软件，能够为用户提供灵活的视频监控和视频记录的功能。用户在网上可以对有操 作权限的网络摄像机进行图像浏览，音频对话，配置参数和在线升级等操作。 第2 章网络摄像机背景技术发展 2 1 数字视频压缩标准简介 i t u t 与i s o i e c 是制定视频编码标准的两大组织，i t u - t 的标准包括n 2 6 1 、 h 2 6 3 、h 2 6 4 ，主要应用于实时视频通信领域，如会议电视：m p e g 系列标准是由 i s o i e c 制定的，主要应用于视频存储( d v d ) 、广播电视、因特网或无线网的流媒体 等。两个组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g - 2 的视频编码标准， 而最新的h 2 6 4 标准则被纳入m p e g - 4 的第l o 部分。下面分别对这些数字图像视频压 缩国际标准进行简要介绍。 2 1 1j p e g 静止图像压缩标准 1 9 9 1 年3 月，国际标准化组织( i s 0 ) 和国际电报电话咨询委员会( c c i t t ) 联合成立 的专家组j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 提出了i s oc d l 0 9 1 8 号建议草 案：多灰度静止图像的数字压缩编码( 通常简称为j p e g 标准) 。这是一个适用于彩色 和单色多灰度或连续色调静止数字图像的压缩标准。它包括基于d p c m ( 差分脉冲编码 调制) 、d c t ( 离散余弦变换) 和h u f f m a n 编码的有损压缩算法两个部分。前者不会产生 失真，但压缩比很小：后一种算法进行图像压缩是信息虽有损失但压缩比可以很大， 例如压缩2 0 倍左右时，人眼基本上看不出失真。j p e g 标准实际上有三个范畴： ( 1 ) 基本顺序过程( b a s e l i n es e q u e n t i a lp r o c e s s e s ) 实现有损图像压缩，重建图 像质量达到人眼难以观察出来的要求。采用的是8 x 8 像素自适应d c t 算法、量化及 h u f f m a n 型的熵编码器。 ( 2 ) 基于o c t 的扩展过程( e x t e n d e dd c tb a s e dp r o c e s s ) 使用累进工作方式，采 用自适应算术编码过程。 ( 3 ) 无失真过程( l o s s l e s sp r o c e s s ) 采用预测编码及h u f f m a n 编码( 或算术编码) ， 可保证重建图像数据与原始图像数据完全相同。 其中的基本顺序过程是j p e g 最基本的压缩过程：符合j p e g 标准的硬软件编码 解码器都必须支持和实现这个过程。另两个过程是可选扩展，对一些特定的应用项目 有很大实用价值。 2 1 2m p e 6 运动图像压缩编码标准 咿e g 是活动图像专家组( m o v i n gp i c t u r ee x p o r t sg r o u p ) 英文的缩写，于1 9 8 8 年成立，是为数字视频制定压缩标准的专家组，目前已拥有3 0 0 多名成员，包括i b m ， b b c ，n e c ，i n t e l ，a t t 等世界知名公司。m p e g 组织最初得到的授权是制定用于“活 动图像”编码的各种标准，随后扩充为“及其伴随的音频”及其组合编码。后来针对 不同的应用需求，解除了“用于数字存储媒体”的限制，成为现在制定“活动图像和 音频编码”标准的组织。m p e g 组织制定的各个标准都有不同的目标和应用，目前已 提出m p e g 一1 、m p e c r - 2 ，m p e g - 4 ，m p e g 一7 和m p e g - 2 1 标准。 m p e g 系列标准是运用比较广泛的运动图像压缩技术，主要是视频存储播放应用， 例如，v c d 中的视频压缩标准为m p e g - 1 ，d v d 中的视频压缩标准为m p e g 一2 ，i p e g - 4 可以广泛应用于多种领域中。m p b g - 4 标准已在无线视频通信和流媒体通信中锝到采 用。m p e g 系列标准的主要特点是利用了d c t 算法减少图像空间( 二维层面) 的信息冗 余度，利用运动估算与运动补偿来减少图像在时问方向上的冗余度，以达到大幅度压 缩图像信息的目的。m p e g 算法除了对单幅图像进行编码外，还利用图像序列的相关 特性去除帧间冗余，大大提高了视频图像的压缩比，在保持较高的图像视觉效果的前 提下、压缩比可以达到6 0 - 1 0 0 倍左右。m p e g 压缩算法复杂、计算量大，其实现一般 要专门的硬件支持。 卵e g 视频压缩标准具有很好的兼容性、压缩比最高可达2 0 0 ：1 、数据的损失小。 适用于不同带宽和数字影像质量的要求，m p e g 一1 是针对传输速率为l b s 到1 5 m b s 的普通电视质量的视频信号的压缩。m p e 6 标准分成两个阶段：第一阶段( m p e g - 1 ) 是针对传输速度为1 i i p s 到1 5 m b 的普通电视质量的视频信号的压缩；第二个阶段 ( m p e g 一2 ) 目标则是对每秒3 0 帧的7 2 0 * 5 7 6 分辨率的视频信号进行压缩，在扩展模 式下，m p e g 一2 可以对分辨率达成1 4 4 0 11 5 2 高清晰度电视( h d t v ) 的信号进行压缩。 咿e g 一4 则是一种能被多媒体传输、多媒体存储、多媒体检索等应用领域普遍采纳的 统一的多媒体数据格式。 m p e g 标准有三个组成部分：m p e g 视频：m e g 音频；视频与音频的同步。咿e g 视频 是m p e g 标准的核心。为满足高压缩比和随机访问两方面的要求，l i p e g 采用预测和插 值两种帧间编码技术。m p e g 视频压缩算法中包含两种基本技术：一种是基于1 6x1 6 子块的运动补偿技术，用来减少帧间的时域冗余：另一种是基于d c t 的压缩，用于减 少序列的空域冗余，在帧内压缩及帧间预测中均使用了d c t 变换。运动补偿算法是当 前视频图像压缩技术中使用最普遍的方法之一。 ( 1 ) 运动补偿预测：帧序列的相邻画面之间的运动部分具有连续性，即当前画 面上的图像可以看成是前面某时刻画面上图像的位移，位移的幅度值和方向在画 面各处可以不同。利用运动位移信息与前面某时刻的图像对当前画面图像进行预 测的方法，称为前向预测。反之，根据某时刻的图像与位移信息预测该时刻之后 的图像，称为后向预测。m p e g 的运动补偿预测方法将画面分成若千1 6x1 6 的子 图像块( 称为补偿单元或宏块) ，并根据一定的条件分别进行帧内预测、前向预测、 后向预测及平均预测。 ( 2 ) 运动补偿插值：以插值方法补偿运动信息是提高视频压缩比的最有效措 施之一。在时域中插补运动补偿是一种多分辨率压缩技术。例如以1 1 5 秒或1 l o 秒时间间隔选取参考子图，对时域较低分辨率子图进行编码，通过低分辨子图及反映 运动趋势的附加校正信息( 运动矢量) 进行插值，可得到满分辨率( 帧率3 0 帧秒) 的视 频信号。插值运动补偿也称为双向预测，因为它既利用了前面帧的信息又利用了后面 帧的信息。 2 1 3h 2 6 x 系列视频编码标准 h 2 6 1 是i t u _ t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、视 频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式 进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( 块( b l o c k ) 层来处理。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧 间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。 h 2 6 3 是最早用于低码率视频编码的i t u - t 标准，随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。h 2 6 3 是i t u t 为低于 6 4 k b s 的窄带通信信道制定的视频编码标准。它是在h 2 6 1 基础上发展起来的。其 标准输入图像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取 样图像。h 2 6 3 与h 2 6 1 相比采用了半象素的运动补偿，并增加了4 种有效的压缩编 码模式。无限制的运动矢量模式允许运动矢量指向图像以外的区域。当某一运动矢量 所指的参考宏块位于编码图像之外时，就用其边缘的图像象素值来代替。当存在跨边 界的运动时，这种模式能取得很大的编码增益，特别是对小图像而言。另外，这种模 式包括了运动矢量范围的扩展，允许使用更大的运动矢量，这对摄像机运动特别有利。 i t u - t 在h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为 h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选项 以提高压缩效率或改善某方面的功能。原h 2 6 3 标准限制了其应用的图像输入格式， 仅允许5 种视频源格式。h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺 寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的 图像序列及宽屏图像。为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式；增强的 p b 一帧模式改进了h 2 6 3 的不足，增强了帧间预测的效果；去块效应滤波器不仅提高 了压缩效率，而且提供重建图像的主观质量。为适应网络传输，h 2 6 3 + 增加了时间 分级、信噪比和空间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号 很有意义：另外，片结构模式、参考帧选择模式增强了视频传输的抗误码能力。 h 2 6 4 是由i s 0 i e c 与i t u - t 组成的联合视频组( j v t ) 制定的新一代视频压缩编 码标准。1 9 9 6 年制定h 2 6 3 标准后，i t u t 的视频编码专家组( v c e g ) 开始了两个方面 的研究：一个是短期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与 h 2 6 3 + + ) ；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期 研究计划产生了h 2 6 l 标准草案，在压缩效率方面与先期的i t u - t 视频压缩标准相比， 具有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后i s o 与i t u 开始组建包括来自i s o i e c 咿e g 与i t u _ tv c e g 的联合视频组( j 、，t ) ，j v t 的 主要任务就是将h 2 6 l 草案发展为一个国际性标准。于是，在i s o i e c 中该标准命名 为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e c , - 4 标准的第1 0 个选项；在i t u t 中正 式命名为h 2 6 4 标准。在相同的重建图像质量下，h ，2 6 4 比h 2 6 3 + 和m p e g - 4 ( s p ) 减 小5 0 码率。对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如 会议电视等；又可工作于无时延限制的场合，如视频存储等。 1 6 2 。2h 2 6 4 视频压缩算法的优点 j v t ( j o i n tv i d e ot e a m ，视频联合工作组) 于2 0 0 1 年1 2 月在泰国p a t t a y a 成 立。它由i t u - t 和i s 0 两个国际标准化组织的有关视频编码的专家联合组成。j v t 的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良 好的网络适应性等目标。目前j v t 的工作已被i t u t 接纳，新的视频压缩编码标准称 为h 2 6 4 标准，该标准也被i s 0 接纳，称为a v c ( a d v a n c e dv i d e oc o d i n g ) 标准， 是船e g 一4 的第1 0 部分。 h 2 6 4 不仅比h 2 6 3 和m p e g - 4 节约了5 0 的码率，而且对网络传输具有更好的 支持功能。它引入了面向i p 包的编码机制，有利于网络中的分组传输，支持网络中 视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰严重的无 线信道中的视频传输。h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的 图像质量。h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示，网络提取层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 负责以网 络所要求的恰当的方式对数据进行打包和传送。在v c l 和n a l 之间定义了一个基于 分组方式的接口，打包和相应的信令属于n a l 的一部分。这样，高编码效率和网络 友好性的任务分别由v c l 和n a l 来完成。 v c l 层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码标准 一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加标准的灵活 性。 n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令， 定时信息的利用或序列结束信号等。例如，n a l 支持视频在电路交换信道上的传输 格式，支持视频在i n t c r n e t 上利用r t p u d p i p 传输的格式。n a l 包括自己的头部信 息、段结构信息和实际载荷信息，即上层的v c l 数据。 h 2 6 4 和h 2 6 1 、h 2 6 3 一样，也是采用d c t 交换编码加d p c m 的差分编码， 即混合编码结构。同时，h 2 6 4 在混合编码的框架下引入了新的编码方式，提高了编 码效率，更贴近实际应用。h 2 6 4 没有繁琐的选项，而是力求简洁的“回归基本”，它 具有比h 2 6 3 + + 更好的压缩性能，又具有适应多种信道的能力。 h 2 6 4 的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好 的抗误码和抗丢包的处理能力。h 2 6 4 的基本系统无需使用版权，具有开放的性质， 能很好地适应m 和无线网络的使用，这对目前因特网传输多媒体信息、移动网中传 1 7 输宽带信息等都具有重要意义。 图2 - 1h 2 6 4 编码器原理框图 上图为h 2 6 4 编码器原理框图，尽管h 2 6 4 编码基本结构与h 2 6 1 、h 2 6 3 是类 似的，但它在很多环节做了改进。h 2 6 4 在编码框架上还是沿用以往的m e d c t 结构， 即运动补偿加变换编码的混合( h y b r i d ) 结构，因此它保留了一些先前标准的特点， 如不受限制的运动矢量( u n r e s t r i c t e d m o t i o n v e c t o r s ) ，对运动矢量的中值预测( m e d i a n p r e d i c t i o n ) 等。然而，以下介绍的技术使得h 2 6 4 比之前的视频编码标准在性能上有 了很大韵提高。应当指出的是，这个提高不是单靠某一项技术实现的，而是由各种不 同技术带来的小的性能改进而共同产生的。现列举如下。 ( 1 )帧内预测 对i 帧的编码是通过利用空间相关性而非时间相关性实现的。以前的标准只利用 了一个宏块( m a c r o b l o c k ) 内部的相关性，而忽视了宏块之间的相关性，所以一般编 码后的数据量较大。为了能进一步利用空间相关性，h 2 6 4 引入了帧内预测以提高压 缩效率。简单地说，帧内预测编码就是用周围邻近的像素值来预测当前的像素值，然 后对预测误差进行编码。这种预测是基于块的，对于亮度分量( 1 u m a ) ，块的大小 可以在1 6 x 1 6 和4 4 之间选择，1 6 x 1 6 块有4 种预测模式，4 x 4 块有9 种预测模式； 对于色度分量( c h r o m a ) ，预测是对整个8 x 8 块进行的，有4 种预测模式。除了d e 预测外，其他每种预测模式对应不同方向上的预测。 ( 2 )帧问预测 与以往的标准一样，h 2 6 4 使用运动估计和运动补偿来消除时间冗余，但是它具 有以下4 个不同的特点： 预测时所用块的大小可变 由于基于块的运动模型假设块内的所有像素都做了相同的平移，在运动比较剧 烈或者运动物体的边缘处这一假设会与实际出入较大，从而导致较大的预测误差，这 时减小块的大小可以使假设在小的块中依然成立。另外小的块所造成的块效应相对也 小，所以一般来说小的块可以提高预测的效果。 为此，h 2 6 4 一共采用了7 种方式对一个宏块进行分割，每种方式下块的大小和 形状都不相同，这就使编码器可以根据图像的内容选择最好的预测模式。与仅使用 1 6 x 1 6 块进行预测相比，使用不同大小和形状的块可以使码率节省1 5 以上。 ( 3 )高精度、多模式运动估计 在h 2 6 4 中，l u m a 分量的运动矢量( m v ) 使用1 4 像素精度。c l o m a 分量 的m v 由l u m am v 导出，由于c h r o m a 分辨率是l u m a 的一半( 对4 ：2 ：o ) ，所以其 m v 精度将为1 8 ，这也就是说1 个单位的c h r o m am v 所代表的位移仅为e h r o m a 分量取样点间距离的l 8 。如此精细的预测精度较之整数精度可以使码率节省超过 2 0 。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以被分为不同的子块，形成7 种不 同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实际运动物体的形 状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以包含有1 、 2 、4 、8 或1 6 个运动矢量 在h 2 6 4 中，允许编码器使用多于一帧的先前帧用于运动估计，这就是所谓的 多帧参考技术。例如2 帧或3 帧剐刚编码好的参考帧，编码器将选择对每个目标宏块 能给出更好的预测帧，并为每一宏块指示是哪一帧被用于预测。 ( 4 )多参考帧 h 2 6 4 支持多参考帧预测( m u l t i p l er e f e r e n c ef l a m e s ) ，即可以有多于一个( 最 多5 个) 的在当前帧之前解码的帧可以作为参考帧产生对当前帧的预测 ( m o t i o n - c o m p e n s a t e dp r e d i c t i o n ) 。这适用于视频序列中含有周期性运动的情况。采 用这一技术，可以改善运动估计( m e ) 的性能，提高h 2 6 4 解码器的错误恢复能力， 但同时也增加了缓存的容量以及编解码器的复杂性。不过，h 2 6 4 的提出是基于半导 1 9 体技术的飞速发展，因此这两个负担在不久的将来会变得微不足道。较之只使用一个 参考帧，使用5 个参考帧可以节省码率5 1 0 。 ( 5 )抗块效应滤波器 抗块效应滤波器( d e b l o c k i n gf i l t e r ) ，它的作用是消除经反量化和反变换后重 建图像中由于预测误差产生的块效应，即块边缘处的像素值跳变，从而一来改善图像 的主观质量，二来减少预测误差。h 2 6 4 中的d e b l o c k i n gf i l t e r 还能够根据图像内容 做出判断，只对由于块效应产生的像素值跳变进行平滑，而对图像中物体边缘处的像 素值不连续给予保留，以免造成边缘模糊。与以往的d e b l o c k i n g f i l t e r 不同的是，经 过滤波后的图像将根据需要放在缓存中用于帧间预测，而不是仅仅在输出重建图像时 用来改善主观质量，也就是说该滤波器位于解码环中而非解码环的输出外，因而它又 称作l o o pf i l t e r 。需要注意的是，对于帧内预测，使用的是未经过滤波的重建图像。 ( 6 )整数变换 h 2 6 4 对帧内或帧间预测的残差( r e s i d u a l ) 进行d c t 变换编码。为了克服浮点 运算带来的硬件设计复杂，更重要的是舍入误差造成的编码器和解码器之间不匹配 ( m i s m a t c h ) 的问题，新标准对d c t 的定义做了修改，使得变换仅用整数加减法秘 移位操作即可实现，这样在不考虑量化影响的情况下，解码端的输出可以准确地恢复 编码端的输入。当然这样做的代价是压缩性能的略微下降。此外，该变换是针对4 x 4 块进行的，这也有助于减少块效应。 。莹 为了进一步利用图像的空间相关性，在对c h r o m a 的预测残差和1 6 1 6 帧内预测 的预测残差进行上述整数d c t 变换之后，标准还将每个4 x 4 变换系数块中的d c 系 数组成2 x 2 或4 x 4 大小的块，进一步做哈达玛( h a d a m a r d ) 变换。 ( 7 )熵编码 如果是s l i c e 层预测残差，h 2 6 4 有两种熵编码的方式：基于上下文的自适应变 长码( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) 和基于上下文的自适 应二进制算术编码( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o o i n g ，c a b a c ) ；如 果不是预测残差，h 2 6 4 采用e x p - g o l o m b 码或c a b a c 编码，视编码器的设置而定。