（交通信息工程及控制专业论文）基于移动检测的视频码流控制与QoS的研究与实现.pdf

中文摘要 摘要： 视频监控系统因其直观、方便、信息内容详实被广泛应用于交通、公安等安 全领域。随着i n t e m e t 和监控技术的迅速发展，视频监控的网络化己成为当今研究 的热点之一和主要的发展趋势。但是，视频数据量大和网络带宽有限一直是限制 着视频监控网络化的瓶颈。对这些问题，从视频监控系统的终端到视频的网络传 输都有大量的研究。 对铁路视频监控来说，铁路运输有以下的特殊性。空间上，用户和视频监控 点之间是远距离联系，需要进行视频信息的远程传输；从监控点来说，铁路上有 多个部门需要多个监控点的视频信息，需要进行视频的多路传输，并且不希望存 在安全死角。所以，铁路视频监控系统需要进行的是多路远程的视频传输。而一 般情况，铁路通讯网络提供一个2 m 带宽，实现现场和中心部门的网络连接。而由 于视频的数据量大以及需要进行多路传输，则大的数据量和有限的带宽之间产生 了矛盾。 本课题针对我国铁路运输对视频监控的需求，分析了铁路运输的规律性，当 铁路线上无车辆经过时，传输高质量的图像信息浪费了有限的带宽资源，但是此 时，用户依然希望能看到大致情况。结合以上特点，我们研究了在有限带宽下如 何能既满足用户要求又适应网络带宽的问题。在本章中，利用了3 种先进的技术， 包括视频图像分析技术、视频编码技术和网络传输技术，对这些技术进行了详细 的研究，提出了基于移动侦测和视频优先权的带宽分配算法。并且依据算法进行 了实验，实验结果表明，基于移动侦测的视频码流控制可以同时做好“看好”和 “看到”，即重要的视频信息可以“看好”，所有的视频信息可以“看到”，一 定程度上解决了有限带宽和用户需求的视频信息之间的矛盾。 关键词：视频监控o o sh 2 6 4 运动检测码率控制带宽调整 分类号：t p 3 9 3 0 a b s t r a c i a b s l r a i ? r v i d e os u r v e i l l a n c es y s t e ma sa ni m p o r t a n ts a f es u r v e i l l a n c ei nt r a f f i ca n dp o l i c ei s w i d e l yu s e di ns e c u r i t ya n do t h e rf i e l d sf o ri t sf u l la n da c c u r a t ei n f o r m a t i o n w i t ht h e f a s td e v e l o p m e n to fi n t e m e t , v i d e os u r v e i l l a n c en e t w o r kh a sb e c o m eo n eo ft h em o s t p o p u l a rr e s e a r c h e s b u tt h eh l i g ev i d e od a t aa n dl i m i t e dn e t w o r k b a n d w i d t ha r ea l w a y s c h o k ep o i n t f o rt h e s eq u e s t i o n s ，t h e r ea r el o t so fr e s e a r c hi nt e r m i n a lo fv i d e o s u r v e i l l a n c es y s t e ma n dv i d e on e t w o r kt r a n s m m i t i o n n c p a r t i c u l a r i t yo fr a i l w a yt r a n s p o r ti s a sf o l l o w i n g 1 nd i s t a n c e t h ed i s t a n c e b e t w e e nu s e ra n dv i d e op o i n ti sl o n g a n dt h e r ea r em a n yd e p a r t m e n t so fr a i l w a y n e e d i n gt h ev i d e od a t a s ot h ev i d e od a t as h o u l db et r a n s m i t t e di nm u l t i - c h a n n e l t h e r e f o r e ，t h ev i d e os u r v e i l l a n c es y s t e ms h o u l dt r a n s m i tm u l t i - c h a n n e la n dr e m o t e v i d e o i ng e n e r a l ，t h ec o m m u n i c a t i o nn e t w o r ko fr a i l w a yc o u l dp r o v i d ea2 mb a n d w i d t h t oc o n n e c tt h ec e n t e ra n dl o c a l b e c a u s et h ev i d e od a t ai sh u g e t h e r ei sc o n t r a d i c t i o n b e t w e e nt h ed a t aa n db a n d w i d t h i nt h i sp a p e r , w ea n a l y s et h en e e do fv i d oo nr a i l w a y w h e nt h e r ei sn ot r a i ni nt h e r a i l w a y , t h et r a n s m m i t i o no fh i g hq u a l i t yv i d e oi saw a s t e o fl i m i t e db a n d w i d t h b u t a l l c h a n n e l so fv i d e os h o u l db es e e nb yu s e r s w er e s e a r c hh o wt om e e tt h er e q u i r e m e n to f u s e r sa n dm a k ef u l lu s eo fb a n d w i d t ha c c o r d i n gt ot h ec h a r a c t e r i s t i c so fm i l w a y i nt h e p a p e r , w ea d o p tt h r e ea d v a n c e dt e c h n i q u e s ，i n c l u d i n gv i d e oa n a l y s et e c h n i q u e 、v i d e o c o d i n gt e c h n i q u ea n dn e t w o r kt r a n s m i t t i o nt e n i q u e w er e s e a r c ht h e mi nd e t a i l ，b r i n g f o r w a r dab a n d w i d t h a l l o c a t i o na r i t h m e t i cb a s e do nm o t i o nd e t e c t i o nt e c h n i q u ea n d v i d e op r i o r i t y w ed oe x p e r i m e n t sa c c o r d i n gt ot h ea r i t h m e t i c a n dt h er e s u l t ss h o wt h a t t h ea r i t h m e t i cc o u l dm a k et h eu s e r st o “s e ew e l l ”a n d “辩ea i l ”t 1 l a tm e a n st h a tt h e u s e r sc o u l dg e tg o o dv i d e oq u a l i t yo fi m p o r t a n td a t a , a n dc o u l dg e ta l li n f o r m a t i o n sa t t h es a m et i m e t m sm e t h o ds o l v e st h e c o n t r a d i c t i o nb e t w e e nt h el i m i t e db a n d w i d t ha n d t h er e q u i r e m e n to ft h eu s e r s k e y w o r d s ：v i d e os u r v e i l l a n c eq o sh 2 6 4m o t i o nd e t e c t i o n c o d i n gr a t ec o n t r o l b a n d w i d t h a d j u s t c l a s s n o ：t p 3 9 3 o 致谢 本论文的工作是在我的导师张宁教授的悉心指导下完成的，张宁老师严谨的 治学态度和科学的工作方法给了我极大的帮助和影响，是我终身受益。张宁老师 平时对我提出的商标准和严要求，使我以严谨而认真的科研态度从事研究工作； 同时张宁老师的敬业精神也是我学习的榜样。在此衷心感谢三年来张宁老师对我 的关心和指导。 宋晓虹老师悉心指导我完成了实验室的科研工作，在学习上和生活上都给予 了我很大的关心和帮助，在此向宋晓虹老师表示衷心的谢意。 在实验室工作及撰写论文期间，项昀、章跃平等同学对我从事的研究工作给 予了无私的配合和帮助，在此向他们表达我的感激之情。 另外也感谢我的父亲母亲，他们的理解和支持使我能够在学校专心完成我的 学业。 1 引言 视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系 统，以其直观、方便、信息内容丰富而广泛应用于许多场合。近年来，随着计算 机、网络以及图像处理、传输技术的飞速发展，视频监控制技术也有长足的发展。 网络视频监控系统使用现有的网络系统，使整个网络系统硬件和软件资源的共享 以及任务和负载的共享，这将是监控系统发展的必然趋势。 1 1研究的背景和意义 铁路运输是关系到国计民生的重要产业，它的发展与国民经济发展和人民生 活水平提高息息相关。2 0 0 4 年初，国务院审议通过了中长期铁路网规划，明确 提出来在未来一段时间内我国铁路运输网的发展计划和目标。根据中长期铁路 网规划，到2 0 2 0 年，我国将建成“四横四纵”铁路快速客运通道以及三个城际 快速客运系统。建设客运专线1 2 万公里以上，客车速度目标值达到每小时2 0 0 公 里及以上。 对于铁路传输，安全是永恒的主题，是铁路的生命线，特别是对高速铁路和 客运专线，安全问题尤其重要。因此，加强对铁路沿线的检测，建立科学有效的 监控机制和预警机制，对保证高速列车的运行安全是至关重要的。而视频监控系 统，由于其可以提供直观形象的现场实际信息，成为铁路综合安全的重要组成部 分。 由于目前的因特网不能提供任何的o o s 保障，所以视频流的实时传输面临很 多困难，主要有带宽限制、延迟以及丢失差错等，不能为视频传输提供稳定的带 宽保障，因此对这一问题有很多研究。目前已经实现了的远程视频监控系统，都 不能在带宽有限情况下实现良好的图像质量。因此，对有限带宽下视频传输的研 究有很重要的意义。 对于铁路运输来说，铁路系统的多个部门，包括运输部门、电务部门、工务 部门、供电部门、车辆部门等都希望获得实时和直观的视频信息。由于视频流传 输的数据量非常大，需要占用的网络带宽资源多i n ，对铁路通讯网络来说，通常 可以提供一个2 m 的带宽，这就需要考虑在满足各个部门对视频信息需求的前提 下，利用有限的带宽进行视频传输，并要节省建设成本和使用成本。多个部门对 视频信息有需求，所以就有多个视频的客户端，而部门要监控的监控点也有多个， 每个监控点都要有一个视频采集点，即视频源，部门和现场之间是通过网络远程 连接，网络带宽为2 m ， 圃 因此，此问题可以抽象为如图1 1 的系统模型。 呼曰专匮2 m 图1 1问题模型图 1 2 视频监控系统的发展和问题 基于图1 1 的系统模型，对系统问题的解决，研究的方向主要包括几个部分： 压缩编码技术、网络传输技术和拥塞控制技术。这些技术，都是伴随着视频监控 系统的发展逐渐发展起来的。下面介绍一下视频监控系统的发展过程。 二十世纪九十年代末以来，随着电子器件设计技术、通信技术、计算机网络 技术、多媒体处理技术的发展，图像监控系统由传统的模拟方式步入了数字式的 网络时代。与模拟系统相比，数字监控系统借助于计算机网络突破了模拟信号传 输距离上的限制，监控可以无所不在。更重要的是，数字监控系统以计算机为处 理核心，除了能够实现多媒体信息处理如压缩、传输、存储和播放等基本功能之 外，还能够实现自动异常报警、智能存储和快速检索等高级功能，实现模拟监控 无法实现的真正意义上的“监控”功能。由于数字式网络监控系统功能强大、成 本低、使用方式灵活而且应用广泛，蕴含巨大商机受到了学术界、产业界和管理 部门的高度重视。 视频监控系统的发展经历了三个不同阶段：模拟视频监控，多媒体微机平台 ( 基于p c 插卡) 的数字视频监控和基于网络视频服务的数字化网络视频监控1 3 】。 一、模拟视频监控系统 模拟视频监控系统主要由摄像机、视频矩阵、监视器、录像机等组成，利用 模拟视频线将来自摄像机的视频连接到监视器上，利用视频矩阵主机，采用键盘 进行切换和控制，录像采用使用磁带的长时间录像机：远距离图像传输采用模拟 光纤，利用光端机进行视频的传输。 模拟监控系统发展较早，目前常称为第一代监控系统，系统特点： a 视频、音频信号的采集、传输、存储均为模拟形式，质量最高： 2 b 经过几十年的发展，技术成熟，系统功能强大、完善。 传统的模拟闭路电视监控系统有很多局限性： 只适用于较小的地理范围 有线模拟视频信号的传输对距离十分敏感，模拟视频信号的传输工具主要是 同轴电缆，而同轴电缆传输模拟视频信号的距离不大于l k m ，双绞线的距离更短， 这就决定了模拟监控只适合于单个大楼、小的居民区以及其它小范围的场所。 无法形成有效的报警联动 有线模拟视频监控无法联网，与信息系统也无法交换数据，在模拟监控系统 中，由于各部分独立运作，相互之间的控制协议很难互通，联动只能在有限的范 围内进行，监控仅限于监控中心，只能以点对点的方式监视现场，应用的灵活性 较差并且使得布线工程量极大。 系统的扩展能力差 有线模拟视频信号数据的存储会耗费大量的存储介质( 如录像带) ，查询取 证时十分烦琐而且也不易扩展。对于己经建好的系统，如要增加新的监控点，往 往是牵一发而动全身，新的设备也很难添加到原有的系统之中。 二、基于微机平台的数字视频监控( d v r ) d v r 是近几年迅速发展的第二代监控系统，采用微机和w i n d o w s 平台，在计 算机中安装视频压缩卡和相应的d v r 软件，在监控现场，有若干个摄像机、各种 检测、报警探头与数据设备，通过各自的传输线路，汇接到监控终端机上，该终 端可以是一台p c 机，也可以是专用的工业机箱。不同型号视频卡可连接1 2 4 路视 频，支持实时视频，是第一代模拟监控系统升级实现数字化的可选方案，适合传 统监控系统的改造。 数字化视频监控克服了模拟闭路电视监控的局限性，具体说来，其优点为： ( 1 ) 数字化视频可以在计算机网络( 局域网或广域网) 上传输图像数据，基 本上不受距离限制，信号不易受干扰，可大幅度提高图像品质和稳定性； ( 2 ) 数字视频可利用计算机网络联网，网络带宽可复用，无须重复布线； ( 3 ) 数字化存储成为可能，经过压缩的视频数据可存储在磁盘阵列中或保存 在光盘中，查询十分简便快捷。 基于p c 的数字视频监控系统终端功能较强，便于现场操作，主要特点为： a 视频、音频信号的采集、存储主要为数字形式，质量较高； b 系统功能较为强大、完善； c 与信息系统可以交换数据； d 应用的灵活性较好。 三、第三代的网络数字监控系统 3 随着i n t e r n e t 和宽带网络技术的日益发展，传统的以文字和图片为主的内容服 务已不能满足用户的需求，具有视频和音频的多媒体内容服务即将成为主流，这 是互联网技术发展的必然趋势。近两年来一种崭新的全数字化网络视频监控系统 正在得到广泛应用。 第三代网络数字监控系统不需处理模拟视频信号的p c ，而是把摄像机输出的 模拟视频信号通过嵌入式视频编码器直接转换成i p 数字信号。简单的说，就是将传 统的模拟视频信号转换为数字信号，通过计算机网络来传输，通过智能化的计算 机软件来处理。系统将传统的视频及控制信号数字化，以职包的形式在网络上传输， 实现了视频的数字化、系统的网络化、应用的多媒体化以及管理的智能化。 第三代视频监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为 核心，以智能实用的图像分析为特色，并可以与报警系统、门禁系统完美的整合 到一个使用平台上。与前两代的系统相比，第三代监控系统基于t a p 网络协议， 以分布式的概念出现，将监控模式拓展为分散与集中的相辅相成，无限度的拓展 了监控的范围。在硬件设备方面，第三代系统运用了更为先进的d a 、a d 转换设 备视频服务器或内置处理器的网络摄像机，把图像处理( 采集、压缩、协议转换、 传输) 设置在监控点，利用无所不在的互联网和局域网，达到全国范围内的即插 即用，实现了从图像采集、传输、录像、最终输出的全过程数字化，内置的处理 程序也使得系统更加稳定。 总的来说，第三代的数字监控系统具备了以下几个突出的优点： ( 1 ) 数据存储和传输：采用h 2 6 4 、m p e g 4 等多媒体数字压缩技术，将视频 图像完全数字化存储在媒介上，高性能的压缩比大量节省了存储空间，并且数字 化资料存储可以做到保存时间长、数据更稳定且不易损坏；高性能的压缩信息在 网络上传输时也节省了大量的带宽； ( 2 ) 嵌入式监控：在数字视频监控系统中，可以采用嵌入式的硬件设备进行 视频图像的处理，可以大大提高视频图像的质量和系统的性能； ( 3 ) 网络传输功能：对网络的研究和控制更加深入，可以采用多种拥塞控制 方法和网络传输协议来控制和调节网络的行能，提供符合视频传输要求的网络状 况； ( 4 ) 多系统整合：可以进行多系统的综合监控，利用计算机进行数字化数据 的运算，可以交互视频数据、门禁数据和报警数据，使视频监控系统、门禁系统 和报警系统整合起来，几乎可以解决所有用户的需求，例如可以控制铁路运输上 的业务流，确保作业安全； ( 5 ) 图像识别技术：图像识别技术更加成熟化，包括运动检测和图像识别等 技术，为视频监控系统的多功能发展提供了更广阔的空间。 4 目前视频监控摄像机在应用中已经普遍存在，但并没有充分发挥其实时主动 的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常情况发生后， 工作人员才通过记录的结果观察发生的事实，但往往为时己晚。而我们需要的监 控系统应该能够每天连续2 4 z j 、时的实时监视，并自动分析摄像机捕捉的图像数据。 当异常行为发生时，系统能够向保卫人员准确及时地发出警报，同时也减少雇佣 大批监视人员所需要的人力、物力和财力的投入。 而目前的视频监控系统q o s 保证的研究也有很多，对流量传输控制的基本方 法主要有四类：优先级队列、基于分类的队列、t c p 速率控制、a t 通信元速率 算法。四类方法各有优缺点，如优先级队列，低优先级的数据有可能迟迟得不到 传输，管理员也无法控制带宽的分配。为了适应异构网络不同的网络带宽情况， 已有的解决方法主要包括：视频转码技术、基于视频流复制的速率控制技术和基 于分层编码的速率控制技术。提出的解决方法还有网络资源预约协议，但是这种 方法不能随着具体情况而变化，而且在现有网络条件下实现的可能性不高。 本课题针对以上问题并结合铁路视频监控，考虑我国铁路运输对视频监控的 需求，分析铁路运输的规律性，在铁路通讯网络上，利用视频监控系统的先进技 术，包括视频图像分析技术、视频编码技术和网络传输技术，提出了基于移动侦 测和视频优先权的带宽分配算法解决以上的问题。 1 3论文的内容和工作安排 本文针对上述问题，首先介绍了视频监控技术的发展历史、现状以及趋势， 并对本课题所研究的内容及研究意义作了简要介绍。接着对监控系统的整体结构 作了介绍，其中详细研究了视频的h 2 6 4 编码标准。在接下来的第三章中，详细介 绍了提出方案的组成模块和相互之间的影响和作用，对关键技术做了详细的研究 和叙述，包括移动侦测技术和码率控制技术，同时也提出了一个带宽调整策率。 并且在第四章用实验证明了可行性。在论文的最后对本课题所作的研究工作了总 结，并提出了后续工作的主要方向。 5 2 视频监控系统的关键技术 目前，基于网络的数字化监控系统采用先进的网络传输技术和编码技术，其 中h 2 6 4 是先进的编码标准之一，它具有帧内帧间的混合编码方式、更高精度的 像素运动补偿、多参考帧等许多先进的特性，是它成为视频实时传输的一个主流 压缩标准。本课题就是基于h 2 6 4 的编码标准。本章针对h 2 6 4 编码标准和视频 的网络传输协议进行了详细的分析和研究。 2 1视频监控系统总体结构 本文所研究的视频监控系统具有本地监控和网络远程监控的功能，它采用 c l i e n t s e r v e r 模式。对于本地监控系统，即服务器端，它具备了视频信息的采集和 编解码功能、网络传输功能、应用功能( 包括硬盘连续或定时录像、视频文件的 存储及备份、系统设置等) 以及自适应控制功能等。自适应控制模块包括控制信 息的收集以及对图像编解码的影响，是自适应系统的核心，也是本文的重点，将 在以后的章节详细介绍。 网络分控系统，即客户端，它有一台普通的p c 机构成，可以实时浏览任何一 路或者多路的视频信号、通过网络控制视频图像、实时记录并回放、浏览任何一 路的视频图像，实现远程的视频监控与数据传输。 整个系统的功能框图如图2 1 所示。本章主要研究视频监控系统的几项关键技 术。 服务器端客户端 榆 崮 应网 用络 功1卜传 胄邑 广 输 酝 模模 块块 毋 m 】1 p u 1 8l 基l 图2 1 视频监控系统框图 6 韭壶銮逼盍堂亟堂焦监塞援题墼撞丕统鳆羞毽拄盔 2 2h 2 6 4 视频编码标准 众所周知，视频监控系统中视频信息的数据量是非常大的，高效的数据压缩 方法对于数据传输效率至关重要。为了提高监控系统的质量，实现实时的视频通 信，必须采用高质量的视频编码压缩算法。 r r u t 和i s o ，m c 是目前国际上制定视频编码标准的正式组织，r r u _ t 的标准称 之为建议，并命名为h 2 6 x 系列，比如h 2 6 1 、h 2 6 3 等。i s o i e c 的标准称为m p e g x ， 比如m p e g 1 、m p e g 2 、m p e g - 4 等。h 2 6 x 系列标准主要用于实时视频通信，比 如视频会议、可视电话等；m p e g 系列标准主要用于视频存储( d v d ) 、视频广 播和视频流媒体( 如基于i n t e r a c t 、d s l 的视频，无线视频等等) 。除了联合开发 h 2 6 2 m p e g - 2 标准外，大多数情况下，这两个组织独立制定相关标准。自1 9 9 7 年， r r u t v c e g 与i s o i e c m p e g 再次合作，成立了j o i n t v i d e o t e a m ( j v t ) ，致力于 开发新一代的视频编码标准h 2 6 4 。1 9 9 8 年1 月，开始草案征集；1 9 9 9 年9 月，完成 了第一个草案；2 0 0 1 年5 月，制定了其测试模式1 m l 8 ；2 0 0 2 年6 月，j r 第5 次会 议通过了h 2 6 4 的f c d 板；2 0 0 2 年1 2 月，u 曜日本的会议上正式通过了h 2 6 4 标 准，并于2 0 0 3 年5 月正式公布了该标准。国际电信联盟将该系统命名为h 2 6 4 a v c ， 国际标准化组织和国际电工委员会将其称为1 4 4 9 6 1 0 i v i p e g - 4 a v c l 4 l 。 在这一部分，我们集中讨论视频编码与解码方面的内容。视频信息本身的海 量数据与信道容量的有限之间的矛盾使得对视频展开压缩编码研究变得十分必 要。在压缩编码研究领域里面，关键是如何开发和充分利用视频信源自身的信息 冗余特性。对信源冗余特性的研究和利用在目前的视频国际编码标准中都得到了 充分重视和体现。特别地在面向传输的视频编码方面，我们对h 2 6 4 编码方案进行 了详细的对比研究。 2 2 1数据压缩的必要性 多媒体一般包括文本、图形图像、视频和动画等媒体。一般的文本由于数据 量不大，所以存储时所占用的存储空间不多，在传输时也不占用很多的时间，相 对而言多媒体中的图形图像和语言的数据量比较大，如果是连续的图像信号数据 量则更大，如果不对视频图像进行压缩，计算机很难实时处理和传输。因此数字 压缩编码技术是使数字信号走向实用化的关键技术之一 压缩编码的理论基础是信息论。从信息论的角度看，压缩就是去掉信息中的 冗余，即保留不确定的东西，去掉确定的东西( 即可推知的东西) ，使用一种更 接近信息本质的描述来代替原有的冗余的描述。信息冗余量有许多种，如空间冗 7 余、时间冗余、结构冗余、知识冗余、心理视觉冗余等，数据压缩实质上是减少 这些冗余量。由此可见冗余量减少可以减少数据量而不减少信源的信息量【5 】。 2 2 2h 2 6 4 标准的编码过程 与以前的视频压缩标准h 2 6 3 、m p e g 2 、m p e g - 4 类似，h 2 6 4 也是采用帧间 预测和帧内变换的混合编码方法来消除或减少图像中的信息冗余，其编码器的基 本过程如图2 2 所示。编码器的工作过程可根据数据流分为前向通道和重建通道。 输入帧e 的编码，是对原始图像1 6 x1 6 像素的宏块进行编码。宏块编码分为帧内 编码和帧问编码。在任何情况下，预测宏块p 都由重建帧获得。在帧内编码模式 中，p 由当前帧中的已编码宏块经解码、重构预测获得，如上图中的以。在帧间 编码模式下，p 由一个或多个参考帧经运动补偿预测获得，如e - ，。以预测宏块p 与当前宏块只的差值作为残差宏块域，经变换、量化后得到一串变换参数x 。参 数x 需要进行两方面的处理，一是重排序和熵变换处理，整个过程没有反馈分量， 故称为前向通道；二是反量化和逆变换处理，产生宏块d ，然后与宏块p 相加得 到重构宏块弘e ，再经过一系列处理得到重建的参考帧e ，用于下一帧的运动估 计，因此称为重建通道【6 l 。 图2 2h 2 6 4 的编码过程图 2 2 3h 2 6 4 标准的核心技术 8 韭裹銮逼太堂亟堂僮j 盆塞援缝鉴撞丕筮敛羞壁拄苤 v c l 与n a l 的分层设置 h 2 6 4 的编码标准从功能上分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) ，如图2 3 所示。 图2 3h 2 6 4 的v i ：l 和m l 分层示意图 v c l 主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、健 壮性、可分级等特性的视频编码码流。这一部分也是整个h 2 6 4 视频编码标准的核 心部分。但如同前面所提到的，编码视频比特流对于不同的传输网络和传输协议 并不是具有普遍的适应性。为此h 2 6 4 在视频编码层的外部定义了n a l n a l 主要负责将v c i 彦2 生的数据正确地、恰当地映射到不同的传输网络中去。 当v c l 产生的比特流将在某种特定网络中传输时，n 鲥对这种网络及其传输协 议的特性，对v c l 的编码码流进行适合该网络及其传输协议的封装。这样h 2 6 4 就 可以在面向不同的传输网络时，灵活地提供不同的封装方式，增强了网络的适应 性。n a l 的提出不但使h 2 6 4 对目前现存的各种不同网络有很强的网络友好性，而 且使它对未来的网络同样具有很强的适应性。 2 2 3 2帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码的效率，在给 定帧中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。因此， 在对一给定宏块编码时，首先可以根据周围的宏块预测( 典型的是根据左上角的 宏块，因为此宏块已经被编码处理) ，然后对预测值与实际值的差值进行编码，这 样，相对于直接对该帧编码而言，可以大大减小码率。 然而，图像的不同区域空间变化是不相同的，尤其是不同物体交接的边界区 域，通常是图像空间变化最复杂的地方。如果在这类区域采用的帧内预测方式与 9 背景区域相同，编码效果一定会更差。为了提高帧内预测的质量，h 2 6 4 提供三种 帧内预测方式： ( 1 ) 4 x 4 亮度块帧内预测； ( 2 ) 1 6 x1 6 亮度宏块帧内预测； ( 3 ) 8 x 8 色度宏块帧内预测。 并且为每一种预测方式提供多种预测模式。一般，图像相对变化较大的区域， 需要更细小的块分割和更多可选的预测模式，以提供足够的预测精度。 2 2 3 3帧问预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的运动 补偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多的功 能，除了支持p 帧、b 帧外，h 2 6 4 还支持一种新的流间传送帧s p 帧。码流 中包含s p 帧后，能在有类似内容但有不同码率的码流之间快速切换，同时支持随 机接入和快速回放模式。h 2 6 4 的运动估计有以下4 个特性。 ( 1 ) 不同大小和形状的宏块分割 块大小对运动估计的效果是有影响的。将宏块分割成不同尺寸的运动补偿子 块称作树状结构运动补偿。在宏块( m b ) 划分上，h 2 6 4 采用了1 6 x 6 ，1 6 x 8 ， 8 1 6 ，8 x 8 四种模式；当划分为8 x 8 模式时，又可进一步采用8 x 4 ，4 x 8 ，4 x 4 三种子宏块划分模式进一步划分，这样做既可以使运动物体的划分更加精确，减 小运动物体边缘的衔接误差，又可以减小变换过程中的计算量，如图2 4 所示。 较小的块可以使运动估计更精确，产生较小的运动残差，降低码率。在h 2 6 4 建 议的不同大小的块选择中，可以看出，一个宏块最多可以携带1 6 个不同的运动矢 量。配合多帧运动估计，同一宏块中的不同块还可以使用不同的参考帧来进行预 测。 1 6 8 1 6 8 8 田田目团 由曲圈田 图2 4 运动补偿的宏块分割 ( 2 ) 高精度的亚像素运动补偿 1 0 在h 2 6 3 中采用的是半像素精度的运动估计，而在h 2 6 4 中可以采用1 4 或者 1 8 像素精度的运动估值。在要求相同精度的情况下，h 2 6 4 使用1 4 或者1 8 像素 精度的运动估计后的残差要比h 2 6 3 采用半像素精度运动估计后的残差来的小。 这样在相同精度下，h 2 6 4 在帧间编码中所需的码率更小。 ( 3 ) 多帧预测 所谓多帧运动估计是指使用一个或多个参考帧来估计运动矢量，可以防止因 某个帧出现错误而影响到后面的帧。但是，这种估计需要更大的内存，更高的运 算复杂度。以往的编解码技术在对p 帧( 场) 图像进行帧间预测时，只允许以前 一个i 图像或p 图像为参考帧，对b 图像进行预测时只允许以前后两个i 图像或p 图像为参考图像。h 2 6 4 则打破了这些限制，允许在r e f e r e n c eb u f f e r 中的多个图 像中选取一个( p 预测方式) 或两个( b 预测方式) 图像作为参考图像，参考图像 甚至可以是采用双向预测编码方式的图像。这样提供了更好的纠错性能，可以改 善视频图像质量。 ( 4 ) 去块滤波器 h 2 6 4 定义了自适应去除块效应的滤波器。它的作用就是用来消除解码图像中 的块效应。块效应产生的原因是各个宏块分别进行量化，这样在相邻宏块的交界 处，因量化步长不同而导致原本很接近的像素值重构后产生了较大的差异，形成 明显的块边界。去块效应滤波是在4 x 4 的块边界上滤波，处理预测环路中的水平 和垂直块边缘，大大减少了方块效应。h 2 6 4 的消除块效应滤波器位于运动估计循 环内部，可以利用消除块效应以后的图像去预测其它图像的运动，进一步提高预 测精度。 2 2 3 4整数变换和量化 在变换方面，h 2 6 4 使用了基于4 x 4 像素块的类似于d c t 的变换，但使用的 是以整数为基础的空间变换，变换的核心部分主要是加法和移位。在整个变换和 量化的过程中，只执行1 6 b i t 的整数算法和一次乘法操作。只要在h 2 6 4 建议基础 上正确使用相应的反变化，编码器和解码器就不会出现不匹配现象，不存在反变 换因为取舍而存在误差的问题，变换矩阵如图2 5 所示。 1 1 韭塞銮逼太堂亟堂焦诠塞丑题鉴整丞堑鳆羞鳇莛丕 h ：卜 l ： h i m = 图2 5 变换矩阵 其中的系数基本上都是整数，1 2 可以用移位代替。在变换中由于乘法均可由 移位运算代替，因此，复杂度降低的同时，也解决了精度问题。与浮点运算相比， 整数d c t 变换会引起一些额外的误差，但因为d c t 变换后的量化也存在量化误 差，与之相比，整数d c t 变换引起的量化误差影响并不大。 h 2 6 4 中可选3 2 种不同的量化步长，这与h 2 6 3 中有3 1 个量化步长很相似， 但是在h 2 6 4 中，步长是以1 2 5 的复合率递进的，而不是一个固定常数。在h 2 6 4 中，变换系数的读出方式也有两种：之字形( z i g z a g ) 扫描和双扫描。大多数情况 下使用简单的之字形扫描；双扫描仅用于使用较小量化级的块内，有助于提高编 码效率。 熵编码 视频编码处理的最后一步就是熵编码，h 2 6 4 建议同时采用了两种熵编码模 式：基于上下文的二进制算术编码c a b a c ，以及通用可变长编码u v l c 。u v l c 编码又包括基于上下文的自适应可变长编码a 唧。 h 2 6 4 中的u v l c 码表提供了一个简单的方法，不管符号表述什么类型的数 据，都使用统一变字长编码表。其优点是简单；缺点是单一的码表是从概率统计 分布模型得出的，没有考虑编码符号间的相关性，在中高码率时效果不是很好。 因此，h 2 6 4 中还提供了可选的。蟠a c 方法。算术编码使编码和解码两边都 能使用所有句法元素( 变换系数、运动矢量) 的概率模型。为了提高算术编码的 效率，通过内容建模的过程，使基本概率模型能适应随视频帧而改变的统计特性。 内容建模提供了编码符号的条件概率估计，利用合适的内容模型，存在于符号间 的相关性可以通过选择目前要编码符号邻近的已编码符号的相应概率模型来去 illl_illli_ j d d d ， d 乏 。一：。一：以。，l 除，不同的句法元素通常保持不同的模型。 根据无误码的假设条件下的试验所得的数据可知，在所有码率下，g 、m c 的 表现都强于c a v l c 。但是c a v l c 的抗误码性要强于c a b a c ，且运算的复杂度 也远远低于c a b a c 。因此，h 2 6 4 规定在b a s e l i n ep r o f i l e 中采用c a v l c ，而在 m a i np r o f i l e 中采用c a b a c 进行熵编码。 2 2 4h 2 6 4 的性能和优点 正是采用了一些切实有效的技术方法，h 2 6 4 才具有了前所未有的高压缩效 率，在相同的图像质量下所许的码流量更低。在相同的图像质量下，h 2 6 4 所需码 率约为m p e g - 4 的6 1 ，并且随着今后实现优化性工作做得更好，其压缩性能方 面的优势将更为突出。这种高压缩效率可以给视频实时通信、数字广播电视、视 频存储等应用带来很多好处，提高人们的视频欣赏质量。 h 2 6 4 最具价值的部分无疑是更高的数据压缩比。正因为如此，经过h 2 6 4 压 缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。在m p e g 2 需要6 m b p s 的传输速率匹配时，h 2 6 4 只需要1 m b p s 2 m b p s 的传输速率。在 m p e g 4 需要6 m b i t s 的传输速率匹配时，h 2 6 4 只需要3 m b i t s 4 m b i t s 的传输速 率。h 2 6 4 引入了面向i p 包的编码机制，有利于网络中的分组传输，支持网络视 频的流媒体传输。能够在较低带宽上提供高质量的图像传输也是它的一大特点。 h ，2 6 4 获得优越性能的代价是计算复杂度的大幅增加，例如分层设计、多帧参 论、多模式运动估计、改进的帧内预测等，这些都显著提高了预测精度，从而获 得比其他标准好得多的压缩性能。 事实证明，h 2 6 4 编码具有比其它的h 系列视频压缩标准节省码流，比m p e g 4 算法简单的特点。h 2 6 4 的良好网络适应性和内在的抗丢包能力、抗误码机制，使 它不仅适于口传输方式，也适合丢包严重、时延和抖动复杂的无线信道。由于h 2 6 4 在制定时就充分考虑了多媒体通信对视频编解码的各种要求，并借鉴了h 系列和 m p e g 系列视频标准的研究成果，因而具有明显的优势。 综合考虑这些因素，本文的视频编码标准是h 2 6 4 。 2 3视频的网络传输协议 计算机网络是现代通信技术与计算机技术相结合的产物。所谓计算机网络， 就是把分布在不同地理区域的计算机与专门的外部设备用通信线路互连成一个规 模大、功能强的网络系统，从而使众多的计算机可以方便地互相传递信息，共享 硬件、软件、数据信息等资源。 计算机网络中实现通信必须有一些约定即通信协议，对速率、传输代码、代 码结构、传输控制步骤、出错控制等制定标准。为了使两个结点之问能进行对话， 必须在它们之间建立通信工具( 即接口) ，使彼此之间能进行信息交换。接口包 括两部分：一是硬件装置，功能是实现结点之间的信息传送；二是软件装置，功 能是规定双方进行通信的约定协议。协议通常由三部分组成：一是语义部分，用 于决定双方对话的类型；二是语法部分，用于决定双方对话的格式；三是变换规 则，用于决定通信双方的应答关系。 由于世界各大型计算机厂商推出各自的网络体系结构，因而国际标准化组织 i s o 于1 9 7 8 年提出“开放系统互连参考模型”，即著名的o s i ( o p e ns y s t e m i n t e r c o n n e c t i o n ) 。它将计算机网络体系结构的通信协议规定为物理层、数据链路 层、网络层、传输层、会话层、表示层、应用层等七层，受到计算机界和通信业 的极大关注。通过十多年的发展和推进己成为各种计算机网络结构的靠拢标准。 下面针对视频应用中使用的几种协议作一介绍。 2 3 1t c p i p 协议 t c p ，m ( t r a n s m i s s i o nc o n t r o lp r o t o c o l i n t e m e tp r o t o c 0 1 ) 协议是为美国a 】r p a 网 设计的，目的是使不同厂家生产的计算机能在共同网络环境下运行。t c p i p 协议 叫做传输控制网际协议，它是i n t e r a c t 国际互联网络的基础。t c p i p 协议是一组包 括t c p 协议和口协议，u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 协议、i c m p ( i n t e m e tc o n t r o l m e s s a g ep r o t o c 0 1 ) 协议和其它一些协议的协议组，t c p 协议和伊协议是保证数据完 整传输的两个基本的重要协议。通常说t c p i i 是i n t e r n e t 协议族，而不单单是t c p 和m 。 卫c p l p 协议并不完全符合o s i 的七层参考模型。而t c p i p 通讯协议采用了5 层 的层级结构，数据在传输时每通过一层就要在数据上加个包头，每一层都呼叫它 的下一层所提供的网络来完成自己的需求，其中的数据供接收端同一层协议使用， 而在接收端，每经过一层要把用过的包头去掉，这样来保证传输数据的格式完全 一致。为便于理解，它也称为互联网分层模型或互联网分层参考模型。 ( 1 ) 应用层：应用程序间沟通的层，向用户提供一组常用的应用程序，比如 电子邮件( s m t p ) 、文件传输协议( f t p ) 、网络远程访问协议( t e l n e t ) 等。远 程登录 ( 2 ) 传输层：提供应用程序间的通信即它提供了节点间的数据传送服务，如 传输控制协议( t = p ) 、用户数据报协议( u d p ) 等。其功能包括：一、格式化信 1 4 韭哀銮逼去堂亟堂焦监塞褪麴堕趁丕缝的羞毽兹丕 息流；二、提供可靠传输。为实现后者， 传输到下一层中，层协议负责传送数据， 组丢失，必须重新发送。 t c p 和u d p 给数据包加入传输数据并把它 规定接收端必须发回确认，并且假如分 ( 3 ) 互联网络层( 即网络层) ：负责相邻计算机之间的通信，提供基本的数 据封包传送功能，让每一块数据包都能够到达目的主机( 但不检