（计算机软件与理论专业论文）基于h264的网络视频监控技术研究与实现.pdf

摘要 随着信启、技术、图像压缩技术和网络技术的发展，网络视频监控系统对数据采集的 实时性、视频图像编码、有限网络带宽下传输实时性和视频质量等都有了更高的要求。 本文针对基于d s p 平台的视频监控技术中的关键问题进行研究，将h 2 6 4 视频编码标 准应用于视频编码过程，并实现了h 2 6 4 编码算法的移植和优化。主要工作如下： ( 1 ) 设计了基于v f w 的多通道视频采集工具，并利用v f w 编程技术和a v i c a p 窗 口类将模拟视频信号转换成数字视频信号，实现实时视频数据采集，并支持进一步的视 频处理和播放。 ( 2 ) 提出了一种新的基于h 2 6 4 a v c 视频编码标准帧内预测模式全搜索算法的快速 帧内预测模式选择算法，算法对全搜索算法的两个部分进行了改进：一是针对宏块级的 预判，避免了对每一个宏块都做1 4 和1 1 6 两种预测；二是针对1 4 块的边缘方向预测模 式选择算法，减少了参与计算的1 4 块。实验证明，该算法在质量的略微下降和比特率 的增加程度在可接受的范围之内，伎全i 帧帧内预测编码算法时间节省达到6 5 。 ( 3 ) 提出一种采用r t p r t c p 流媒体传输协议进行视频流传输的解决方案，提供时 间信息和实现流同步，检测并纠正实时传输中存在的错误，降低了网络传输数掘量，满 足视频数据传输的实时性和准确性。 ( 4 ) 设计和实现了基于高性能数字信号处理器芯片t m s 3 2 0 d m 6 4 2 的网络视频监控 系统，系统应用r f 5 软件开发理念，实现了h 2 6 4 算法的d s p 移植，并对h 2 6 4 编码 器进行了项目级、c 语言程序级和线性汇编级优化，减少时间丌销。实验表明，本课题 设计的视频监控系统在编码实时性方面相对提高，满足系统应用需求。 关键词：视频监控，v f w ，h 2 6 4 ，帧内预测，d s p a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , i m a g ec o m p r e s s i o nt e c h n o l o g ya n d n e t w o r k ，t h en e t w o r kv i d e os u r v e i l l a n c es y s t e mh a ss o m ep r o b l e m st ob es o l v e d ，s u c ha st h e r e a l t i m ev i d e o a c q u i s i t i o n ，t h ev i d e oc o d i n g ，t h er e q u i r e m e n tf o rt h er e a l - t i m ea n dt h eq u a l i t y u n d e rt h el i m i t e db a n d w i d t h b a s e do nt h ed s pp l a t f o r m ，t h es u r v e i l l a n c et e c h n o l o g ya n di n o r d e rt oc o n s t r u c tav i d e os u r v e i l l a n c es y s t e mt h el a t e s tv i d e oc o d i n gs t a n d a r dh 2 6 4a r e c o m b i n e di nt h i sp a p e r t h em a i na c h i e v e m e n t sa r ed e s c r i b e da sf o l l o w s ： ( 1 ) v f w - b a s e dm u l t i c h a n n e lv i d e oa c q u i s i t i o nt o o lw a sd e s i g n e d ，a n dp r o g r a m m i n g t e c h n i q u e sa n da v l c a pw i n d o wc l a s sa r eu s e dt od e v e l o pr e a l - t i m ev i d e oa c q u i s i t i o n ； ( 2 ) a f t e ra n a l y z i n gt h ei n t r a - p r e d i c t i o nm o d es e l e c t i o na l g o r i t h m i nh 2 6 4 a v c s t a n d a r d ，t h i sp a p e rp r o p o s e saf a s ti n t r a p r e d i c t i o nm o d es e l e c t i o na l g o r i t h m e x p e r i m e n t a l r e s u l t ss h o wt h a tc o m p a r e dw i t ht h ef u l ls e a r c h i n ga l g o r i t h m ，t h i sa l g o r i t h mc a l ld e c r e a s et h e c o d i n gt i m eb y6 5 w h i l ek e e p i n gt h eo u t p u tv i d e ob i tr a t ea n dp s n ra l m o s tu n c h a n g e d ( 3 ) i no r d e rt om e e tt h er e a l t i m ev i d e ot r a n s m i s s i o ni nt h en e t w o r kv i d e os u r v e i l l a n c e s y s t e m t h i sp a p e rp r o p o s e du s i n gi 盯p r t c pt r a n s p o r tp r o t o c o l f o rv i d e os t r e a m i n g s o l u t i o n s ( 4 ) t h ev i d e o s u r v e i l l a n c e s y s t e m b a s e do nt h eh i g hp e r f o r m a n c e d i g i t a ls i g n a l p r o c e s s o rt m s 3 2 0 d m 6 4 2i sd e s i g n e da c c o r d i n gt or f 5w h i c hi sk n o w na st h ea d v a n c e d s o f t w a r e f i n a l l yt h ei m p r o v e de n c o d i n ga l g o r i t h m sa r et r a n s p l a n t e dt ot h ed s pc h i p ，a n dt h e c o m p u t a t i o n a lc o m p l e x i t yi sr e d u c e dt h r o u g hc u t t i n gt h ec o d ea n do p t i m i z i n gp r o c e s so ft h e o r i g i n a lcc o d e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h er e a l t i m ep e r f o r m a n c eo fh 2 6 4e n c o d i n g c a nm e e tt h ed e m a n di nt h ea p p l i c a t i o n k e yw o r d s ：v i d e os u r v e i l l a n c e ，v f w jh 2 6 4 ，i n t r a - f l a m ep r e d i c t i o n ，d s p 目录 摘要i a b s t r a c t ii 第一章绪论1 1 1 远程监控系统的发展阶段1 1 1 1 模拟图像监视阶段1 1 1 2 本地数字信号监控阶段1 1 1 3 网络数字视频监控阶段1 1 2 课题背景及意义2 1 3 研究内容和技术特色4 1 3 1 研究内容4 1 3 2 技术特色4 1 4 论文的章节组织结构4 第二章网络视频监控系统关键技术6 2 1 视频捕捉技术6 2 1 1v f w 编程技术概述6 2 1 2a v l c a p 窗口类7 2 2h 2 6 4 视频图像编码技术8 2 2 1h 2 6 4 a v c 的技术特色点8 2 2 2 率失真理论1 0 2 2 3 整数d t c 变换和量化1 1 2 2 4 熵编码1 1 2 3 视频图像传输与控制协议1 2 2 3 1 实时传输协议r t p 1 2 2 3 2 实时传输控制协议r t c p 1 3 2 4 t m s 3 2 0 d m 6 4 2 开发平台1 4 2 4 1t m s 3 2 0 d m 6 4 2 系统结构1 4 2 4 2c c s 软件集成开发环境1 5 2 5 本章小结1 6 第三章网络视频监控系统总体设计17 3 1 方案设计基本原则1 7 3 2 系统功能分析及总体流程1 8 3 3 网络视频监控系统设计1 9 3 3 1 基于t m s 3 2 0 d m 6 4 2 的系统硬件结构设计1 9 3 3 2 基于r f 5 的软件架构2 0 3 3 3 基于d s p b i o s 的网络架构2 2 3 4 本章小结2 2 第四章h 2 6 4 帧内预测模式选择算法2 4 4 1h 2 6 4 a v c 中的帧内预测技术2 4 4 1 14x4 亮度块预测2 5 4 1 21 6 1 6 亮度块预测2 6 4 1 38 8 色度块预测2 7 4 2 帧内预测模式全搜索算法复杂度分析2 7 4 3 快速帧内预测模式选择算法2 8 4 3 1 空间相邻块相关的帧内预测2 9 4 3 2 宏块帧内纹理复杂度的预先判断2 9 4 3 3 快速4 4 块帧内预测模式选择3 0 4 3 4 快速帧内预测模式选择算法描述3 1 4 4 快速帧内预测模式选择算法实验结果与分析3 2 4 5 本章小结3 3 第五章视频监控系统实现与优化3 5 5 1 系统功能模块设计3 5 5 1 1v f w 视频采集与处理模块3 5 5 1 2h 2 6 4 a v c 视频图像编码模块4 0 5 1 3r t p r t c p 视频图像传输模块4 1 5 2h 2 6 4 编码算法在d s p 上的移植4 2 5 2 1h 2 6 4 编码算法在d s p 上的实现和优化步骤4 2 5 2 2 编码器结构调整与代码删改4 5 5 2 3d s p 平台编码器功能的实现4 5 5 3h 2 6 4 编码算法在d s p 上的优化4 6 5 3 1 项目级优化4 6 5 3 2c 语言程序级优化4 7 5 3 3 汇编语言级优化4 8 5 4 系统性能测试5 0 5 5 本章小结5 1 第六章结论与展望5 2 6 1 工作总结5 2 6 2 展望5 2 参考文献5 4 攻读硕士学位期间取得的学术成果5 7 致谢5 8 两北久学硕1 ：学位论文 1 1 远程监控系统的发展阶段 第一章绪论弟一早珀t 匕 远程监控系统共经历了三个阶段，即模拟图像监视阶段，数字信号监控阶段和网络 数字视频监控阶段【。 1 1 1 模拟图像监视阶段 上世纪8 0 年代以前，称为第一代模拟视频监控系统，这一代视频监控主要是以模拟 设备为主，典型应用以闭路电视系统为代表。这种监控系统用模拟视频线将来自监控端 的视频图像连接到监视器上，利用视频矩阵主机进行切换和控制。这一代视频监控系统 采用点对点的模拟方式进行传输，首先利用视频电缆传输直接送入的视频信号，然后通 过一条电缆线将每一监视点的视频信号连接到中心控制室的多路切换器上，而监视点图 像的选择则利用传统的手动切换方式。由于模拟视频信号的传输距离较近，所以模拟视 频监控系统通常只适合于小范围的局部区域监控，此阶段的图像监视最大的弊端是无法 进行联网，只能采取点对点的模拟方式，使得布线工程量极大，有很大的局限性。 1 1 2 本地数字信号监控阶段 上世纪9 0 年代初，数字化技术有了突飞猛进的进步，数字信号视频监控逐步取代了 过去的模拟视频监控，计算机成为人们处理图像信号的主要工具，通过视频采集卡实现 视频信号的采集并在显示器上显示，大大提高了图像的画质，但是只是利用计算机串口 与之相连，且仍采用传统的单片机方式进行控制与切换来实现控制工作。它的优点是有 较好的稳定性和良好的人机界面，但同时也存在着不可逾越的缺点，所以还称不上是真 正的数字图像监控系统，究其原因，主要有三个，一个是因为本阶段的系统设计仍以传 统模式为基本点，脱离了计算机，在此阶段，计算机只是充当了一个外部监视器的角色； 另一个是因为传统单片机系统依旧存在一定的弊端，要想实现通信协议的多样化与专用 化是非常困难的，因此现有的计算机资源与多种硬件设备的要求不匹配的现象；第三是 因为数字视频的数据量很大，而计算机的运行速度又较低，所以想让一台计算机对更多 数字视频信号进行同时处理是不可能的，因此组建大型监控系统是很苦难的。 1 1 3 网络数字视频监控阶段 2 0 世纪9 0 年代末至今，随着计算机硬件设备性能的提高，视频图像处理技术的迅猛 第一章绪论 发展，以及网络和通信技术的广泛应用，视频监控系统的网络化和全数字化时代已悄然 而至，这就是第三代视频监控系统即网络数字视频监控阶段。 计算机以其强大的功能不但可以完成对数据、图形、文本等静态信息的处理，也能 够实现动态图像的处理，例如：声音、视频等多媒体数据，再加上通信和网络等相关技 术的发展，使数字化网络视频监控系统能够实现远程静态和实时动态的图像传输，这个 阶段才可称为真正的多媒体监控终端。同时，随着嵌入式技术在硬件和软件方面的改革 和性能的提高，能够满足更加复杂和灵活的视频存储、传输和监控的应用需求。视频压 缩编码技术、嵌入式技术和网络传输控制技术是此阶段的三大核心技术，用这三大技术 来实现网络视频监控，使系统在稳定性、实时性、扩展性等方面，以及在硬件的处理速 度、系统功能、价格等方面的优势都显示的淋漓尽致。所以远程数字视频监控是当前视 频监控领域的热点和发展方向。 1 2 课题背景及意义 网络视频监控系统一般是由安全监控以及远程监控范围内专用的i p 视频监控系统， 网络视频监控系统使用户可以利用i p 网络完成视频监控以及录制视频图像。传统的模拟 视频系统与先进的网络视频监控系统是有一定的区别的，主要体现在以下两点： l 、传统的模拟视频监控系统是利用点对点的模拟视频电缆来实现视频及系统捕捉 到的其他信息的传输，这些信息可以是静态的也可以是动态的，而针对数据的传输，网 络视频监控系统则通过网络实现，因为网络的传输速度和安全性都要高于模拟视频电 缆，所以网络视频监控大大提高了传输的速度和安全性。 2 、网络视频系统中能完成视频和控制数据的传输，而且能实现系统所应用的音频 数据的传输，在网络传输中，进行数字化的视频流可以通过有线或者无线的网络传输到 任何有网络的地方，扩大了数据的传输范围 2 】。 从网络视频监控系统的诞生到现在经历了十多年的发展，网络视频监控技术已经比 较成熟，特别是在组网结构，视频数据的传输，视频信息的压缩和存储以及人机界面方 面，都有了前所未有的改进。但是网络视频监控技术仍然存在很多问题： 1 、诸多的监控系统在视频数据压缩上效率很低，因此需要在网络传输的时候准备 很大的带宽。局域网环境下不是很明显的现象，例如，视频数据在监控点出现画面不连 续的状况，但是将这些数据在i n t e r n e t 环境下进行传输，不连续的现象就非常突出，特别 是通过电话线接入监控点的时候，根本不能实现远程监控。另外，因为大量的监控历史 2 两北了i 学硕i 学位论文 记录要保存起来，因此监控系统必须配备大容量的存储设备。所以提高视频数据压缩率 是监控系统要处理的头等重要的问题，但必须是在视频质量容许的前提下进行。 2 、远程视频监控现在经常使用的模式是在嵌入式硬件罩面内嵌w 曲服务器，例如 在d s p 内嵌入。这种模式比较适合开发小型监控系统，在大规模的视频监控系统开发中， 此种方法与大量并发请求的需要便不匹配了，原因有二，一是嵌入式硬件的成本和功耗 等相对于非嵌入式系统要高的多，所以比较小的存储设备是嵌入式系统的首选，因此对 w 曲服务器程序体积要求比较小，这样更多的功能就没有办法实现。第二，w e b 服务器 被嵌入在硬件中，服务器的运转要花费更多的c p u 时间，这样就会影响到视频数据压缩 模块等对实时性要求较高的软件模块的工作。嵌入式软件系统的开发周期一般比较长， 因为其成熟的产品少，开发难度自然就大，支持开发的工具也不多，所以嵌入式软件的 开发需要一定成熟的的经验。 3 、q o s j 1 视频服务质量的管理。视频图像的传输需要具有大量的带宽的前提下进行 的，当网络延迟和阻塞时，就会导致视频数据丢包情况，致使监控画面质量下降，并且 会降低监控的实时性，所以在数据传输时需要使用可靠高效的传输协议。 针对以上目前视频监控系统存在的问题，本课题提出了基于h 2 6 4 的网络视频监控 技术的研究。为了达到较高的视频压缩率，设计基于最新视频压缩标准h 2 6 4 1 j 9 视频编 码器并将其植入高性能的d m 6 4 2 内，同时使视频数据的质量和连续度在低带宽的条件下 也能够得到保证；为了提高监控系统的整体性能，在p c 机上使高性能的视频服务器得以 实现，将嵌入式硬件与视频服务器进行分离：为了提高视频的服务质量，采用高可靠的 实时传输协议和分布式的视频服务器体系架构。 网络频监控系统可以应用在大型体育比赛数据分析、公共监控、大型小区公共监控、 公共风景名胜观光等领域。若在公共观光胜地设置若干摄像机，则通过网络将图像数据 传送到世界各地，实现足不出户式的监控。又如大型电站的多摄像机系统可以通过集总 器将监控数据传输到每个电站员工的家中实现实时监控。重大事故易发地带市民监视系 统，若该地发生危险，则市民监视终端可以随时将信息提供给市民，这样可以防止工作 人员的疏忽大意而导致重大事故的发生，利用社会的力量最大程度避免危害的发生。 系统的网络化在某种程度上打破了监控系统布控区域和设备扩展的地域和数量界 限。系统的网络化将使整个处在同一个网络中的系统硬件和软件的资源达到一个可以共 享的目的，这也是视频监控的一个重要发展方向。 正因为网络视频监控有着如此广泛的应用前景，因此采用一种高效率的压缩编码技 第一章绪论 术h 2 6 4 标准又兼顾视频监控系统独有的特点形成新一代的数字网络视频监控系统来迎 合广大潜在用户的需求成为本文的研究主题。 1 3 研究内容和技术特色 1 3 1 研究内容 本文首先在借鉴目前视频监控系统的设计经验基础上，做了以下工作： 1 、分析并研究了视频监控系统的应用现状，并基于d s p 平台设计和实现了视频监 控系统，实现视频的实时采集、视频图像的压缩以及传输等，此系统最终实现在不需要 专用的硬件设备情况下就可以播放视频，而且应用灵活，可以满足视频应用程序开发的 需要。 2 、针对帧内预测复杂度高的问题，提出了一种快速的帧内预测算法。对h 2 6 4 全搜 索算法的两个部分进行了改进：一是针对宏块级的预判，避免了对每一个宏块都做1 4 和 1 1 6 两种预测；二是针对1 4 块的边缘方向预测模式选择算法，减少了参与计算的1 4 块。实 验结果表明，在保证编码质量的前提下，大大提高了编码速度，增强了实时视频编解码 的可实现性。 3 、分析了d s p 在视频处理方面的优势，研究了本文所用d m 6 4 2 平台的性能特点， 对高性能数字信号处理器芯片t m s 3 2 0 d m 6 4 2 的系统结构进行了分析和研究。 4 、应用r f 5 软件架构，实现了h 2 6 4 编码器在d s p 上的算法移植，并对h 2 6 4 算 法在d s p 上进行优化。 1 3 2 技术特色 1 、本文基于微软公司为开发平台的视频应用程序提供的v f w ( v i d e of o rw i n d o w s ) 软件工具包，实现了实时视频数据的采集。 2 、针对视频数据传输特点，改进了h 2 6 4 快速的帧内预测算法，在保证编码质量的 前提下，大大提高了编码速度，增强了实时视频编码的可实现性。 3 、实现了d s p 的算法移植，并对h 2 6 4 算法在d s p 上进行优化，从而适合实时性 要求。 1 4 论文的章节组织结构 第一章针对网视频监控系统的必要性，简要介绍了课题的研究背景和发展现状，从 而引出研究内容和技术特色点，最后简介章节内容安排。 4 两北火学硕十学位论文 第二章分析了视频监控系统涉及到的各个技术环节，详细介绍了本课题所用到的开 发技术。 第三章分析了系统功能和总体流程，给出了方案设计原则和系统工作流程，并在软 硬件结构框架和网络框架上给予总体设计。 第四章介绍了h 2 6 4 a v c 的帧内预测技术以及h 2 6 4 帧内全搜索算法，针对帧内预 测复杂度高的问题，提出了一种快速的帧内预测算法。对全搜索算法的两个部分进行了 改进，并将结果与全搜索算法进行比较。 第五章设计并实现了各个功能模块，并将j m 参考模型移植到d m 6 4 2 平台上，对 其编码结构进行结构的调整和删改；对移植后的编码器进行项目级优化、c 程序级优化 以及汇编程序级优化。 第六章对论文所作的工作进行总结，并指出研究工作中有待改进的地方。 第二章网络视频：氍控系统的相关技术 第二章网络视频监控系统关键技术 2 1 视频捕捉技术 2 1 1w w 编程技术概述 随着数字技术的发展，微软公司在1 9 9 2 年开发了v f w ( 数字视频的软件包) ，它 打破了传统视频的界限，将传统模拟视频转换为数字信号，并使应用程序数字化 3 。v f w 的一个核心技术是播放时不需要专用硬件，因为数字视频数据量比较大，数据需要进行 压缩，于是，它引进了a v i 文件标准，该标准未对视频进行如何捕获、压缩及播放进行 规定，仅对视频和音频该如何存储在硬盘上进行了规定，在a v i 文件中交替存储视频数 据和与之匹配的音频数据。v f w 为程序员提供了两个高级编程工具，即v b x 控件和 a v l c a p 窗口类，程序员可以利用发送消息给它们或利用它们设置属性进行视频的捕获、 播放和编辑。w i n d o w s 操作系统本身包含v i d e of o r w i n d o w s1 1 ，当用户在安装w i n d o w s 操作系统时，视频所需的视频组件会自动地被安装程序安装配置，这些组件有设备驱动 程序和视频压缩程序等。 v f w 软件包可以很灵活的实现模拟视频信号和数字视频信号的转换，并支持视频 图像的进一步处理和播放，它的优点是不需要专用的硬件设备对视频进行播放，并且应 用灵活，能够满足视频应用程序开发的需要。 以下是对v f w 的构成模块进行的重点的分析讨论和设计。v f w 主要有以下六个模 块构成： 1 、a v i c a p d l l ：给出了实现视频捕捉的函数，并提供一个高级接口，以此支持视 频、音频设备驱动程序以及a v l 文件输入输出。 2 、m s v i d e o d l l ：完成屏幕上的视频操作需要使用d r a w d i b 函数。 3 、m c i a v i d r v ：是一个驱动程序，提供的解释器实现对v f w 的m c i 命令的解 释。 4 、a v i f i l e d l l ：可以由标准多媒体i o 函数即m m i o 包含的更专业的命令实现 对a v i 文件进行访问。 5 、压缩管理器i c m ：又叫编解码器( c o d e c ) ，完成对保存在a v i 文件中的视频 图像数据进行压缩和解压缩。 6 、音频压缩管理器a c m ：提供的服务与i c m 类同，不同的地方是a c m 被用于波 6 两北大学硕_ 学位论文 形音频的压缩和解压缩。 2 1 2a v lc a p 窗口类 a v i c a p 给出了一个方便的、基于消息的接口供应用程序使用，使之能访问视频和 波形音频硬件，并能实现对把实时视频流捕获到硬盘上的整个过程的控制。虽然m c i 也有视频捕获的功能，但这些功能大部分是基于文件的操作，如果要求实时直接从视频 缓存中取得数据，它就很难满足了。对于一台p c 机来说，若未安装视频叠加能力的捕 获卡，而直接用m c i 提供的命令集是无法实现视频流的捕获的。视频缓冲区能直接被 a v i c a p 窗口类进行访问，不需要生成中间文件，具有很强的实时性、高效率性。同时， 视频捕获方面有很强的功能，它可将数字视频捕获最终生成文件 4 1 。 a v i c a p 窗口类支持实时的视频流捕获和单帧捕获，并提供对视频源的控制，它能 直接访问视频缓冲区，不需要生成中间文件，实时性很强，效率很高。一般的开发步骤 如下： 1 、创建“捕获窗” 在进行视频捕获之前必需要先创建一个“捕获窗”，并以它为基础进行所有的捕获 及设置操作。“捕获窗”用a v i c a p 窗口类的c a pc r e a t ec a p t u r ew i n d o w i 函数来创建。 2 、关联捕获窗和驱动程序 单独定义的一个捕获窗是不能工作的，它必需与一个设备相关联，这样才能取得视 频信号。用函数c a pd r i v e rc o n n e c t 可使一个捕获窗与一个设备驱动程序相关联。 3 、设置视频设备的属性 通过设置c a p t u r e p a r m s 结构变量的各个成员变量，可以控制设备的采样频率、 中断采样按键、状态行为等。设置c a p t u r e p a r m 结构变量后，可以用函数c a pc a p t u r e s e ts e t u p 使设置生效。之后还可以用c a pp r e v i e ws c a l e 、c a pp r e v i e wr a t e 来设置预览的 比例与速度，也可以直接使用设备的默认值。 4 、打开预览 用c a pp r e v i e w 启动预览功能，这时就可以在屏幕上看到来自摄像机的图像了。 通过以上四步就可以建立一个基本的视频捕获程序。本系统要实时处理视频数据， 须通过函数c a ps e tc a l lb a c ko nf r a m e 来注册一个帧回调函数，只要该函数一启动，当一 帧图像采集完毕便产生回调动作，此时就可以对视频缓冲区中的数据进行处理。 7 第二章网络视频监控系统的相关技术 2 2h 2 6 4 视频图像编码技术 h 2 6 4 a v c 5 是新一代视频编码标准，由i s o i e cm p e g 和i t u tv c e g 联合建立 的联合视频工作组( j v t ，j o i n tv i d e ot e a m ) 制定，h 2 6 4 a v c 标准在保留了传统的基 于块的混合编码方法的同时，又采用了大量的新技术，例如：1 4 像素运动估计、统一 的v l c 符号编码、基于1 4 x 4 块的整数变换以及分层的编码语法等，特别是h 2 6 4 增加 了帧内预测编码，并通过率失真优化技术( r d o ， r a t ed i s t o r t i o no p t i m i z a t i o n ) 对帧内预 测模式的每一种组合进行计算，从而取得最优的编码模式，以此来提高i 帧的编码效率。 2 2 1h 2 6 4 a v 0 的技术特色点 h 2 6 4 a v c 视频编码标准的思想与传统的m p e g 1 2 等视频编码相同，即采用了基 于像素块的混合编码方法，同时增加了很多的新技术，从而使得其编码性能远远高于其 他标准【6 - 8 1 。 1 、h 2 6 4 a v c 视频编码标准保持的传统编码技术有： ( 1 ) 把图像分割为1 6 1 6 像素的宏块进行处理； ( 2 ) 运用帧间预测技术与运动补偿技术来去除时域的相关性； ( 3 ) 对运动估计后的残差块进行一系列的变换、量化、扫描和熵编码，以此来消除 空间和频域冗余； ( 4 ) 4 ：2 ：0 亮度色差子采样、运动矢量、划分变换块的大小、分级量化和i p b 帧等 其他技术。 2 、h 2 6 4 a v c 采用的新型编码技术 ( 1 ) 宏块分割和亚分割一1 6 1 6 像素的宏块可预先分割成1 6 x 8 、8 x 1 6 矛1 1 8 8 的像素块， 8 x 8 像素块还可继续亚分割为成8 x 4 、4 x 8 ；幂d 4 x 4 f l ( 3 运动分块。 ( 2 ) 帧内预测一不仅利用保留的帧间预测技术，并且新增了帧内预测技术，以去除i 帧编码中的空间冗余。运用当前像素块上边和左边的像素对块内像素值进行预测，并对 残差进行编码。 ( 3 ) 多参考帧和小运动分块一利用帧间预测技术，可以把宏块分割与亚分割成( 1 ) 中 所列的各种小运动分块，运用己经解码的多个( 最多2 1 6 = 3 2 ) 参考帧来进行预测编码，从 而使运动补偿的残差值变小。 4 x 4 整数d c t - 一先将运动补偿的残差块和帧内预测的残差块进行分割，得到4 x 4 的 分块，接着将4 x 4 的残差块进行整数d c t 变换。4 x 4 的整数d c t 与传统的8 x 8 块的浮 两北人学硕十学位论文 点数d c t 相比，前者减小了分块效应和振铃效应( r i n g i n ge f f e c t ) 、计算快( 仅需要整数加 法运算与移位运算) 、效果好( 反变换无失配等情况存在) 、结合量化过程、保证运算精度 和范围( 1 6 位) 。 ( 4 ) h a d a m a r d 变换技术 在量化之前，还对d c 系数矩阵先进行h a d a m a r d ( 1 l 合达玛) 变换，可消除相邻变换块 的d c 系数之间的相关性，以提高压缩比。 ( 5 ) 无扩展分级量化技术 对变换系数采用无扩展的分级量化量来进行标量量化，量化的步长由量化参数决 定。而且还将量化与变换中基于h 2 6 4 a v c 标准的预测帧编码算法研究的比例伸缩部分 ( 尺度矩阵乘法) 融合在一起，有效地减少了编码的计算量。 ( 6 ) 场扫描顺序技术 除了传统的z 字型帧扫描顺序外，还增加了场扫描方式，用于场编码模式。 ( 7 ) 去块效应滤波器技术 为了消除分块编码中，由于块边界像素值的量化误差而形成的图像主观质量的“块 效应”，引入了基于内容的去块效应滤波器。根据误差分析区分图像中的真实边界和由 d c t 变换系数量化而造成的假边界，滤除假边界同时保持图像真实边界不被滤波。 ( 8 ) 新型熵编码技术 采用了c a v l c ( c o n t e x t - b a s e da t i v ev a r i a b l el e n g t hc o d i n g ，基于上下文的自适应变 长编码) 和c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，基于上下文的自 适应二进制算术编码) 等新的熵编码方法，可以克服h u f f m a n 和算术编码等传统 v l c ( v a r i a b l el e n g t hc o d e ，变长编码) 的概率分布不符合实际情况、概率分布是静止的、 忽略了符号的相关性、没有利用条件概率、码字必须为整数比特等缺点，提高压缩比。 ( 9 ) 面向i p 和无线环境 为了提高压缩视频流在i p 网络和移动通信等误码和丢包的多发环境中传输的稳健 性，而且适应不同传输速率的需要，h 2 6 4 a v c 标准中包含了消除传输差错、改变视频 流码率的方法和工具：如帧内图像刷新、支持片结构编码来抵御传输差错；在一幅图像 的视频数据中提供一定数量的重同步点以便于误码后的再同步；在帧内宏块刷新和多参 考宏块中，允许编码器在选择宏块模式时，不仅考虑编码效率，还可以适应不同传输信 道的特性；除利用量化步长的改变来适应信道码率，还常利用数据分割方法来应对信道 码率的变化；通过改变量化精度来支持无线信道较大的码率变化，与m p e g 4 中采用的 9 第二章网络视频脓控系统的相关 ( 效率较低的) 精细可伸缩性( f g s ) 编码方法不同，h 2 6 4 分级编码。 因为h 2 6 4 采用了大量的新技术，所以其编码性能 卞【9 - 1 、 和h 2 6 3 或m p e g 4 相比，在相同编码质量下， 2 、高质量的重建图像。h 2 6 4 在各种比特率条件下，包括低比特率时，都可以提供 满意的图像质量。 3 、适应不同的延时要求。h 2 6 4 可以在低延时的模式下适应通信的应用( 如视频会 议) ，可以应用在无延时的模式下( 如视频图像的存储) ，甚至还可以在高延时的模式下 工作并取得最佳的压缩效果。 4 、稳健性。h 2 6 4 在设计时，针对分组交换网o 1 i n t e m e t 中的分组丢失和无线网络 中比特误码都提供了相应的工具，使得h 2 6 4 在这些网络中传播时具有更强的抗误码能 力。 5 、网络友好性。h 2 6 4 增加了n a l 层，负责将编码器的输出码流适配到各种类型的 网络中，从而提供了友好的网络接口。 2 2 2 率失真理论 视频编码往往属于限失真编码。所谓限失真编码是指在给定允许失真条件下，如何 获取最大数据压缩率的问题。这也是率失真理论研究的问题。 为了在编码质量和码率花费之间获得平衡，h 2 6 4 a v c 采用了率失真优化 ( r a t e d i s t o r t i o n o p t i m i z a t i o n ，r d o ) 作为模式选择的精确代价函数。r d o 代价函数见式 ( 2 1 ) ： r d c o s t = s s d + h n o d e r a t e ( 2 1 ) 其中，s s d ( s u mo f s q u a r ed i f f e r e n c e ) ) b 原始块与重建块像素值的平方差之和；l m o d e 为q p f l 勺指数函数；r a t e 表示采用该预测模式需要的比特数( 包括对帧内预测模式和4 x 4 亮 度块f l o d c t 系数进行编码所需的比特数) 。如果采用全搜索方法选取r d o c o s t 最小的模式 为最佳模式，则确定一个宏块的预测模式必须进, 行m 8 ( m 4 x 1 6 + m 1 6 ) 次r d o 计算，其中 m 8 、m 4 、m 1 6 分别表示8 x 8 色度块、4 x 4 亮度块、1 6 x 1 6 亮度块的预测模式数，这就意 味着每个宏块要进行5 9 2 次r d o 计算。这个计算量是非常庞大的。 1 0 两北大学硕一 学位论文 2 2 3 整数d t c 变换和量化 h 2 6 4 根据差值信号的种类采用三种d c t 变换：对于1 6 x 1 6 预测模式的宏块，其所有 亮度直流系数d c 形成了一个4 x 4 1 拘数组，对它进行d c t 变换；对所有色度信号的直流系 数组成的两个2 x 2 数组进, 行d c t 变换；对于宏块内的4 x 4 子块进i t d c t 变换【l0 1 ，其特点为： 1 、纯整数变换( 所有运算使用定点运算，不会产生精度误差) 。 2 、明确定义了反变换，在编码器和解码器中不会产生误差。 3 、变换的核心部分不需要乘法，只需加法和移位运算。 式( 2 2 ) 为变换的过程，其中x 为待变换的数据，e f 由于能在量化中抵消，所以不需 要计算，实际计算的只是y = c ，斌；这部分。 】，= c x c ； e 厂 2赫22 11 1 。卜 11一 li x 一 0 12210 221 112 1 1 2 211 基本的量化过程可以表示为公式( 2 3 ) ： a b 2 6 ：4 a b 2 b ：4 口一 a b 2 口。 a b | 2 a b 2 b ：4 a b 2 b 二| 4 ( 2 2 ) 磊= r o u n d ( y o q s t e p ) ( 2 3 ) 其中y i j 是上述变换后的系数，q s t 印是量化步长，z i j 是量化后的系数。 h 2 6 4 标准d ? q s t e p 有5 2 个值，它们被量化系数q p 索引。q p 每增加6 ，q s t e p i j h l 倍； q p 每增加1 ，q s t e p 增j j l l l 2 5 。较宽的量化步长范围使得编码器可以精确而灵活的兼顾比 特率和质量。量化步长1 2 5 的变化也意味着比特率约1 2 5 的下降。亮度和色度信号的 q p 值可以不同，二者的参数范围都在0 5 1 。 2 2 4 熵编码 视频编码处理的最后一步就是熵编码，在h 2 6 4 中采用了两种不同的熵编码方法： 基于上下文的自适应二进制算术编码( c a b a c ，c o n t e x t b a s e da d a p t i v eb i n a r y a r i t h m e t i c c o d i n g ) 和通用可变长编码( u v l c ，u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ) 。算数编码从全序 列出发，采用递推形式连续编码，其压缩效率极高，是分组码中最接近熵编码的编码方 法。 c a b a c 通过以下三点达到了很高的压缩性能： 1 、通过元素的文本信息选择最合适的模型 2 2，_，-， 口6 口6 口 口 p 第一二章网络视频监拧系统的相关投术 2 、根据局部统计信息自适应地调整概率估计 3 、二进制算数编码 h 2 6 4 中的u v l c 码表提供t e x p g o l o m b 编码，不管符号表述什么类型的数据，都 使用统一变字长编码表。其优点是简单，缺点是单一的码表是从概率统计分布模型得出 的，没有考虑编码符号间的相关性。在中高码率时效果不是很好，在编码时还可以选择 对残差数掘进行基于文本的自适应变长编码( c a v l c ) 。c a v l c 对剩余1 拘4 x 4 块的“之”字 型扫描传输系数进行编码。c a v l c 充分利用t 4 x 4 块量化系数的以下一些特征 1 0 1 1 ： 1 、通过预测转换和量化系数块通常都是稀疏的( 含大量的0 ) ，c a v l c 利用游程码对 长o 串进行压缩： 2 、通过“之”字型扫描的