（通信与信息系统专业论文）数据压缩算法在视频监控系统中的应用研究.pdf

北京邮电人学顾一l 研究生学位论文 数据压缩算法在视频监控系统中的应用研究 摘要 随着技术的不断发展，日益成熟的视频监控系统广泛应用于各个 行业用户并逐步向个人用户扩展。视频压缩算法作为视频监控系统中 核心技术之一，直接影响视频监控系统的性能和整体表现。因此，研 究视频压缩算法以提高其实时性和压缩比并降低其码流速率对于提 升视频监控系统的表现和其它方面应用有较大作用。在本文，通过对 主流视频压缩算法h 2 6 4 中帧内预测模式选择算法的研究来达到提 高帧内预测选择算法的速度，降低帧内预测时间的目的。 本文在研究视频压缩算法的基础上重点研究h 2 6 4 视频压缩标 准，针对h 2 6 4 中视频编码的实时性性能瓶颈，通过对h 2 6 4 的帧内 预测模式选择算法和代价函数模型的分析，结合对帧内预测模式选择 算法研究现状的总结，在标准的全搜索算法的基础上提出了一种改进 的帧内预测模式快速选择算法，主要原理是利用i n t r a1 6 1 6 的最佳 预测模式对于i n t r a4 * 4 预测模式基于纹理的指导作用和帧内预测模 式之间的强相关性，同时可以排除不可能的模式，提高预测速度并节 约编码时间。该算法的主要作用是减少帧内预测编码时间，并提高帧 内预测编码速度同时也可保证图像编码质量。通过j m ll 模型对一组 q c i f 基本视频序列进行仿真实验和分析，结果表明，提出的改进算 法的平均帧内预测时间能明显减少，平均减少幅度为2 2 ，同时视频 序列的信噪比下降较小，对视频画质基本没有影响。 本文通过对h 2 6 4 帧内预测选择算法的研究提出了一种帧内预 测快速选择算法，仿真结果表明提出的改进算法能够有效地减少i 帧内 预测模式选择的次数，提高帧内预测编码的速度。由于对多种基本视 频序列测试结果反应良好，因此可以认为该算法具有较广泛的应用范 围。本文最后对h 2 6 4 视频压缩算法中帧内预测选择算法的研究进行 了展望，并提出了进一步优化帧内预测选择次数的思路。 关键词：视频监控视频压缩算法h 2 6 4 帧内预测快速选择 北京邮i 也人学硕l j 研究生学位论文 t h er e s e a r c ho fd a t ac o m p r e s s i o n a l g o r i t h mi nv i d e os u r v e i l l a n c es y s t e m a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to ft e c h n o l o g y , v i d e os u r v e i l l a n c e s y s t e m sw h i c ha r ei n c r e a s i n g l ym a t u r e ，w i d e l yu s e di ni n d u s t r yu s e r sa n d g r a d u a l l ya p p l i e dt oi n d i v i d u a lu s e r s v i d e oc o m p r e s s i o na l g o r i t h m ，o n e o ft h ec o r et e c h n o l o g i e si nv i d e om o n i t o r i n gs y s t e m ，h a sad i r e c ti m p a c t o nt h ep e r f o r m a n c eo fv i d e os u r v e i l l a n c es y s t e m s t h e r e f o r e ，r e s e a r c h v i d e oc o m p r e s s i o na l g o r i t h mt oi m p r o v ei t sr e a l - t i m ea n dc o m p r e s s i o n r a t i oa n dr e d u c et h eb i t s t r e a mr a t eh e l p su p g r a d et h ev i d e os u r v e i l l a n c e s y s t e m i nt h i sa r t i c l e ，t h r o u g ht h er e s e a r c ho f i n t r ap r e d i c t i o na l g o r i t h m o ft h em a i n s t r e a mv i d e oc o m p r e s s i o na l g o r i t h mh 2 6 4 ，a na l g o r i t h mi s t a b l e dt oi m p r o v et h es p e e do fi n t r a p r e d i c t i o nc o d i n ga n dr e d u c et h e t i m eo fi n t r a - p r e d i c t i o n t h i sp a p e rf o c u s e so nh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r db a s e do nt h e s t u d i e so fv i d e oc o m p r e s s i o na l g o r i t h m s f o rb o t t l e n e c k so fh 2 6 4v i d e o e n c o d i n g i nr e a l t i m e p e r f o r m a n c e ，a ni m p r o v e di n t r am o d es e a r c h a l g o r i t h mf o rp r e d i c t i o n m o d e l si s p r o m o t e db a s e do nt h es t a n d a r d f u l l s e a r c ha l g o r i t h mt h r o u g ht h ei n t r o d u c t i o no fh 2 6 4i n t r a p r e d i c t i o n m o d ea n dc o s tf u n c t i o nm o d e la n dt h ec o m b i n a t i o no ft h ec u r r e n ts t a t u s o f i n t r a p r e d i c t i o na l g o r i t h m t h em a i np r i n c i p l e sa r et ou s ei n t r a 一16 木16 m a c r ob l o c k sf o r e c a s tf o r i n t r a 一4 串4 b l o c k sb a s e do nt e x t u r ea n dt h e s t r o n gc o r r e l a t i o nb e t w e e ni n t r a p r e d i c t i o nm o d e l s ，w h i l ee x c l u d i n gt h e i m p o s s i b l em o d e l s t os a v et h ee n c o d i n gt i m e t h em a jo rr o l eo ft h e a l g o r i t h mi st or e d u c et h ei n t r a p r e d i c t i o ne n c o d i n gt i m e ，i m p r o v i n gt h e 北京邮电人学硕l ：研究生学位论义 i n t r a p r e d i c t i o ne n c o d i n gs p e e dw h i l ee n s u r i n gi m a g eq u a l i t ya n db i tr a t e n o tc h a n g e dt o om u c h t h r o u g ht h ea n a l y s i so ft h ev e r i f i c a t i o nr e s u l t so f t e nb a s e dq c i f f o r m a t t e dv e d i o su s i n gj m1 1 ，a v e r a g ec o d i n gt i m eo ft h e i m p r o v e da l g o r i t h mr e d u c e ss i g n i f i c a n t l y , w i t ha na v e r a g ed e c r e a s e o f 2 2 w h i l el i t t l ed e c l i n ei ns i g n a l n o i s er a t i oo fs e q u e n c e ，w h i c hd i dn o t a f f e c tt h es e q u e n c e s q u a l i t y af a s ti n t r ap r e d i c t i o na l g o r i t h mi sp r o m o t e da s e do nt h eh 2 6 4i n t r a p r e d i c t i o na l g o r i t h m ，w h o s es i m u l a t i o nr e s u l t ss h o w t h a ti tc a nr e d u c et h e n u m b e ro fi n t r a p r e d i c t i o nm o d es e l e c t i o na n di m p r o v et h ec o d i n gs p e e d o ft h ei n t r a p r e d i c t i o ne f f e c t i v e l y t h ea l g o r i t h mh a saw i d e rs c o p eo f a p p l i c a t i o nb e c a u s eo ft h ef i n et e s tr e s u l t so ft h ev a r i e t yo fb a s i cv i d e o s e q u e n c e sr e s p o n s e i nt h i sp a p e r sc o n c l u s i o n ，t h er e s e a r c hw o r ko f t h i s a r t i c l ei ss u m m e du p a n di n t r a p r e d i c t i o nr e s e a r c ha l g o r i t h mo fh 2 6 4 v i d e oc o m p r e s s i o na l g o r i t h mi sb e e nv i s i o nw h i l et h ei d e ao fo p t i m i z i n g t h ep r e d i c t i o nf u r t h e ri sp u tf o r w a r d k e yw o r d s ：v i d e os u r v e i l l a n c e ，v i d e oc o m p r e s s i o na l g o r i t h m ，h 2 6 4 ， i n t r a p r e d i c t i o n ，f a s ts e a r c h i v 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：簋至趟 日期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅：学校呵以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 翩魏阜生型堕 日期：至呈! ! 墅兰壁! 三璺 北京邮电大学硕十研究生学位论文 第一章绪论弟一早珀t 匕 本章提出了本课题研究的背景和意义，介绍了如今应用广泛、市场前景良好 的h 2 6 4 标准，以及作为h 2 6 4 重要应用范围之一的视频监控应用，分析了研究 h 2 6 4 视频压缩标准对于视频监控系统的重要意义。接着分析了h 2 6 4 目前的研 究热点问题以及国内外的一些科研机构对h 2 6 4 的研究现状。最后对本文的主要 工作和组织结构做了介绍和概述。 1 1 课题背景和意义 从有数字视频概念至今，人们制定了多种视频标准。而目前最先进和成熟的 h 2 6 4 标准是它们发展的最高水平的表现。在计算机网络和移动通信网络发展日 新月异的今天，伴随着越来越多的流媒体内容应用，h 2 6 4 将有越来越广泛的市 场。其中一个重要的应用就是视频监控，随着i p 和互联网技术的发展，视频监 控系统在我国也在飞速的发展【l 】。在旺盛的市场需求和创新技术推动下，数字视 频监控系统近两年更是获得了突飞猛进的发展【2 】。 市场调研公司i s u p p l i 的一份分析报告指出，i p 视频监控系统的市场将在 2 0 0 6 到2 0 1 0 年间增长近十倍。据该公司预测，摄像机、视频服务器、外围设备 和软件等构成的i p 监控系统的设备市场总额将在2 0 1 0 年达到6 5 亿美元，到2 0 1 0 年，i p 视频监控摄像机的销售收入将达到3 9 亿美元1 3 】。市场规模如图1 1 所示： 图卜1 中国视频监控市场规模预测 北京邮i 乜人学硕i ：研究生学位论文 最新的视频压缩标准h 2 6 4 标准使运动图像压缩技术上升到了一个更高的 阶段，在较低带宽上提供高质量的图像传输是h 2 6 4 的应用亮点，这也为包括网 络视频监控系统在内的英特网的应用提供了广阔的前景。因此，密切关注h 2 6 4 的发展，深入研究其对于网络传输的新贡献是非常必要的【5 】。 h 2 6 4 视频压缩标准是由i t u t 的视频编码专家组( v c e g ) 和i s o i e c 的活 动图像专家组共同成立的联合视频小组( j v t ) 于0 3 年3 月公布的。它集中了以往 各种视频编码标准的优点，采用了帧内预测、帧间预测等先进的编码技术。为了 面对日益增加的互联网内容应用，h 2 6 4 采用了分层编码等结构，增强适应性。 在面对蓬勃发展的高清电视时，h 2 6 4 良好的性能变现使得它成为高清数字标准 的不二选择。同时，h 2 6 4 视频编码新标准具有优于m p e g 4 和h 2 6 3 的压缩性 能，可应用于英特网、数字摄像、数字视频录像、d v d 及电视广播等领域的图 像压缩。研究h 2 6 4 视频压缩算法不仅能够有效的减少视频监控系统系统的系统 成本和部署成本，促进的视频监控系统中的发展，此外还可以广泛的应用到其他 领域如图像处理和多媒体。 本文着力于对主流的h 2 6 4 标准进行分析，通过深入研究帧内编码过程中的 帧内模式选择算法，在目前使用的全搜索算法上提出了一种改进的算法，能够减 少帧内预测时间将近2 2 ，而保证图像质量和码率都变化不大。 1 2 论文的主要内容 h 2 6 4 作为目前最新的视频压缩标准，采用了一系列领先和成熟的技术，在 追求高效的编码效率和简洁的表现形势的同时提供了良好的视频质量，是当前最 好的视频压缩算法【7 l 。由于具有非常良好的性能，h 2 6 4 广泛应用于多种视频通 信场合，如i p t v 、实时会议系统、h d t v 、网络广播、i n t e m e t 视频传输、移动 多媒体、视频流媒体服务、视频数据库、异构网上的多点通信、交互式存储媒体、 远程视频监控等场合。h 2 6 4 标准中独具的网络友好性将使得未来网络上的视频 应用更加容易地在基于h 2 6 4 的平台上展开【8 】，具备广阔的应用前景。h 2 6 4 在 技术上汲取了标准制定过程中积累的经验，将以往标准的优点融为一体，在图像 质量、网络的适应性、抗误码率和编码效率方面都有非凡的表现。 目前对于h 2 6 4 的研究是多媒体方面研究的一个热点。由于h 2 6 4 对编码质 量的追求导致h 2 6 4 在对硬件要求比较高，并且算法复杂度较高，算法速度比较 慢。如何降低h 2 6 4 编码的计算复杂度以及进一步优化它的率失真性能、快速运 动估计算法以及通过运动估计算法去除帧问的冗余一直都是业界研究热点 在硬件方面，哈尔滨工业大学的张钧萍教授研究基于d m 6 4 2 的视频图像压 缩系统，并对其中的关键技术进行了探讨【9 】。浙江大学信息学院顾伟康等教授主 2 北京邮电人学硕+ 卜研究生学位论文 要做的是h 2 6 x 等标准的研究，包括对h 2 6 1 、h 2 6 3 、h 2 6 4 等标准的研刭1 0 】 研究的方向主要集中于码率控制、整像素运动估计、1 4 像素运动估计等几个方 面，提出改进的算法来减低算法复杂度，提高系统效率。对码率控制方面进行研 究的还有西南交通大学的张翠芳教授【1 2 】，西安电子科技大学的马鸿飞教授【1 3 】， 上海交通大学通信与信息处理研究所的余松煜教授【1 4 1 ，他们的基本思路都是在 率失真模型的基础上，通过使用其他的算法和编码模式，在一定的功率下实现更 好的性能增益。在另一个研究热点帧内预测算法方面，也有很多国内外的专家在 进行相关的研究。关于这个方面一些研究现状，在4 3 1 节中有详细的介绍。 帧内预测算法是h 2 6 4 中帧内预测编码的一个主要的算法。h 2 6 4 标准中采 用的是全搜索算法( f s ) ，虽然可以获得最佳的率失真函数，但是由于全搜索算 法计算次数众多导致算法的复杂度较高，并且严重制约帧内预测的编码速度。由 于h 2 6 4 越来越广泛地应用于各种网络业务应用，这就要求我们进一步降低 h 2 6 4 中帧内预测部分的编码时间，提高h 2 6 4 标准的编码速度以便能够让h 2 6 4 更广泛的应用于各种场合。 1 3 论文的主要工作和组织结构 本文全面分析了视频监控系统的发展历程、现状和发展趋势。然后介绍了在 视频监控系统处于核心技术地位视频压缩算法。接下来以目前应用广泛的h 2 6 4 标准为对象，着重研究其帧内预测算法的优化，总结目前主要的研究方式，从 1 6 1 6 宏块对4 * 4 宏块的指导作用和4 * 4 宏块中帧内预测模式的强相关性入手， 有针对性地提出了一种改进的帧内预测选择快速算法，通过这种算法可以有效地 减少编码时间，提高帧内预测的速度。最后通过系统的仿真分析验证了此改进算 法。 本文的组织结构如下： 第一章是引言部分，主要介绍了本课题的研究内容和背景，描绘视频监控的 广阔应用前景和同益壮大的市场，然后阐述了研究的目的和意义，和h 2 6 4 的研 究热点和相关研究单位的研究内容和研究成果，最后介绍本文的组织结构。 第二章是主要介绍了视频监控系统的发展过程、发展趋势以及目前主要视频 监控系统的特点着重介绍了视频监控的核心技术，包括视频压缩算法，图像处理 技术等。接下来提出了一个视频监控系统的设计方案，并引出了研究h 2 6 4 视频 压缩算法的重要意义。 第三章主要介绍了数掘压缩算法的关键技术，包括数据压缩的原理，压缩编 码的分类和评价指标，目前主流的三种国际标准，全面介绍了h 2 6 4 的编码结构、 核心技术和关键技术，研究了其广阔的应用范围。 3 北京i i l i j i t t 人学烦 ：研究生学位论文 第四章提出了一种改进算法首先引入h 2 6 4 的基本结构。然后深入研究了帧 内预测模式的全搜索算法，s a t d 代价模型，接着总结目前帧内预测快速算法的 研究现状。在此基础上提出了一种改进的帧内预测模式算法的具体实施步骤。 第五章主要是对上一章中改进的仿真验证，使用的是j m l l 模型。通过仿真 后对结果的分析表明，改进后的帧内预测模式算法能够有效地降低运算的时间， 提高运算的速度，同时保证图像质量和码率变化不大。 第六章的主要内容是对本文进行总结概述，并对h 2 6 4 帧内预测算法的进一 步优化进行了展望。 1 4 本章小结 本章概述本课题的研究背景和研究意义，介绍视频监控系统的飞速发展势头 和良好的市场前景，接下来叙述了本文的主要内容，并对现在h 2 6 4 的研究热点 作了概述。最后给出了本文的主要工作和文章的组织结构。 4 北京邮电人学硕十研究生学位论文 第二章视频监控系统核心技术和方案设计 本章概述了监控系统的发展，回顾了视频监控系统的历史过程，展望它的发 展趋势，分析视频监控系统的技术特点，然后着重讲述视频监控系统的核心技术。 这些核心技术包括视频压缩算法、图像处理技术、网络技术以及智能化技术等。 接下来提出了一个视频监控系统的设计方案并对方案进行了分析。视频压缩算法 作为本文研究的主要重点将在第三章中详细叙述。 2 1 视频监控系统发展概述 上世纪9 0 年代末，随着多媒体技术、视频压缩编码技术、网络通讯技术的 发展，数字视频监控系统取代以前的模拟监控系统迅速崛起。发展到现在，市场 上有两种数字视频监控系统类型、一种是以数字录像设备为核心的视频监控系 统，另一种是以嵌入式视频w 曲服务器为核心的视频监控系统【l 引。 数字视频监控系统的特点有：p c 机的多媒体监控主机综合了视频矩阵、图 像分割器、录像机等的众多功能，使系统结构大为简化；由于采用计算机网络技 术，数字多媒体远程网络监控不受距离限制；由于采用大容量磁盘阵列存盘器或 光盘存储器，可以节省大量的磁带介质，同时有利于系统实现多媒体信息查询。 由于用户需求的不断提高和技术水平不断的发展，第一类视频监控系统逐渐 淡出市场，取而代之的是基于无线网络的数字视频监控系统，特别是随着3 g 业 务的逐渐推广，各大运营商也在开始涉足这些领域。因此在目前的视频监控系统 市场中一类是目前占据主要地位的是有线的以w e b 服务器为核心的视频监控系 统，另外一个具有强大潜力的市场就是无线监控系统。 无线视频系统以其安装方便，灵活性强，性价比高等特点得到了广泛应用。 无线网络监控是采用无线方式将监控前端或者客户端和监控平台连接从而实施 监控，当监控前端位置比较分散并且距离监控平台较远时，用于采用传统的布线 方式临时建立客户视频监控中心的成本较高，利用无线网络就可以比较好的解决 上述问题。 无线网络视频监控系统前端设备( 视频服务器) 一般支持无线传输，如果前 端设备不支持无线传输，那么就需要配置相关的无线设备完成无线传输，使整个 监控平台接入i n t e r n e t 中，前端设备通过无线网络接入监控平台或者客户监控中 心。根据网络条件，需求等多方面的因素可以选择通过i n t e r n e t 或者无线网络接 入监控平台，这样的话用户就可以使用手机或者无线上网设备接入监控平台查看 视频监控图像。 北京邮l 乜人学颂l ：研究生学位论文 而基于有线的视频监控系统将逐渐随着下一代网络的发展而成为基于s i p 的视频监控系统。基于s i p 的视频监控系统采用域管理方式支持大规模的视频监 控业务。 2 2 视频监控系统的特点 1 视频监控的数字化 视频监控的数字化首先应该是系统中信息流( 包括视频、音频、控制等) 从 模拟状态转为数字状态，这将彻底打破“经典闭路电视系统是以摄像机成像技术 为中心”的结构，根本上改变视频监控系统从信息采集、数据处理、传输、系统 控制等的方式和结构形式。信息流的数字化、编码压缩、开放式的协议，使智能 网络视频监控系统与安防系统中的各个子系统间实现无缝连接，并在统一的操作 平台上实现管理和控制，以实现系统集成。 2 视频监控的网络化 视频监控的数字化使系统的结构由集成式向集散式系统过渡，集散式系统采 用多层分级的结构形式，具有微内核技术的实时多任务、多用户、分布式操作系 统以实现抢先任务调度算法的快速响应，组成集散式视频监控系统的硬件和软件 采用标准化、模块化和系统化设计，视频监控系统设备的配置具有通用性强、开 放性好、系统组态灵活、控制功能完善、数据处理方便、人机界面友好以及系统 安装、调试和维修简单化、系统安全、容错可靠等功能。 3 视频监控的系统集成化 视频监控的网络化在某种程度上打破了布控区域和设备扩展的地域和数量 界限。系统网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的共 享，这就是系统集成的一个重要概念。 2 3 视频监控系统的主要技术 目前的视频监控系统包含了计算机技术、传感器技术、图像识别技术、图像 处理技术、计算机网络技术还可能包含无线通信技术，是一个集合了多种技术的 复合体。在这个系统起作用的核心技术有： 2 3 1 视频压缩算法 目前压缩算法分为两大类：标准算法和专用算法。标准算法为国际组织 i s o i t u 发布，如早期的j p e g ，但是j p e g 算法压缩比太小，传输网络带宽要 求过高；后期m p e g l 算法压缩比有所提高，但是还不能适应目前的宽带网络； 6 北京邮电人学硕- j j 研究生学位论文 随着国际标准化组织对于视频压缩算法的不断改进，特别是m p e g 4 h 2 6 4 的推 广使得图像或者视频信号的远程传输成为可能。专用算法为一些专业公司丌发的 压缩技术，通用性较差，性能也千差万别，针对网络传输的算法可以支持低带宽 网络，但是图像效果往往不令人满意。 h 2 6 4 是最新的国际视频编码标准，由i t u t 和i s o i e c 两个国际标准化组 织联合制定。标准在i t u t 已经被最终通过为h 2 6 4 ；在i s o i e c 通过后，被称 为国际标准1 4 4 9 6 1 0 ( m e p g 4 第1 0 部分) 。 作为目前最新的视频编码技术h 2 6 4 ，在安防行业应用有着非常大的前景。 h 2 6 4 标准采用了很多新技术用来提高压缩比降低码流，主要是采用了高精度、 多模式预测技术。h 2 6 4 标准针对网络传输的需要设计了视频编码层v c l 和网 络提取层n a l 结构，网络抽象层是提供“网络友好 的界面，从而使视频编码 层能够在各种系统中得到有效的应用。h 2 6 4 标准针对网络传输的需要设计了差 错消除的工具便于压缩视频在误码、丢包多发环境中传输，从而保证了视频传输 的有效性。 实现h 2 6 4m a i np r o f i l e 算法后可以使视频码流速率降低一半，可以实现c i f 格式视频在普通的a d s l 上实时连续传输，即使在网络有波动的情况下也不会 受到影响。同时由于h 2 6 4 算法具有网络编码层和网络传输层结构，这样对于普 通的宽带网络和无线网络的适应性大大加强，不会由于网络的误码影响传输的质 量。 2 3 2 图像预处理和后处理技术 1 图像滤波 目前在视频监控系统中最严重的问题之一是摄像头干扰问题，中低档的摄像 头比较明显，特别在低照度的环境中干扰对图像质量有非常大的影响。根据分析 主要有两种噪声会影响视频质量，一种是相邻色素之间产生的伪颜色噪声，一种 是由于信号强度而产生的泊松噪声( 会影响物体的边缘清晰度) 。一般滤波器的 工作原理是先做低通滤波，然后再做高通滤波。从频谱上分析，物体的边缘成分 在做低通的时候已经损失掉了一部分，尽管在高通后通过一定的处理可以还原大 部分，但实际上它已经不能够达到最理想的效果。 这些噪声随着产品型号和工作环境而不同。由于多数视频压缩算法是通过前 后帧图像的差异实现压缩，因此这种随机噪声对压缩的影响非常大，有的时候甚 至造成码流成倍上升，将压缩算法的优点全部掩盖。 噪声的处理使得中低档摄像头能够同样达到理想的压缩效果，特别足对于光 线不好的环境非常有意义。主要可以采用两种滤波方式：时间轴上的滤波与空间 7 北京邮i 乜人学硕l ：研究生学位论文 轴上的滤波。时间轴滤波采用运动自适应方式来去处伪颜色噪声同时还原运动物 体。空间轴滤波用来去除泊松噪声同时强化物体边缘。除此之外，还包括一套柱 状均衡器，它通过平滑亮度信号的突变来改善对比度。在帧间编码的技术中主要 采用了针对摄像头主要环境特征即静止图像和图像变化不大的情况下压缩处理， 这样保证在正常情况下图像都可以以高质量的水平保存。另一方面，通过实时滤 波技术的应用，使得在压缩之前就排除了信号中的干扰，压缩还原的图像有很大 的提高，同时也降低了码流速率。 2 其他的图像处理技术 对于全幅图像( f u l ld 1 ) 的处理有一个重要问题，全幅图像是由前后两场图像 数据合成的，如果图像运动的比较快，就会造成两场的图像差别较大，运动快的 部分图像有了一定的位移，这样就造成合成的图像在运动快的部分图像边缘形成 锯齿效应。而采用了d e i n t e r l a c e 技术较好的解决了这个问题。同时，在解码回 放的时候也可以应用了d e b l o c k 技术，排除了由于解码而造成的各种干扰，可 以使得图像还原效果提升了一个层次。 2 3 3 网络技术 1 组网技术 目前绝大多数视频监控系统组网有两个特点：一是采用集中式，二是采用私 有控制协议。集中式可靠性和扩展性差，对于小规模视频应用尚可，但对于较大 的城域网范围甚至更大的应用范围，视频接点成千上万，集中方式的中心节点将 不堪重负，网络非常脆弱。由于采用私有控制协议，已有的视频组网只能一个系 统应用于一个工程、一个工程一个设计的格局，费时费力，不能互通，形成视频 应用的“孤岛”，维护管理和升级都非常复杂。 随着新的视频应用的增加，尤其是城市应急联动、城市智能交通、保安监测 网络化以及各个行业城域监控网的建立，视频组网的规模将越来越大，并且存在 不断扩展的需要，因此视频组网必须打破过去集中式和私有控制协议带来的弊 端，采用分布式、标准化的组网方案。 基于s i p ( s e s s i o ni n i t i a t i o np r o t o c 0 1 ) 协议既能够组建纯s i p 的下一代视频多媒 体网，又能够与软交换结合组建下一代视频多媒体网，完全可以适应应用的需要。 由于s i p 本身具有的简单灵活、分布式控制以及对移动性良好支持等优点，特别 是作为l t u ts g l 6 主要成员，在多年发展h 3 2 3 应用的基础上，针对s i p 应用 在视频领域的特点，提出了s i p 的应用指导，并推出了相应的s i p 协议栈，使得 i t u 的成员实现了这两种协议之间的互通性。视频多媒体需求的大众化以及s i p 相关技术的逐渐成熟，使得s i p 协议已成为新兴的视频多媒体领域的主流信令控 北京邮i b 人学颀十研究生学位论文 制协议，大量的应用于实际产品中。 纯s i p 组网的运营模式与传统的运营模式不同，它没有长途和本地之分，主 要是基于内容或者服务的运营模式。利用s i p 可快速组网，灵活部署业务，为用 户提供可移动的视讯服务。 基于s i p 组建网络为用户提供语音、数据和视频的移动多媒体应用已经开始 崭露头角。目前国外厂商已经推出了基于s i p 的即时信息、语音和视频等应用。 如微软的w i n d o w sx p 采用s i p 信令协议，这意味着s i p 能够在个人计算机上实 现视频多媒体应用；3 g p p ( t h i r dg e n e r a t i o np a r t n e r s h i pp r o j e c t ) 采用了s i p 的3 g 体系结构计划，s i p 成为3 g 用户建立包括视频在内的实时通信会话的基石。 2 网络传输技术 从目前的应用情况来看，面向实用的系统面临两大难题，即视频服务质量和 网络信息安全问题。即使在宽带网络上由于没有有效的q o s ( q u a l i t yo fs e r v i c e ) 机制，很难保障高质量的视频连续传输。网络信息安全是另一个限制数字视频应 用发展的因素，目前的广域网络上没有一个有效的安全保障机制，这样就大大限 制了网络视频应用的领域。同时网络数据安全是一个制约应用的重要因素，视频 数据加密的技术对实时网络视频具有重要的意义，可保障网络传输的安全。 由于网络的带宽不固定，同时有一定的误码率，需要采用动态参数调整技术， 自动探测网络传输的状况，实时调整压缩的参数，保证能够自动适应网络的变化 完成图像的传输，保证传输的质量。同时解码器能够正确处理误码，保证工作长 期稳定。 3 网络协议 从产业化角度来考虑，由于i p 地址资源的限制和目前网络的体系结构，很 大程度上约束了大容量系统的建设和应用，在目前的网络技术体系下建立、管理 一个数千路视频应用几乎是不可能的。网络协议i p v 6 是未来发展的重要方向， i p v 6 支持网络地址自动配置和动态域名服务、安全认证、数据安全、服务质量 保证；支持d h c p p p p o e 等多种网络协议，支持组播功能。 i p v 6 真正解决了目前i p v 4 中存在的诸多问题及不足之处，是未来构建数字 视频网络最理想的平台。目前国家已经建立了多个i p v 6 的实验网络，很快用户 就可以体验到i p v 6 带来的新的机遇。 2 3 4 智能化技术 智能化技术是与应用领域紧密结合的技术，可以针对各种应用环境的特点开 发出不同类型的应用技术，提升产品的适应力，例如： 图像识别： 9 北京邮电火学硕i ：研究生学位论文 实时图像识别是对视频的图像压缩序列进行实时处理，来达到不同应用环境 的要求。目标类型识别用于识别目标的类型、位置，进一步可以实现人像匹配、 车辆分析( 颜色、车型、车牌) ；目标自动跟踪技术是通过对移动目标的识别， 自动控制摄像机来跟踪目标的移动，监视目标的整个移动过程。这些智能化工作 方式在多种应用环境下都很有价值。 图像分析： 移动目标的分析技术是通过对画面中移动目标的识别，分析统计目标的类 型、流量、运动方向、速度等信息，可以用于交通道路指挥自动化以及重要场合 自动检测分析，也可以用于环境监控中的自动化监测报警。 从以上的分析可以看出未来的主流技术可以概括为三点：第一点是要有最优 化的压缩算法支持高质量数字视频的应用，用户对图像质量的要求是没有限制 的，现在c i f 格式产品的大量应用不能说明市场能够满意这种图像质量；第二点 是要有网络化的应用体系，这样才能够构建起大规模的网络数字视频系统，提供 安全方便的服务；第三是要对不同用户和行业提供个性化的产品和服务，这样才 能够进一步满足市场不断发展的需要。 2 4 视频监控系统的方案设计 接下来本文提出了一个嵌入式视频监控系统的系统设计框架，并研究了这个 系统的总体结构、硬件结构、软件结构和关键技术。通过对这个视频监控系统的 总体结构、硬件和软件结构以及关键的技术的研究，我们对这个系统有一个比较 详细的了解和掌握。对于视频压缩标准在一个视频监控系统系统中所起到的重要 作用将有更加深刻的认识。 2 4 1 系统的总体结构 此嵌入式视频监控系统的结构如下图2 1 所示，主要包含三个部分：视频采 集部分，中心控制部分和客户端部分，其中： 视频采集终端负责对现场实时视频的采集，并且负责传送采集来的视频信号 和其他信号； 中心控制部分主要功能是对采集到的视频信号进行压缩编码，并将处理后的 信号通过网络进行传输； 客户端主要是的任务是将接收到的视频信号进行解压提供给使用者，同时可 以接受用户的操作指令，提供视频选择、快进、回放、监控墙等功能。 l o 北京邮i 乜人学硕i ：研究生学位论义 ：j 固【：j i 囹 应壶 心控制部分 = = = j传输网络二 基于对象的编码： m p e g 4 标准是基于对象的编码和基于模型的编码，在音频和可视景物中， 可分出若干个“对象”，“自然的”对象及合成的对象，如图形、动画等。对象即 是场景中的一个个物体或人。m p e g 4 支持对场景中的各个物理对象单独进行编 码和解码，并支持矩形及任意形状对象的编解码。 m p e g 4 的视频对象编码技术包括了m p e g 一1 与m p e g 一2 ，但是多了形状编 码，要将形状信息传送给解码器，如图3 2 所示： 自然与合成音视频数据的混合编码： m p e g 一4 既支持自然音视频，也支持合成音视频。二维网格对象采用z d 动 态网格模型来描述。用3 d 线框模型来描述人脸的形状、表情和口形变化等各种 面部特征来描述3 d 人脸对象。在合成声音编码中，m p e g 4 引入了文本语音转 2 4 北京邮电人学硕+ l ：研究生学位论义 换( t e x tt os p e e c h - t t s ) 和乐谱驱动合成编码技术。基于对象的编码功能可在解码 端合成若干不同来源的自然视频对象与合成对象。 视 频 流 图3 2m p e g - 4 视频编码方框图 提供基于对象的交互功能： m p e g 4 标准采用对象的概念，不同的数据源可视为不同的对象。场景中 的对象可以在解码端合成，数据的接收者不再是被动的，可以对不同的对象进行 操作：删除、添加、移动、改变尺寸等。 分级功能： 为了适应互联网和无线网等窄带视频通信、多质量视频服务和多媒体检索等 服务，提供了基于对象的分级功能，其中包括空间分级、时域分级和混合分级。 场景描述： m p e g 一4 的场景描述可描述场景的结构和音视频对象的位置变化、尺寸、彩 色、声音响度等属性。场景描述的核心是对多媒体对象的安排布置，用户通过场 景描述可以操作对象的显示状态，实现交互操作。 2 m p e g 4 标准具有以下关键技术： m p e g 一4 除采用第一代视频编码的核心技术，如变换编码、运动估计与运动 补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并在第一代视 频编码技术基础上进行了卓有成效的完善和改进。下面重点介绍其中的一些关键 技术。 视频对象提取技术 北京邮电人学硕i ：研究生学位论文 m p e g 4 实现基于内容交互的首要任务就是把视频图像分割成不同对象或 者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现 高效压缩。因此视频对象提取即视频对象分割，是m p e g 4 视频编码的关键技 术。 目前进行视频对象分割的一般步骤是：先对原始视频图像数据进行简化以 利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对视频图像 数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征； 再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后 是进行相关后处理，以实现滤除噪声及准确提取边界。 在视频分割中基于数学形态理论的分水岭( w a t e r s h e d ) 算法被广泛使用，它 又称水线算法，其基本过程是连续腐蚀二值图像，由图像简化、标记提取、决策、 后处理四个阶段构成。分水岭算法具有运算简单、性能优良，能够较好提取运动 对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏 感，且未利用帧问信息，通常会产生图像过度分割。 v o p 视频编码技术 视频对象平面( v o p ，v i d e oo b j e c tp l a n e ) 是视频对象( v o ) 在某一时刻 的采样，v o p 是m p e g 4 视频编码的核心概念。m p e g 4 在编码过程中针对不 同v o 采用不同的编码策略，即对前景v o 的压缩编码尽可能保留细节和平滑； 对背景v o 则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼 接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所 产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基 本内容的交互，为视频编码提供了广阔的发展空间。 m p e g 4 支持任意形状图像与视频的编解码。对于任意形状视频对象。对于 极低比特率实时应用，如可视电话、会议电视，m p e g 4 则采用v l b v ( v e r yl o w b i t r a t ev i d e o ，极低比特率视频) 进行编码。 传统的矩形图在m p e g 4 中被看作是v o 的一种特例，这i f 体现了传统编码 与基于内容编码在m p e g 4 中的统一。v o 概念的引入，更加符合人脑对视觉信 息的处理方式，并使视频信号的处理方式从数字化进展到智能化，从而提高了视 频信号的交互性和灵活性，使得更广泛的视频应用及更多的内容交互成为可能。 因此v o p 视频编码技术被誉为视频信号处理技术从数字化进入智能化的初步探 索。 视频编码可分级性技术 随着因特网业务的巨火增长，在速率起伏很大的i p ( i n t e r n e tp r o t o c 0 1 ) 网络 及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。在这种 2 6 北京邮电人学硕士研究生学位论文 背景下，视频分级编码的重要性日益突出，其应用非常广泛，且具有很高的理论 研究及实际应用价值，因此