（信息与通信工程专业论文）面向监控的高效视频压缩技术.pdf

浙江大学硕二t 学位论文 摘要 随着视频处理与视频编码技术的发展，视频监控系统得到了广泛应用。人 们对图像质量和压缩性能的要求是无止境的，高效的视频编码技术成为人们研 究的热点。而现有的视频编码技术并没有充分考虑视频监控的特点，针对视频 监控的视频编码还有较大的性能提升空间。 论文首先研究了监控视频的特点与需求，并分析了现有编码技术在监控应 用中的不足，然后提出了针对性的视频编码方法，主要包含以下几个方面： 在监控视频中，常常存在大面积的静止区域，这部分区域不是监控的重点， 现有编码标准对这些区域编码造成大量的码流浪费，为了更充分地压缩静止区 域图像，同时又要保证运动区域图像的编码质量，论文提出了一种结合运动目 标检测的编码算法，将图像分解成两个图层图像编码。一个是静止图层，可以 拉长静止图层的图像组长度，采用图层跳过模式，有效地提高了静止区域的压 缩率；另一个是运动图层，通过采用层间参考预测，提高了编码质量。实验表明 这种编码方法是一种高效的视频编码方法。 在监控视频中，常常含有噪声，特别是光线不好的场景，监控视频中的噪 声将变得很大，对这种视频的压缩率很低。针对这种情况，论文提出了一种视 频滤波与自适应合成参考帧相结合的编码方法。视频滤波对噪声有很好的抑制 效果，提高了视频编码的压缩率，但同时也会滤除图像纹理和运动细节，这在 监控应用中是不利的；另一方面，合成参考帧是一种经过简单滤噪的参考帧图 像，能提供更好的预测参考，有效地提高了编码图像的质量，论文提出了自适 应合成参考帧的编码方法，实验证明自适应的合成参考帧能进一步地提高含噪 视频的编码性能和图像质量，但这种编码方法没有对待编码图像进行滤波。论 文充分考虑了视频滤波与合成参考帧的优缺点，将二者相结合，在保证图像细 节和编码效率的前提下有效地抑制了图像噪声，同时大幅度提高了压缩效率。 关键词：视频监控视频编码运动图层静止图层l m m s e 滤波器 自适应合成参考帧 一l l 浙江大学硕士学位论文 a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n to ft h ev i d e op r o c e s sa n dv i d e oc o d i n gt e c h n o l o g y , v i d e os u r v e i l l a n c es y s t e m sh a v eb e e nu s e dw i d e l y t h er e q u i r e m e n tf o rt h eq u a l i t y o ft h ep i c t u r ea n dt h ep e r f o r m a n c eo fc o m p r e s s i n gi se n d l e s s ，s ot h a te f f i c i e n tv i d e o c o d i n gt e c h n o l o g yb e c o m e st h eh o tr e s e a r c ht o p i c h o w e v e r ，t h ee x i s t e dv i d e o c o d i n gt e c h n o l o g yd o e s n tc o n s i d e rt h ec h a r a c t e r i s t i c so fv i d e os u r v e i l l a n c ee n o u g h t h e r e f o r e ，t h e r ei sm o r es p a c et oi m p r o v et h ep e r f o r m a n c eo fv i d e oc o d i n gf o rv i d e o s u r v e i l l a n c e f i r s t l y , t h i sp a p e rs t u d i e st h ec h a r a c t e r i s t i c sa n dt h ed e m a n d so fs u r v e i l l a n c e v i d e o ，a n da n a l y z e st h ed i s a d v a n t a g eo fe x i s t i n gc o d i n gt e c h n i q u e sf o rs u r v e i l l a n c e ， t h e np r o p o s e ss o m ev i d e oc o d i n gs c h e m e s ，m a i n l yi n c l u d e st h ef o l l o w i n ga s p e c t s ： i ns u r v e i l l a n c ea p p l i c a t i o n s ，t h e r ea r eo f t e nl a r g es t a t i ca r e a s ，w h i c ha r en o tt h e f o c u s i ti saw a s t eo fb i ts t r e a mt oc o d et h e s es t a t i ca r e a s i no r d e rt oc o m p r e s st h e s e a r e a sl a r g e l ya n di m p r o v et h eq u a l i t yo ft h ei m a g ei nt h em o t i o na r e a s ，t h i sp a p e r p r o p o s e sa na l g o r i t h mc o m b i n e dw i t ht h em o t i o nd e t e c t i o nt e c h n i q u e ，w h i c hd i v i d e s t h ep i c t u r ei n t os t a t i cl a y e rp i c t u r ea n dm o t i o nl a y e rp i c t u r e f o rt h es t a t i cl a y e r p i c t u r e ，t h ea l g o r i t h ma d o p t sal a r g e rg o p ( g r o u po ft h ep i c t u r e s ) ，a n da d d sal a y e r s k i pm o d e ，w h i c hi m p r o v ec o d i n ge f f i c i e n c yg r e a t l y f o rt h em o t i o nl a y e rp i c t u r e ， t h ea l g o r i t h ma d o p t si n t e r - l a y e rp r e d i c t i o nt oi m p r o v et h eq u a l i t yo ft h ep i c t u r e t h e e x p e r i m e n ts h o w st h ea l g o r i t h mi sv e r ye f f i c i e n t t h e r ei sal o to fn o i s ei ns u r v e i l l a n c ev i d e o ，e s p e c i a l l yi nl o w l i g h t i t sd i f f i c u l t t oi m p r o v ec o d i n ge f f i c i e n c yf o rt h i sk i n do fv i d e o t h ep a p e rp r o p o s e sa na l g o r i t h m ， w h i c hc o m b i n e sv i d e of i l t e ra n da d a p t i v es y n t h e s i z e dr e f e r e n c e ( s r ) p i c t u r e v i d e o f i l t e rc a na c h i e v eab e t t e rc o m p r e s s i o np e r f o r m a n c eb yr e d u c i n gt h en o i s e h o w e v e r ， i tw i l lb l u rt h et e x t u r ed e t a i l sa n dt h em o t i o nd e t a i l sa tt h es a m et i m e t h i si s d i s a d v a n t a g ei nt h es u r v e i l l a n c ea p p l i c a t i o n s o nt h eo t h e rh a n d ，t h es rp i c t u r ei sa n e wr e f e r e n c ep i c t u r ew h i c hi sf i l t e r e ds i m p l y t h es rp i c t u r ec a np r o v i d eb e a e r p r e d i c t i o nt oi m p r o v et h eq u a l i t yo ft h ec o d i n gp i c t u r e b a s e do nt h i s ，a na d a p t i v e s rp i c t u r ei sp r o p o s e d t h ee x p e r i m e n ts h o w st h ea d a p t i v es rp i c t u r ec a ni m p r o v e i i i 浙江大学硕士学位论文 t h ep e r f o r m a n c eo ft h ev i d e oc o d i n gf u r t h e r h o w e v e rt h i sm e t h o dj u s tf i l t e r st h e r e f e r e n c ep i c t u r eb u tn o tt h ep i c t u r et ob ec o d e d t h ep a p e rt a k e sv i d e of i l t e ra n d a d a p t i v es rp i c t u r ei n t oc o n s i d e r a t i o n ，c o m b i n e sb o t ho ft h e mt os u p p r e s st h ev i d e o n o i s e a tt h es a m et i m e ，t h ep r o p o s e ds c h e m ei m p r o v e st h ec o d i n ge f f i c i e n c ya n d p r e s e r v e st h ep i c t u r ed e t a i l s k e y w o r d s ：v i d e os u r v e i l l a n c e ，v i d e oc o d i n g ，s t a t i cl a y e rp i c t u r e ，m o t i o nl a y e r p i c t u r e ，l m m s ef i l t e r , a d a p t i v es rp i c t u r e l v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究土作及取得 的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得逝江盘堂或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示谢意。 学位敝作者躲夕廷签字日期驯口年弓月肜日 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘鲎 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 卢 导师签名：抄兰胡 签字日期：z o l o 年弓月扫日签字日期：2 似年；月1 0 日 浙江大学硕士学位论文 致谢 时光如箭，转眼间两年半的研究生生活己走到尾声。在浙大六年的学习生 活让我养成了求是的精神，这种精神将成为我人生的重要财富，伴随我度过人 生的各个阶段。回想往事，浙大给了我快乐而充实的时光，给了我美好而崇高 的理想，希望能借这篇论文为我的求学生涯画上圆满句号。在完成这篇论文的 过程中，我得到了很多老师和同学的指导和帮助，在此向他们表示由衷的感谢。 首先，我要感谢我的指导老师唐慧明老师。唐老师具有渊博的理论知识和 丰富的实践经验，在我的学习工作中给予了重要的指导，每次与唐老师的讨论 交谈都能学习到很多知识，使我获益良多；除了丰富的理论与实践知识，唐老 师的实事求是、一丝不苟、精益求精的科研精神更是深深地影响了我，在工作 中唐老师也总是注重培养我们严谨的工作作风，提出很多中肯的建议；在生活 上，唐老师也给予我很多的帮助与鼓励，使我乐观地面对各种挑战。在唐老师 的潜移默化的影响下，我不仅学到了科学知识，更重要的是学到了做人和做事 的态度，使我一生受益。 感谢实验室的虞露老师、刘云海老师，他们对我的学习与科研工作给予很多 的指导和帮助。感谢我的师兄鲍庆杰、楼洛阳、褚方杰、蒋国华和艾丹，感谢张 玉洁师姐，感谢丁丹丹师姐，感谢他们在我的研究生生活中给予的帮助和指导。 感谢我的同学杨名、金星、王万丰、戴亮、潘芳等。感谢我的师弟林圣辉、胡铮、 范飞军，还有我的小师妹唐一枝，谢谢你们的帮助，谢谢你们给我带来的丰富的 业余生活。还要感谢我在求学过程中陪伴着的同学与朋友，感谢他们在我的生活 中添加了阳光和乐趣，使我能愉快并顺利地完成硕士阶段的学业。 最后，我要感谢我的父母及姐姐，在漫长的求学道路上父母一直是我最坚 强的后盾，为我提供了最好的学习条件及物质生活，我的姐姐在我的学习中给 予了很多的帮助和鼓励。我唯有以不断的努力来报答他们对我的关心和期望! 卢超 2 0 1 0 年1 月于浙大 浙江大学硕1 二学位论文 第1 章绪论 随着互联网的迅猛发展以及多媒体技术的日益成熟，网络视频监控越来越 多地出现在人们的视野，如公共场所、金融机构、家庭社区等。从上世纪8 0 年代中期的模拟视频监控系统开始，到9 0 年代后期的数字化视频监控系统，直 到现在的网络视频监控系统的出现，视频监控正在全面迈向数字化、网络化和 智能化。 网络视频监控的系统规模和数量正在不断扩大，所传输和存储的视频数据 是异常庞大的，为了适应目前有限的网络条件和节省存储设备容量，需要对视 频进行压缩，因此视频压缩编码技术成为网络视频监控的核心技术，并得到人 们的广泛研究。 1 1 视频编解码技术简介 目前国际上流行的视频编码标准主要有两大系列：i s o i e c 制定的m e p g 系列标准和i t u t 制定的h 2 6 x 系列标准。中国也于2 0 0 2 年6 月成立了自己 的中国数字视音频编解码标准化技术工作组( a v s ) ，并制定了拥有自主知识产 权的a v s 标准。每种视频编码技术都是随着压缩需求的不同而不断提出，如 h 2 6 1 标准【1 】的目的是规范i s d n 网上会议电视和可视电话应用；随之h 2 6 3 标准【2 是为低码流视频编码而设计的；m p e g 一1 标准【3 是为c d - r o m 光盘的 视频存储和播放所制定的；m p e g 一2 标准【4 】【5 】是针对标准数字电视和高清晰度 电视在各种应用下的压缩方案和系统层的详细规定，被认定为s d t v 和h d t v 的编码标准；m p e g - 4 标准 6 i 丑j i p , t 基于视听对像( a v o a u d i o v i s u a lo b j e c t ) 的编码，大大提高了视频通信的交互能力和编码效率；h 2 6 4 a v c 7 1 8 1 是由 i t u t 的视频编码专家组( v c e g ) 及i s o i e c 的活动图像专家组( m p e g ) 共同发 展研究的、适应于低码率传输的新一代压缩视频标准；a v s 标准【1 0 】【l1 1 2 1 的 提出是为数字音视频设备与系统提供高效经济的编解码技术，服务于高分辨率 数字广播、高密度激光数字存储媒体、无线宽带多媒体通讯、互联网宽带流媒 体等重大信息产业应用；其中a v s 在2 0 0 8 年还推出了面向监控的视频编码标 准a v s s ( a = v s 伸展档次) 。 “ 各个标准的发展示意图如下所示： 1 一 浙江大学硕上学位论文 固 三 日三丑习 匮t m p 鞫e g 叵2 6 2 至p e g 0 2 巨h2 6 4 三m p e g - 4 习a v c s t a n h ，m lc!ij，11【一 国 三工二三 、 c h i n am p e g c h i n a a v s ， l 螂1 9 8 61 9 1 1 1 11 9 0 a 11 9 9 21 9 9 4i 恍i 2 0 1 1 0 m 22 0 0 4 2 0 0 6 图1 1 视频编码标准发展演变一 从h 2 6 1 视频编码建议到h 2 6 4 ，从m e p g 1 到m e p g 一4 等都有一个共同 的不断追求的目标，即在尽可能低的码率下获得尽可能好的图像质量。由于 m p e g 4 压缩技术在实时视频编码方面，无论是压缩率还是清晰度都比m p e g 1 和m p e g - 2 有更大的优势，所以m p e g 4 前几年一直在视频监控上占据统治地 位。h 2 6 4 以其先进的技术在低码率高画质方面具有很大优势，随着技术的不 断改进，h 2 6 4 已成为目前的研究热点。a v s 更针对性地制定了视频监控行业 的编码标准，将以其复杂度低易于实现，不断引进的先进技术，专利费用低而 服务于我国视频监控产业发展，将吸引人们对其进一步的优化及研究，也将在 视频监控领域得到广泛应用。下面将简单比较下m p e g 一4 、h 2 6 4 及a v s 的技 术特点。 在编码框架上各个标准基本一致，都是根据h 2 6 1 为基础发展出来的，主 要包含了运动补偿的帧间预测、d c t 变换、量化、熵编码以及与固定速率的信 道相适配的速率控制等部分，在这个框架基础上各个编码标准所采用的技术都 有所不同。 m p e g 一4 视频编码标准支持m p e g 1 、m p e c 2 中的大多数功能，同时增 加了优先特性和各种各样的新特性。它提供不同的视频标准源格式、码率、帧 频下矩形图像的有效编码，同时也支持基于内容的图像编码。所采用的新技术 为形状编码、自适应d c t 、任意形状视频对像编码等。新技术使得m p e g - 4 的 编码效率达到m p e g 2 的1 4 倍。 h 2 6 4 也称为m p e g 4 的第十部分，它和h 2 6 1 、h 2 6 3 一样，是基于块的 混合编码方法，并从中引入了许多当今最新的编码思想和技术，使其编码性能 一2 一 浙江大学硕：l 学位论文 优于以前的标准。h 2 6 4 引入的先进技术包括4 x 4 整数变换、空域内的帧内预 测、1 4 象素精度的运动估计、多参考帧与多种大小块的帧间预测技术等，从 而达到了更高的压缩比，结果表明它比h 2 6 3 和m p e g 4 节约了5 0 的码率【9 。 除了更高的压缩比，h 2 6 4 对网络传输具有更好的支持功能，更强的抗误码特 性。伴随性能的提高，h 2 6 4 必然要加入更多的功能模块，其复杂度较高，所 以运算量比以前的编码标准要大很多。所以要把先进的h 2 6 4 编码技术应用到 实时监控系统中必须做大量的优化工作。 相对于h 2 6 4 ，a v s 的主要特点有： ( 1 ) 8 8 的整数变换与6 4 级量化； ( 2 ) 亮度和色度帧内预测都是以8 x 8 块为单位，亮度块采用5 种预测模式， 色度块采用4 种预测模式； ( 3 ) 采用1 6 x 1 6 、1 6 x 8 、8 x 1 6 和8 x 8 四种块模式进行帧间运动补偿； ( 4 ) 在1 4 象素运动估计方面，采用不同的四抽头滤波器进行半象素插值和 1 4 象素插值； ( 5 ) p 帧可以利用最多2 帧的前向参考帧，而b 帧采用前后各一个参考帧。 a v s 应用目标明确，技术有针对性。在高分辨率应用中，其压缩效率明显 比现在常用于数字电视、光存储媒体中的m p e g 2 高，约为2 倍以上。同时， a v s 的压缩效率与h 2 6 4 相当，而实现复杂度又较h 2 6 4 的m a i np r o f i l e 大为 降低。 2 0 0 8 年a v s 完成了一套适合监控的a v s s 标准 1 3 1 ，旨在进一步提高视 频压缩效率和降低图像噪声，该标准提供了基于灵活条带和条带集的感兴趣区 域编码方法，支持图像区域标记、区域事件标记、摄像机标记等监控要求，并 为感兴趣区域检测、对象分割、对象跟踪等智能应用和标准扩展预留了空间。 2 0 0 9 年3 月在杭州举行的a v s 标准工作组第2 8 次会议上将a v s s 定为a v s 的伸展档次，这是全球首个针对视频监控的编码标准。与此同时，a v s 也在积 极推动视频监控国际标准的制定。 相对于其他国际标准，a v s 对于视频监控更有针对性，实用性。技术上a v s 基本上采用了和h 2 6 4 一致的编码结构，但又有自己的核心技术，且实现复杂 度大大降低。在安防行业与3 g 通信蓬勃发展的今天，a v s 标准必将促进视频 一3 一 浙江大学硕士学位论文 监控业务的广泛应用，a v s 标准也将成为监控安防行业的首选之一。当然a v s 监控标准要实现普及应用还有很长的路要走，还需要不断完善和创新来增加其 竞争力。而如何更进一步地提高其编码性能，提出更好的低码率编码技术将成 为人们研究的一个热点。 1 2 国内外研究现状 有关低码率视频编码技术的研究已有很多。在低码率信道中进行实时编码 的初期，人们是通过调整q p 值来满足信道带宽的要求。文献 1 4 】中提出一种适 合低码率的无线信道的编码方法：当信道变差时，在编码端采取动态丢帧策略， 通过场景切换检测，将相关性强的帧丢失，在解码端通过双线性时序插补方法，恢 复丢失的帧。这样可在保证编码质量的前提下，满足无线信道带宽时变的要求。 文献 1 5 中采用了子带编码方式，利用子带分析技术将视频信号分解成四个时 域子带，并利用运动检测将编码宏块分为时域活动宏块和非时域活动宏块，对 不同宏块和不同子带分别采用不同编码方式，这个方法明显地提高了编码图像 质量，消除了块效应。针对视频会议的应用，文献【1 6 】中提出了一种基于目标 选择的量化器控制方法，通过一些码率控制算法将非面部的码流转化到面部的 编码中，这种方法可以获得更好的面部特征，减弱了块效应，提高了编码效率。 文献 1 7 】中提出一种基于匹配追踪的运动残差编码，可以有效地将比特流用于 最需要的区域编码，使得细节区域的编码没有块效应。这些文献所提出的方法 基本上都是考虑如何将码流多分配给所关注的地方，以提高图像细节。 为了更好地适应现有网络条件和高清画面的监控应用，研究人员展开了对 双码流技术的研究。双码流中的一路码流采用高清晰度的编码方式用于本地存 储，另一路码流采用低清晰度低码率的编码方式用于网络传输。对于监控人员， 低清晰的视频质量已经足够其应付突发事件，如果需要仔细研究视频内容时可 以到主机上查询清晰度高的存储视频。h 2 6 4 中的扩展标准s v c 1 8 1 9 】 ( s c a l a b l ev i d e oc o d i n g ) 使双码流技术得以实现，并将会是下一代视频监控的研究 热门，该标准继承了h 2 6 4 a v c 中设计精良的编码工具，并且通过改进的层间预 测和漂移控制，大大减小了可伸缩编码和单层编码的编码效率差异，且解码复杂 度只有少许增加。基于h 2 6 4 的扩展标准s v c ，使用基于层次的方法，提供了 时间可伸缩性、空间可伸缩性和质量可伸缩性的组合可伸缩性编码。双码流技 一4 一 浙江大学硕上学位论文 术对于网络带宽的限制是个很好的解决方案，但由于双码流的复杂度较高且当 前监控的基础设施上的限制使得该技术还不具有实际意义。 在监控视频中，会有长时间的静止场景，所以很多码流都会浪费在那些人 们不感兴趣的视频编码中，针对这种情况海康威视提出并实现了“动态调整编码 参数”技术 2 0 】。该技术是在不启停监控系统的情况下，动态地调整编码参数， 对静止场景和人们不感兴趣的场景采用低码率的编码参数，而一旦出现突发情 况，就会调整成高质量的编码，所以可以在关键时刻保证编码质量，又可以节 省存储空间和网络带宽。这种方法是利用了监控视频的特点，但并不充分，其 实我们对背景区域的关注性都不大，所以对这些区域的大量编码也是一种浪费。 根据背景区域的较强相关性特点，人们开始了对背景参考帧的研究。当被 遮挡背景在运动目标移动后重新暴露出来时，我们可以用背景参考帧来得到更 好的匹配。有关背景参考帧的研究【2 1 2 2 】 2 3 2 4 】 2 5 】主要集中在如何更快更精 确地形成背景参考帧并保证编码端和解码端背景参考帧的一致性，如何降低使 用背景参考帧编码所带来的复杂度和缓存空间的增加，如何合理使用背景参考 帧来提高编码性能。文献【2 1 】首先提出了背景缓存的概念，文献 2 4 】中提出的利 用场景变化检测方法与多线程背景缓存的方法相结合，有效地提高了针对场景 切换的视频编码效率。文献 2 5 】中提出了背景参考帧，其背景帧更新方法为一 定时间内保持不变的块更新为背景帧，经过一定时间的更新就可得到稳定的背 景帧，背景帧的使用可以有效提高预测精度，最终提高编码效率。背景参考帧 对背景纹理比较均匀，运动目标运动速度较慢的情况用处不大，节省不了多少 码流，反而大大增加了编码器的复杂度和缓存空间。对于监控视频中普遍存在 噪声的特点，背景参考帧的使用也失去了意义。 监控视频中的噪声减弱了背景区域的相关性，不仅影响了背景参考帧的发 挥，还造成了编码效率的急剧下降，所以对监控视频去噪成为一个重要的研究 课题。人们通常认为视频采集系统中的噪声为高斯白噪声和冲击噪声，噪声的 频谱一般比较宽，而信号的频谱大多处在低频段，所以通常的去噪方法都是使 用一个低频滤波器，滤除高频段中大部分的噪声，这个滤波器被用在编码器前 端作为预处理单元或用在编码器内部作为一个附加模块。已有的滤波方法大致 可以分为三类： 一5 一 浙江大学硕士学位论文 第一类是空域滤波 2 6 1 1 2 7 1 1 2 8 1 ，只在空间域上对编码图像滤波。常采用邻 域平均的方法去消除图像噪声，这类滤波方法的计算简单，只用到单帧图像的 空间相关性，对于图像的较为平坦区域滤波效果较好，而对于纹理较为复杂的 图像，滤波将会造成图像的模糊。 第二类是时域滤波【2 9 3 0 】【3 1 】【3 2 】 3 3 】 3 4 】 3 5 】，只在时间域上对编码图像 滤波。这类方法利用到了图像间的时间相关性，对于监控视频图像，大部分都 是静止区域，这部分区域图像内容时间相关性很强，帧间的差别主要来自噪声， 而帧间噪声可看作是完全独立的，所以使用时域滤波方法会比空域滤波的图像 质量有所提高，且不会造成图像的模糊，但时域滤波器需要较多的存储单元， 且容易造成运动目标的拖尾现象和运动细节的部分损失。 第三类是时空域滤波 3 6 1 1 3 7 3 8 ，又叫三维滤波。这类方法结合空域和时 域进行滤波，同时利用到了前两类滤波方法的优点，达到更好的滤波效果。例 如：在文献 3 9 1 q b 提出两种不同滤波算法s h f 和s d t f 来处理视频图像中的不 同噪声和不同的图像区域。作者认为图像中的较暗区域含有的噪声主要是泊松 分布噪声和错误色彩噪声，所以从图像分解出较暗区域，然后利用s h f 来滤除 泊松分布噪声，用s d t f 来滤除错误色彩噪声。滤除过程主要是分析每个像素 点的类型来滤噪，充分利用了空域和时域的滤波方法。采用这种滤波方法基本 上都要涉及图像内容的分析，需要较大的计算开销，复杂度较大。 1 3 本文的工作 本文针对监控视频的特点与监控应用的需求，在a v s 视频监控标准的基础 上提出两种新颖的编码技术：一是结合了运动检测与感兴趣区域编码的基于图 层分解的视频编码方法，研究内容主要包括如何进行图层分解，不同图层编码 策略的选择，码流结构的调整，编码性能的测试及分析；二是结合了自适应的 合成参考帧与前端滤波的视频编码方法，其中合成参考帧是一种新的参考帧， 在论文第四章有详细介绍，研究内容主要包括如何利用噪声检测自适应地更新 合成参考帧，如何将视频滤波与自适应的合成参考帧相结合，编码性能的测试 及分析。 一6 一 浙江大学硕：i 二学位论文 1 4 论文安排 本文的结构安排如下： 第一章：绪论。简单介绍视频监控的背景与发展，特别针对视频编码技术 的发展做了介绍，并指出当前编码技术存在的不足以及他人的一些研究成果。 第二章：面向监控的视频编码技术及其性能分析。分析了监控视频的编码 特点，以及对现有面向监控提出的视频编码技术做了相关分析，最终选择了a v s 编码标准作为本文算法的实施平台。 第三章：基于图层分解的视频编码方法。提出了一种针对监控的视频编码 算法，通过分层处理及层间预测大大地提高了静止区域的压缩率，同时也提高 了运动目标的编码质量。 第四章：视频滤波与合成参考帧相结合视频编码方法。提出了一种针对含 有噪声的监控视频的编码方法，该方法在编码前对视频图像先进行较弱的前端 视频滤波，再利用自适应的合成参考帧提高预测准确度，最终达到了码率的降 低和图像质量的提升。 第五章：总结与展望。总结了本文的主要工作与研究成果，并指出存在的 不足以及今后的研究方向。 一7 一 浙江大学硕十学位论文 第2 章面向监控的视频编码技术及其性能分析 目前，视频监控已经成为一个蓬勃发展的行业，作为其核心技术的视频压 缩编码技术理所当然成为人们研究的热点之一。虽然m p e g 2 ，m p e g 4 以其 成熟的技术特点得到众多厂商的青睐，但随着h 2 6 4 及a v s 的近些年的研究与 推广，未来的监控市场将越来越多的出现具有更高编码性能的h 2 6 4 与a v s 的 编解码器。本章将主要以h 2 6 4 和a v s 标准为例来介绍目前视频监控所采用的 编码技术，并对这些技术进行性能分析及比较。 2 1 视频监控的特点及需求 监控系统中的视频信号一般具有以下特点：1 ) 摄像机通常是固定的，视频 图像的很多区域长时间保持静止不动，如路面、建筑物等，我们称之为背景区 域或静止区域，有时整段视频都没有运动目标，都为静止区域，如在深夜时或 比较偏僻的地段。静止区域的时间相关性很强；与静止区域相对的是运动目标 区域，如行人、车辆等，这部分图像变化比较大，压缩时压缩效率不高。2 ) 视 频监控还有一个特殊之处，就是全天候工作，这就不可避免地会遇到夜晚或光 线不好的时候，在这种情况下监控视频会引入大量噪声，这些噪声将大大影响 编码效率，造成码流的增加。 一般而言，我们对电视画面的要求是需要所有区域的色彩、运动、细节都 尽量清晰，能够充分地还原，才算是一个比较好的编码标准。而对于视频监控 应用，我们关注的重点不同。一般在监控中人们比较关注运动目标的细节和运 动情况，而不太重视背景区域的编码质量。同时，介于视频监控的全天候，不 间断工作，需要保存的数据量也是相当大的，如果将码流分配给不太重要的背 景区域也是对存储设备的一种浪费，所以在编码时需要充分考虑背景和前景的 重要性。 随着视频监控的数字化后，网络化监控技术也得到大规模的应用，智能化 监控也成为人们研究的重点之一。智能化的视频分析技术大部分涉及到运动检 测技术，为了适应智能化的发展趋势，面向监控的视频编码技术也需要结合智 能检测技术。 一8 一 浙江大学硕士学位论文 2 2 视频编码框架结构 无论是h 2 6 4 还是a v s ，基本上都是采用了图2 所示的基于块的混合编码 方法： 图2 1 视频编码框架 该框架结构主要包括了帧内预测、帧间预测、变换、量化、重排序、熵编 码等部分。 帧内预测是指当前编码块的预测值是由相邻己编码块的最近像素值经过不 同加权和得到的，这种帧内预测的编码方式是在空间域上进行的预测编码算法， 可以消除相邻块间的空间冗余度，得到较高的压缩率。 帧间预测包括了运动估计与运动补偿两个模块，通过运动估计与运动补偿 可以在其他已编码参考帧中得到对应当前编码块的预测值，这种预测方式与帧 内预测不同，是在时间域上进行的预测编码算法，可以消除相邻帧间的时间冗 余度，一般会得到更高的压缩率，特别是在图像中静止区域较大的时候。帧间 预测的参考图像都是通过重建图像去块滤波后得到的。 通过选择不同预测方式得到最佳预测残差，然后对残差进行变换，一般采 用d c t 变换，d c t 变换完成了将图像数据由空域转向频域，频域的各个系数 相互独立，图像中的高频系数大部分接近于零，所以在后面量化过程中，如果 量化步长比较大时高频系数基本上就变成为零。 量化步长的选择对于图像质量和编码压缩率是一个至关重要的因素，当量 一9 一 浙江大学硕：l ：学位论文 化步长选择较小时，高频系数保留较多，图像细节较清晰，质量较好，但压缩 率也较低；而当量化步长选择较大时，图像质量较差，但压缩率较高。 经过量化后的变换系数一般低频较多，高频较少，且大多数非零d c t 系数 集中于二维矩阵的左上角，即低频分量区，一般在对这些系数熵编码前会采用 重排序的操作，即会采用之字扫描，这样可以尽量让非零d c t 系数集中于一维 排列数组的前部，后面跟着长串的量化为零的d c t 系数，这些为游程编码创造 了条件。 最后经过熵编码，熵编码是无损编码。它对变换、量化后得到的系数和运 动信息，进行进一步的压缩。 在该编码框架下，一般将编码图像分为三种类型：帧内编码图像( i 帧) 、 前向帧间编码图像( p 帧) 和双向帧间编码图像( b 帧) 。i 帧图像只采用帧内 预测编码方式；p 帧一般会采用帧问预测编码方式，参考图像为播放顺序在前 的己编码图像，同时，p 帧也可以采用帧内预测方式；b 帧一般也采用帧间预 测编码方式，但它的参考图像为前向和后向的已编码图像，同时也可以采用帧 内预测方式。 2 3h 2 6 4 与a v s 的关键技术及性能比较 针对前一节所述的视频编码的框架结构，这一节将介绍h 2 6 4 与a v s 在各 个模块所采用的关键技术比较。 ( 1 ) 首先从分块大小方面来看，h 2 6 4 与a v s 都是以宏块为单位进行编 码，但宏块的划分上有所不同，h 2 6 4 有1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 、8 x 4 、4 x 8 、 4 x 4 一共8 种宏块及宏块划分，而a v s 只有1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 一共4 种宏块划分方式。h 2 6 4 最小编码子块为4 x 4 块，而a v s 为8 x 8 块。 ( 2 ) 由于分块方式的不同，造成d c t 变换的差异。h 2 6 4 采用的是4 x 4d c t 整数变换，而a v s 采用的是8 x 8d c t 整数变换。两者都使用了整数变换，其 优势是可以利用快速算法降低运算复杂度，而且可以避免浮点运算时变换和反 变换所产生的失配现象。4 x 4 变换的缺点是尺寸太小，去相关性不足，对高分 辨率图像编码时性能不如8 x 8 变换。 ( 3 ) 量化步长不一致。h 2 6 4 的量化参数q p 每增加6 ，量化步长增加l 倍，最大量化级数为5 1 ；a v s 的量化参数q p 每增加8 ，量化步长增加1 倍， 一10 浙江大学硕二卜学位论文 最大量化级数为6 3 。 ( 4 ) h 2 6 4 和a v s 标准都采用了帧内预测方式，用相邻块的像素值来预 测当前编码块，采用了代表空间纹理的多种预测模式：h 2 6 4 的的亮度预测分 为4 x 4 块和1 6 x 1 6 块2 种预测方式，对于4 x 4 块：从一1 3 5 度到+ 2 2 5 度方向 再加上一个直流预测共9 种预测模式；对于1 6 x 1 6 块：有4 种预测模式。色度 预测是8 x 8 块，有4 种预测模式。a v s 的亮度预测只有8 x 8 块的方式，预测模 式分为5 种：水平、垂直、左下、右下及直流预测。色度预测也是8 x 8 块，有 4 种预测模式。a v s 采用了较大的预测块，增大了预测块与样本块之间的差异， 降低了预测精度，性能上稍差于h 2 6 4 ，但预测模式的缩减，大大减少了运算 复杂度。 ( 5 ) h 2 6 4 与a v s 在帧间预测上也存在很多差异。由于a v s 的分块较大， 所以运动估计不需要对小于8 x 8 块的分块做，在运动搜索时间上要比h 2 6 4 节 省很多；从亚像素插值方法看，h 2 6 4 采用了6 抽头的维纳插值滤波器，计算 复杂度较高，a v s 采用了二阶4 抽头滤波器，在降低计算复杂度的同时，保持 了较高的准确度；从参考帧上看，h 2 6 4 采用了较多的参考帧，最多可达3 1 个， 增加了预测精度，但也增加了计算复杂度，a v s 最多2 个参考帧，对p 帧采用 前面两个连续帧做参考，对b 帧采用前后各一帧做参考；从环路滤波上看，h 2 6 4 采用每个4 x 4 块两边各4 个像素作为判断依据，a v s 采用8 x 8 块两边各3 个像 素作为判断依据，降低了运算复杂度。 ( 6 ) 熵编码上的不同。h 2 6 4 采用了两种熵编码：一是对所有待编码数据 进行统一的可变长编码( u v l c ) ，另一种是采用基于内容的自适应二进制算术 编码( c a b a c ) ，大大减少了块编码相关性冗余，提高了编码效率。其中，c a b a c 是种效率很高的编码方法，其编码效率比u v l c 高5 0 ，但其复杂度较高，在 视频监控中一般使用u v l c 编码。a v s 熵编码采用自适应变长编码技术。所有 的语法元素和残差数据都是以指数哥伦布码的形式形成最终码流的。 为了能够直观地比较h 2 6 4 和a v s 的编码性能，使用了h 2 6 4 的参考代码 j m l1 0 和a v s 的参考代码s m l 0 进行仿真测试。采用的测试序列为c i f 清晰 度的h a l l _ c i f y u v ( 3 5 2 x 2 8 8 ) 平l 较高清晰度的监控视频s u b w a y y u v ( 7 0 4 x 5 7 6 ) 。具体 参数设置按照a v s 监控视频通用测试条件设置如下： 浙江大学硕士学位论文 表2 1a v s 与h 2 6 4 编码参数 编码参数 j m l l 0s m l 0 熵编码模式 u v l cv l c 预测块尺寸 1 6 x 1 6 4 x 41 6 x l 乱8 x 8 参考帧数2 帧2 帧 b 帧 o f fo f f h a d a m a r d0 no n i 帧间隔 4 8 帧4 8 帧 r d oo no n f m e o n o n 编码帧数1 0 0 帧1 0 0 帧 h a l lc i f 和s u b w a y 的仿真结果如图2 和图3 所示。可以看出在低分辨率的 视频图像编码时a v s 的编码性能比h 2 6 4 低0 3 - - 0 5 d b ，而在高分辨率的视频 图像编码时a v s 的编码性能与h 2 6 4 相当，而在编码速度上a v s ( s m l 0 ) 要 比h 2 6 4 ( j m l l 0 1 快2 倍以上。 通过以上理论分析及实验仿真，我们可以得到一个结论：a v s 与h 2 6 4 结 构基本一致，a v s 标准就是在h 2 6 4 基础上发展出来的，而由于规避专利上的 问题，a v s 采用了与h 2 6 4 不同的核心技术，虽然性能上稍逊h 2 6 4 ，但却大 大降低了实现复杂度，特别是对高分辨率视频图像编码。所以在未来高分辨率 视频监控的需求下，a v s 将会得到广泛应用。 图2 - 2h a l lc i f 序列仿真结果 一1 2 一 浙江大学硕上学位论文 图2 - 3s u b w a y 序列仿真结果 2 4 感兴趣区域编码策略分析 通过第2 1 节的分析，我们知道在监控视频中只有部分区域是人们关注的 焦点，这部分区域的细节是调查取证的重要环节，如人脸、车牌等，而对于背 景区域则关注较少，为了提高压缩率，以适应有限的带宽并节省存储设备，人 们提出基于区域的变质量编码策略，也即感兴趣区域编码策略：将有限的码流 优先分配给感兴趣区域图像编码，从而提高感兴趣区域图像的主客观质量。提 高感兴趣区域图像质量常用方法为减小编码的量化步长。 关于感兴趣区域编码的研究已有很多，文献 4 0 提出一种应用于多人视频 会议的转码方法，将