（信息与通信工程专业论文）面向视频监控的视频处理和编码技术.pdf

浙江大学硕士学位论文 摘要 随着社会发展和技术进步，视频监控系统已经广泛应用。面向视频监控的视频处理和 视频编码技术也成为了多媒体领域的研究热点。 本文分析和研究了监控视频的特点，指出视频监控系统中需要研究和解决的问题：噪 声估计问题、视频去噪问题、用户感兴趣区域问题。基于以上情况，本文主要在以下的三 个方面做了研究： 1 )首先本文对视频图像中的噪声进行估计，提出了基于三维差分的视频噪声方差估 计算法。算法通过对视频像素做三维差分操作去除视频真实信号的低频分量，并 自适应选取三维差分值用于计算噪声方差估计值。实验结果表明：所提出的噪声 估计算法相当有效，不仅在高质量图像和高噪声水平的情况都能给出较为准确的 估计。 2 )在低光照情况下，视频监控系统的视频噪声比较严重。视频噪声不仅影响了图像 质量，而且严重影响编码效率。传统的视频去噪被看作是与视频编码相独立的过 程，因此通常采用去噪编码这样的级联系统处理含噪视频。去噪编码系 统计算复杂度高，并容易造成视频模糊。本文提出一种结合时域滤波的视频编码 方法，它可以直接对含噪视频编码，仅在编码器中增加少量的计算复杂度。该算 法只需要简单地缩小残差就可以在编码器中嵌入了基于线性最小均方差估计的 时域滤波器。算法相应地优化了编码器的率失真代价，使编码模式选择更合理。 实验结果表明：对加噪视频编码时，该算法使a v s 编码器的编码效率大幅提升， 并且有较好的去噪效果。 3 )本文分析和研究了现有的感兴趣区域编码方法，提出了嵌入强制帧内编码块的视 频编码方法。算法加大视频码流中i 帧的间隔，从而降低码率，同时每隔固定帧 间隔对感兴趣区域强制帧内编码，使解码端能在接收强制帧内编码帧后正确解码 感兴趣区域，保证了感兴趣区域的随机接入的延迟时间较小。实验结果表明：算 法提高了编码性能和码流数据量的稳定性，从而有利于网络传输。 关键词：噪声估计，视频去噪，感兴趣区域，视频编码，线性最小均方误差，视频监控 浙江大学硕士学位论文 a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n t o ft h es o c i e t ya n dt e c h n o l o g y , v i d e os u r v e i l l a n c es y s t e m sh a v e b e e nu s e dw i d e l y v i d e op r o c e s s i n ga n dv i d e oc o d i n gf o rv i d e os u r v e i l l a n c ec o m e st ob eah o t t o p i ci nm u l t i m e d i af i e l d t h i sp a p e ra n a l y s e sa n ds t u d i e st h ec h a r a c t e r i s t i c so fv i d e os u r v e i l l a n c e ，a n dp o i n t so u tt h e p r o b l e m st h a ts h o u l db es t u d i e da n ds o l v e di nv i d e os u r v e i l l a n c es y s t e m ：n o i s ee s t i m a t i o n ，v i d e o d e n o i s i n g , r e g i o no fi n t e r e s t b a s e do nt h ea b o v e ，t h i sp a p e rr e s e a r c h st h ef o l l o w i n gt h r e e a s p e c t s ： 1 ) f i r s t l y , t h i sp a p e ra i m st oe s t i m a t ev i d e on o i s e ，a n dp r o p o s e sav i d e on o i s ee s t i m a t i o n b a s e do n3 dd i f f e r e n t i a l t h e3 dd i f f e r e n t i a lo p e r a t o ri nt h ea l g o r i t h mc a nr e m o v et h e l o w - f r e q u e n c yc o m p o n e n t so fv i d e os i g n a l ，a n dw es e l e c t3 dd i f f e r e n t i a la d a p t i v e l y t h er e s u l t so fs i m u l a t i o ns h o wt h a tt h ep r o p o s e dm e t h o dp e r f o r m sw e l li nb o t hh i 【g h l y n o i s ya n dg o o d q u a l i t yv i d e o s 2 ) i nl o w 1 i g h ts i t u a t i o n ，v i d e on o i s ei ss e r i o u s 。v i d e on o i s en o to n l yd e g r a d e st h ev i s u a l q u a l i t y , b u ta l s os i g n i f i c a n t l ya f f e c t st h ec o d i n ge f f i c i e n c y c o n v e n t i o n a l l y ，d e n o i s i n g f i l t e r i n g i sc o n s i d e r e da s a p r o c e s si n d e p e n d e n t o fv i d e oe n c o d i n g ，a n d d e n o i s i n g - c o d i n gs y s t e m sa r ea p p l i e dt op r o c e s st h en o i s yv i d e o d e n o i s i n g - c o d i n g s y s t e m sh a v eh i g hc o m p l e x i t ya n dm a yl e a dt ov i d e ob l u r t h i sp a p e rp r o p o s e da v i d e oe n c o d i n ga l g o r i t h mw h i c hi n c l u d e st e m p o r a lf i l t e r i n g , a n dt h ea l g o r i t h mc a n p r o c e s sn o i s yv i d e ow i t h o u tp r e f i l t e r t h ea l g o r i t h me m b e d st e m p o r a lf i l t e r i n gb a s e d o nl m m s ee s t i m a t o rb ys c a l i n gt h er e s i d u e i nt h ec o r r e s p o n d i n g ，t h ea l g o r i t h m o p t i m i z e st h er d c o s to fe n c o d e r , t h a tc a r ll e a dt om o r er e a s o n a b l ee n c o d e rm o d e c h o i c e t h er e s u l t so fs i m u l a t i o ns h o wt h a tt h ea l g o r i t h mp r o p o s e dc a l li n c r e a s e a v s sc o d i n ge f f i c i e n c yw h e ne n c o d i n gt h en o i s yv i d e o ，a n dt h ea l g o r i t h mp r o p o s e d h a sg o o dd e n o i s i n ge f f e c t 3 ) t h i sp a p e ra n a l y s e sa n ds t u d i e se x i s t i n gc o d i n gm e t h o d sf o rr o ia n dp r o p o s e sa c o d i n gm e t h o dw h i c he m b e d d e dc o m p u l s o r yi n t r am o d ee n c o d i n gr e g i o n t h em e t h o d p r o p o s e di n c r e a s e si n t e r v a lo flf r a m ea n dr e d u c e st h eb i t r a t e a tt h es a m et i m e ，r o i i se n c o d e do n l yu s i n gi n t r am o d ew i t hf i x e dt i m ei n t e r v a l c o n s e q u e n t l y , d e c o d e rc a l l - i i - 浙江大学硕士学位论文 d e c o d et h er o l sb i t sc o r r e c t l ya f t e rr e c e i v i n gr o i sb i t s t h er e s u l t so fs i m u l a t i o n s h o wt h a tt h ea l g o d t h mp r o p o s e dc a ni n c r e a s ec o d i n g e f f i c i e n c ya n d b i t r a t e s t a b i l i t y w h i c hl e a d sb e t t e rt r a n s m i s s i o n k e y w o r d s ：n o i s ee s t i m a t i o n ，v i d e od e n o i s e ，r o i ，v i d e oc o d i n g , l m m s e ，v i d e os u r v e i l l a n c e i i i 浙江大学硕士学位论文 第1 章绪论 随着人类社会不断进步和科技不断发展，人们对信息的需求、获取、处理、 传输、存储等都已经发生了天翻地覆的变化。信息内容也已经不是单一媒体信息， 而是集语音、图像、文本于一体的多媒体信息。研究表明，人类在所有获取的信 息中，7 0 来源于视觉系统，足见图像信息在多媒体信息中的重要性。然而，图 像信息本身却包含有巨大数据量，视频信号则有更大数据量，这为高速处理、传 输和存储带来困难。以普通p a l 制y v l 2 格式数字视频信号为例，1 秒钟时间所 需存储空间为7 2 0 x 5 7 6 x1 5 2 5 = 1 5 ，5 5 2 ，0 0 0 字节，所需传输带宽为1 2 4 m b p s 。 如何有效地对视频图像进行压缩编码并进行实际应用，一直是近年来的研究热 点。 视频监控一直是人们关注的热点应用技术，它以其直观、方便、信息内容丰 富而被广泛应用于许多场合。而在视频监控中最核心的技术就是视频编码。 1 1 视频编码技术介绍 视频编码技术是多媒体视频通信中的核心技术之一，理论和应用领域都致力 于视频编码技术的研究，并且制定了一系列国际标准。在视频应用中，编码方法 的选择不但要考虑到信噪比和压缩比，还要考虑到算法的复杂性。过于复杂的编 码算法可能会得到较高的压缩比，但也会带来很大的计算开销，就可能会影响通 信的实时性。 目前，在众多视频编码算法中，影响最大并被广泛应用的是i s o 的m p e g 系列和i t u t 的h 2 6 x 系列标准。下面对这些视频编码标准作简单介绍： h 2 6 1 是第一个获得广泛应用的视频编码标准，公布于1 9 9 0 年，是i t u t 为i s d n 开展可视电话、视频会议而制定的，速率为6 4 k b i t s 的整数倍。h 2 6 1 是一个完整的视频编码算法，它在帧间编码时采用了基于1 6 1 6 的宏块和整象 素精度的运动估计；在帧内编码时采用了基于8 8 的d c t 运算；还包含变长编 码等技术，这有效的降低了视频序列的冗余度，建立了取得巨大成功的基于块的 混合编码框架。 m p e g 1 在h 2 6 1 编码算法的基础上改进，m p e g 1 改进的主要内容是增加 了b 帧( 双向预测帧) 和g o p ( 图组) 。这些改进取得了更高的压缩比，同时定义了 1 - 浙江大学硕士学位论文 编码算法中各工具层的语法，使视频的可操作性更灵活。m p e g 1 标准是v c d 工业标准的核心，现在己经走入千家万户。 m p e g 2 标准扩展了m p e g - 1 标准，能够支持高分辨率图像和声音，目标码 率是在3 15 m b s 传输速率条件下提供广播级的图像。m p e g - 2 是工业标准 d v d 的核心标准，是m p e g - 1 的一个超集，它后向兼容m p e g - 1 ，又对m p e g 1 作了重要的改进和扩充。针对隔行扫描的常规电视图像专门设置了“帧编码 和 “场编码”两种模式，并对运动补偿作了相应的扩充，使其编码效率显著提高。 h 2 6 3 是针对甚低码率( 低于6 4 k b p s ) 视频会议和可视电话的窄带信道视频 编码建议。h 2 6 3 和h 2 6 1 的主要区别在于：h 2 6 3 支持更多的图像格式、采用 了半像素精度的运动矢量的搜索、取消了h 2 6 1 中的环路滤波器，增加了非限制 运动矢量、基于语法的算术编码和p b 帧编码等高级选项，从而达到了进一步降 低码率和提高图像质量的目的。由于实现成本较低，h 2 6 3 系列标准己经越来越 多地被采用。 m p e g 4 是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体 ( w w w 、资料撷取与分散) 等整合及压缩技术的需求而制定的国际标准。m p e g 4 支持逐行扫描和隔行扫描，是基于视频对象的编码标准，通过对象识别提供了空 间的可伸缩性。m p e ( 3 4 标准既能够支持码率低于6 4 k b i t s 的视频应用，也能够 支持广播级的视频应用。与其他压缩标准相比，m p e g - 4 标准在d c t 的基础上 引入了图像模型的概念从而具有更高的压缩效率。 h 2 6 4 a v c 是目前由i t u _ t 的视频编码专家组( v c e g ) 及i s o f i e c 的活动图 像专家组( m p e g ) 大力发展研究的、适应于低码率传输的新一代压缩视频标准。 h 2 6 4 与原先的视频编码标准比较，有了明显的改进。h 2 6 4 的技术特点包括： 帧间编码，可变块大小的运动补偿预测技术；帧内编码，多方向的空间预 测技术；环内滤波器，去除块效应；4 4 的整数正交变换及相应的量化 策略；改进的运动矢量预测编码；更加高效的熵编码器；基于率失真 的编码优化技术。这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重 建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应 性强，增加了差错恢复能力，能够很好地适应i p 和无线网络的应用。在高清晰 度电视、卫星电视、存储媒体、无线多媒体应用等方面，h 2 6 4 显示出了巨大的 2 浙江大学硕士学位论文 应用潜力。 “数字音视频编解码技术标准工作组 ( 简称a v s i 作组) 于2 0 0 2 年6 月成立， 负责数字音视频编解技术标准的制定工作。a v s 标准是信息技术一先进音视 频编码系列标准的简称，包括系统，视频，音频，数字版权管理等四个主要技 术标准和一致性测试等支撑标准。a v s 标准第2 部分视频( a v s l p 2 ) 属高效的第二 代视频编码技术，相比于第一代标准m p e g 2 ，编码效率提高2 - - 3 倍，并且实现 方案简洁，因此，a v s 视频标准已经为i p t v ，数字电视广播等应用做好了充分的 技术准备。同时，a v s 标准具有专利许可方式简洁、相关标准配套的优势。这将 为中国的i p t v 、数字电视广播等重大信息产业应用及民族i t 产业发展起到积极 的推动作用 1 】。 a v s 是一套适应面十分广阔的技术标准，码率范围覆盖几十k b p s 的低带宽通 信到数十m b p s 的高清晰度电视广播，可以支持低延迟模式的视频会议应用，也 支持高压缩效率的视频存储应用等。 a v s p 2 的技术特点包括如下几方面： 1 8 8 变换与量化可以在1 6 位处理器上无失配地实现，从而克服了h 2 6 4 之前的视频压缩编码国际标准中采用的8 x 8d c t 变换存在失配的固有问 题； 2 6 4 级量化，可以适应不同的应用和业务对码率和质量的要求； 3 帧内较少的预测模式，亮度和色度帧内预测都是以8 8 块为单位的。亮 度块采用5 种预测模式，色度块采用4 种预测模式，方案更加简洁、实现 的复杂度大为降低； 4 1 4 像素精度的运动补偿技术，采用4 抽头滤波器进行半像素插值和1 4 像 素插值，减少插值所需要的参考像素点，减小了数据存取带宽需求； 5 p 帧可以利用至多2 帧的前向参考帧，而b 帧采用前后各一个参考帧； 6 b 帧的双向预测使用了直接模式( d i r e c tm o d e ) 、对称模式( s y m m e t r i cm o d e ) 和跳过模式( s k i pm o d e ) 。选用对称模式时，码流只需要传送前向运动矢 量；选用直接模式时，无需传输运动矢量；选用跳过模式时，宏块只需 要传输模式信号； 7 自适应变长熵编码，k 阶指数哥伦布码编码。 - 3 浙江大学硕士学位论文 一般认为h 2 6 4 的编码器大概比m p e g 2 复杂9 倍，而a v s p 2 贝j 由于编码模块 中的各项技术复杂度都有所降低，其编码器复杂度大致为m p e g - 2 的6 倍，但编 码在高清序列上表现出与h 2 6 4 相近的性能。 本文的仿真实验将基于a v s p 2 标准的视频软件编解码器，参考源码版本为 r m 5 2 j 。 1 2 监控视频的特点和传统视频编码方法存在的不足 视频监控图像常有一定噪声，特别在夜间或光照不足时，或摄像机质量较 差时，视频序列图像中的噪声往往幅度较大，这些噪声带来的干扰，使得编码过 程中帧间预测变得不准确，增加了残差幅度，视频数据不能得到有效压缩，从而 大幅增加了压缩后视频流的码率，这对数字录像和视频传输都是很不利的。 传统的视频编码方法主要利用运动估计( m e ) 和离散余弦变换( d c t ) 消 除信号的冗余性，以取得较高的压缩效率。然而，噪声是不相关的或相关性很小。 噪声使运动估计不准确，即使能在参考帧准确找到当前编码块的匹配块，也将有 很多比特量浪费于对噪声的编码，编码效率急剧下降。 图1 1 表示a v s p 2 编码器对加噪视频编码的性能结果。其中，加噪视频序 列分别是场景静止的a k i y o 序列和场景改变的f o r e m a n 序列，其大小为3 5 2 x 2 8 8 ， 帧率为3 0 。所加噪声是均值为0 ，方差o r 2 为2 5 的高斯噪声。横坐标为编码比特 率，纵坐标是解码视频与原始视频( 未加噪视频) 相比的峰值信噪比，用于衡量 解码视频的客观质量。量化系数q p 依次取4 2 、4 0 、3 7 、3 2 。 4 浙江大学硕士学位论文 图1 1a v s p 2 对加噪视频的编码性能 从图1 1 可以看出，随着编码比特率的上升，客观质量先上升后下降。这一 结果与我们的理论相吻合，即在q p 较小时，编码器花费了很多比特量用于对噪 声的编码，却并没有提高客观质量，在随q p 增大，许多噪声因量化而受到了抑 制，反而提高了信噪比，但q p 的继续增大，使量化噪声成为主导，信噪比开始 下降。 在视频监控的应用场合，视频噪声使得视频压缩编码后的码流数据大幅度增 加，增大了网络传输的带宽和数据存贮的容量需求。同时，视频图像的噪声会严 重影响人们的主观感受，甚至会影响到人们对于视频内容的理解，对视频的后处 理也会产生很大的影响。这种由于噪声引起的恶化效果在低光照的情况下能急剧 增大。因此对视频图像进行去噪处理，改善视频图像的质量在整个视频系统中起 着很重要的作用。 视频监控应用的另一个特点是用户通常对图像中一个或多个区域感兴趣。例 如，监控门厅的视频监控系统的用户将主要关注门口的区域。用户对这些感兴趣 区域的正确复原能力和从用户接入到正确解码的延迟有很高的要求，而对图像内 其他非感兴趣区域的用户接入后能正确解码的延迟的要求并不苛刻。具体到视频 图像的压缩编码和传输处理方面，用户总是希望用户感兴趣的图像区域能够得到 相对于其它区域更好的编码传输质量，就是视频处理中的基于感兴趣区域 5 - 浙江大学硕士学位论文 ( r e g i o no fi n t e r e s t ) 编码要处理的问题。传统的视频编码方法以固定间隔插入i 帧编码，确保了能在接收到i 帧编码数据后正确解码。一般地，i 帧成为一个随 机访问点，而对一帧图像进行i 帧编码的比特数通常是p 帧编码的比特数的数倍 以上。i 帧数据突发增加不仅增加了总体的编码码率，而且，对移动通信等窄带 信道，容易导致网络堵塞和丢包现象，从而在解码端造成解码错误。对于视频监 控应用，i 帧间隔越长，则意味着新接入的客户端可能需要等待更多的时间才能 解码出正常图像，因此希望减小i 帧间隔，但减小i 帧间隔，意味着增加i 帧数 量，将大幅增加码率。综合考虑到降低比特率和随机访问正确解码的延迟，视频 监控i 帧间隔常设置为2 秒左右，在信道较窄时，间隔为更长些。 综上所述，监控视频中的噪声和较小间隔的i 帧的编码方法会造成编码器的 码率较大和码率突增。因此，如何提高视频监控系统中的编码器的编码效率、降 低码率而不降低用户主观感受的视频处理和视频编码技术具有重要的理论意义 和使用价值。 1 3 国内外研究现状 近二十年，视频图像处理工作者提出了不少颇有成效的去噪算法，其中相 当一部分己经付诸实用，总体上视频去噪主要可以分为两种方法：帧内滤波器 和帧间滤波器。 帧内滤波方法 帧内数字视频滤波，可以认为是对单幅图像的滤波，目前已有的静止图像 滤波方法都可以用于数字视频滤波。按照算法的作用域不同，可以分为空间域、 频域、小波域等滤波方法。 空域滤波 空域滤波是在图像空间借助模板进行邻域操作完成的。邻域平均法是消除 图像上噪声的最简单的一种空域技术，有明显的去除噪声平滑图像的效果。但它 同时存在着边缘模糊效应。为了减少模糊效应，又在邻域平均的基础上扩充形成 邻域加权平均、空域低通滤波、保存边缘的空域平滑技术等等。次序统计滤波器 是基于集合中元素排序后的统计量得到的，而不是基于计算均值或方差等。次序 统计滤波器在滤除噪声的同时能够很好的保护细节信息。线性自适应滤波器是利 _ 6 - 浙江大学硕士学位论文 用了当前空间局部信息达到自适应滤波的滤波器，如c t o m a s i 等人提出的双 边滤波器 2 】。 频域滤波 频域滤波方法就是在图像的频率域中对图像的变换系数进行某种运算处 理，然后再变换到空间域，从而达到去噪的目的，是一种间接处理方法。频 域滤波框图如下图： f ( ) 【，” 图1 2 频域滤波框图 其中，f ( u ，v ) 为对原始图像f ( x ，y ) 进行频域正变换的结果，h ( u ，v ) 为频 域的修正函数，g ( u ，v ) 是修正后的结果，g ( x ，y ) 是g ( u ，v ) 反变换的结果，即 滤波后的图像。h ( u ，v ) 就是我们所要设计的频域滤波器，主要包括低通、高通、 带通、带阻滤波器。常用的二维低通滤波器主要包括理想低通滤波器、b u t t e r w o r t h 低通滤波器、指数低通滤波器和梯形低通滤波器。 小波域滤波 小波域滤波的方法的理论依据是：小波变换能较好的去数据相关性，且能 将信号的能量集中在一些大的小波系数中，而噪声的能量却比较均匀地分布在整 个小波域。因此可以用阈值的方法把信号系数保留，而使大部分噪声系数减d , n 零。基于小波域滤波的方法【3 5 】由于计算复杂度高，难以满足视频去噪实时处 理的要求。 视频去噪与静止图像去噪有着很强的联系，可以将数字视频看作是一组图像 序列，因此已有的图像去噪处理算法多可以用于数字视频去噪。但数字视频去噪 算法也有其自身的特点，如要求实时性高。因此对于一些复杂度较高的图像去噪 处理算法就很难用于数字视频去噪中，尤其是在用软件实现的情况下更是如此。 数字视频是一组图像序列，而图像之间有着很强的相关性，因此可以利用这一点 来进行去噪处理。 帧间滤波方法 帧内滤波方法仅利用了单帧图像的空间相关性，没有利用到数字视频图像前 后数帧之间的时间相关性，因此帧内滤波方法有很多的局限性。帧间滤波方法考 - 7 - 浙江大学硕士学位论文 虑了数字视频图像帧与帧之间的时间相关性，特别地，对于静止的图像区域，帧 间的差别主要来自噪声，而帧间噪声可看成是完全独立的，帧间滤波方法相比于 帧内滤波方法具有更好的去噪效果。帧问滤波方法主要可以分为无运动补偿的帧 间滤波技术和基于运动补偿的帧间滤波技术。 无运动补偿的帧间滤波 该方法主要应用于静止视频图像序列或者运动缓慢的视频图像序列。视频 图像信息除快速切换的画面外，帧相关系数( k ) 可达0 8 ，即相邻帧的图像信 息有8 0 左右是相同的。而混杂在视频图像信号里的噪声却有随机的特性。因此 把图像信号经过多帧的平均处理，噪声的能量降低了，而图像信息部分影响较小， 这样就改善了信噪比。显然，对于静止图像或缓慢变化的图像区域而言，参加平 均处理的帧数越多，噪声抑制的效果越好。 时域平均滤波方法对不同时间获取的m 帧图像进行平均，将原图像的噪声 方差降低到1 m ，达到了降噪的目的。然而这种方法只对绝大多数区域静止的视 频有较好的效果，需要多帧的存储而且会出现较严重的视频延迟现象。 基于时域递归滤波方法 6 】使用了一个运动检测方案，检测出图像中的运动 部分和非运动部分，然后对这两部分的像素进行不同程序的加权平均，该方法对 运动视频图像的去噪也有较好的效果，但计算复杂度较大。 时空域滤波方法不仅利用了像素的时间相关性，同时结合传统的帧内滤波 方法以取得更好的滤波效果。典型的时空域滤波方法包括a t m 滤波器 7 】和k n n 滤波器【8 1 ，利用相邻像素( 包括时间和空间) 的统计信息估计当前像素的真实 值。但是，此类方法容易造成严重的边沿模糊。 基于运动补偿的帧问滤波 对于运动的视频序列，无运动补偿的帧间滤波方法会不可避免地导致运动图 像拖尾现象的产生。通过视频序列图像中前后两帧的位移关系，进行运动补偿， 使两帧图像的内容更加接近，其结果就能得到大的降噪效果又不会产生严重的运 动拖尾现象。 t u m e y 等人【9 】将视频序列建模成时间自退化过程，并且提出了一种具有低 复杂度的时间迭代k a l m a n 滤波器。该方法仍然没有很好地解决运动拖尾问题。 s e z a n 等人【1 0 】提出使用l m m s e 滤波器用于帧间滤波。该方法需要时间窗 - 8 浙江大学硕士学位论文 的五个像素和前后两个运动矢量，从而需要巨大的计算量和存贮空间。 3 dw i e n e r 滤波器【l l 1 2 】取得较好的去噪效果，但是造成了边沿模糊，影响 视频图像的主观效果。 文献【1 3 1 4 】把时空域滤波器扩展到小波域。然而，小波域去噪算法减少高 频分量过程中不可避免地导致图像细节的损失。另一方面，巨大的计算复杂度使 得小波域去噪算法并不适合于实时应用。 1 4 视频监控系统中需要解决的问题 1 4 1 噪声估计问题 对视频去噪之前，一个很重要的步骤是对噪声进行估计，现有流行的视频去 噪算法往往都依赖于对噪声的先验知识，这一先验知识将直接决定滤波效果，通 常这些噪声滤波器都用噪声的一些统计特性作为滤波器的工作参数，例如，双向 滤波器( b i l a t e r a lf i l t e r ) 1 5 使用噪声的方差作为高斯核的方差参数。因此，对于噪 声的估计的准确程度，很大程度上决定了滤波算法的性能。传统的图像处理领域 已有一些成熟的噪声估计算法，但是它们都是针对单幅图像进行噪声统计量的估 计，可利用的资源只有图像的空间相关性信息，而视频图像的优势在于它还具有 时间相关性，因此，视频图像的嗓声估计如果较好地利用时间相关性，将会取得 更佳的估计效果。 1 4 2 视频噪声抑制问题 视频监控系统中的视频去噪算法应用于实时环境，因此算法必须高效快速。 现有的帧内滤波方法和帧间滤波方法通常用作编码器前的预滤波，预滤波过程与 视频编码过程独立，级联在视频编码过程之前，增加了视频监控系统的负担。图 像经过上述预滤波降噪后，或多或少都会有细节损失，严重了还会使得图像模糊 度高，经过预处理的图像再进行编码后，再加上编码过程中量化等因素引入的误 差损失，使得重建图像质量偏离真实图像更远。研究去噪效果好、保持细节、实 时性好的去噪算法可以大幅提高视频监控系统的性能。 1 4 3 用户感兴趣区域问题 用户对感兴趣区域的正确复原能力和从用户接入到正确解码的延迟有很高 的要求，但可以接受非感兴趣区域解码延迟时间稍长。利用以上的特征，降低整 - 9 浙江大学硕士学位论文 体编码码率的方法或提高感兴趣区域的分辨率的方法值得研究。 1 5 本文工作和内容安排 第一章：绪论。介绍了监控视频的特点和传统的视频编码方法存在的问题， 研究传统的视频去噪方法，并分析和提出视频监控系统中需要解决的问题。 第二章：基于三维差分的视频噪声方差估计。研究噪声模型和现有的噪声估 计算法，并提出了一种准确稳定的视频噪声方差的估计算法。算法通过对视频像 素做三维差分操作去除视频真实信号的低频分量，并自适应选取三维差分值用于 计算噪声方差估计值。本章的最后将给出了实验结果。 第三章：结合时域滤波的视频编码方法。研究现有的视频去噪方法存在的不 足，提出一种结合时域滤波的视频编码方法。该算法可以直接对含噪视频编码， 仅增加了少量的计算复杂度。实验结果表明，对加噪视频编码时，本章提出的方 法使a v s 编码器的主观质量和客观质量都有所提高，并且编码码率有大幅下降。 第四章：嵌入强制帧内编码块的视频编码方法。研究现有的感兴趣区域编码 方法和降低码率的方法，提出一种每隔固定帧间隔的感兴趣区域强制帧内编码的 视频编码方法，使解码端能在接收强制帧内编码帧后正确解码感兴趣区域，保证 了感兴趣区域的随机接入有较小延迟。本算法可以加大视频码流中i 帧的间隔， 从而降低码率。 第五章：总结与展望。总结了本文所做的工作和研究成果，指出本文研究中 的不足和今后的研究方向。 1 0 浙江大学硕士学位论文 第2 章基于三维差分的视频噪声方差估计 在视频监控的应用场合，视频噪声使得视频压缩编码后的码流数据大幅度增 加，增大了网络传输的带宽和数据存贮的容量需求。同时，视频图像的噪声会严 重影响人们的主观感受，甚至会影响到人们对于视频内容的理解。图像滤波算法 【1 6 2 0 、图像分割算法 2 1 2 5 和边界检测算法 2 6 1 等视频图像处理算法都不同程 度地依赖对于噪声的方差参数的先验知识。 因此，准确稳健的噪声方差估计算法对于各种视频图像处理非常重要，本章 将介绍有关视频图像中噪声方差估计的知识，并研究如何将视频信号的三维相关 性引入噪声估计，从而提出一种用于监控视频的噪声方差估计算法。 2 1 视频图像中的噪声建模和噪声方差估计 噪声可以理解为妨碍人的视觉器官或传感器对所接受图像源信息进行理解 或分析的各种因素。一般噪声是不可预测的随机信号，它只能用概率统计的方法 去认识。噪声对视频图像处理的输入、采集、处理的各种环节以及输出结果的全 过程都有影响。去噪已经成为图像处理中极其重要的一个步骤，也是图像处理的 一个研究重点。 2 1 1 视频成像过程的噪声产生原理 常用摄像机的工作原理为：景物通过镜头生成的光学图像投影到图像传感器 表面，然后转为电信号，经过a d 模式转换后变为数字图像信号。图2 1 是c c d 摄像机的成像流程( c m o s 摄像机的成像流程与c c d 摄像机的成像流程类同) 。 场景闪烁 数字图像 图2 1c c d 摄像机成像流程 - 1 1 - 浙江大学硕士学位论文 由图2 1 可知，在图像成像过程各阶段有各种类型的噪声加入了视频图像信 号，降低了图像质量。 2 1 2 噪声模型的建立 对视频成像过程中加入的这些噪声，一般大致可以归为以下几种： 加性高斯自噪声( a w g n ) 。其噪声分布为高斯分布，均值为0 ，方差为 盯：。高斯噪声是一种常用的噪声模型，比较容易进行数学分析。设随机 变量z 满足高斯分布，则其概率密度函数( p d f ) 为： 荆= 丽1 e x p 一( z 一“) 2 2 0 2 】 ( 2 1 ) 其中：z 表示图像的灰度值，“表示期望值，盯2 表示z 的方差。 图2 1 中的热噪声可以建模为加性高斯白噪声。 冲激噪声( i m p u l s i v en o i s e ) 。其概率密度函数如下： 1 只，z = 口 尸( z ) = 乞，z = b ( 2 - 2 ) 1 0 ，o t h e r s 若和忍都不为零，则称为双极冲激噪声，或椒盐噪声：若或只有 一个为零，则称为单极冲激噪声。 亮度信号有关的噪声( i r r a d i a n c ed e p e n d e n tn o i s e ) 。这种噪声与亮度信 号一般成乘性关系，与空气的衰减，透镜的折射损耗有关。 泊松噪声( p o i s s o no rp h o t o nc o u n t i n gn o i s e ( p c n ) ) 。把光子的到达看 成是一个泊松过程，单位时间光子的个数多少决定了传感器的光信号转 换成电信号过程。噪声的产生由光子激励传感器的随机性所致，噪声的 分布为泊松分布。图2 1 中的暗电流噪声和散粒噪声可描述为泊松分布。 当光子数足够大的时候，实际泊松噪声的分布近似于高斯白噪声。 若z 是一个取值为0 、1 、2 、的离散随机变量，则泊松分布 的概率为： 即= 七) = 著e x p ( - , z ) ，七= o ，l ，2 ( 2 - 3 ) 12 - 浙江大学硕士学位论文 其他噪声。a d 转换的误差，独立于图像信号，具有高斯分布特性和可 加性，变化范围为卜丢g ，三1g 】，标准差为9 2 1 2 ，g 为量化步长。此项误差 通常很小，与其他误差相比可以忽略。图2 1 中的固定模式噪声可看作 是对每个像素点灰度的线性变换，在实际中比较容易去除。 在低光照环境中摄像机成像的噪声比较严重，加性高斯白噪声模型可以较好 地模拟低光照下的摄像机噪声。因此，在本文的讨论中使用加性高斯白噪声模型 以简化问题。 2 1 3 现有的噪声方差估计方法研究 现有的视频图像噪声估计算法主要可以分为三类：基于空间域的方法，基于 变换域的方法和基于帧差图像的方法。 基于空间域的方法可以划分为两大类：基于分块的方法和基于平滑的方法。 基于分块的方法利用图像的平坦区域估计噪声，具体是将图像划分为为许多重叠 或不重叠的m n 大小的块，计算所有块的方差并对方差排序，通常原图像最 平坦区域的块的方差值最小，且这些区域的方差主要是由噪声决定的，则分块的 最小的n 个方差值的平均值约等于噪声方差值。l e e 和h o p p e l 2 7 首先提出了基 于分块的噪声方差估计算法，他们的算法简单但是估计结果很大程度上依赖输入 图像的细节纹理成分，还与图像的噪声大小有关。在噪声小的情况下，l e e 和 h o p p e l 的算法容易过大估计噪声，在噪声大的情况下，l e e 和h o p p e l 的算法容 易过小估计噪声。由于基于分块的方差等于原始图像的信号方差和噪声方差的 和，若原始图像没有平坦区域，则原始图像的信号方差大，使得噪声方差的结果 也不准确。因此基于分块的方法用于估计并无平坦区域的图像效果不佳。近来， a i s h ya m e r 等人 2 8 】提出一种全新的基于块的噪声估计算法，它首先使用八个方 差的二阶差分算子计算每个块的平滑度，以此作为平滑块的选取准则，随后采用 自适应平均的方法对左右块的方差进行选取和平均。该方法在准确性上超越了其 他的基于分块的方法，并对小噪声方差情况和大噪声方差情况都有较准确的估计 结果。但是运用该算法的前提是图像中必须含有尽可能多的平滑块，当平滑块的 数量很少的时候，该算法很难获得好的效果。 基于平滑的方法用输入图像与其平滑结果的差值估计噪声方差。o l s e n 2 9 13 - 浙江大学硕士学位论文 在1 9 9 3 年首先提出此类算法，他的算法在噪声方差大的情况下估计值比较准确， 但是与基于分块的方法同样未能对有复杂细节的图像取得准确的估计结果。由于 对图像的每个像素点进行平滑处理，此类算法相比于基于分块的方法增加了计算 复杂度。随着噪声估计技术的发展，出现了一些结合基于分块的和基于平滑的噪 声估计方法。d o n g h y u ks h i n 等人【3 0 】的方法是对图像分块并计算方差，按照方 差的统计信息选取分块，然后对所选取的分块按照基于平滑的方法计算得到噪声 估计值。d o n g n y u ks h i n 等人的方法提高了噪声估计的准确度，但对于视频噪声 估计仍非最佳。r a n k 等人【3 1 】提出了另一种准确度更高的基于平滑的噪声估计方 法，首先对图像做横向和竖向的差分运算，随后对其分块，计算各分块的方差并 统计直方图，利用直方图的信息求得各分块方差的加权平均作为图像的噪声方差 值。该方法具有较高的计算复杂度，并需要修正5 个用户自定义的参数。 基于变换域的方法是指利用变换域的系数估计噪声方差的方法。d o n o h o 等 人【3 2 】提出利用小波变换的系数估计噪声方差的方法，如下式： 吒= _ m e d 丽i a n ( 只 ) ，s u b b a n d 嬲 ( 2 4 ) 其中，h h 表示小波分解的对角带，y i 表示对角带的系数。 在噪声大的情况下，该方法估计结果较准确；在噪声小的情况下，该方法容 易过大估计。由于计算复杂度较大，基于小波域的方法不适用于实时应用。 基于帧差图像的方法利用了视频序列前后帧的相关性，因此此类方法在估计 视频序列的噪声方差时比传统的方法更有优势。m o h a m m e dg h a z a l 等人 3 3 1 构造 了5 种三维立方用于计算每个像素点的差值，并选择其中一种差值计算噪声估计 值。该方法估计结果准确，但计算复杂度大并需要较大的存储空间，不易于实时 实现。 2 2 基于三维差分的视频噪声方差估计算法 2 2 1 算法的基本思想 视频监控系统中，固定安装的摄像机始终保持场景不变，带云台和镜头控制 的摄像机部分时间发生场景改变。因此，监控视频序列中常有大范围的静止背景 区域。静止背景区域的帧差图像只包含噪声，可直接用于估计噪声；而运动前景 区域的帧差图像不仅包含噪声，而且包含视频真实信号。若能去除运动前景区域 1 4 浙江大学硕士学位论文 的视频真实信号，则可以得到噪声方差准确的估计。运动前景区域的视频真实信 号主要集中在低频部分，而加性高斯白噪声的频谱分布是比较均匀的。因此，对 帧差图像进行高通滤波可去除视频真实信号的低频分量，高通滤波后的帧差图像 可用于估计噪声方差。本算法设计的高通滤波器为：对帧差图像的像素值依次做 与相邻像素的横向差分操作和竖向差分操作( 综合起来即三维差分) ，可以较好 滤除视频真实信号的低频分量。然而一些像素的三维差分值仍然包含着真实信号 的高频分量，若直接用三维差分值估计噪声将导致估计值偏大，因此，本算法自 适应选取了图像中大部分像素的三维差分值用于估计噪声，从而得到更加准确稳 健的噪声方差估计结果。 2 。2 2 算法流程图 图2 2 示意了本章提出的基于三维差分的视频噪声方差的算法流程 本算法首先计算当前图像和前一帧图像的帧差图像，并对帧差图像分块，利 用块均值的统计信息检测场景改变。若当前图像发生场景改变，则采用原先噪声 方差估计值作为当前的噪声方差估计值，否则对差分图像依次做横向差分和竖向 差分得到三维差分值，并自适应地选取三维差分值估计噪声方差。 - 1 5 - 浙江大学硕士学位论文 当前图像前一帧图像 噪声方差估计值 图2 2 基于三维差分的噪声方差估计算法流程图 2 2 3 计算帧差图像 假定观察到的视频图像为y ( i j ，n ) = x ( i j ，n ) + n ( i j ，n ) ，其中x ( i j ，n ) 为原始没有噪 声的视频信号，n ( i , j ，n ) 是加性高斯白噪声，i j 是像素的横坐标和纵坐标，n 是时 间坐标。 如果前后两帧完全保持静止不动，则有x ( i , j ，n ) = x