（信息与通信工程专业论文）基于dsp的网络摄像机视频算法研究.pdf

摘要 随着社会发展和技术进步，视频监控技术已经处于数字化发展时期，高分辨 网络摄像机的出现，引起了视频监控系统质的飞跃。关于高分辨率网络摄像机的 研究已经成为当今视频监控技术研究的热门之一，而其关键技术是如何实现采集 的视频数据高效率高质量的编码传输。论文从这一问题出发，重点讨论了网络摄 像机中h 2 6 4 编码器的设计、优化问题以及有关的视频前处理问题。 首先，论文先对网络摄像机采集的视频信号产生的噪声原因进行了分析，噪 声信号模型进行了研究，提出了快速噪声估计算法。噪声的大小信息使得在噪声 估计过程中能够对不同光照环境下自适应，有效的避免纹理和边缘地区的过度平 滑，并且影响编码器算法中的某些阈值的设定。 接着，论文重点分析h 2 6 4 编码器里的关键技术，权衡其复杂度与性能，优 化设计编码器，并对帧内预测编码模式决策问题进行了深入研究，通过4 x 4 块 纹理信息来得出其最佳预测模式，并通过4 x 4 块模式信息预测1 6 x1 6 块最佳预 测模式。实验结果表明，这些算法提高帧内预测编码速度3 0 7 0 ，图像质量 和码率变化微乎其微。 然后，基于t id m 6 4 2 平台，对编码器进行基于平台的优化。一是通过线性 汇编改写关键函数，充分利用d m 6 4 2c p u 多处理单元并行处理及指令等特点， 使得算法复杂度降低5 0 7 0 ，从而使得编码器的效率提高；二是针对d m 6 4 2 二级缓存结构通过e d m a 控制器并行传输数据，使c p u 不中断连续处理数据， 也使编码器性能有了很大提高。三是优化设计b a y e r 数据内存搬运策略，也即编 码器输入原始图像数据部分进行方案优化，避免数据反复在片外s d r a m 和片上 鼢m 之间的搬运。经过基于d m 6 4 2 平台的优化，网络摄像机的效率提高了2 倍 以上。 最后阐述了将编码器整合到基于r f 5 参考框架的网络摄像机系统中的思路 和方法。通过对r f 5 关键模块的使用设计，算法的封装，使h 2 6 4 编码器能够 顺利整合到系统中并顺畅运行。 关键字：网络摄像机，h 2 6 4 ，d m 6 4 2 ，帧内预测，噪声估计 a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n to ft h es o c i e t ya n dt e c h n o l o g y , v i d e os u r v e i l l a n c e h a se o m ct ot h ea i g i t a u z e dd e v e l o p i n gr , e 丽o a t h el l p p c a r d n c co ft h eh i g h - r e s o l u t i o n n e t w o r kc a m c r ar e s u l t si nt h eg r e a ta c h i e v e m e n ti nv i d e os u r v e i l l a n c ea e 扎t h ec o l e t e e l m o l o g yi sh o w t or e a l i z et h eh i 醢e t t i e i e n tv i d e os i g n a lp r o c e s si nt h es y s t e m , s u e l a a sv i d e os i 倒a lc o m p r e s s ，d e n o i s i n g , rc o r r e c t i o na n ds oo i la sar e s u l t , t h ep a p e r m a i n l ys t u d i e st h ed e s i g na n dt h eo p t i m i z a t i o no ft h eh 2 6 4e n e o d e ra n ds o m e p r e p r o e e s sa l g o r i t h m so f v i d e os i g n a l a tf i r s t , t h ep a p e ra n a l y z e st h en o i s ei nv i d e os i g n a la n ds t u d i e st h em o d e l so f n o i s e af a s tn o i s ee s t i m a t i o na l g o r i t h mi sp r o p o s e d ，w h i c hm a k e st h ec l e n o i s i n g p r o c e s sa d a p t i v ea n da f f e c t st h et h r e s h o l do f s o m ea l g o r i t h mi ne n c o d i n gp r o c e s s s e c o n d l y , t h e 鞘a n a l y z e st h ec o t et o o l s 遮嚣。2 6 4e n 瞅l c l b ye v a l u a t i n gt h e e o m p l e x i t ya n dt h ep e r f o r m a n c et o g e t h e r , t h ee n c o d e ri so p t i m i z e d 协s a t i s f yt h e a p p l i c a t i o ni nn e t w o r kc l l l l l e l t a n 地e d g ea n dt e x t u r ei n f o r m a t i o ni su s e dt oe v a l u a t e t h eb e s tp r e d i c t i o nm o d ef o r4 * 4b l o c k si ni n t r ap r e d i e t i o r te n c o d i n gp r o c , c s s w i t ht h e d e c i d e d4 4b l o c km o d ei n f o r m a t i o n , t h em o s tp r o b a b l e1 6 1 6b l o c kl l l o d ei s 删砌c o m p a r e d t ot h ef u l ls e a r c ha l g o r i t h m , t h ep r o p o s e da l g o r i t h mr e d u c e3 0 t o7 0 c o m p u t a t i o n s t h i r d l y , a l g o r i t l m a sf i l eo p t h , i z 耐0 1 1 d m 6 4 2p l a t f o r m b yf u l l ym a k i n gu s eo f t h ed m 6 4 2c p us t r u c t u r ea n di n s t r u c t i o n , l i n e a ra s s e m b l yp r o g r a ml a n g u a g ei su s e d t oi m p r o v et h ek e yf u n c t i o n sw h i c he x e c u t e 自羽咧ya n dc o n s t i t u t et h em a i n c o m p l e x i t y t 1 l i sm e t h o dr e d u c e st h ee x e c u t i n gt i m eo fe v e r yk e yf u n c t i o nb y5 0 t o 7 缸t h e nt h ee n e o d e re f f i c i e n c yi si m p r o v e d c a c h eo p t i m i z a t i o na l s ob r i n gg r e a t i m p r o v e m e n ti ne f f i c i e n c yw h i c hi sb a s e d0 1 1t h e2l e v e le a e t t es t r u e t m ei nd m 6 4 2 。 c p us t a l li sa v o i d e dw h e ne d m ac o n t r o l l e ri su s e d 协m o v ed a t af o rc p up r o c e s s f r o me x t e r n a ls d r a mt o0 1 3c h i ps l a mi np a r a l l e lw i t hc p u p r o c e s s i n g b ya v o i d i n g e x t r ad a t at r a n s f e rb c t w c e n $ d r a ma t , as r a m ，d a t at r a n s f e rs t r a t e g yi so p t i m i z e d , f o re x a m p l e , t h eo p l j l n i z 酣p r o c e s ss t r a t e g yo f b a y e r c o l o rp a t t e r nd a t aw o r k2t i m e s f a s t e rt h a nb e f o r e 铀ea l g o r i t h m sr , e r f o r m a n e ei si m p r o v e dg r e a t l yi nt h i ss t e p a tl a s t ，t h ee n e o d c ri si n t e g r a t e di n t ot h en e t w o r kc l t l n e l as y s t e mw h i c hi sb a s e d 鳓l 强5 。i m p o r t a n tm o d u l e sa r ed e s i g n e da n da l g o r i t h m sa r ce n c a p s u l a t e d , t h e nt h e 珏。2 6 4e n c o d c l t - w o r k sw e l li nt h es y s t e m 。 k e yw o r d s ：n e t w o r kc a m e r a , h 2 6 4 d m 6 4 2 , i n t r ap r e d i c t i o n , n o i s ee s t i m a t i o n 浙江大学硕士学位论文 第一章前言 视频监控广泛应用于安防、交通、公安、银行、水利等各个领域，几乎覆盖 了各行各业，视频监控的技术和手段也在不断地发展和提高【l 】。尤其是视频编 解码标准h 2 6 4 的出台【2 】，标志着视频编码技术的日渐成熟，在编码性能上有 了很大的提高。另外一方面，处理器芯片的飞速发展，使得视频监控硬件平台的 视频信号处理能力得到大大提升【3 】。基于嵌入式的高分辨率m 网络摄像机的出 现了，引起了视频监控技术的质的飞跃，将逐渐成为第三代视频监控技术发展的 主流和趋势。 1 1 网络摄像机 口网络摄像机最早出现于1 9 9 5 年，但由于较窄的带宽损耗了图像的质量而 致使市场接受程度很低。直到1 9 9 8 年，随着宽带技术和其他相关科技的发展， i n t e m e t 技术迅速普及和相关硬件成本降低，网络摄像机才得以兴起。2 0 0 0 年m 网络摄像机出现在监控领域时，并未被市场接受，主要是因用网络传输的图像品 质不高且造价昂贵【4 】。随着视频编解码技术的飞速发展，以及功能强大的处理 器芯片的产生，使得口网络摄像机取代传统模拟c c t v 监控产品成为一种趋势。 高分辨率的网络摄像机更是带来了一个质的飞跃。 1 1 1 高分辨率网络摄像机的特点 一般的网络摄像机有着与普通摄像机相同的性能，如具有自动白平衡、电子 快门、自动光圈、自动增益控制、自动背光补偿等功能。网络摄像机又有着自己 的特点。首先，网络的综合布线代替了传统的视频模拟布线，即插即用，工程实 施简便，系统扩充方便；其次，跨区域远程监控成为可能，特别是利用互联网， 图像监控已经没有距离限制，而且图像清晰可靠；再者，图像的存储、检索十分 安全、方便，可异地存储，多机备份存储以及快速非线性查找等。高分辨率的网 络摄像机采用c m o s 传感器采集得到高分辨率的视频图像，使得监控系统的图 像质量上了一个层次。 从硬件结构组成上说，无论哪种机型，网络摄像机基本都有数字视频采集模 块，处理视频信号的高性能芯片，以及具有网络接口芯片等组成。而作为高分辨 浙江大学硕士学位论文 率的网络摄像机对传感器芯片以及信号处理芯片要求更高。1 r i 公司的d m 6 4 2 ， 达芬奇芯片就是针对视频信号处理的多媒体专用芯片。在软件系统上，一方面高 分辨率的网络摄像机需要对高分辨率视频数据进行实时编码，这是对视频编码器 的性能是一个挑战；另一方面，网络摄像机要实现复杂的人机交互功能，满足客 户的各种需求。 1 1 2 网络摄像机软件系统框架 网络摄像机作为音视频数据流及各种服务的提供者，是监控系统中的服务器 端设备，可接受多个客户端或浏览器的访问。网络摄像机系统框架主要包括以下 几个部分 6 】： 1 音视频采集模块。负责多分辨率的视频图像的采集，音频信号的采集。 2 音视频信号处理模块。这里又可分为4 个子模块：视频前处理；视频压缩 编码；音频编码；音频解码。这里考虑到某些场合的应用，所以实现了音频的双 向通信和视频的单向通信。 3 网络模块。负责网络通信，通过网络发送已编码的音视频数据给客户端， 接收来自客户端的控制命令或音频数据等。 4 控制模块。根据网络模块接收的控制命令对其他模块进行参数配置。 图1 i网络摄像机系统 2 浙江大学硕士学位论文 1 2 高分辨率网络摄像机中的技术难题 高分辨率网络摄像机采集得到的高分辨率视频图像的数据量巨大，如1 0 2 4 x 7 6 8 的分辨率情况下，未经压缩时1 帧图像( w 1 2 格式) 有1 0 2 4 x 7 6 8 x1 5 x 8 - - - 9 4 3 7 1 8 4 b i t 的数据，实时( 2 5 帧秒) 视频将近有2 3 5 9 m b i t 数据。因此，必 须对视频图像数据进行压缩才能利用网络有限带宽进行传输。h 2 6 4 标准较以往 的视频编解码标准有很大改进，在高压缩率上，比h 2 6 3 节省约5 0 的比特率， 而且在高压缩率时有优秀的图像质量【5 】。h 2 6 4 编码性能的提高是由多种新技术 所产生的细微效果累积而成。这些新技术带来优越性能的同时，也同时带来了计 算复杂度大大增加的缺点。据估计，h 2 6 4 编码器的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当h 2 6 3 的两倍。因此，我们必须在保证编码性能的 基础上，对这些编码技术一一地进行算法上的优化，才能获得整体上编码速度的 提高。当我们用高性能的多媒体d s p 芯片来压缩编码时，如何使编码器算法有 效地利用d s p 平台的硬件资源，也是我们重点研究解决的问题。 其次，网络摄像机采集的视频数据并不是直接进行编码压缩，必须进行一系 列的前处理。这是因为，我们的网络摄像机采用了c m o s 图像传感器采集的数 字视频信号，必须经过白平衡，y 校正，b a y e r 到y u v 格式彩色空间的转换这一 系列处理。在低光照的情况下，噪声的影响就会开始严重地干扰着图像的质量， 并且导致对静止的序列的处理过程中，帧间预测编码时码流变大，一些优化算法 失效，所以，必须对信号进行噪声抑制处理，然后再进行编码压缩。然而，对噪 声进行抑制处理时，噪声的大小很大程度上影响了去噪处理的效果，如光照程度 的不同，噪声的强度也不同，图像受噪声影响的程度也不同。为了能够自适应地 去除噪声，必须对噪声进行估计。这些视频前处理算法性能的好坏，将直接影响 到采集的视频图像质量的好坏，噪声信号的处理还将影响后续编码性能，编码效 率。 另外，网络摄像机系统复杂，结构层次繁多，各模块间的通信以及有条不紊 地协同工作也是一大难题。如何架构网络摄像机，如何对各个算法模块封装，整 合到网络摄像机中，使之实际有效地发挥作用，也是一个重大问题。 3 浙江大学硕士学位论文 1 3 本文的工作 本文主要工作是以t 2 6 4o 1 4 版本编码软件为参考，研究设计了h 2 6 4 编码 器，重点对帧内预测编码方法并进行了快速模式决策算法研究，同时将该算法在 1 1 公司高性能数字媒体处理器d m 6 4 2 的硬件平台上进行优化，完成在一定码率 和图像质量下的实时编码，最后，将编码器算法与网络摄像机系统整合。主要内 容如下： l研究了噪声模型以及噪声估计方法。通过利用空间视频信号的相关性与加性 高斯噪声的独立性，抑制信号的干扰，提取出噪声成分，加以快速统计估计， 估计出噪声的水平。为以后进一步的噪声抑制打下基础。 2设计了一个h 2 6 4 编码器，并研究优化编码器中各模块的效率，性能。针对 帧内宏块预测编码方法进行进一步优化，透过纹理信息找出对应模式，大大 减少4 4 块运动模式的决策时间，同时对上层1 6 1 6 块最佳运动模式进行 预测，进一步削减了编码器的复杂度，取得很好的效果。 3 基于d s p 优化算法。一是优化设计了b a y e r 彩色模式转换处理的方案，二是 从关键函数和c a c h e 两方面优化h 2 6 4 编码器的效率。 4将编码器算法进行算法封装，并整合到网络摄像机系统中，使h 2 6 4 编码器 算法能与网络摄像机其他部分协调工作。 4 浙江大学硕士学位论文 第二章噪声处理 网络摄像机采用了c m o s 图像传感器芯片作为视频采集器件，由于在低光 照环境下，采集的视频信号由于受到噪声的干扰，影响了图像质量以及后续编码 处理的性能和速度，如对图像中静止的块帧间预测编码时，s k i p 模式失效等等。 我们做了有关视频前处理的研究以求解决这个问题。然而，噪声的大小与光照条 件关系密切，为了能够有效的去除噪声，同时在避免降低网络摄像机的性能同时， 在这之前，我们必须准确快速地估计出噪声的大小程度。利用这些信息，我们使 用d u n c a n 滤波算法，n l 滤波算法时，才能有效地自适应滤除噪声，并避免原 有图像的边缘，纹理等细节部位在去噪过程中变模糊，反而降低图像主观质量。 因此，本章将先介绍噪声的成因，模型，然后是针对我们网络摄像机中的主要噪 声：零均值高斯白噪声( a w o n ) 进行估计，提出了通过4 x 4 差分算子滤波器抑 制原有图像信息的快速噪声估计算法。 2 1 噪声的建模 网络摄像机采集的视频信号受到噪声的干扰，使得图像质量下降，并且对编 码器性能造成很大的影响。如在低光照情况下，图像质量下降，码流增大，编码 效率也降低，因此，我们必须对这些噪声信号进行抑制。而首先，我们必须分析 噪声产生的原理及噪声的模型。 2 1 1 噪声的产生原理 网络摄像机系统采用了c m o s 图像传感器芯片m t 9 t 0 0 1 作为视频采集器 件，视频采集模块的工作原理为：景物通过镜头生成的光学图像投影到图像传感 器表面，然后转为电信号，经过a d 模式转换后变为数字图像信号，再送到数 字信号处理芯片d s p 中加工处理。如图2 - 1 所示： 5 浙江大学硕士学位论文 一教字信号一凰 j i j ! 丑一_ j ! i j i i 乎 图2 - 1c m o s 摄像机成像流程 在图像成像过程各阶段有许多噪声加进来了，降低了图像质量。 2 1 2 噪声模型的建立 对这些噪声，一般大致可以归为以下几种： 加性高斯白噪声( a w g n ) ，其噪声分布为高斯分布，均值为0 ，方差为 a ，其中方差a 代表了噪声的程度水平【刀。 冲激噪声( i m p l l l s i v en o i ) ，表现为图像中某单个像素点值激增【8 】。 亮度信号有关的噪声( i r r a d i a n c ed e p e n d e n tn o i ) ，这种噪声与亮度信 号一般成乘性关系，与空气的衰减，透镜的折射损耗有关【8 】。 泊松噪声( p o i s o no rp h o t o nc o u n t i n gn o i ( p c n ) ) 。把光子的到达看 成是一个泊松过程，单位时间光子的个数多少决定了传感器的光信号转 换成电信号过程。噪声的产生由光子激励c m o s 传感器的随机性所致， 噪声的分布为泊松分布。当光子数足够大的时候，实际泊松噪声的分布 近似于高斯白噪声【8 】。 f p n ( f i x e dp a t t e r nn o i ) 固有模式噪声。在低光照情况下，由于高增 益，使得a d c 在列方向上产生错误【lo 】，如图2 2 所示： 图2 - 2f p n 噪声 虚假彩色噪声( f a l c o l o rn o i ( f c n ) ) 。这种噪声在使用c m o s 传 感器时表现很突出，这是因为在低光照情况下，由于高增益使得a d c 在列方向产生截止，然后彩色空间转换时像素插值就会引起f c n 噪声 【9 】，如图2 3 所示。 6 浙江大学硕士学位论文 图2 - 3 a 无f c n 噪声时 图2 - 3 bf c n 噪声 我们采用了m i c r o n 的m t 9 d 0 0 1 和m t 9 t 0 0 1 作为网络摄像机系统中的 c m o s 传感器芯片，该芯片在低光照环境下，有较好的性能，很好地抑制了f c n 和f p n 噪声。因此，在我们去噪研究中，主要针对加性高斯白噪声进行处理。 2 2 噪声估计 如前面几节所述，噪声在视频采集各个阶段被引入到视频序列中来。而这些 噪声，将会很严重地影响到后续的视频信号处理算法的效率，以及图像质量，因 此必须对这些噪声进行估计，抑制。其中，通过噪声的估计得到噪声统计信息， 这些信息对视频处理算法非常有用，如滤波，边缘检测，帧间帧内预测等根据噪 声的强度来改进。本小节将讨论噪声估计这个问题。 2 2 1 噪声估计方法综述 如本章第一节所述，我们网络摄像机采集到的视频序列中的噪声成分主要是 加性高斯白噪声( a w g n ) 。因此，这里，我们主要是针对a w g n 噪声进行估计。 a w g n 噪声水平主要由其方差a 决定。通过对参数方差a 的估计，来评价噪声的 水平。通常，噪声估计算法在空域里面可以分成两大类：一是基于平滑的；二是 7 浙江大学硕士学位论文 基于块的。 首先，我们从效果上来考察这两大类方法。在基于滤波平滑的方法中，一个 被噪声污染的图片由一个低通滤波器先进行滤波，通过考察含噪图像和滤波后的 图像的差，标准偏差，可以被统计得到。在滤波过程中，很多序列的纹理部分也 将被平滑，因此，这将使得噪声水平被高估了。图像中存在一些均匀平坦的块， 这些块包含很少的轮廓及纹理，因此基于块的方法通常要从图像中搜索出这些 块，然后通过统计的方法估计出噪声水平。然而，这些方法将会因输入图像及噪 声水平使得估计效果变化很大，而且在找那些所谓的“平坦”的块的时候，用来 区分“平坦”和“纹理”划定的界限很难确定。在 1 1 1 中，a i s h y 等人提出一种2 阶的拆分高通算子模板，他们利用这个算子去选出图像中“平坦”的块。但是在 处理边缘位于块中央的情况时效果不好，容易出现误判。在【7 】中，d hs h i n 等 人提出自适应的高斯滤波器，这个滤波器通过自动计算高斯滤波器的a 参数来获 取较好的平滑效果，然后通过对滤波前后图像的差的统计评价得出噪声水平。这 种方法在低噪情况下效果明显，准确，但在噪声水平比较高的情况时，高斯滤波 器近似于均值滤波器，噪声水平的估计误差变大。k r a n k 提出了一种水平与垂 直方向的2 次差分算子，通过该算子来抑制原图像信息，通过统计评价通过该算 子滤波器滤波的图像方差，得到一个较为准确的估计【1 2 】。这个方法在估计带有 较多水平或垂直纹理的图像效果较好，但在处理斜向的边缘或纹理的区域时效果 较差。 然后，我们从算法复杂度上来考察这两大类方法。基于滤波平滑的方法，由 于对整幅图像要进行滤波，复杂度与图像尺寸大小关系很大，复杂度较高，不利 于实时的应用。基于块的算法基本与图像尺寸无关，只需找出一定数量的“平坦” 块，通过考察这些块，就能估计出噪声水平。但因不同图像，设定“平坦”与“纹 理”的界限不同，找出“平坦”块的速度快慢相差很大 1 1 1 。 2 2 2 快速噪声估计方法 鉴于前面小节对于经典算法弊端与优点的综合考虑，我们提出了一种快速噪 声估计算法。这种算法利用了被噪声污染的原图像中邻近像素点的空间上的相关 性和加性噪声的独立性。通过使用一个4 x 4 的算术模板，正如图所示，不仅大 8 浙江大学硕士学位论文 大抑制了原有图像信息的干扰，滤波所得到的结果基本上就是噪声信号。这个滤 波器使得噪声的估计更加准确，而不随输入图像的不同而变化，对具有较多边缘 纹理的图像同样有很好的健壮性，同时避免了做全局图像分析，降低了算法的复 杂度，满足了网络摄像机系统对视频前处理算法的效率要求。 14 x 4 差分算子 这里，我们首先定义一个灰度图的像素值u 为一个2 维随机变量：1 1 ( 巧) 且 属于域d e ：z l x z , ，i 表示像素的列标，j 表示像素的行标。通过这种方法，我们 定义一个无噪声的图像像素值x ( i ，j ) 被加性零均值的高斯白噪声w ( i ，j ) 污染得 到有噪图像y ( i ，j ) 。如公式一所示： m ，) = 缸d + m 力v ( 力e d( 2 1 ) 大部分的噪声估计算法都要碰到排除原有图像信息干扰这个问题。无噪声污 染的图像中像素点的灰度值在空域上存在很大的相关性。在h 2 6 4 标准中，帧内 预测编码也是基于此原理。如在预测4 x 4 子块时，是用该4 x 4 块上面8 个像素 点，和左边4 个像素点来预测当前4 x 4 子块的像素值。这里，我们同样也是利 用了原有图像的空间上的相关性，用一个4 x 4 的差分算子来对含有噪声干扰的 图像进行滤波，抑制甚至去除了原有图像信号，而分离出噪声信号部分。这个4 x 4 的差分算子如图2 _ 4 所示： + + + + 田 ab 图2 4 差分算子 a ：4 x 4 差分算子；b ：2 x 2 差分算子( k r a n k 提出的) z ( 加圭s i g n ( i + m , j + n ) x y ( i + m , j + n ) ( 2 2 ) ( - 月k 岛 d o = 伽，n ) l - 2 m l - 2 月l ，其中( m ，n ) 邓，o ) 时表示图2 - 4 a 中i 点的位置坐 标。联合公式( 2 1 ) 和( 2 2 ) ，我们可以得到： z ( j d = i 1 s i g n ( i + m , j + n ) x x ( i + m ，+ 田+ ( _ ，胁 9 浙江大学硕士学位论文 s i g n ( i + m ，j + n ) x w ( i + m , j + n ) ( 2 3 ) 1 - 月m 其中d o = 伽，n ) l - 2 h 。我们把“平坦” 区和“准平坦”区合称为n d p ( 噪声主导区，n o i s ed o m i n a n tp o s i t i o n ) ，然后称 由这些区域计算出来的z ( i ，j ) 为n d v ( 噪声主导值，n o i s ed o m i n a n tv a l u e ) 。 w ( i ，j ) 是1 6 个独立噪声变量的线性运算结果，而众所周知，任意两个独立的高 斯分布信号的和或者差的方差的平方等于两个信号各自方差的平方的和。因此， 噪声变量w ( i ，j ) 的方差并没有因为公式( 5 ) 的线性运算而改变。也就是说w ( i ， j ) 的方差和w ( i ，j ) y l 方差是等价的。因此，对于n d p 而言，其n d v 即z ( i j ) 的 方差近似于噪声的方差。我们仅仅需要找足够的n d p ，来计算得到n d v ，再统 计得出噪声水平。 与k r a n k 提出2 2 差分算子相比，4 x 4 算予在抑制噪声方面明显优于2 x 2 算子，由图所示。我们对整幅图像进行了差分算子运算。4 x 4 算子考虑了斜 向的边缘与纹理，而2 x 2 算子只考虑了水平和垂直方向的边缘与纹理信号的滤 除。因此，在水平和垂直方向的纹理区域，经过滤除，两个算子效果差不多，但 斜向边缘与纹理，4 x 4 算子更好地滤除了这些信号。 1 0 浙江大学硕士学位论文 图2 - 5 a 含噪l e n a 图像 图2 - 5 b 经过2 x 2 算子后的图像 浙江大学硕士学位论文 图2 - 5 c 经过4 x 4 算子后的图像 当然，我们明显也可以看到，在取得更好的效果的同时，就计算单个n d v ， 4 x 4 算子需要1 5 次加减法，而2 x 2 算子只需要3 次加减法，4 x 4 算子的复杂度 是2 x 2 算子的5 倍。但我们在整体算法上所做的策略，利用4 x 4 算子能够较好地 抑制原有图像信息这一特点，快速地估计出噪声水平。 2 算法流程 分三步来估计噪声水平。 第一步：提取n d p 任意选一个4 x 4 块。首先，我们考察这个4 x 4 块的1 6 个像素值中的最大值 与最小值的差是否小于某个阈值h ，如果小于h ，则判这个4 x 4 块为“平坦”块， 如果不小于h ，则对该块的像素值进行聚类。图像中的边缘及纹理一般与周围点 的像素值差异很大，即使有噪声信号的干扰，依然差异明显。同时我们注意到对 于零均值高斯分布的噪声而言，其值落在 - 3 盯，3 0 】之间的概率达9 9 7 以上， 因此即使加上噪声的干扰，含有噪声干扰的像素点的值在边缘或纹理区分布仍然 基本上相差较大。因此，我们可以对4 x 4 块中的像素点进行聚类，如图2 - 6 所示 的两种边缘情况。然后可以分析每一类对应于4 x 4 差分算子模板正号与负号是否 相等，如果都相等，则表示经过4 x 4 差分算子滤波，可将大多数的图像信息滤除， 因此，该块可判为“准平坦，块。这样，在即使有纹理有边缘的区域中，我们仍可 找出满足条件的n d p ，这将大大加快样本的提取过程。 濒汪大学硬毒学位论文 aaab aabb abbb bbbb 图2 - 6 , a 斜向的边缘之圈2 - 7 a 斜向的边缘之二 第= 步：计算n d v 簿每个n d p 遴行4 x 4 茇分算子运冀，搿翻n d v 镶。 第三步：评估n d v 当我们取得定数量的n d v 值后，我们采用统计的方法去评估n d v 。 萨戆无犏髂谵季霉由公式计算得凄，箕串s 代表懿敬的n d p 。n 表示n d p 的数目，z 表示n d v 值。 扩2 霹墨薹( z 一 ( 2 6 ) 其中局部詹可由公式计算得出。 丑。专蒸z ( 2 7 ) 透为结果霹缝出现截断及饱和，以及无法完全戮除原有图像傣惑的干扰， n d v 并不严格满足零均值高斯分布，所以，我们这里卷虑了丘的计算。 3 实验结聚 我们通过对光噪的标准鬣像自己添加零均值的高新自噪声，然精用算法来估 计，评价算法的性能。 表2 i l 对坶奄块熬平均噤声德诗攘羞o i 仃 51 01 52 0 2 53 0 卜 o 2 3 o 1 8o 2 2o 2 3o 2 60 6 4 袭2 1 孛袭蕊蛙垮鸯瓣黼像( 每个像素疆秀1 2 8 ) 纛上离掰噪声嚣，鬻我霞辨 提出的方法，对5 0 0 个n d v 值进行估计计算得出的毋。然后与用最大似然估计 出张的玎做比较，得出偏差终暴掌号盯一蛾l 。是对某剃图像从不l 秘隧置开始搜 索n d p 得出的偏差结采p 的平均。这里志所以要对翔噤的图像先熏新做口静统 1 3 浙江大学硕士学位论文 计，是因为此时由于图像像素点数日个数有限，实际通过对均匀图像加高斯噪声 的方法，得到的纯噪声信息图像的均值和方差与添加噪声的均值和方差有稍许偏 差。这时求得的瓦代表这我们所提出的方法对某图像的效果的一种误差下限的近 似。对有纹理的图像经过4 x 4 差分算子滤波后仍然或多或少含有原始图像的信 息，将使得估计出来的彦偏大。 用于测试的标准图像有l e n a ，m a n d r i l l ，i 嘲3 p e l ，g o l d h i l l 等等。 表2 - 2 搜索n d p 点数 nm l o o 2 0 0 5 0 0 m 1 4 4 2 6 56 4 8 m l 1 8 7 3 2 07 8 2 m m 1 1 82 2 55 4 6 表2 - 2 中表示对搜索n 个n d p 点需要实际考察m 个4 x 4 块。我们考察了l e n a ， m a n d r i l l ，p e p p e r 等标准图像，显然，含有大量纹理细节的m a n d r i l l 比p e p p e r 图 像需要搜索的块要多得多。 表2 - 3 几种噪声估计方法误差的比较 瓦( 盯= 5 )瓦( 盯= 1 5 ) 瓦( c r = 2 5 ) l e e1 7 43 8 75 6 9 k r a n ko 8 91 2 01 5 3 d h s h i no 7 71 1 22 5 4 a i s h y o 7 71 3 91 7 6 p r o p o s e d o 7 21 0 71 2 6 由2 3 表中可见，我们的方法在估计噪声方差时，误差更小，而且对于大噪 声程度同样有较好的效果。 1 4 浙江大学硕士学位论文 表2 4 处理时间的比较 估计方法 时间比( o r = l s ) l e e 2 1 8 k r a n k4 0 d h s h i n2 2 5 a i s h y 4 9 p r o p o s e d ( n - - - 2 5 l 表中是以我们提出的噪声估计算法所费时间为基准。 2 3 本章小结 本章先对噪声的产生机制进行了分析，总结出几种噪声模型，并针对我们网 络摄像机中摄像机的采集的实际图像中主要的噪声进行了噪声估计。在噪声估计 小节中，首先对经典的噪声估计方法做了一个总结，分析其优点与缺点。然后， 提出了一个基于4 x 4 块滤波器的快速噪声估计算法。首先，我们先从4 x 4 块中找 出满足我们要求的“平坦”块，然后对这些块用4 x 4 算子进行滤波计算得到噪声占 主导地位的数值，最后通过对这些数值进行统计分析，我们可以估计出噪声水平。 这种噪声估计算法速度快而且准确，对不同的图像输出，效率稳定。噪声程度对 我们后续噪声处理工作有着重要的意义，为我们做噪声处理，以及编码器中某些 阈值的设置，奠下了基础。 1 5 浙江大学硕士学位论文 第三章h 2 6 4 编码器设计及算法优化 作为新的视频编解码标准h 2 6 4 与以前的标准有很大的改进，所以我们设计 了基于h 2 6 4 标准的编码器，该部分是网络摄像机系统的核心，很大程度上决定 了整个系统的性能。本章将先简要介绍h 2 6 4 标准建议，然后基于网络摄像机实 际应用，介绍我们所设计的编码器的编码方案，最后是针对帧内宏块预测编码模 式决策进行优化。 3 1 针对视频监控的h 2 6 4 编码器的设计 h 2 6 4 编码标准与以前的编码标准如m p e g 1 2 4 ，h 2 6 1 m 2 6 3 等相比有很 大的改进。它不仅包含有一个规定视频编码算法的视频编码层( v c l ，v i d e o c 0 d i n gl a y e r ) ，还包含一个规定网络传输规范的网络提取层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 【2 】。与先前标准相比，有这个更广泛的应用前景。例如，它 允许在i n t e r n e t 中以i m b i t s 的速率传输电视质量的视频信号，它可以使8 m h z 的模拟带宽中容纳两倍于m p e g - 2 编码的数字电视频道，它使无线视频通信成 为可能，对传统的数字媒体存储技术也将产生巨大的影响。本小节将从我们网络 摄像机系统实际应用需求角度出发，先初步对h 2 6 4 编码标准的几个重要建议分 析决策，然后是进一步考虑设计出编码器的基本框架。 3 1 1 考察h 2 6 4 标准 1 h 2 6 4 的分层处理 h 2 6 4 标准没有明确定义编码器算法，而是定义了编码视频码流的结构和 这个视频码流的解码方法。h 2 6 4 算法在概念上可以分为两层：视频编码层( v c l ) 负责高效率的视频内容表示；网络提取层( n a l ) 负责按照网络所要求的适当方 式对数据进行打包和传送。如图3 1 所示： 1 6 浙江大学硕士学位论文 控 曩 据 条，分区 鼹络摄酝爝弱哟“ h 3 2 0 it t 3 2 i l 鲢3 辨船蛳 图3 - 1h 2 6 4 的编码结构框图 其中视频编码层是我们重点研究的对象，决定了网络摄像机的整体性能与效 率，也是我们设计、优化的关键部分。h 2 6 4 标准为了增加标准应用的灵活性， 没有考虑视频的前处理和后处理功能，所以我们在前面第二章有视频前处理的研 究。 2 1 t 2 6 4 的档次和级别 h 2 6 4 标准规定了三个档次，它们是基本档次( b a s e l i n ep r o f i l e ) 、主档次 ( m a i np r o f i l e ) 和扩展档次( e x t e n dp r o f i l e ) ，分别对应于不同场合的应用。 ( 1 ) 基本档次 包含除以下两部分之外所有h 2 6 4 标准所规定的内容。这两部分是： b 帧，加权预测，自适应算术编码，场编码及其视频图像宏块自适应切 换场和帧编码。 s p s i 片( s l i c e ) 和片的数据分割( d a t ap a r t i t i o n i n g ) 。 ( 2 ) 主档次 首先主档次包含了基本档次中不包含的上述第一个部分，同时主档次不包含 基本档次中所包含的灵活宏块顺序( f m 0 ) ，任意片顺序( a s o ) 和可冗余的图 片数据这些内容。 ( 3 ) 扩展档次 扩展档次包含了除自适应算术编码之外的所有h 2 6 4 标准所规定的内容。 因为我们网络摄像机系统主要用于监控领域，采集视频实时传输，播放，因 此，基本档次能满足我们的要求。 1 7 浙江大学硕士学位论文 3 多种预测模式 跟以前的视频编码标准相比，h 2 6 4 标准所建议的预测模式有很大改进，充 分利用时空相关性去除空间和时间上的冗余数据。帧内4 x 4 亮度块共有9 种可选 预测模式，帧内1 6 x 1 6 亮度块共有4 种预测模式，帧内8 x 8 色度块有4 种预测 模式。帧间预测时，一个1 6 x 1 6 的块可以具有7 种不同形状和尺寸的块运动预测， 运动矢量精度可以达到1 4 像素，从而使得块的匹配更加精确，运动补偿后要进 行变换编码的残差数据更少。另外，h 2 6 4 标准建议里有多参考帧技术。由以上 可以看出，多种预测模式在提高编码效率的同时，也给编码器带来了复杂度的提 高，我们将在后面章节继续深入研究这部分，设计优化编码器。 4 4 x 4 块的整数变换 h 2 6 4 对残差采用基于块的变换编码，与以前标准相比，最大不同之处是整 数变换，叫整数d c t ，实际操作是整数操作而不是实数。因此，在编码器和解 码器中可以得到精度相同的正变换和反变换，便于使用简单的定点运算方式，消 除了因变换精度所引起的图像失真。在块的尺寸上，变换最小单位是4 x 4 块而不 是以前的8 x 8 块，运动物体的划分更精确了。而与此同时，当我们使用d m 6 4 2 处理器来编码时，每次变换所需要的c p u 寄存器资源大大减少了，在第四章将 具体讨论针对这一特点所做的优化工作。 5 统一的熵编码 h 2 6 4 建议中熵编码有两种方法：一种是对所有的语法单元采用统一的 u v l c ，另一种是采用内容自适应的二进制算术编码器( c a b a c ) 。c a b a c 编 码性能比u v l c 要好。经分析主要体现在三个方面。首先，基于内容的编码利 用了编码符号的条件概率特性；其次，算术编码允许分配给每个符号非整数个比 特；第三，自适应算法允许熵编码自适应非稳定概率分布的符号特性。但计算复 杂度要比u v l c 高。u v l c 使用一个长度无限的码字集，采用规则的码表，很 容易产生一个码字，解码器也很容易识别码字的前缀，当发生比特错误时u v l c 能快速获得重同步，因此，我们采用的熵编码方法是u v l c 。 3 1 2 编码器设计 h 2 6 4 标准所建议的视频编码层仍然是基于块的混合编码方法，如图3 2 所 1 8 浙江大学硕士学位论文 不2 图3 - 2h 2 6 4 混合编码框架 编码性能的提高是对其中很多技术进行了大量的改进，点点滴滴共同所致， 正如前一小节所介绍。然而，编码性能提高是以复杂度为代价。同时，网络摄像 机用于视频监控时基本保持镜头不动，背景固定不变，运动的前景物体较少，采 集的视频序列信号是连续的，无场景切换，帧间相关性高，使得监控采集的视频 比一般标准视频