（电路与系统专业论文）智能监控系统中高压缩比视频处理研究.pdf

浙江大学硕士论文智能监控系统中高压缩比视频处理研究 摘要 由于实际需求以及相关技术的发展，视频监控系统经历了模拟视频监控、半 数字视频监控以及全数字视频监控几个发展过程。全数字视频监控系统的网络化 和智能化是今后发展的主要方向。本文在总结和分析己有工作的基础上，对智能 监控系统中如何进一步提高监控视频压缩e e 进行了研究。 本文首先综述了智能监控系统的发展历史与现状，着重分析了智能监控系统 中多目标运动侦测和监控视频的应用特性。当前的数字监控系统不区分监控场景 中的有用信息和无用信息，对所有信息同等处理，造成存储空间和计算资源的浪 费。本文提出了基于运动检测的分层次视频压缩算法。在对比和分析各种运动目 标检测技术的基础上，选择自适应多模高斯分布模型作为运动目标检测的方法， 结合数值形态学和外接矩形算法，检测和定位当前监控场景中的所有运动目标。 在此基础上，对监控视频里进行分层次压缩，即区分监控场景中的有用信息与无 用信息，对无用的背景信息作高损失低比特率的压缩，而对运动区域信息不作压 缩，以达到在不损失有用信息的前提下，进一步提高监控视频整体压缩比的目的。 实验表明，本文中的自适应目标检测方法和分层次视频压缩方法是行之有效 的。自适应目标检测方法能适应各种背景变化，正确检测和定位运动目标；在保 留运动目标信息的提前下，分层次视频压缩方法能在常规的m p e g 4 压缩的基 础上进一步提高压缩比，同时，该方法可在监控视频的质量和监控视频所需的存 储空间或网络带宽之间进行调节，以适应不同的需求。 关键字：自适应中值滤波自适应混合背景模型外接矩形运动目标检测分 层压缩 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 a b s t r a c t a st h ep r a c t i c a lr e q p i r e m e mi n c r e a s i n ga 1 1 dm er e l a t e dt e c h n o l o g yd e v e l o p i n g ， m ed e v e l o p m e n to fs u r v e i l l a n c es y s t e mc a l lb ed i v i d e di m ot h r e es 乜g e s ：a n a l o gv i d e o s u n r e i l l a n c e ，h a l fd i g i t a lv i d e os u r v e i l l a n c e ，a 1 1 dd i g i t a l “d e os u r v e i i l a n c e n o wt h e i m e l l i g e n t i z a t i o no ft h es u “e i l l a n c es y s t e ma 1 1 dn e t w o r kb a s e ds u r v e i l l a r l c es v s t e m a r et h eo r i e m a t i o n so fd e v e l o p m e m i nt h i sp a p e lw es u m m a r i z e da n da 1 1 a l v z e dm e p r e v i o u sw o r k ，a 1 1 dd i s c u s s e dh o w t oi n c r e a s et h ec o m p r e s s i o nr a t eo ft h em o i l i t o r e d v i d e oi ni m e l l i g e ms u r v e i l l a n c es y s t c m a t 血eb e g i l l i l i n g ，w en a r r a t e d 也e1 1 i s t o r yo f 也es u r v e i l l a n c e ，姐a l y z e ds o m ek e v p r o b l e m si ni n t e l l i g e n ts u r v e i l l a n c es y s t e ms u c ha sm l d t i p l em o v i l l go b i e c td e t e c t i o n a i l dm ea p p l y i n gf e a n 盯e so f 也em o 血t o r e dv i d e o 1 1 1p r e s e ms u r v e i l l a n c e ，、v ed on o t d i 蚶n g u i s hm eu s e f u ia 1 1 du s e l e s si n f o r m a t i o ni nt l es c e n ea n dt r e a t e dt 1 1 e m 谢m e q u a l i t yt h u sm u c hc o m p u t a t i o nr e s o l l r c ea 工1 ds t o r a g es p a c ei sw a s t e d i nt h i sp 印e r 、v ep r o p o s e dam e t h o db a s e do n 1 em o t i o nd e t e c t i o nf o rs c a l a b l ec o m p r e s s i o no ft h e s u r v e i l l a l l c ev i d e 0 a n e rc o m p a r e d 、v i 也a n da i l m ”e dv 耐o u sm o t i o nd e t e c n o n t e c 王1 n o l o g i e s ，w ec h o o s et 1 1 ea d 印t i v eb a c k g r o l l l l dm i ) ( t u r em o d e l sa st h em o t i o n d e t c c t i o na p p r o a c h c o m b i i l i n gt 1 1 i sm e 廿1 0 d 谢也m o r p h 0 1 0 百c a lt e c h n o j o g ya n d c o m o u r - r e c t a i l g i ea l g o d 也m ，、v es u c c e s si nd e t e c t m ga 1 1 dd e t e n l 曲血ga l lm o v i l l g o b j e c tr e 百o n si nt h es c e n e a i l db a s eo n 也em o v i n go b j e c tr e g i o nr e c o 鲥t i o n ，w e p r o p o s e dam e t 王1 0 df o rs c a l a b l ec o m p r e s s i o no f 也es u r v e i l l a l l c ev i d e o w ed i s t i n g l l i s h t h eu s e f u li i l f b m l a t i o na 1 1 du s e l e s sm f o m l a t i o n ，c o m p r e s st h eb a c k 口o u n d 口i c t u r ew i m l o wq u a l i 可a n dn l u sl o wb i tr a t e ，w h i l ep r e s e i n gt 1 1 eu s e 血li 1 1 f o h n a t i o n m e m o v i n go b j e c t i o nr e g i o i 卜、v i t l ln oc o m p r e s s i o n a s 血ee x p e r i m e n tr e s u l ti 1 1 d i c a t e s ， m o t i o nd e t e c t i o nm e 妇1 0 dc a l lt 0 1 e r a t e o u r 印p r o a c hw o r k se 伍c i e n 廿y t 1 1 ea d 印t v 积o u sb a c k g r o u r l d c h a l l g e s ，f m d 抽gt h e m o v i n go b j e c tr e 百o nc o 玎e c t l y c o m p a r e dw i t hn o 咖a lm p e g 一4v i d e oc o m p r e s s i o n ， 也es c a l a b l ev i d e oc o m p r e s s i o nc a i l 如n h e rc o m p r e s st h em o i l i t o r e dv i d e od a t a ，w 1 i l e p r e s e i n gt 1 1 em o v i n go b j e c ti 1 1 白m a t i o n i na d d i t i o n ，t h ev i d e oq u a l i t ya n d r e q u i r e ds t o r a g es p a c eo rn e 锕o r kb a i l d 、析d t hc a nb ec o n t r o l l e di n0 r d e rt om e e tt h e p r a c t i c a lr e q u i r e m e mi n 1 i sm e m o d k e y w o r d ：a d a p t i v e m e d i a i l 丘1 t e r ， a d a 两v eb a c k g r o l l l l d m i x t u r e m o d e l s ， c o n t o u r - r e c t a n g l e ，m o t i o nd e t e c t i o n ，s c a l a b l ec o m p r e s s i o n 2 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 第一章绪论 图像( 视频) 信息是人们由客观世界获得信息的主要来源之一，占人们依靠 五官获得的外界信息7 9 以上【4 0 】。因此，由图像所提供的直观作用，不是语言 和文字描述所能达到的。因而，视频监控在安全防范系统中占有极其重要的地位， 随着网络、通信和微电子技术的快速发展和人民物质生活水平的提高，视频监控 系统的市场总额已高达6 5 0 亿元，近年来一直以每年1 5 至3 0 的速度快速增 长，我国的图像监控行业正面临着良好的发展机遇 3 7 】【3 8 】。 1 1 监控系统发展过程 视频监控系统的发展大致经历了三个发展阶段f 1 7 】 1 1 1 模拟视频监控系统 2 0 世纪9 0 年代及其以前，主要是以模拟设备为主的闭路系统，称为第一代 视频监控系统，即模拟视频监控系统。到目前为止，模拟视频监控系统的技术已 经很成熟，而且应用也非常广泛。典型的模拟视频监控系统一般由图像摄像部分 ( 摄像机、镜头、云台等) 、图像传输部分( 一般采用电缆、光缆、射频等) 、 图1 1 模拟视频监控系统组成示意图 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 系统控制部分( 操作键盘、视频分配器、视频矩阵切换器、云台控制译码器、 字符迭加器等) 和显示记录四大部分，系统组成框图如图1 1 所示。 1 1 2 半数字视频监控系统 2 0 世纪9 0 年代中期，随着计算机处理能力的提高和视频技术的发展，人们 利用计算机的数据处理能力进行视频的采集和处理，从而大大提高了图像质量， 增强了视频监控的功能，这种基于多媒体计算机的系统称为第二代视频监控系 统，即模拟输入与数字压缩、显示和控制系统。 半数字视频监控系统以计算机为中心，数字视频处理技术为基础，利用图像 数据压缩的国际标准( j p e gm p e g 一2 或m p e g 4 ) ，综合利用图像传感器、计算 机网络、自动控制和入式智能等技术的一种新型监控系统。半数字监控系统将摄 像机获得的模拟电视信号，转变为数字视频信号以便于计算机处理，在计算机显 示器显示多路活动图像的同时，可将各路信号分别存储于计算机的硬盘内或在网 络上进行传输。在实时情况下，每路信号在监视、记录、回放时都能达到最大为 2 5 f p s 的活动图像效果。 数字控制的模拟视频系统监控系统通过图像采集卡将模拟摄像机传输过来 的模拟视频图像转换为数字视频图像信号，但核心设备是数字设备，因此也可以 称为数字视频监控系统。该系统的组成示意图如图1 - 2 所示： 图1 - 2 半数字视频监控系统方案组成示意图 图像采集编码卡是基于p c 机的数字监控系统中的关键设备，一块采集卡一 般支持四路视频采集压缩，一台计算机可以插上1 块到4 块编码卡，从而支持l 路到1 6 路视频采集。采集卡编码质量和性能的好坏直接影响整个系统的可靠性 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 和稳定性。基于p c 机的数字视频监控系统采用软件来设计实现摄像机到监视器 的视频矩阵切换、录像、云台和镜头的控制、通过串口连接报警设备的报警信息 等。计算机是数字视频监控系统的核心，配备有大屏幕显示器、大容量硬盘，也 可以再配上光盘刻录机。计算机往往采用工业控制计算机。以提高系统的可靠性。 1 1 3 全数字视频监控系统 数字摄像机的出现产生了真正的全数字视频监控系统，数字摄像机直接传输 数字化后并经过压缩编码的数字视频图像流，通过网络将视频流传输到计算机 中。这种数字摄像机还可以就地输出控制信号到控制云台译码器。图1 3 就是数 字视频监控系统的系统组成图。 这种方式具有很高的先进性和可扩充性。但模拟监控和数字监控具有各自的 应用场合，如果已经具备远程传输的计算机网络，那么上述的数字监控方式就有 了用武之地了，性价比很高；如果尚没有计算机网络，由于构架整个计算机网络 需要大量的资源，数字监控方式未必就比模拟监控方式性价比高。因此，要根据 现场的实际情况来设计方案。 图1 3 全数字视频监控系统方案组成示意图 一般单套计算机的数字视频系统具有以下性能 视频输入：支持1 到1 6 路视频 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 见频制式：p a l 、n t s c ； 图像分辨率：3 5 2 2 8 8 像素，7 6 8 5 7 6 像素 每路图像帧率：2 5 f p s ； 压缩标准：m p e g 2 或m p e g 一4 或m j p e g ； 预览功能：可实现1 、4 、9 、6 路实时预览； 字符迭加：可在左上角或右上角显示用户定义的英文或中文说明 录像功能：可实现最大1 6 路实时录像； 颜色设置：可动态调整录像和预览颜色 屏幕显示：图像显示和图像记录同时进行。 录像回放：可进行任一路图像的回放、速度可调； 检索标准：摄像机编号或时间段： 占用磁盘空间：视频：6 0 , - , 6 0 0 m b 路小时。 1 2 目前监控系统现状和存在的问题 总的说来，目前国内的视频监控系统的发展情况是：模拟视频监控的比例急 速减少，数字视频监控系统逐渐占据主导地位，智能监控系统方兴未艾。 1 2 1 模拟视频的不足 模拟视频监控系统目前已经达到了很高的水平。摄像技术传输技术、显示技 术、系统控制技术都取得了长足的进步，确立了在安全防范系统中的重要地位。 但传统的模拟闭路系统具有很多其自身的局限性。首先，有线模拟视频信号的距 离有限，若采用同轴电缆，当传输距离大于1 0 0 0 m 时，信号容易产生衰耗、畸 变、群延，并且易受干扰，使图像质量下降，这就决定了模拟视频监控只适合于 小范围的场所。其次，布线工程量大，系统的扩展能力差，对于已经建好的系统， 如要增加新监控点，往往是牵一发而动全身，新的设备也很难添加到原有的系统 之中。再次，模拟视频监控系统大多采用录像机作为存储工具，磁带作为存储介 质，这种方法不但存储的信息量有限，数据的存储会耗费大量的存储介质( 如录 像带) ，而且磁带易变形，磁头、磁带间磨损大，加上采用模拟信号方式记录读 4 浙江大学硕士论文 智能监控系统中高压缩比视频处理研究 也可是视频场景中树叶的漂落，还可以是当前摄像头由于电压不稳而引起视频场 景中亮度的改变。对于后面几种情况进行报警显得毫无意义。 ( 3 ) 缺乏预警功能 真正的监控系统应该具备两种功能：一是实现场景记录，以便事后进行回放 检查，一是实现场景控制，阻止不良事情的发生。但目前大数监控系统都只具各 第一种功能，而第二种功能的出现都需要人工的参与。而人类作为监控者由于自 身在生理上的弱点，也不能完全场景控制功能。 有调查显示，一个同时监控两个场景的监控人员，在1 0 分钟内遗漏了监控 场景中4 5 的运动信息，2 0 分钟内遗漏了9 5 的运动信息。而在一个运动繁忙 时区域，监控人员更不会注意到一个重要静止物体的消失。 因此必须在监控系统中加入某种机制，能预先发现危害的存在，提前发出警 告。这也是今后监控系统的一个主要发展方向。 1 3 视频监控系统的发展方向 总的说来，监控系统应该是朝智能化方面发展。目前的一些数字监控系统设 各 x 浙江大学硕士论文智能监控系统 莉棼鲤嚣撵j 窑雾匿引互茕9 | 引直1 蟊录亥象誊氧计翔筹蟊薪；泽荨谨浮驾呒瞎辐弭杏鏊藉颦 钉辖得屠骣裂；影碧案薷翔强锄露移瞪善磐翘藿乖赢虿； 冀淖毡嵫翟戡；新稚鞭褫茬勘型需岵霪露叫碍潆曦珊峪嘲难迄喱玎_ 姒棼话 魏q q 茄鼹鞴；缆弹倒霹氅奎篓鬻l 骶刘辐靠臻鸶”妊鲫弭殷i 篓吾婚耱群弦磐 鄹鞋霉甫譬霎缵菇高膨圆暂4 便是一令用r g b 来表示的双精度彩色图像 ( 4 ) 索引图像 索引图像由两部分组成：一个整形的数据矩阵x ，和一个调色板矩阵 姐a p 。设色板矩阵一个双精度的m 3 的矩阵，矩阵元素的取值范围为o 到l 。 矩阵的行数m 与这一幅图像所含有彩色颜色数目相同。调色板矩阵的每一行部 表示一种颜色，这一行数据分别指明它代表颜色的r g b 分量值。 一个m n 的彩色索引图像的数据矩阵x 为个m n 的二维矩阵，矩阵元 素的值并不代表彩色分量，而是一个“索引”值。设x 中的一个元素值为k ，表 明该点像素的色彩由调色板矩阵中的第k 行来表示。 当一幅图像中所含的颜色种类比较少时，与r g b 真彩色图像相比，索引图 像可以节省更多的存储空间。但索引图像在显示或作处理的时候极为不方便，都 要先转换为真彩色图像。图2 5 为一个索引图像的数据表示。 数据矩阵 58 i151 篡：岁 3 1 3 11 81 口 ：调色瓣 黼 0 o 0 6 2 7 8 图2 - 5索引图像的数据表示 浙江大学硕士论文 智能监控系统中高压缩比视频处理研究 图i 4 基于运动检测的分层次视频压缩的系统构架 浙江大学硕士论文 智能监控系统中高压缩比视频处理研究 第二章视频监控中的彩色图像处理技术 目前很多数字视频监控系统都只基于灰度图像来进行处理，一些监控系统为 了简便，甚至将采集的彩色图像先直接转换为灰度图像然后再作处理【2 0 1 。灰度图 像处理只是在二维空间里进行，分析和比较都比较简单。但灰度图像却损失了许 多重要的色彩信息。智能监控系统都应基于彩色图像处理。与灰度图像相比，彩 色图像并不是仅仅是多两个颜色平面。如何在三维空间内有效地表示和存储彩色 图像以及如何描述不同色彩之间的差异程度都是进行彩色视频监控的基础。本章 将讨论以下几个与彩色图像处理有关几个问题：如何储存彩色图像、如何在色彩 空间内有效表示彩色图像、如何来描述不同色彩之间的差异程度。 在数字视频监控中，c c d 摄取的被测物体的图像经图像采集卡采样量化后得 到被测物体的数字图像 3 3 】。p c 机首先对图像质量进行改善，使p c 机能自动识 别目标给出相关参数。一般来说，在被观测的图像中包含各种各样的噪声和畸变， 同时，由于数字摄像机中c c d 固有的坏点以及摄像机电源电压的不稳定，从摄 像机取出来的视频数据与原始图像一般都有较大的出入。智能视频监控中是面向 机器进行图像处理的，图像中运动目标检测都是基于一定的规则对图像做出分析 和判断，如果图像中的噪声过大或有严重的畸变，系统便无法判断或做出非常错 误的判断。因此，在进行图像分析之前，必须要去掉这样的噪声和畸变。在进行 运动检测之前，本章将讨论如何对彩色图像迸行预处理，即如何在保留图像边界 信息的前提下，尽可能抑制噪声的影响。 2 1 。彩色图像的表征 一幅图像可以定义为一个二维的函数【4 】【12 】f 1 引，f ，y ) ，其中x 和y 为空间坐标， 而在任意的坐标对( x ，y ) 上的函数值f 则为该点的亮度。灰度图像一般指只具亮 度变化的黑自图像，而彩色图像则是一个三维的函数。在r g b 颜色空间中，彩 色图像由三个独立的颜色分量组成，第一个颜色分量都可以看成一个只具有亮度 变化的黑白图像。因 x 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 只要单独处理第一个颜色分量即可。 这里有必要提一下图像空间的坐标系统。对一幅模拟图像采样和量化后，生 成一个二维矩阵，或者是一个二维的函数f ( x ，y ) 。在很多图像处理的书中，纵坐 标为x 轴，横坐标为y 轴，而图像的起点，即最左上角的像素点为o ，o ) 。而在 m a n a b 中，纵坐标为y 轴，横坐标为x 轴，而图像的起点为f ( 1 ，1 ) 。下面是这两 种坐标系统的区意图。 图2 1 两种不同的坐标系统 正确的选择坐标系统是进行图像处理的基础。因为本文主要利用m a t l a b 进行 仿真和处理，所以选择第二种坐标系统。 在所有的数字图像的表示方法可以分为如下四种： ( 1 ) 二值图像 二值图像是最简单的种图像，所含的信息量也最少。表示二值图像的数据结 构即为一个元素为o 和l 的二维矩阵。二值图像一般不能表示真实的图像，但在 表示图像的模块构成和图像分析中有广泛的应用。 ( 2 ) 灰度图像 一个灰度图像即一个数据矩阵，矩阵元素的值限制在一定范围内。每一个矩 阵元素表示对应像素的亮度值。一般来说，矩阵元素的数据类型可以为双精度、 8 位整形以及1 6 位整形数字。如果矩阵元素为双精度，则取值范围为0 到l 之 间的任意小数( 当然，小数表示受到双精度类型所能表示的精度限制) 。0 表示最 暗的点，l 表示最亮的点。如果数据类型为8 位整形，则矩阵元素的取值范围为 o 到2 5 5 中的整数，0 表示最暗的点，2 5 5 表示最亮的点。因此，8 位整形的图像 可以区分2 5 6 个不同的灰度。1 6 位整形与8 位整形数据类似，但表示的范围相 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 图2 3r g b 彩色合成示意图和彩色方盒 因此，任何一个像素都可以分解成三个r g b 分量的组合，分量的不同组合 也就代表不同的颜色。一个包括m n 个像素的图像可以用一个m n 3 的三 维矩阵来表示，在这个三维矩阵中，第一个m n 的矩阵表示彩色图像的r 分量， 第二个表示g 分量，第三个则表示b 分量。 犯2 3 5o - 1 2 9 4b 1 1 m0 - 4 1 9 6 讲、 o 2 鲁0 20 0 6 2 7o 2 鲁0 2o 2 9 0 2o 4 8 2 4 6 5 17 60 1 9 2 2o 0 6 2 7 g r e e no 19 2 20 2 5 8 80 2 5 8 8 o 5 17 6o 1 2 9 4o 1 6 0 8 o 1 2 9 4o 12 9 4o 2 5 8 8o 2 5 8 8 哇9 00 9 8 8 2o s 1 7 6o ，5 8 0 4o 5 8 0 4o 7 7 6 50 7 7 6 5 、缸 0 2 5 8 80 2 9 0 2o 2 5 8 bo 2 2 3 50 4 日2 40 2 2 3 5 、q 2 2 3 5 0 6 0 8o ，2 5 8 8 o 2 5 8 8o 16 0 8o 2 5 8 8 - 日o 1 6 0 日o 2 5 8 8o 2 5 8 80 2 5 8 8dp ， 8 8 0 2 9 6 图2 - 4r g b 真彩色图像的表示 和灰度图像的表示一样，每个颜色分量的矩阵元素可以为双精度、8 位整形 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 图像的基础。灰度图像和r g b 图像是常用的表示方法，虽然图像的存储格式繁 多，但在处理之前，都要转换为r g b 或灰度图表示的格式。 2 2 颜色空间选择 彩色图像的表示与颜色空间是息息相关的。任何三个互不相关的颜色分量都 可以构成一个颜色空间，而每一种颜色分量则为该颜色空间一个基。2 1 节所述 的r g b 采用的颜色空间，则是由r 、g 、b 三个颜色基所构成的颜色空间。同样， 也可以对r g b 进行线性或非线性变换，产生新的颜色空间。不同的颜色空间在 不同的应用有各自的优势。在实际应用中，有如下几种颜色空间：r g b ，n t s c ， y c b c r ，h s v ，c m y ，c m y k 和h s i 空间。本文将着重介绍h i s 空间以及h i s 空间与r g b 空间之间的转换。 2 2 1 n t s c 空间与y c b c r 空间 y o 2 9 9 o 5 8 7 o 1 1 4 l l r l f ，l ：j0 5 9 6 0 2 7 4 - 0 3 2 2 | | g 05 9 6 - 02 7 4 - 03 2 2g lf ，i = j | | 蚓l 0 2 1 1 0 5 2 3 0 3 1 2 i i b l r r r 1 0 0 0 o 9 5 6 o 6 2 1 r y l 瞄瓣稳鬻心 1 9 浙江大学硕士论文 智能监控系统中高压缩比视频处理研究 2 2 2 h s v 空羹蘸囊萋季羹鬻 ；荤焉。囊耋毒 一三莓二毒矍三 一露差囊篓 雾烈裂誊粥委；堆诲引静馔谦淮塌盈踹一掰陈：豫强深博憎历难滋潆峰潍； 彰搞羹獯弼囊骸岔副嚣引型影辫萝瑙纠g 剥。籍拯髯群殡囊瞧渥：鳖嘭礴剽 争丢鏊；绣麓臻沼馐溶獾强嘎璐嗣孪摧滋；器美2 雾霹；弱黟割蕊萄翥! 荸如翔眇。 裂裂錾 高级纹理分层编码 层的组合 简单高清晰层基于对像的高质量视频序列编码 核心高清晰层 高效率的基于对像的高质量视频序列 编码 目前m p e g 4 是当前视频编码的研究热点，也出现了一些m p e g 4 编解码的 应用软件，如目前流行的d i v x 以及m i c r o s o f t 公司的m p e g 4v i d e o c o d e c v l v 2 3 等。但这些编解码器按m p e g 一4 的标准来看，都只处于自然视 频编码中的简单层、高级简单层或高级实时简单层。没有实现核心层的编码，更 没有实现核心层的面向对像分层编码。目前核心层，即任意形状编码正处于研究 阶段，还没有真正能应用的面向对像分层编码的编解器。 本文并没有打算设计一个专用的分层次压缩的编解器，而是根据m p e g 视频 压缩的基本原理，在对视频编解码之前根据运动目标检测的结果对视频作一些处 理，使其压缩后在有效提高压缩比的同时，保留运动区域信息。在作分层处理之 前，我们首先应该得到运动具体位置信息，即定位运动目标。在运动目标检测的 基础上得到零散运动区域后，利用数值形态学处理和外接矩形算法，得出运动物 体的8x8 网格区域，然后再进行分层压缩处理。 1 4 3 国内外研究的进展 从市场的需求情况来看，智能视频监控系统正在越来越多的引起人们的关 1 0 浙江大学硕b 爸艾=群澍剧奎嚣彰p 野到碗努鹜戮鞴型蜀鞭 耋薹：丞莺攀丰：尘雾下i 苏盟疆蘩耋i l ：堪唰i 一痘到m 向f 彰。 鞫| | l i 羹萋l 立j 氆新烈e 耋i i 銎琴誉鲤霸引剽； 一豢：l 一 蠢# j 一蘑鬓燮霍i 鬻i 豢豢i! i 妻羹釜；2 ?j 毒 爨翥黧各显和百j 懈垄霉蠢羹县髯瑕盥基筲驰；带型i 翔塞蔚辖娄， 喜妻4：冀蒂毹霸彭蠢囊囊髦冀葫澍p箍搿。筘鲋摹鼯篷罂偕辎；限公司 就已经推出其智能视频产品，其中包括a s 2 4 2 s i v 视频服务器和a x i s i v m1 2 0 人数统计智能视频应用模块。a x i s2 4 2 si v 集成了专用d s p 芯片( t id m 6 4 2) ，具备强大的图像处理能力，并可支持第三方应用软件模块的运行和开发。 a x isi v m1 2 0 人数统计智能视频应用模块可以使视频监控设备通过对监控画面 的分析自动为用户计算进出特定区域的人数，能够有效帮助服务、零售等行业 的管理者分析营业情况或提高服务质量。a x i s 还计划在不久的将来推出更多智能 视频应用模块，包括车牌号识别、非法滞留等等。 与国外相比，国内的智能视频市场还有很大的差距，目前基本上还处于空白 状态。一般在监控系统中提到的“智能视频监控”实际上还停留在普通的网络视频 监控(i p 监控、数字化监控) 的概念上。但随着市场上开始出现了与国外类似的 智能视频应用需求，已经有些国内厂商开始着手引进国外知名厂商的智能视频软 硬件产品和技术，计划采用o e m 的形式在国内推出。 1 5论文的任务和结构 本论文的主要任务： ( 1 )对智能视频监控的发展历程以及今后的发展方向作调研和分析，找出 当前智能监控系统发展所要解决的关键问题。 ( 2 )对视频监控系统中用到的彩色图像处理技术作一个全面的阐述和分 析比较，选择出合理颜色空间和滤波技术。 ( 3 )对运动侦测技术作深入的探讨。对目前的几种运动侦测技术进行分析 比较，选择出比较适合于户外视频监控的运动侦测技术，并对技术作 改进，以适合实际应用。研究表明，对于户外视频监控来讲，最适合 运动侦测技术为混合背景模型估计法或多模高斯分布模型，本文实现 了基于 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 空间。 2 。3 。e u c i - d e a n 距离与m a h a l a n o b l s 距离 与颜色空间密切相关的概念是颜色空间距离。颜色空间距离是指在以彩色分 量构成的颜色空间内两点的直线距离。各神颜色之间的差别程度体现在颜色空间 距离大小上。颜色空间距离在图像处理中有重要的作用，判断色彩差别程度的主 要标准就是颜色空间距离。 在监控系统中，要判断当前区域是运动区域还是背景区域要通过颜色空间距 离来判断的。首先计算当前像素与背景像素之间的颜色空间距离d ( z ，m ) ，再将 d ( z ，m ) 与某一阈值t 相比，如果d ( z ，m ) 大于t ，则认为当前像素点为运动像素 点。否则认为当前像素点背景点。常用的空间距离主要是e u c l i d e a n 距离和 m a l a l a n o b i s 距离 4 1 。 2 3 1 - 颜色空间中的e u c l i d e a n 距离 颜色空间中的e u c l i d e a n 距离计算式如下 。c ；，而，= 怯一荡护 c ；一而，7 c 三一易， “2 = ( 乙一) 2 + ( 磊一) 2 + ( 乙一) 2 r 在判断当前像素点为背景点还是运动物体像素点时，将此距离与阈值t 相比较。 图2 7r g b 空间的e u c i i d e a i i 距离 如果d ( z ，m ) t ，则为背景点。从颜色空间看来，该不等式定义一个以m 为球 心，半径为t 的球体。如果像素点落在该球体内的点，则属于背景点，某则为前 景点。以r g b 空间为例，图2 7 给出了一个示意图。 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 2 3 2 颜色空间中的m a h a l a n o b i s 距离 。c 赫= 陪积c 一c ；一甜2 = f r z k m 。z 。一，”。z 。一，一，。，c lx 茎：i 薹1 “2 i 盯r ，月 盯“( ， 盯r ，8l c = i ，月吒矗c r g ，口l 1 r ，g 盯邮j f 一，席。，g国。，。 r 1 3 卜一“j l 珊8 r 盯- b ，8 j 则d ( 乃垅) 可以化成如下形式： d ( ；，荡) = ( ，。幽2 十g g 2 + 。舳2 + 2 。耻g + 2 。欲衄+ 2 ，b g 舳) “2 浙、匝大学硕士论文智能监控系统中高压缩比视频处理研究 图2 - 8m a h a l a n o b i s 空间不惹图 如果c = i ，那么m a h a l a n o b i s 距离就简化成e u c l i d e a n 距离。在判断当前像 素点为背景点还是运动物体像素点时，将此距离与闽值t 相比较。如果d ( z ，m ) t ，则为背景点。从颜色空间看来，该不等式定义了一个椭球体，当前像素点 在颜色空间中的位置落在椭球内，则为背景点，否则为前景点。如图2 8 所示： 在r g b 空间中，与e u c l i d e a n 距离相比，m a h a l a n o b i s 距离更能体现出色彩 之间的差别。但m a h a l a n o b i s 距离的计算常常需要预先知道r g b 向量之间的协 方差矩阵。而对于不同的场合乃至不同的图像，r g b 之间的协方差矩阵往往不 同。因而，这也限制了m a h a l a n o b i s 空间的应用。如何准确的估计r g b 之间的 协方差矩阵仍值得探讨。本文也不再作过多的讨论。 2 3 3 各向同性颜色空间与各向异性颜色空间 对于灰度图像来说，没有空间距离来说的概念，灰度图像之间的差别即灰度 值的大小差别，也可以理解为一维的空间距离。对于彩色图像来说，各种色彩之 间的差别与颜色空间的e u c l i d e a n 距离有关，但并不一定等于空间e u c l i d e a n 距离， 也并不一定是一种线性关系。同时，在人眼看来，e u c l i d e a n 距离相等的点其色 彩差别程度也不一定相同。这就涉及到颜色空间的各向同性和各向异性的问题。 如果在某个颜色空间内，大小相同但方向不同的颜色空间的e u c l i d e a n 距离所代 表的颜色差别程度相同，则该颜色空间是一个各向同性的颜色空间，否则为各向 异性颜色空间。 色度心理表明，r g b 空间并不是一个各向同性的颜色空间【5 】【6 】，l u v 空间近 浙江大学硕士论文 智能监控系统中高压缩比视频处理研究 似为一个各向同性空间，可以满足大多数的应用需求，但从人眼对色彩的感知曲 线来检查的话，l u v 空间也并不是完全的各向同性。目前也没有哪一种颜色空间 是完全的各向同性。在实际应用中，用r g b 空间或h s i 空间都能满足要求，但 如果采用其它近似的各向同性空间可以改进系统的性能。 考虑到系统的复杂性，本文目前所采用的颜色空间仍为r g b 空间。 2 3 4 监控视频中的噪声分析与滤波 即使是理想的图像采集系统也不可避免噪声，噪声存在于所有的信号之中。 同时，我们也没有办法消除噪声，但我们努力做到抑制噪声。 数字图像中的噪声主要来源于模拟图像的获取、量化和传输过程中。在图像 的获取过程中，图像感应芯片受到各种环境因素的影响，同时由于感应元件本身 的工艺上的缺陷，也会带来噪声。光照、芯片温度直接影响着一个用c c d 的摄 相机所获图像的噪声总量。而在传输过程中，图像信号也会受到传输信道中各种 因素的干扰。比如在一个无线网络中传输的图像信号，会很大程度上受到闪电以 及大气的影响。 一般来说，噪声是无法估计的。但我们可以用一个近似的概率分布来表征噪 声。一个噪声信号可以看成一个随机信号，并具有一定的概率分布。根据噪声概 率分布密度函数的不同，我们可以对噪声模型进行分类。常用的噪声模型有高斯 噪声、瑞利噪声、以及椒盐噪声。除了椒盐噪声外，其它类型的噪声都很难通过 滤波消除其影响。但通过中值滤波，可以有效的消除椒盐噪声的影响。而在现实 的数字图像中，椒盐噪声也是主要的噪声来源。下面便详细介绍一下中值滤波及 自适应中值滤波。 2 3 5 中值滤波 中值滤波是一种非线性滤波，与其它线性滤波相比，中值滤波不但能有效的 抑制椒盐噪声，同时还能很好的保持原图像的边缘信息。因此，中值在数字图像 的预处理中得到了广泛的应用。 顾名思义，中值滤波就是先对邻域内的所有像素按值进行排序，然后用排在 2 5 浙 工大学硕士论文智能监控系统中高压缩比视频处理研究 中间位置的数取代当前像素值。用公式表述如下： 厂( w ) 3 憾酚 g ( s ，f ) ) 公式中s 。表示点( x ，y ) 处的一个邻域，g ( s ，t ) 为原始图像。 在m a t l a b 中，可以直接调用的图像处理工具箱中的二维中值滤波函数对图像进 行滤波。 b = m e d f i l t 2 ( a ) a 为输入图像，b 为输出图像。在没有给出其它参数的情况下，m e d f i l t 2 采用默 认的3 3 的邻域进行滤波。在边界处进行补0 处理。 2 3 6 自适应中值滤波 但中值滤波也存在不足，即不管邻域像素如何变化，它将当前像素用中值取 代，这样势必会对原来的图像产生一定的扭曲。针对这些不足提出来了自适应中 滤波。自适应中值滤波【4 】与一般的中值滤波的区别在于根据所在邻域内像素j n 的统计特性，确定输出像素的方法不同，而不是统一的中值输出。图2 - 9 是自适 应中值滤波的算法流程图： 浙汇大学硕士论文智能监控系统中高压缩比视频处理研究 图2 9 自适应中值滤波算法流程图 自适应中值滤波器在一个以( x ，y ) 为中心的s ：。邻域内工作。与其它滤波器不一样， 这个邻域的大小会根据当前的邻域的统计结果做出调整。在介绍自适应中值滤波 算法之前，首先说明一下几个符号所代表的意义。 z m i n ：s 。邻域内的最小值 z m a x ：s ，邻域内的最大值 z m e d ：s 邻域内的中值 z x y ：当前像素值 s m a x ： s 。，邻域的最大允许尺寸 自适应中值滤波算法主要有三个目的：在噪声密度较大的情况下，首先应该 消除椒盐噪声，抑制其它类型噪声的影响，同时保留原始图像的边界信息。 算法首先判断中值输出z m e d 是否为一个噪点( 自点或黑点) 。如果进入分支 ，则z m i n z m e d z m a x ，表明z m e d 不为噪点。在这种情况下，我们继续判断 z x y 是否为噪点。在分支如果z m i n z x y t ，则该点被判定为前景点。否则为背景点。 单高斯分布背景模型的更新即指各像素点高斯分布参数的更新。引入表示更 新快慢的常数一更新率n ，则该像素点高斯分布参数的更新可表示为 = ( 1 一d ) 鸬+ 口z 。+ l = ( 1 一口) 。+ 口西影 3 2 2 多模高斯分布背景模型 在背景图像变化不是很大的场景，单高斯模型可以较好的描述背景过程。但 如果背景变化频繁，单高斯模型就无法描述和跟踪到所有的背景变化。多模高斯 分布的主要思想是认为每一个像素点是多个高斯分布之和。即： 其中k 为像素的高斯分布总数，q ，为第i 个高斯分布的权值，h ，为第i 个高斯 分布的平均值参数，。为第i 个高斯分布的协方差矩阵参数。而刁( 墨，) 为 多维高斯分布的概率密度函数： 7 7 ( 五，) = n ( 2 万) 2 一昙( 五- a t ) 7 一1 ( 五一h ) 8z 在本方所用的多模高斯模型中，k 取5 ，而且假设颜色分量r o b 之间是线性无 关且具有相同的方差，即 ，= 吼， 这种做法是考虑到系统的复杂性而作的简化。 3 2 3 多模高斯分布的参数更新 在进行参数更新之前，首先应该判断当前像素点是否与已经有的高斯模型匹 、i ，置，l7 x k 澍 = 、i，墨，l p 1 2 浙江大学硕士论文智能监控系统中高压缩比视频处理研究 分布的权值能迅速提高，并重新融入背景中。 3 2 4 多模高斯分布中前景与背景的判断 在单模高斯分布里，只需判断当前像素点是否与背景分布相匹配，便可以判 断当前像素是背景点还是前景点。但在多模高斯分布中，即使某个高斯模型与当 前像素点匹配，也不能断定当前像素是否为背景点。只有当前像素点与“属于背 景”的高斯模型匹配时，才能认为当前像素点属于背景。 怎么样的高斯分布才是“属于背景”的高斯分布呢? 背景一般来是应该是静 止的，因而，通过一段时间的参数更新，该类高斯分布应该具有极小的方差，并 且由于该类高斯分布在训练过程中匹配的次数较多，应该具有较高在权值。相反， 如果有一个运动物体移入当前画面，那么在运动物体移入的地方应该没有一个高 斯分布与其匹配，或者因为当前像素发生较大的变化，而使得移入区域的方差变 大。根据这一思想，我们可以归纳出这样一个区分标准： 背景高斯分布具有较大的权值和较小的方差。而前景高斯分布具有较小的权 值和较大的方差。 因而，我们可以按照如下步骤来判断当前像素点是否为背景点：首先对当前 像素点的所有高斯模型按甜盯排序，珊仃最大的高斯模型排在最前面，而国盯 最小的高斯分布排在最后面，成为“最不理想”的高斯分布。 然后看当前像素点与哪一个高斯分布匹配，如果当前像素点与排名靠前的分 布匹配，则认为是当前像素点为背景点；如果与排名靠后的分布匹配或是不与任 何分布匹配，则认为是背景点。如果当前像素点不与任何高斯分布匹配，则产生 新的高斯分布，代替当前像素中的“最不理想”的分布。 3 3 。多模高斯分布模型的实现 3 3 1