（通信与信息系统专业论文）视频图像序列统计模型与目标可视性分析及应用.pdf

目录 摘要 视频分析和处理在商业、军事、工业等领域有着十分广泛的应用， 而视频检测分割技术是视频分析和处理中的一个重要技术，因为人4 1 往往希望能在视频序列中检测并提取出注意及感兴趣的主体。例如按 内容对视频数据进行检索和查询，静态场景监测系统，红外目标跟踪 与识别系统等。 本文首先对一般的视频序列建立了随机实验模型，把图像序列看 作多维随机信号可以描述为样本集合，随机变量集合以及灰度随机变 量。讨论了随机图像用像素代数来进行描述的四种形式以及用视频对 象来进行描述的形式和模型。针对某一类视频序列，为方便实验起见， 把图像序列用灰度随机变量来描述，对其进行仿真并研究其统计特性。 得到视频序列在局时空域上是统计关联的或具有局时空域的马氏统计 特性，时差分视频背景序列的时空平稳性以及时差分帧残留噪声的类 白高斯特性等仿真结果。这些特性和描述方法是其他很多图像处理方 法的基础或假设前提，很有必要对这方面做详细研究，本文就对此做 了较全面的研究分析。 其次本文对目标可视性问题进行了详细地分析研究。从影响可视 性的几个因素入手分析并由此提出目标邻对比度参数，对目标邻对比 度参数和目标可视性的关系进行了研究仿真。又从可检测性的角度研 究了虚警、漏警概率特性并由此提出邻对比信噪比参数，对邻对比信 噪比参数和目标可检测性的关系进行了研究。提出两种目标可视性分 类方法并对其从多方面进行描述，最后建立可视性模型。这方面的研 究对检测方法尤其是对微弱点状目标的检涌将有很重要的作用。 基于前面所述理论分析和实验结果，本文研究了几种检测方法： 噪声特征参数估计方法，背景估计方法，基于时空分集理论的t b i 检 测技术的基本理论。并着重对其中的噪声特征参数估计方法和背景估 计方法进行了仿真分析、比较。尤其是对噪声特征参数估计方法的初 始参数估计选取问题，迭代函数问题进行了分帮亍：对背景估计方法中 所选取块的大小，目标大小对检测结果的影响进行了分析。 本文设计的仿真平台是一个完整的p c 仿真平台，除了完成上述仿 真内容外，还可以广泛应用在工程上、教学上，并可在该仿真平台基 目录 础上做进一步内容的p c 仿真分析。 关键词：视频序列检测可视性邻对比度 可检测性邻对比信噪比 琏录 a b s t r a c t v i d e oa n a l y s i sa n dp r o c e s s i n ga r ew i d e l yu s e di nm a n yf i e l d ss u e ha s c o m m e r c i a l ，i n d u s t r i a l ，m i l i t a r y f i e l d sa n ds oo i l d e t e c t i o na n d s e g m e n t a t i o na r ei m p o r t a n tt e c h n i q u e si nv i d e oa n a l y s i sa n dp r o c e s s i n g b e c a u s ew ed e s i r et od e t e c ta n de x t r a c tt h er e l a t e dv i d e oo b ja c t s ( v o b ) ， w ea r ei n t e r e s t e di n ， f o re x a m p i e ，t h ea p p l i c a t i o n sa r ec o n t e n t b a s e d v i d e od a t ai n d e x i n ga n dq u e r y i n g ，s i t em o n i t o r i n gs y s t e m ，i n f r a r e dt a r g e t s t r a c k i n ga n dr e c o g n i t i o ns y s t e m 。 r a n d o me x p e r i m e n tm o d e li se s t a b l i s h e df o rg e n e r a lv i d e os e q u e n c e s i nt h i sp a p e r a sm u l t i d i m e n s i o n a lr a n d o ms i g n a l ，v i d e os e q u e n c eh a s s u c hd e s c r i p t i o n sa ss a m p l es e t ，r a n d o mv a r i a b l es e ta n dg r a ys c a l e r a n d o mv a r i a b l e o t h e rd e s c r i p t i o n so fr a n d o mv i d e os e q u e n c ea r e i n t r o d u c e di nt e r m so fp i x e la l g e b r aa n dv i d e oo b j e c t f o re x p e r i m e n t c o n v e n ie n c e ，w ed e s c r i b et h ev i d e os e q u e n c ei nt h i sp a p e ra sg r a ys c a l e r a n d o mv a r i a b l e 。a n de x p l o r ef u l l yi t ss t a t i s t i c a le h a r a c t e r i s t i c s ， w i t h a n a l y s i sa n dp cs i m u l a t i o n ，w eh a v eg o tt h ec o n c l u s i o n sa sf o l l o w i n g ： v i d e os e q u e n c ei ss t a t i s t i c a l l y d e p e n d e n ta n dh a sm a r c o vs t a t i s t i c a l c h a r a c t e r i s t i c s i nl o c a l s p a t i a l t e m p o r a ls c o p e ，d i f f e r e n t i a l v i d e o b a c k g r o u n ds e q u e n c ei ss p a t i a l t e m p o r a ls t a t i o n a r ya n dt h er e s i d u a ln o i s e o ni ti sl i k ew h i t eg a u s s i a n a n ds oo n t h e s ec h a r a c t e r i s c i c sa n d d e s c r i p t i o n s a r et h eb a s i so rh y p o t h e s i so fm a n yv i d e oa n a l y s i sa n d p r o c e s s i n gm e t h o d s ，t h i sp a p e rh a sd o n eal o to fn e c e s s a r yr e s e a r c hi n t h i ss p e c i a lf i e l d ， a n o t h e ri m p o r t a n tc o n t r i b u t i o no ft h i sp a p e ri st h er e s e a r c ha b o u t v i s u a la b i l i t y b ya n a l y z i n gs e v e r a le l e m e n t st h a th a v ee f f e c t so nv i s u a l a b i | i t y ，t h ec o n t r a s ti nn e i g h b o r h o o di sg i v e na n dt h er e l a t i o nw i t ht h e v i s u a la b i l i t yi sd i s c u s s e da n ds i m u l a t e d ，f r o mt h er e s e a r c ho fe r r o r c h a r a c t e r i s t i cofd e t e c t i o n ，t h es i g n a lt on o i s er a t i oi nn e i g h b o r h o o da n d i t sr e l a t i o nw i t hd e t e c t i o na b i l i t ya r ed i s c u s s e d t h e n1 h ev i s u a la b i l i t y m o d e la n dc l a s s i f i c a t i o nm e t h o d sa r ee s t a b l i s h e d o nt h eb a s i soft h em o d e l sa n de x p e r i m e n t sm e n t i o n e d ，t h r e e t e c h n i q u e s f o r a p p l i c a t i o n s a r ed i s c u s s e di nt h i sp a p e ra sn o i s e c h a r a c t e r i s t i c p a r a m e t e re s t i m a t i o n ，b a c k g r o u n de s t i m a t i o n ，t b d d e t e c t i o n t h ef i r s tt w oa r es i m u l a t e d ，a n a l y z e da n dc o m p a r e d ， i nt h e n o i s ec h a r a c t e r i s t i cp a r a m e t e re s t i m a t i o n w ep a ym u c ha t t e n t i o nt oh o w t oc h o os ei t so r i g i n a lp a r a m e t e ra n da n a l y z et h ei n f l u e n c eo fi t e r a t i o n 嚣蒙 f u n c t i o nt od e t e c t i o nr e s u l t i nt h eb a c k g r o u n de s t i m a t i o n ，w em a i n l y a n a l y z er e l a t i o nb e t w e e nt h es i z eo ft h eb l o c ka n dt a r g e t ，e s t i m a t i o nt i m e ， a n ds oo n ， t h es i m u l a t i o n p l a t f o r m o fs o f t w a r e d e s i g n e d i nt h i s p a p e r is c o m p l e t ea n dc a nb ew i d e l yu s e di nt h et e a c h i n ga n dr e s e a r c h 。 k e y w o r d s ： v i d e os e q u e n c e ，d e t e c t i o n ，v i s u a la b i l i t y , c o n t r a s ti nn e i g h b o r h o o d ，d e t e c t i o na b i l i t y ， s i g n a lt on o i s er a t i oi nn e i g h b o r h o o d ， 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的 研究工作及取得的研究成果。据我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得电子科技大学或其它教育机 构的学位或证书而使用过的材料。与我同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 签名：基生童日期：b 。，年 月w 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学 位论文的规定，有权保留并向国家有关部门或机构送交论文 的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科 技大学可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编 学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 圭生垫导师签名：垄篮 日期：”。，年，月四日 第一童引言 1 1 研究背景及意义 第一章引言 人类已经进入到信息社会，在人类感知的信息中有百分之八十是 可视化( 图示) 信息。视频涉及到可视化信息，其中包括静态图像和 时变图像。静态图像的特点是其信息密度随空间分布，且相对于时间 为常量；而时变图像其空间密度特性是随时间变化的，所以时变图像 是一种时间一空间密度模式，通常可以表示为f ( x ，y ，t ) ，其中工，y 是空 间变量，t 是时间变量，本文中的视频所指的是时变图像。 数字视频技术的研究起于7 0 年代，视频为我们提供了比静态图像 更丰富的信息，通过对视频信息进行分析和处理，可以获得从单一的 静态图像中不可能得到的信息。视频分析和处理在商业、军事、工业 等领域有着十分广泛的应用，例如： ( 1 ) 商业上，视频处理广泛应用于数字电视( 包括高清晰度电视) ， 多媒体、桌面视频图像，视频会议系统，可视电话和移动图像通信以 及其他消费娱乐领域。 ( 2 ) 工业上，用于工业过程控制、机器人视觉、自主运载器导航 等。 ( 3 ) 军事上，用于对空监视中的多目标跟踪等。 其他的应用领域包括重点部门的监视系统、智能化交通高速公路 系统、港口交通控制、航空和飞行控制、远程多媒体教育系统等。 通常，人们对序列图像系统的研究主要分为两类，一类是在近距 离大目标，强信噪比的情况下。对于大目标的检测、跟踪及处理，其 主要难点在于如何将二维图像空间映射到高维特征空间，从而高效的 抽取目标特征，以便进步的匹配，识别及跟踪。这个方向的研究现 在主要应用于静态场景检测，基于内容的分层压缩技术( m p e g 4 ) 另一类是远距离微弱点状目标，低信噪比的情况下。微弱点状运 动目标不同于大目标，它没有具体的纹理及轮廓信息可利用，因此， 不可能用传统的技术来检测及提取目标特征。这个方向的研究主要应 用于战争中。在现代战争中，为监视战场情况，尽早发现敌情，人们 研制了各种各样的目标检测及跟踪系统，如s a rr a d a r ，l a s e rr a d a r 。 第一章引言 而对于序列图像中的微弱点状运动目标的检测和跟踪，其难点主 要在于： 1 目标图像呈点状，目标支持域尺寸趋于点，无形状，尺寸，纹 理等信息可以利用。 2 图像点目标的亮度与其邻域背景的平均对比度低，且亮度在时 域上是随机分布的。 3 点图像目标在其邻域内信噪杂波比很低，对全范围内整个图像 域的信噪杂波比就更低。 4 目标随机出现，必须在整个空域内进行搜索。 5 目标运动规律无定式，使目标图像的搜索、检测变得更困难。 不管何种检测方法，一般都是先进行运动估计与补偿，然后基于 差分帧图像完成的，而差分帧的残留噪声普遍认为是类白高斯噪声， 几乎所有的检测方法都是基于这个假设进行的。本论文主要研究内容 之一就是建立一般视频序列统计模型和描述方法，针对某一类视频序 列分析其原域和时差分域的统计特性尤其是差分帧的残留噪声的类白 高斯特性。 微弱点状目标本身还涉及一个可视性的问题，可视性是人主观感 受的一种描述，它和人眼的视觉特性有很大关系。根据实验我们可以 知道目标的可视性和背景及目标背景灰度差有很大关系，同样灰度的 目标在不同背景下其可视程度可能不同，也就是同样灰度目标在某些 场合为微弱点状目标，在另外一些场合就是清晰可见的目标了。如何 客观地描述微弱点状目标是一个关键问题，用什么样的参数能充分描 述微弱点状目标并通过该参数可以分析检测的误差特性，这是建立检 测与跟踪方法的一令基础。本论文的另一主要研究内容就是建立可视 性模型和分类参数描述，分析了影响可视性的各种因素并建立了相应 的描述参数，以及对检测结果的影响。 微弱点状目标的检测及跟踪技术是我国未来十年的“准瞄”计划 的重要研究内容之一。本论文是为完成8 6 3 基金项目“序列图像中微 弱点状目标的检测及跟踪技术研究”而做的底层理论分析。 第一章引言 1 2 相关技术及其研究动态 1 2 1 背景抑制及白化技术 对于光学成像目标检测系统，通常目标总是隐藏在强背景下。在 这种情况下，若直接检测目标是很困难的，最可行的办法是采用某些 信号处理方法，在目标检测之前去除背景干扰。由于自然背景，如天 空中的云层，在形成时受物理规律的制约，使得它们在图像灰度空间 上的分布具有较大的相关性。可以将它们假设为均值空间非平稳，方 差缓变的高斯过程或将它们假设为一阶马尔可夫过程。在这些假设条 件下，学者们先后研究了不同的背景抑制技术。有些采用非参数估计 方法“1 进行背景抑制，有些采用格型时空白适应滤波方法抑制 背景。有些采用多帧相关进行背景抑制，用于相关的图像可以从不同 的波段摄入，也可以是不同的时刻摄入。 对图像序列的白化处理包括两种处理技术，一种为时域滤波处理， 一种为空域滤波处理。时域滤波处理可通过帧与帧之间的差分来完成， 这种处理方法计算简单，有效，但通常只能限制在图像背景运动不大 的场合。当图像背景运动较大时，常采用直接空域白化处理。 1 2 2 基于动目标提取的检测技术 把视频图像按视频对象( v i d e o0 b j e c t ) 可分为动目标和背景， 所以自然地，各种检测方法可大致归类为基于动目标提取的检测方法 和基于背景估计的检测方法。在本文中讨论了一种基于噪声参数估计 的检测方法“1 ，基本原理是假设差分帧残留噪声为高斯分布，设噪声 n ( 工，y ) 服从均值为、方差为盯2 的高斯分布：n ( 五y ) n ( z ，t t 2 ) ，先估计 出噪声的特征参数，包括其均值和方差。由于噪声服从相同分布，则差 分图像中噪声区域将具有相同的分布，运动区域则不具备此性质，因 此我们可以首先估计出一个较为可信的噪声的均值和方差的初始估计 值，并计算差分图像中各象素的灰度值与噪声均值之问的误差，然后 采用迭代加权法，即根据误差的大小在下一次的噪声均值估计过程中 对各个象素分配相应的权值，误差小的象素分配的权值大，误差大的 象素分配的权值小。最终根据迭代得到的噪声参数把噪声滤除即可得 到运动区域。相关方面的研究很多，例如文献“”中提出一种新方法， 第一章引言 这种方法的基本思想是比较两幅图像块的平均灰度级而不是直接针对 像素的灰度级，这样基于差分曲线的简单分析便可褥到运动物体的位 置和大致形状。文献”6 1 中提出基于多参数模型估计( 用来确定其运动 模型) 的一种运动估计和分割方法，在这种方法中应用了基于最小平 方准则的准同步参数模型拟合方法。 1 2 3 基于背景估计的检测技术 背景是指视频序列中运动相对缓慢部分。它的运动特性在高速运 动的目标序列图像中是比较突出的，我们可以利用这一点来把它从视 频序列中检测出来，这一类方法就被通称为基于背景估计的检测技术。 本文中讨论了一种基于背景估计的检测技术“”，其基本原理是基于邻 帧差分后背景呈现出高斯特性，假设背景用b ( x ，y ) 来表示，利用某种准 则，估计s ，s + l 帧的共同的背景6 。+ 。( z ，y ) ，s + l ，s + 2 帧的共同背景为 6 。：( z ，y ) ，n 与n + i 帧的共同背景为b 。+ 。( 工，y ) 。利用下式即可以重建 理想背景。 e 。 6 ( x ，力= u b 。+ l ( x ，y ) 式中u 为拼接算子。这方面的研究更多是应用在准静态场景监视系统 中。如文献”中提出一种在局域应用改良过的k a l m a n 滤波器模型来 动态估计背景图像的方法，其中参数是基于最小方差准则迭代得到的。 在文献”2 1 中，提出一种新的实时检测灰度图像序列中变化的方法，其 基本原理结合了时域差分和自适应背景模型提取。当背景模型灰度有 变化时，自动调整适应为新的背景状态，为避免增大这些调整误差， 把这一调整适应主要用在那些时域差分检测到的区域而不是全域。这 样调整适应过程就和自身的背景提取结果分离开来，文献中提到该种 方法比用修正后的k a l m a n 滤波技术进行自适应背景估计的方法要优良 很多。 1 2 4 基于时空分集理论的t b d 检测技术 t b d 过程比较适合于微弱点状运动目标的检测。t b d 过程最基本的 任务是利用目标的运动信息来增强目标能量，减少噪声干扰，即提高 s n r 。其中关键在于具体如何实现，即如何估计目标可能的运动轨迹以 4 第一章弓f 言 及如何去搜索等。现有两种实现思路：一种为直接在时空领域搜索所 有可能的目标轨迹，然后在每条轨迹上按照所假设的运动速度将目标 能量累加的方法：另一种为先将三维图像序列映射到二维投影图像中， 在投影图像上搜索目标的所有可能轨迹，然后再在每条轨迹上按照所 假设的运动速度将目标能量累加的方法。可见，这两种方法的基本不 同点就是轨迹搜索领域，前者是时空三维空间，后者则二维投影空间。 在理想情况下，前者性能最好，是以巨大的计算量为代价的。后者性 能次之，但是以减少数据维数而获得计算量少，易于实时实现等特点。 所以一般采用第二种策略，在具体实现时，利用移动通信领域常用的 时间和空间分集接收理论，将两者结合实施来实现了一种t b d 过程。 其中，时间分集承担了从三维向二维的投影任务，而空间分集则在某 条假设的运动轨迹上，实现目标能量的分集。这方面更多的应用于军 事上对红外目标的检测与跟踪上。如文献”中分析了一种基于t b d 算法的动态编程技术，应用极值理论得到衡量算法性能的指标比如检 测概率和虚警概率的显式表达式。该文献提到这种方法的两大优势是 第一没有使用有争议的高斯和独立性的假设，其次所得到的检测概率 和虚警概率更精确。在文献”中，提出一种检测和跟踪噪声中可能目 标的方法，这种方法是基于原始雷达视频数据完成的，而检测是基于 后验信息并且使用t b i ) 技术完成的。该文献与经典的跟踪方法相比， 其优点是在t b d 方法中，根据集成能量和运动相关能量判定一个目标 是否存在。在文献中提到这种方法比一般方法更适用于跟踪噪声中的 微弱目标，因为嗓声中的微弱目标涉及非线性非高斯滤波问题，而传 统的滤波方法如k a l m a n 滤波将会使检测性能大大下降，文献针对噪声 的非线性、非高斯特性使用格型滤波器。 1 3 创新之处及论文安排 创新之处主要表现在以下几个方面： 1 对一般的视频序列建立了随机实验模型，并从各个角度和方面对 其进行了描述。针对某一类视频序列，把图像序列看作灰度随机 变量进行仿真并研究其统计特性。得到视频序列在局时空域上是 统计关联的或具有局时空域的马氏统计特性，时差分视频背景序 列的时空平稳性以及时差分帧残留噪声的类白高斯特性等仿真结 果。这是其他很多图像处理方法的基础。 第一章引言 对目标可视性问题进行了分析研究。研究了影响可视性的几个因 素并由此提出目标邻对比度参数，分析了其与目标可视性的关系 并进行仿真。又从可检测性的角度研究了虚警、漏警概率并由此 提出邻对比信噪比参数，分析了其与目标可检测性的关系。对目 标进行可视性分类并对其从各个角度和方面进行描述，最后建立 可视性模型。 在上述实验结果基础之上讨论了几种检测方法并着重对其中的噪 声特征参数估计方法和背景估计方法进行了仿真分析，比较。尤 其是对噪声特征参数估计方法的初始参数估计选取问题，迭代函 数问题进行了分析；对背景估计方法中所选取块的大小，目标大 小对检测结果的影响进行了分析。 建立了完整的p c 仿真平台，除了完成上述仿真内容外，还可以应 用在工程上、教学上，并可在该仿真平台上做进一步内容的p c 仿 真分析。 本文的主要内容及安排如下： 第一章说明了本课题的研究背景及与本课题有关的相关技术研究 动态。 第二章从各个角度对视频序列进行描述，建立了视频序列的基本 统计模型及仿真平台。分析视频序列原域，时差分域的统计特性，并 验证差分帧上残留噪声的类白高斯特性。 第三章提出目标邻对比度并分析其与目标可视性的关系；提出邻 对比信噪比并分析其与目标可检测性的关系；对目标进行可视性分类 及进行描述。建立目标可视性参数模型及仿真平台。 第四章讨论了噪声特征参数估计的检测方法，背景估计的检测方 法，基于时空分集理论的t b d 检测技术的基本理论，并对噪声特征参 数估计和背景估计进行仿真分析，比较。 第五章为全文总结。 第二章视频图像序列的基本统计模型及仿真系统 第二章视频图像序列的基本统计模型及仿真系统 2 1 图像序列的随机实验模型 图像序列的建模是场景监控，运动目标检测与跟踪等应用中的关 键研究点，它对于目标检测与跟踪的理论分析和系统性能评价起着十 分重要的作用。因为图像及其目标序列图像都是典型的多维随机信号， 所以图像及其目标序列的观察是典型的多维随机实验“i4 1 。 2 1 1 多维随机信号 多维随机信号又称为随机图像或随机场。当我们观察一个未知的 图像信息时，由于许多不确定因素的存在，每次实验观察的结果不可 能是确定的，用c o ，来表示某实验样本空间的基本实验结果，其观察所 得图像为f ( x ，y ，国，) ，这一实验的结果是不能事先确定的，此类实验称 为随机实验，实验所观察的图像称为随机图像、随机场或称为多维随 机信号。 珊1 珊f 6 0 m z人，( z ，y ，q ) f t 。 人f ( x ，y ，q )( 图21多维随机信号 三种表征多维随机变量的方法“”： ( 1 ) 用样本图像集合表征随机图像，只是样本的出现也是随机的，可 表示为：f ( x ，y ) = f ( x ，y ，咄) ，i = 1 , 2 ， ( 2 ) 给定( t y ) 时，随机图像f ( x ，y ) 就表示一个随机变量，用随机变量 集合表征随机图像，可表示为：f ( x ，y ) = f ( x ，y ) ，( z ，y ) r 】，r 为 第二章视频图像序列的基本统计模型及仿真系统 图像的支持域。随机图像也可表示为随机向量 f ( x ，y ) = f ( x 。，y 。) ，厂心，y ，) ，f ( x 。，y 。) ，这里假定( z ，y ) 编号为 ( x 。，y ，) ，i = 1 , 2 。，= 1 , 2 ，a ( 3 ) 简化地，用一个随机变量表征随机图像，即将随机图像视为某个 灰度随机变量f ( x ，y ) = 厂，在 ，y ) 上取值】，此时，厂为对应的简化 灰度随机变量。 2 1 2 图像序列的随机实验模型 1 视场观察的对象是场景及其目标图像。 场景图像可毗表示为f ( x ，o j ) ：= 参舭的随机变量族，目标图像可以 表示为厶( x ，珊) ；参数z 。上的随机变量族。 其中，6 9 为随机样 本，x ；( 工，y ，t ) r z ，x 。_ ( 石，y ，f ) r x 。，且r kc r t 。他们都是多维图 像随机信号，厶( x 。，0 9 ) 是f ( x ，0 3 ) 的子信号、局域信号或目标信号。 2 视场观察是一个典型的随机实验，其实验空间为： 有时表示为： 其中，n 为随机实验的可能结果。 ( 1 ) f 为随机实验的事件域，p 为定义在q 上的联合概率特性( j p e f ) 。 q ；( f ( x ，甜) x r ，f rr ) p ；p ( u ，厶；盖= ( 1 ，1 ，1 ) ，x = ( f ，七) ) ( 2 ) 用联合矩特性( j 。) 替代p 均值特性m ( x ) 为： ( 膏) ：= 伽( 厶) ) m 方差特性c o y ( x ) 为： c o y ( x ) ：= ( 盯2 ( 厶”m 日 3 如果在视频目标v o b ( v i d e oo b j e c t ) 上建立q ，则其模型可以表 示为： = 渤 其中，n m 为视频图像序列的v o b 划分( p a r t i t i o n ) 。 第二章视频图像序列的基本统计模型及仿真系统 2 2 随机图像的像素和v o b 的基本描述 2 2 1 像素代数的基本描述p ix e l i a ig e b r a 随机图像可以使用图像像素代数来进行描述，其基本形式如下： 随机变量的集合形式：= ( f ( x ，o j ) ，x r x ，f r ，) 随机变量的向量形式( 有限序列模型) ：1 2 = ( 工。，( c 0 1 l i ) ，厶。( c o 。”7 随机变量的矩阵形式：1 3 = ( f ( x ，c o ) ) ，工r x 离散随机时变场形式：l = ( 正，( f ，印) ，t ) 2 2 2v o b 代数的基本描述v o b - a lg e b r a 1 图像序列的v o b 可表示为：v o b ( i ) = ( 厶( x ，c o ) ，z r 。( 厶) ) 其中，( 厶) 是v o b ( o 的支持域，( 厶) 在不发生意义含混时，可随 内容需要将其视为集合、向量或矩阵形式。 2 随机图像的v o b 模型可表示为：i ，= ( g o b ( i ) ，i ( 1 , 2 ，) ) 其中，v o b ( i ) 在不同的应用中具有不同的划分，比如图像的运动v o b 分 解模型，v o b o 表示背景，煳，表示第f 个运动目标。v o b o ) 特性按不同 的应用有不同的含意，比如： r o i ：r e g io n0 fi n t e r e s t感兴趣的图像区域 r o s ： r e g i o no fs e n s i t i v i t y敏感图像区域 m t ：m o v i n gt a r g e t运动目标区域 若v o b ( i ) ，i 彼此不重叠，则他们是对随机图像的一个划分，因此有如 下关系： u v o b ( o = i ，v o b ( i ) 厂 v o b ( j ) = 庐，i ，v o b ( i ) r v o b ( j ) = r o b ( i ) ，i = j 3 、： 图像的v o b 线性式描述 若图像序列f ( x ，0 9 ) 的各个v o b ( i ) 互斥，则有线性式： 厂( x ，曲) = o ( x ，0 2 ) 4 - + 矗( x ，国) 引入背景图像，厶( x ，脚) ，则上述式可以表示为： f ( x ，c o ) = 瞄，c a ) ( 1 一，。( ，脚) ) + g ( x ，叻+ a ( x ，脚) j 。，) 厶( z ，) ( 2 一1 ) 其中，a ( x ，国) 【0 , 1 】是v o b 与背景叠加的权函数。 第二章视频图像序列的基本统计模型及仿真系统 k ( x ，0 9 ) 是v o b ，存在域指示函数，其定义为： 州舢) = 1 。乞轰撇 在视频图像序列中有两种典型情况： ( 1 ) 目标作为前景遮挡所在位置的背景图像，比如在可见光波段进行 观察时，飞行器与背景的关系，上式( 2 - 1 ) 可以简化为： a ( x ，曲) = 0 f ( x ，c o ) = l ( x ，c o ) o i v , ( x ，) ) + 厶( x ，。) ( 2 ) 目标亮度与所在位置背景亮度的叠加，比如在热成像时，热目标 与热背景之间的关系，上式( 2 - 1 ) 可以简化为： a ( x ，脚) = l f ( x ，c o ) = l ( x ，) + 瞄，珊) 2 3 基本统计模型仿真任务与p c 仿真系统设计 2 3 1 仿真任务 通过p c 研究视频图像序列的基本统计特性： 1 视频图像给定某一时刻f ，全域直方图，各局域直方图及平稳性分 析。 2 视频图像给定某一点( x ，y ) ，l ( r ，山) 样本及其统计特性分析。 3 视频图像差分序列上的研究： ( 1 ) 给定某一时刻r ，全域直方图，各局域直方图及平稳性分析。 ( 2 ) 给定某一点( 工，y ) ，l ( f ，6 9 ) 样本及其统计特性分析。 ( 3 ) 直方图的函数拟合分析。 ( 4 ) 差分图噪声的白化独立检验。 2 3 2 p c 仿真系统设计 基于p c 的仿真系统结构 第二章视频图像序列的基本统计模型及仿真系统 仿真系统应用软件 w i n d o w s 2 0 0 0 p c 硬件 圈22 仿真系统结构 仿真系统应用软件构成如下所示： 图2 3 仿真系统应用软件构成 2 3 2 1 视频图像序列采集模块 在我的p c 仿真程序中没有涉及具体采集，而是直接使用已采集好 并储存为文件形式的图像序列。具体在程序中所使用的图像序列文件 有两种： ( 1 ) 飞机飞行图像序列文件 图像序列文件储存路径为：“e ：z x y l e a r n i m a g e p l ” 图像序列文件文件名为：p 1 0 0 0 0 一一p 1 0 0 6 0 图像序列文件格式为：灰度级为2 5 6 的b m p 图像 图像序列文件大小为：3 2 0 2 4 0 图像序列参数：从0 0 0 0 到0 0 6 0 共6 l 帧 ( 2 ) 点目标图像序列文件 图像序列文件储存路径为：“e ：z x y l e a r n i m a g e p o t s ” 图像序列文件文件名为：p 1 0 0 0 0 一一p 1 0 2 0 0 图像序列文件格式为：灰度级为2 5 6 的b m p 图像 图像序列文件大小为：3 2 0 2 4 0 图像序列参数：从0 0 0 0 到0 2 0 0 共2 0 1 帧 2 3 2 2 特性分析模块 苎三兰塑塑里堡生型竺苎查竺生堡型墨堕塞墨竺 特性分析从另一个角度来看主要就是空域特性分析和时域特性分 析。 1 空域分析 该部分主要完成对某一定时刻r 图像z y 二维域以及差分图二维 域上的特性分析。对图像的全局直方图，目标区域直方图，背景直方 图，紧邻域直方图的统计分析，以及差分图相应的直方图统计分析。 针对差分图目标区域直方图，背景直方图，紧邻域直方图的数据拟合， 并求出相应的均值与方差。根据直方图的数据给出门限完成对图像的 二值化。 ( 1 ) 数字视频基于像素级的统计模型 视频是一个多维随机信号，其像素级的统计模型如下： 【f ( x ，y ，r ，j ) ，( x ，y ，) z 训，f z ， 其中， z 。= z 。互为整数空时域： z 。= z ，z ，为整数空域； z ；= ( 1 ，2 ，l ，) 为行编序域，且l z 。 = 三，； z ，= ( 1 ，2 ，三。) 为列编序域，且i z ，l - l 。； 互= ( 1 , 2 ，) 为帧编序域； 厂= ( o ，1 ，2 6 1 ) 为图像灰度级编序，且l f l = 2 6 ，6 为比特数。 视频像素级的统计模型又可描述如下： l厂( x ，y ，t ，s ) ，( b y ，f ) z ， ，z ri l0 ( 厂；y ，0j 直方图日( v 。，r ，5 ，1 3 ) 可近似描述只( x ，y ，f ) 如下： h ( v i , t , s , o ) = 嬲帅_ v f ) ( v 。，f ，j ，盯) 是s 样本序列，f 时刻，在盯区域上，灰度级为v ，的像素数 h ，p ，j ，盯) 占盯区域上总像素数n o ( f ，s ，o - ) 的百分比。其中，v 。( 0 ，l ，2 6 一1 ) ， 若盯为整个图像，则n o ( t ，s ，盯) = 三，- t 。 ( 2 ) 数字视频时域差分统计模型 第二章视频图像序列的基本统计模型及仿真系统 原v i d e o 一 差分v i d e o 一 图2 4 视频时差分统计模型 对差分后的视频序列可采用如( 1 ) 中所述的模型进行分析。 ( 3 ) 直方图算法 不管是原域还是差分域，不管是全局还是局域直方图统计，其核 心算法一样： 其中咒( f ) 是在感兴趣区域内灰度值为i 的像素点个数，i , t 为感兴趣区域 的总像素点个数。盯不同便可以得到全域，局域的直方图。 ( 4 ) 均值和方差 均值和方差分别如下所示，其中竹( f ) 便是前面所述感兴趣区域灰度 值为i 的像素点个数，n 便是前面所述感兴趣区域内总像素点个数。 第二章视频图像序列的基本统计模型及仿真系统 均值：i n ( o方差= 驴2 5 5 - 警 蒿 行吾 ，z ( 5 ) 数据拟合 数据拟合主要是研究直方图是否类高斯。首先把前面所述的直方 图的值一一相连为曲线。然后按照下面公式画出高斯曲线： f = e x p ( 鱼掣) o - 。 具体在画该高斯曲线时，因为直方图曲线的最高点为m a x ( n ( o ) ，为了便 于从图形上和直方图曲线进行比较，进行如下改动： f = m a x e x p ( 学 ( 6 ) 二值化 在原域图上，由于目标和背景的灰度分布经常如下图所示 图2 5目标背景灰度分布关系 即使我们从直方图上看到如右图的情形，给定那样一个阀值，也 很难通过二值化的方法把目标和背景的灰度区分开来，也就是说在原 域上还是很难检测目标。所以在程序里可以根据直方图输入二值化门 限砌，完成二值化的功能。二值化公式如下所示： g r a y ( x , y ) = ： g r a y 如川 t h 2 时域分析 该部分主要完成对某一点( x ，y ) 沿时间轴的特性分析，在图上每次 可选取六个不同的点，并可计算出在时域上的均值和方差。根据输入 的处理帧数确定出时间长度，针对每一个点记录下该点在时间长度内 的每一帧上的灰度值，并计算出其均值与方差。对背景而言，固定点 1 4 第二章视频图像序列的基本统计模型及仿真系统 沿时间的灰度变化应该很小，雨对晷标上的点或目标将要经过的地方 上的点，沿时间的灰度应该是短时平稳的，所以在选择六个点时，应 在这些典型区域上分别选择。 23 2 3 噪声检验模块 噪声检验模块是用m a t l a b 独立完成的。为检测差分图像残留噪声 的白化程度，下面分别简单介绍一下噪声正态性检验和独立性检验原 理。 1 噪声正态性检验“ 各种检测方法基本上都是基于差分帧完成的，而且一般都认为差 分帧残留噪声是高斯的，所以检验其白化程度是非常有必要的。本文 采用峰度偏度检验法检验噪声是否服从正态分布。 设z 是服从正态分布n ( u ，盯2 1 的随机变量，则有： 均值：e q ) = “ 方差：e ( x 一“) 2 = 盯2 偏度： 文学 3 = o 峰度 。r x 一”、4， 止l 了j 叫 偏度反映了分布密度函数的对称性，峰度反映了分布密度函数曲 线的状态。 设_ 工。是随机过程扛，r z 的长度为n 的样本，则对应的样本均 值、样本方差、样本偏度、样本峰度分别为： 1 样本均值： i 2 专善t 样本方差： 样本憾铲寺姜( 字 3 样本峰度 占2 = 万1 荟u ( 矿习2 萨专姜 孚 4 令g 。= g ：一3 ，则易知，当n 足够大时，9 3 , g 。趋于零a 对于g ，9 4 ，可以证明： 第二章视频图像序列的基本统计模型及仿真系统 e ( 9 3 ) = 0 地。) 一熹 v a r ( 9 3 ) = 揣z 6 当斗。 。)：三坐生旦坠生。24当nvar(g一。 。卜面矗面焉而“n 当一0 。 令：g 3 = f i 9 3g 。= 段”熹 则g 3 ，g 。渐近服从正态分布n ( 0 ，1 ) ，故对充分大，有： p ( j g 3p 2 ) 0 0 4 5p ( 1 g 4 l 2 ) 0 0 4 5 故对样本一工。，若计算出的q ，g 4 的绝对值至少有一个超过2 ，应做 出否定随机过程k ，t z 是正态噪声序列的假设。 2 噪声独立性检验 前面介绍了正态性检验原理，下面介绍噪声的独立性白化程度检 验原理。噪声的白化程度由自相关函数给出，当噪声随机过程的自相 关函数呈现j ( ，) 函数特性时，我们称该噪声过程为自噪声随机过程。对 于二维图像信号，其自相关函数定义为： 脚劫= 南薹姜m - 曲 其中，为二维图像空间坐标，0 p n ，0 q m 。 2 3 2 4 显示模块 1 空域特性的显示 空域特性主要是直方图，所以空域特性的显示主要是直方图的显 示。直方图是在队2 5 6 灰度等级i 为横坐标，以感兴趣区域内灰度值为 i 的像素点个数n ( f ) 为纵坐标，绘制出的。盯不同便可以得到全域，局 域的直方图。因为图像大小为3 2 0 2 4 0 ，所以某些灰度值的像素个数 可能上万，而有些灰度值像素个数可能只有十几个，为了显示方便， 第二章视频图像序列的基本统计模型及仿真系统 纵坐标采取非线性压缩。如下图所示。 图2 6 空域特性显示坐标 2 时域特性的显示 以时间r 为横坐标，在程序中实际是以离散帧为横坐标，以2 5 6 灰 度等级为纵坐标，把某一点延时间轴的