视频监控与视频分析 第十二章 运动目标检测

1、二零一四年九月运动目标检测o 研究背景o 运动目标检测方法 光流法 时间差分法 背景减除法o 算法评价研究背景（1）o 对序列图像的运动分析是当前计算机视觉领域的一个重要研究方向，广泛应用于： 高级人机交互 智能监控 视频会议 医疗诊断 基于内容的图像存储与检索o 美国、英国等国家已经开展了大量相关的研究,当前国际上一些权威期刊如IJCV、CVIU、PAMI、IVC、CVPR、AVSS、ECCV、IWVS等均将序列图像的运动分析作为其中的主题内容。研究背景（2）o 序列图像的运动分析主要包括运动目标的检测、跟踪、分类及行为理解几个过程。o 运动目标检测是从序列图像中将运动变化区域从背景图像中分

2、割提取出来。o 在计算机视觉、智能视频监控（银行、电力、交通、安检及军事）领域，视频图像的运动目标检测结果，将对运动目标分类、跟踪及行为理解等后续处理产生重要影响。运动目标的有效分割是序列图像分析的基础性工作，是当今国内外学者研究的热点问题。低层视觉处理低层视觉处理 中层视觉处理中层视觉处理高层视觉处理高层视觉处理运动目标检测问题分类o 按不同标准将运动目标检测方法分类：（1）摄像机数目：单摄像机、多摄像机（2）摄像机是否运动：摄像机静止、摄像机运动（3）场景中运动目标数目：单目标、多目标（4）场景中运动目标类型：刚体、非刚体o 主要讨论：静止单摄像机，多运动目标检测问题。运动目标检测方法o

3、光流法（Optical flow） 可用于摄像机运动情形，提取目标完整信息（包括运动信息），计算复杂度高，抗噪性能差。在摄像机固定的情况下应用较少。o 时间差分法(Temporal difference) 通过比较相邻2或3帧图像差异实现场景变化检测，对动态环境有较强适应性，但检测精度不高，难获得目标精确描述。 o 背景减除法(Background subtraction) 适用于摄像机静止情形，其关键是背景建模，性能与监控场景复杂情况和系统要求有关，典型算法有中值、自适应模型、高斯模型、多模态均值等。 光流法o 光流法主要通过对序列图像光流场的分析，计算出运动场后，对场景进行分割，从而检测出

4、运动目标。o 光流法的核心是求解出运动目标的光流，即速度。o 简要介绍传统光流法的典型代表Hom&Schunck算法、Lucas&Kanade算法和块匹配算法。 传统光流法 o根据视觉感知原理，客观物体在空间上一般是相对连续运动，在运动过程中，投射到传感器平面上的图像实际上也是连续变化的，即灰度不变性假设。根据这一基本假设，可以得到光流基本方程。o设(x，y)点在时刻t的灰度为 I(x,y,t)，设光流w=(u，v)在该点的水平和垂直移动分量u(x，y)和v(x，y):o经过dt后对应点为I(x+dx,y+dy,t+dt)，当 ，灰度I保持不变，得到I(x,y,t)= I(x+dx,y+dy,

5、t+dt)。此式由Taylor展开，忽略二阶无穷小，整理得到基本的光流约束方程:o o (1)o表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。o从不同角度对式(1) 引入不同约束条件，产生不同的光流分析方法。Barron等人将光流计算分为4种:微分法、频域法、块匹配法和能量法，其中微分法与块匹配法最为常用。下面介绍Hom&schiinck(简称HS)算法与Lucas&Kanade(简称LK)算法，其后介绍块匹配法。dxdyuvdtdt0dt IIIuvtxyxyHorn & Schunck算法 o Horn与Schunck于1981年引入了全局平滑性约束，假设光流在整个图像上光滑变

6、化，即速度的变化率为零。o 结合式（1）和式（2），得光流w=(u,v)应满足：o 取值主要考虑图中的噪声情况。如果噪声较强，说明数据置信度较低，需要更多地依赖光流约束，其取值较大;反之其取值较小。o 1 Horn, Berthold K.P.; Schunck, Brian G. Determining Optical FlowJ.1981. 2222()0 ()0uuvvuvxyxy（2）2222min( , )()()()xytxyx yI uI vIuv Lucas & Kanade算法(1) o Lucas & Kanade于1981年引入了局部平滑性约束，即假设在一个小空间领域上运

7、动矢量保持恒定，使用加权最小二乘法估计光流。在一个小的空间领域上，光流估计误差定义为:o W表示窗口权重函数，使邻域中心区域对约束产生的影响比外围区域更大，式(3)的解为:o 22( , ),xytx yWx yI uI vI(3)212()TTUA W AA W BLucas & Kanade算法(2)o 式中， 212()TTUA W AA W B11221()()()(),(),.,().()()TtnnnI xI yI xI yXAI XI XI xI y 1(),.,()nWdiag W XW X1(),.,()TttnBIXIX 块匹配法 o 块匹配法并不直接使用光流基本方程，它的

8、基本思想是假设光流w=(u，v)为不同时刻的图像区域的位移量，在图像序列的顺序图像对之间实施位置对应。o 块匹配距离度量的方法有两种，一是相似度量，如归一化相关系数最大化;二是对光强度差的平方和进行最小化。 块匹配法归一化相关系数o 归一化相关系数o 当相关系数为1时，表示两个块完全匹配。实际上，由于噪声及目标图像形状的变化，不同图像的对应块亮度会有变化。在 搜索区内的相关系数最大的位置就是最佳匹配，其偏离中心点(x,y)的位移量(u,v)即为光流。 12,2212,(,)(,)( , , , )(,)(,)ni jnni jnI xi yjIxui yvjC x y u vIxi yjIxu

9、i yvj,Nu vN(21) (21)NN块匹配法光强度差平方和法 o 光强度差平方和法计算 搜索区域上的误差分布为：o 将此误差分布转换成指数形式分布o 其中k为正则化参数。指数响应函数在01之间变化。根据估计理论，利用加权最小二乘法可得到真实速度的一个估计:(21) (21)NN212,( , )(,)(,) ,ni jne u vI xi yjIxui yvjNu vN( , )exp( , )R u vke u v( , )( , )(,)( , )( , )uvuvcccccuvuvR u v uR u v vvu vuvR u vR u v 光流法总述 o 基于微分的光流法，实现

10、比较简单，计算复杂度低，缺点是在图像相邻之间偏移量大的时候误差较大，而且该方法要求图像灰度必须是可微的。o 基于匹配的光流法通过特征匹配来确定偏移量，可以解决相邻帧差异较大的问题;但是特征匹配比较困难，运算量比较大，且块匹配法对噪声敏感。o 目前，国内外学者都在寻求改进光流法的方法，主要分为两种，一是光流法自身的改进;二是光流法与其他方法相结合，如即金字塔光流法、区域光流法和特征光流法。时间差分法优点：鲁棒性好，运算量小，易于软件实现优点：鲁棒性好，运算量小，易于软件实现缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现象，阈值象，

11、阈值T缺乏自适应性，当光照变化时，检测算法难以适应环境缺乏自适应性，当光照变化时，检测算法难以适应环境变化变化tt-1t1, I (x,y)-I(x,y) TD (x,y)=0,otherwiseDefault:T=60背景减除法o 中值模型 自适应背景模型o 双背景模型 最大不相似模型o 单高斯 混合高斯o 改进的混合高斯 多模态均值 o 纹理模型 背景减除法流程图 中值模型 (Median Model)背景背景中间值中间值t-1tjj=t-Kttt1B (x,y)=I (x,y)K1I (x,y)-B (x,y) TD (x,y)=0otherwiseDefault:T=60，K=3前提：

12、在前前提：在前K帧图像中，某像素点在超过一半的时间里呈现场帧图像中，某像素点在超过一半的时间里呈现场景背景像素值。景背景像素值。自适应背景模型 前一帧前一帧k-1前一背景前一背景当前背景当前背景+ +（1-1-）= =为自适应参数，其取值为自适应参数，其取值直接影响背景的更新质量直接影响背景的更新质量 是任意选择的适应参数是任意选择的适应参数11ttt-1tttB (x,y)=I (x,y)B (x,y)=I (x,y)+(1-)B(x,y)1I (x,y)-B (x,y) TD (x,y)=0otherwiseDefaut: =0.03，T=60双背景模型 33的邻里差分的邻里差分- -11

13、1212i=-1 j=-1(I ,I )=I (x+i,y+ j)-I (x+i,y+ j)其中：其中：tLTttSTbDif = (I ,B),Dif = (I ,B)Default：Tb=60, Tt=60tbD (x , y ) = M Mbbb1Dif (x,y)TM (x,y)=0otherwisettt1Dif (x,y)TM (x,y)=0otherwise当前帧当前帧k短期背景短期背景(前一帧前一帧k-1)长期背景长期背景(中值模型中值模型)BLT最大不相似模型*没有常数没有常数,包含大量光噪，需要去噪和形态滤波包含大量光噪，需要去噪和形态滤波N：最小灰度值：最小灰度值M：最大

14、灰度值：最大灰度值MD：最大帧间差：最大帧间差ttttttN (x,y)-I (x,y) MD (x,y)1D(x,y)=M (x,y)-I (x,y) MD (x,y)0otherwise单高斯模型假设每个像素的灰假设每个像素的灰度在时间域上满足度在时间域上满足正态分布正态分布:tt1I (x,y)-(x,y) (x,y)D(x,y) =0otherwise简单统计差分：简单统计差分：2222tt-1tt-1tt-1tt-1t-111 t -1 = +I -, = +I -tttDefault： = 4.5单 高 斯 模 型 ：单 高 斯 模 型 ：tt-1t222tt-1tt2t-1t2=

15、 + (1 - )I= + (1 - )(I - )(- I )1 = exp-22混合高斯模型为了描述分布形式更为复杂的背景（特别是在有微小重为了描述分布形式更为复杂的背景（特别是在有微小重复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、海面波涛、雨雪天气、光线反射等），有必要应用到多海面波涛、雨雪天气、光线反射等），有必要应用到多模态的分布形式。模态的分布形式。Stauffer等用多个单高斯函数来描述等用多个单高斯函数来描述场景背景，并且利用在线估计来更新模型，可靠地处理场景背景，并且利用在线估计来更新模型，可靠地处理了光照缓慢变化、背景混乱

16、运动（树叶晃动）等影响。了光照缓慢变化、背景混乱运动（树叶晃动）等影响。混合高斯模型o 设用来描述每个像素点背景的高斯分布共有 K个，分别记为 。各高斯分布分别具有不同的权值 和 优先级 ，它们总是按照优先级从高到低的次序排序。 包括模型初始化、模型匹配与参数更新、生成背景分布和检测前景四部分。 ,( ,),1,2,.,i ti txiK,1(1)Ki ti ti1/2,ii ti tP模型初始化o 第1帧图像初始化混合高斯模型：当前像素的颜色值初始化均值初始较大标准方差 =30.给第一个高斯分布一个较大的权重0.5，其余的高斯分布权重为0.5/(K-1)0模型匹配与参数更新o 将新像素 与模

17、型中的K个分布按序匹配，若 与某分布满足式 （D1为自定义参数），则 与该高斯分布匹配，其参数按下式更新。o o 式中 是自定义的学习率， 是参数学习率。不匹配的分布仅权值按 衰减。o 若无分布和 匹配，则最小权值分布被替换成均值为 ，标准差为 ，权值为 的高斯分布。其余分布仅权值按 更新。tItI,11,1ti ti tIDtI,1,1222,1,(1)(1)(1)()i ti ti ti tti ti tti tII 01, i t,1(1)i ti t tI0,1(1)K tK t ,1(1)i ti t tItI生成背景分布 o 分布按优先级 从大到小排列，T为背景权值部分和阈值，如果

18、前 个分布的权值和刚大于T，则这些分布是背景分布，其它为前景分布。 ,/i ti tBN检测前景 o 若所有背景分布与 都满足下式，则判定为前景点，否则为背景点。（D2为自定义参数）tI,2,|,1,2,.,ti ti tBIDiN混合高斯模型流程图,1,1222,1,(1)(1)(1)()i ti ti ti tti ti tti tII 更新方程：更新方程：融合了背景减除法的改进混合高斯模型o 混合高斯模型使用固定的学习率 ，如果其值较小，模型的初始建立时间较长，如果其值较大，则会降低模型对视频中噪声(如树叶摇晃)的抑制作用。o 背景能够适应缓慢的光照变化、树叶摇动等因素引起的变化，而对于

19、突然的光照变化适应性慢，检测结果中含有大量的阴影。o 由于树叶的摇动在水面或反光物体上产生的突然反光不服从高斯分布，从而在检测结果中出现频繁的闪动。 针对这些问题，融合背景减除法对混合高斯进行改进，在初始建模时采用新的更新算法，能够快速准确地建立初始背景模型。融合了背景减除法的改进混合高斯模型混合高斯模型更新方程：混合高斯模型更新方程：i,ti,t-1ti,ti,t-1222ti,ti,t-1i,t=(1-)+=(1-)+I=(1-)+(I - )融合背景减除法融合背景减除法:t1,tttCGCB (x,y)=(x,y)1if I (x,y)-B (x,y) TD =0elseD=D D为改进

20、的混合高斯的检测结果为改进的混合高斯的检测结果GDDefault:T=50，N=2001/tif,tN=1/Nelseii,t1/Mif,t N =elseMi为每个高斯分布相匹配为每个高斯分布相匹配的次数的次数 混合高斯及改进算法实验结果（1）图图1 高速高速路监控视路监控视频初始建频初始建模实验结模实验结果果图图2户外户外停车场监停车场监控视频初控视频初始建模实始建模实验结果验结果 混合高斯建模，混合高斯建模，由于背景更新速由于背景更新速率较慢，在初始率较慢，在初始建模时建模时(第第120帧帧以前以前)，背景模型，背景模型不够健全，开始不够健全，开始时检测的结果残时检测的结果残缺或漏检。而

21、改缺或漏检。而改进混合高斯算法进混合高斯算法在第在第40帧左右建帧左右建立初始模型，快立初始模型，快速检测出完整性速检测出完整性好的运动目标，好的运动目标，即该改进的方法即该改进的方法能够快速建立初能够快速建立初始背景模型。始背景模型。 混合高斯及改进算法实验结果（2）改进算法有效地抑制反光物体带来的频繁闪改进算法有效地抑制反光物体带来的频繁闪动，并且检测出的运动目标含较少阴影。动，并且检测出的运动目标含较少阴影。多模态均值oS.Apewokin等人针对背景建模速度慢，计算和存贮量大等问题，提出了多模态均值法，利用多个均值描述背景，建模快，计算量小，存贮空间少，能在嵌入式系统上实时检测出含少量

22、阴影的运动目标，但其不适应复杂背景中重复的扰动、前景与背景的转化等。 o1S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern RecognitionC, S.l.:s.n.,2007:1-6.o2S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embed

23、ded Real-Time Surveillance Using Multimodal Mean Background ModelingJ. Embedded Computer Vision, 2009:163-175.多模态均值o 运用像素 与M个背景比较，不断更新模型均值，每个背景 包含与之匹配的RGB各通道值总和 、匹配次数 、在时间轴上相邻两滑动窗口内的匹配次数 和 。其检测过程包括背景匹配与参数更新、前景检测和背景替换。 tI, , , ,i ti R ti G ti B ti ti ti tBSSSCrp, , ,i R ti G ti B tSSS, i tC, i tr, i

24、tp背景匹配与参数更新 o 为t-1帧第i个背景j通道的均值 。若像素 满足 则与背景 匹配，用如下更新。 , ,1, ,1,1/i j ti j ti tSC, ,j tIjRG B, ,1,1( |) ()j ti j tji tFGjIECT, 1i tB, , ,1,1212bi j ti j tj tbi ti tSSICC1,mod00,if tdbelse其中,1,1,10,mod01,mod0,mod0,mod0i ti ttii ti ti ttiif twrrif IBtwrif twppif IBtw匹配匹配前景检测与背景替换 o 前景检测:若无背景与 匹配，则当前像素判

25、为前景。o 背景替换:当 为前景时，计算背景在两滑动窗口内匹配次数和 。找出M个背景中满足 的背景构成集合L。L中的模型表明在两滑动窗口中匹配次数较少，不能很好描述背景。若L中有背景，则替换其中最小 的背景。若L为空，则替换M背景中最小 的背景。 tItI,1,1,1i ti ti tRrp,1i tRw M,1i tC,1i tCmin,1,0,0R tG tB tBIII实验结果与分析基于纹理的背景模型o LBP（Local Binary Pattern）是描述图像局部空间结构的非参数纹理算子，在纹理分类中有较高区分力，对亮度改变不敏感，计算量小等优点。初始LBP仅通过像素的8邻域得到，为

26、描述大尺度的纹理，Ojala等把其定义扩展为具有不同半径的圆形邻域。o 本文LBP算子如下式。1,01,0(,)()2 , ( )0,PnP Rccncnif xLBPx yS iiS xelse纹理背景模型o 背景模型由一组自适应的LBP直方图来描述， 。模型的每个直方图有个权重 ，且所有权重和为1。o 直方图相似性度量o 是直方图，N=纹理模型更新与背景选取o 模型更新o 如果模型所有直方图相似性都低于 ，则更新权重最低的直方图模型，赋低的初始权重，如0.01。o 如果模型中有直方图相似性大于等于 ，则匹配。选择匹配中最高相似性的直方图，更新其bins来适应新的数据：o 权重更新：o 此时

27、 为1，其它为0。o 背景选取o 模型直方图按权重降序排列，并且选取前B个直方图作为背景直方图： 前景检测o 当前像素的直方图与当前的B个背景直方图比较，计算其相似度。如果至少一个背景直方图相似度高于阈值 ，这个像素为背景。否则为前景。 实验结果背景减除法 现存问题o 关键在于背景模型的建立、保持、更新。主要存在三个问题：1）背景模型没有充分利用图像中相邻像素点之间的相关性信息。 运动前景中具有的漏检与虚警区域，通常用形态学滤波和判断连通区域大小的方法来消除孤立的小区域及合并相邻的不连通前景区域。2）背景模型的更新速度不能和运动目标的运动速度很好地匹配。 如果更新速度比监控场景的变化速度慢，则

28、容易产生虚影（计算虚影区域的光流场可以消除虚影）。相反，如果背景模型的更新速度太快，也容易出现运动目标的漏检。为改善检测效果，可使用多个具有不同更新速度的背景模型，或多摄像机从不同角度对同一场景进行监控，有效利用深度信息。3）复杂场景中摇动的树叶与运动阴影也被检测为运动前景。 由摇动树叶所产生的运动前景混乱问题（混合高斯背景模型与数学形态学滤波）。消除阴影对运动目标检测的干扰是非常困难的问题，特别是处理灰度序列图像中的阴影。算法评价o 鲁棒性：在各种环境条件(光照变化、背景扰动)下实现运动目标的完整分割。o 准确性：算法应具有较低的漏检、误检(虚警)，并能够得到运动目标尽量完整的信息。o 复杂

29、性：在保证算法处理效果的前提下，算法的时空复杂度应尽可能小，以保证算法的实时性与实用性。o 通用性：算法对先验信息(色彩、形状、运动和应用场景等)的依赖程度应尽可能低。定量分析算法准确性o 准确率P、查全率R和Jaccard系数o 设TP表示正确检测的目标像素数；FP表示将背景像素错检为目标像素的个数，即造成虚警的误检像素数；FN表示将目标像素错检为背景像素的个数，即漏检像素数。o 准确率P反映虚警率，值越大虚警率越低；查全率R反映目标分割的完整性，值越大完整性越高。 权衡准确率和查全率，反映算法综合性能。 ,cTPTPTPPRJTPFPTPFNTPFPFNcJcJ较流行背景减除法实验结果图B

30、oots WavingTrees OutDetect Boots WavingTrees OutDetect原图原图 基准基准图像图像 中值中值模型模型 时间时间差分差分 链链码码本本 混混合合高高斯斯 多多模模态态均均值值 较流行背景减除法实验结果客观评价混合高斯、多模态混合高斯、多模态均值：准确率均值：准确率P、查、查全率全率R、Jaccard系系数数Jc较高，检测效较高，检测效果较好果较好参考文献o1Dr Alan M.Mclvor. Background Subtraction Techniques: Proc. of Image and Vision Computing C. New

31、 Zealand:s.n., 2000.o2裴巧娜 .基于光流法的运动目检测与跟踪技术D, 北方工业大学，2009. o3Berthold K.P. Horn, Brian G. Schunch. Determining Optical FlowJ. Artificial Intelligence, 1981,17:185-203. o4C. Stauffer, W. E. L. Grimson. Learning Patterns of Activity Using Real-Time Tracking: Proc IEEE Trans. on PAMIC. Washinton:IEEE C

32、omputer Society,2000,22(8):747-757.o5Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, et al. Real-time foreground-background segmentation using codebook modelJ. Real-time Imaging, 2005,11(3):172-185. o6Heikkila M, Pietikainen M, Heikkila J. A texture-based method for modeling the background d

33、etecting moving objectsJ. IEEE Trans Pattern Analysis and Machine Intelligence, 2006, 28(4): 657-662.参考文献o7S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern RecognitionC, S.l.:s

34、.n.,2007:1-6.o8王典. 基于混合高斯的背景建模与阴影抑制算法研究D. 西北工业大学, 2006.o9Chris Stauffer, W.E.L Grimson. Adaptive background mixture models for real-time trackingJ.IEEE,1999.o10S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embedded Real-Time Surveillance Using Multimodal Mean Background ModelingJ. Embedded Compu

35、ter Vision, 2009:163-175.o11Jian Sun, Weiwei Zhang. Background Cut. Computer Vision ECCV 2006.o12Sen-Ching S. Cheung, Chandrika Kamath. Robust techniques for background subtraction in urban traffic video: Visual Communications and Image Processing on SPIEC. Sethuraman Panchanathan,2004,5308(1):881-8

36、92. Real-time foregroundbackground segmentationusing codebook modelKyungnam Kim报告人：霍东海参考网络资源o Codebook背景建模原理（中文简介）o 网址：http:/ K. Kim, T. H. Chalidabhongse, D. Harwood and L. Davis, Real-time Foreground-Background Segmentation using Codebook Model, Real-time Imaging, Volume 11, Issue 3, Pages 167-256

37、, June 2005.o 相关文献nWren CR, Azarbayejani A, Darrell T, Pentland A. Pfinder: real-time tracking of the human body . IEEE Transactions on Pattern Analysis and Machine Intelligence 1997; 19(7):7805.nHorprasert T, Harwood D, Davis L S. A statistical approach for real-time robust background subtraction a

38、nd shadow detection. IEEE Frame-Rate Applications Workshop,Kerkyra,Greece;1999.nStauffer C, Grims on WEL. Adaptive background mixture models for real-time tracking. IEEE International Conference on Computer Vision and Pattern Recognition 1999; 2:24652.摘要o 我们提出一种实时的前景背景分割算法。在一个长时间序列的样本训练集中，每一个像素的背景像素

39、值都被放入到一个称为codebook的压缩的背景模型中，这样可以允许我们建立一个结构化结构化的背景模型，从而可以适应在有限内存下的以准周期准周期运动的变化场景的背景。这个codebook背景模型在内存和速度上都比其他的背景建模技术更有优势。我们的方法可以处理场景中包含运动背场景中包含运动背景景和全局光照变化全局光照变化的情况，对不同类型的视频有点非常鲁棒的检测效果。o 在基本模型的基础上，我们提出了两种改进算法，一是多层codebook背景建模，令一种是自适应的codebook背景建模。o 为了可以评估算法性能，我们应用误检率(Perturbation Detection Rate)分析来比较

40、了两段视频在4种背景建模方法下的性能。5W理论o Who （谁）o Says What （说了什么）o In Which Channal （通过什么渠道）o To Whom （向谁说）o With What Effect （有什么效果）Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假设和原因，主要包括光照实验o What： codebook是什么，包括模型、算法、过程；o What effect：real-ti

41、me，背景多模态，全局光照变化，训练阶段允许少量前景的存在o Codebook背景建模算法的改进与发展Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假设和原因，主要包括光照实验o What： codebook是什么，包括模型、算法、过程；o What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在o Codebook背景建模算法的改进与发展BGSo 前景提取-=视频序列背

42、景运动前景What we are looking for!背景建模前景检测运动跟踪Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假设和原因，主要包括光照实验o What： codebook是什么，包括模型、算法、过程；o What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在o Codebook背景建模算法的改进与发展o Whoo第一作者：Kyungnam Kim(韩国

43、)o个人主页：/knkim/o单位：Computer Vision Lab, Department of Computer Science, University of Maryland, College Park, MD 20742, USAo简历：nPh. D UMD, College Park, Computer Vision Laboratory, 2005nM.Sc, Information and Communication, K wanju Institute of Science and Technology (K-JIST),

44、1999nB. Eng Pusan National University , 1997o研究方向：nmulti-camera / multi-hypothesis / multi-target segmentation and trackingnbackground subtractionnvisual surveillancenhuman detection/trackingnactivity analysis, image/video quality measuremento期刊：1，会议：17，专利：1（韩国）Outlineo To Whom (What Problem)： BGS (

45、foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假设和原因，主要包括光照实验o What： codebook是什么，包括模型、算法、过程；o What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在o Codebook背景建模算法的改进与发展 WhyOutlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo W

46、hy： 提出codebook的假设和原因，主要包括光照实验o What： codebook是什么，包括模型、算法、过程；o What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在o Codebook背景建模算法的改进与发展ModelModelModelAlgorithmBG Modeling均值AlgorithmBG Modelingo colordist(xt,vm)；AlgorithmBG Modelingo brightness(I,(Ihigh,Ilow)；AlgorithmBG RefinementAlgorithmFG subtractio

47、n这里加入其他前景检测的方法配合使用Outlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假设和原因，主要包括光照实验o What： codebook是什么，包括模型、算法、过程；o What effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在o Codebook背景建模算法的改进与发展What effecto 对压缩视频的处理方面对压缩视频的处理方面 What effecto 多模

48、态背景的检测情况多模态背景的检测情况 What effecto 非干净背景训练非干净背景训练 What effecto 长时间的背景视频序列长时间的背景视频序列 MOGKernelCB内存需求200bytes900bytes112bytesOutlineo To Whom (What Problem)： BGS (foreground-background segmentation)o Who：Kim K ，CV Lab ， UMDo Why： 提出codebook的假设和原因，主要包括光照实验o What： codebook是什么，包括模型、算法、过程；o What effect：real-

49、time，背景多模态，全局光照变化，训练阶段允许少量前景的存在o Codebook背景建模算法的改进与发展改进与发展o 作者自己的改进作者自己的改进 n 多层codebook建模在系统运行过程中背景可能会发生变动，比如背景中放进去了一辆汽车就不再移动等情况 n 自适应性的背景更新 全局光照变化的情况，比如室外环境中天空中突然飘过一片云遮挡了太阳，这时候全局光照就会变暗，导致图像像素值减小 多层codebook建模o Hcache o Tho Taddo Tdelete符合永久模型符合永久模型的背景的背景符合非永久模型的背景符合缓存的前景什么都不符合什么都不符合的前景的前景多层codebook建

50、模自适应性的背景更新o Learning rateo 质心的更新o 投影的更新？自适应性的背景更新改进与发展o 其他人的改进其他人的改进 n Real-time Background Modeling/Subtraction using Two-Layer Codebook Model与作者的两层改进模型有些许区别n 基于LBP(Local Binary Patterns)的codebook改进算法 补充局部纹理模型到codebook建模中n Real Time Foreground-Background Segmentation Using a Modified Codebook Model

51、修改了算法参数方面的东西改进与发展n Box-based Codebook Model for Real-time Objects Detection 背景模型简化为Boxn Spatio-temporal context for codebook-based dynamic background subtraction添加了时空上下文到算法中n Gaussian-Based Codebook Model for Video Background Subtraction结合高斯模型到codebook中n “Hybrid Cone-Cylinder” Codebook Model for For

52、eground Detection with Shadow and Highlight Suppression将背景假设为圆锥圆柱混合模型Two-Layer Codebook Modelo Real-time Background Modeling/Subtraction using Two-Layer Codebook Model . o Author: Mohamod Hoseyn Sigari. Iran. o 修改：n输入图片序列为灰度图像，原始codebook使用的是RGB空间图像n原始codebook算法，亮度的上下限作者进行了放大和限制（即引入了alpha和beta用来解决hig

53、hlight和shade的问题），本文作者是将亮度的上下限修改为统计量最大亮度和最小亮度n在判断codeword是否匹配的地方，原始codebook基于两个条件colordist(xt,vm)和brightness(I,(Ihigh,Ilow)，本文作者修改为一个函数brightness(I,(Ihigh,Ilow)，即只判断亮度是否落在上下限范围内Two-Layer Codebook ModelLBPo Layered Video Background Model and Object Detect ion Based on Local Binary Pattern and Codebook

54、 / Layered Video Objects Detection Based on LBP and Codebook （重庆邮电大学 ）n局部二值模式的纹理信息进行第一层分块背景建模n在第一层上选取代表点进行第二层码本背景建模n利用局部纹理模型很好的消除了阴影 o Segmentation of Moving Foreground Objects using Codebook and Local Binary Patterns （北京交通大学 ）o 前景检测中加入了单高斯判断和LBP判断 o 三种算法的结合 LBP（重庆邮电大学 ）LBP（重庆邮电大学 ）LBP（北京交通大学 ）Modif

55、ied Codebook Modelo Real Time Foreground-Background Segmentation Using a Modified Codebook Model o Atif Ilyas, Mihaela Scuturici, Serge Miguet . 里昂大学 o 改进：n 只有最大负运行长度小于某一阈值和codeword的访问频率大于某一阈值的像素才能进入到匹配阶段n 在缓存中的背景模型中的codeword不仅要达到待够一定长的时间的限制，而且还要访问的频率也大于某一预设的阈值才能加入到背景模型中去 Modified Codebook ModelBox-

56、based Codebooko Box-based Codebook Model for Real-time Objects Detection o 华中科技大学o 修改n HSV空间 n Box-basedSpatio-temporal context codebooko Spatio-temporal context for codebook-based dynamic background subtraction o 中科院成都光电所 o 两种修改n 加入空间上下文n 在加入空间因素的基础上也加入了时间的因素Spatio-temporal context codebookGaussian

57、-Based Codebooko Gaussian-Based Codebook Model for Video Background Subtraction o 清华大学 o 修改n 在codebook算法中加入了高斯分布因素，利用一下公式判断codeword是否匹配的问题 Gaussian-Based Codebook“Hybrid Cone-Cylinder” Codebooko “Hybrid Cone-Cylinder” Codebook Model for Foreground Detection with Shadow and Highlight Suppression o Un

58、iversity of California, San Diego CVRR Laboratoryo 修改n HSV空间 n 圆柱圆锥混合(Hybrid Cone-Cylinder)模型 “Hybrid Cone-Cylinder” Codebook总结o对codebook的参数、程序策略的改进；（Modified Codebook Model / LTwo-Layer Codebook Model）o对codebook模型本身的改进；（“Hybrid Cone-Cylinder” Codebook / Box-based Codebook）o与其他背景建模方法的结合使用；（Gaussian-

59、Based Codebook / LBP）o对codebook在像素级上的扩展。（Spatio-temporal context codebook）ViBe: A Universal Background Subtraction Algorithm for Video Sequences；ViBe+：Improvement for ViBe庄伟源outlineo 1) INTRODUCTION o 2) REVIEW OF BACKGROUND SUBTRACTION ALGORITHMSo 3) DESCRIPTION OF VIBEo a. classificationo b. Initi

60、alizationo c. updateo 4) EXPERIMENTAL RESULTSo 5) THE IMPROVEMENT OF VIBE:VIBE+1）INTRODUCTIONo Goal:o 自动检测，分割并且跟踪视频中的目标；o Concept：o 通过用现在的图像去对比已知的观察图像（背景图像），该观察图像不含有任何感兴趣的对象，是背景模型(或背景图像)。这个对比过程被称为前景检测。o Problem Characteristics: o Ghosto ineffective for most practical situations(fast illumination cha