codebook码本算法

1、real-time foregroundbackground segmentationusing codebook modelkyungnam kim报告人：霍东海参考网络资源 codebook背景建模原理（中文简介） 网址：http:/ k. kim, t. h. chalidabhongse, d. harwood and l. davis, real-time foreground-background segmentation using codebook model, real-time imaging, volume 11, issue 3, pages 167-256, june

2、 2005. 相关文献 wren cr, azarbayejani a, darrell t, pentland a. pfinder: real-time tracking of the human body . ieee transactions on pattern analysis and machine intelligence 1997; 19(7):7805. horprasert t, harwood d, davis l s. a statistical approach for real-time robust background subtraction and shad

3、ow detection. ieee frame-rate applications workshop,kerkyra,greece;1999. stauffer c, grims on wel. adaptive background mixture models for real-time tracking. ieee international conference on computer vision and pattern recognition 1999; 2:24652.摘要 我们提出一种实时的前景背景分割算法。在一个长时间序列的样本训练集中，每一个像素的背景像素值都被放入到一个

4、称为codebook的压缩的背景模型中，这样可以允许我们建立一个结构化结构化的背景模型，从而可以适应在有限内存下的以准周期准周期运动的变化场景的背景。这个codebook背景模型在内存和速度上都比其他的背景建模技术更有优势。我们的方法可以处理场景中包含运动背景场景中包含运动背景和全局光照全局光照变化变化的情况，对不同类型的视频有点非常鲁棒的检测效果。 在基本模型的基础上，我们提出了两种改进算法，一是多层codebook背景建模，令一种是自适应的codebook背景建模。 为了可以评估算法性能，我们应用误检率(perturbation detection rate)分析来比较了两段视频在4种背景

5、建模方法下的性能。5w理论 who （谁） says what （说了什么） in which channal （通过什么渠道） to whom （向谁说） with what effect （有什么效果）outline to whom (what problem)： bgs (foreground-background segmentation) who：kim k ，cv lab ， umd why： 提出codebook的假设和原因，主要包括光照实验 what： codebook是什么，包括模型、算法、过程； what effect：real-time，背景多模态，全局光照变化，训练阶段

6、允许少量前景的存在 codebook背景建模算法的改进与发展outline to whom (what problem)： bgs (foreground-background segmentation) who：kim k ，cv lab ， umd why： 提出codebook的假设和原因，主要包括光照实验 what： codebook是什么，包括模型、算法、过程； what effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 codebook背景建模算法的改进与发展bgs 前景提取-=视频序列背景运动前景what we are looking for

7、!背景建模前景检测运动跟踪outline to whom (what problem)： bgs (foreground-background segmentation) who：kim k ，cv lab ， umd why： 提出codebook的假设和原因，主要包括光照实验 what： codebook是什么，包括模型、算法、过程； what effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 codebook背景建模算法的改进与发展 who第一作者：kyungnam kim(韩国)个人主页：/knkim

8、/单位：computer vision lab, department of computer science, university of maryland, college park, md 20742, usa简历： ph. d umd, college park, computer vision laboratory, 2005 m.sc, information and communication, k wanju institute of science and technology (k-jist), 1999 b. eng pusan national university ,

9、 1997研究方向： multi-camera / multi-hypothesis / multi-target segmentation and tracking background subtraction visual surveillance human detection/tracking activity analysis, image/video quality measurement期刊：1，会议：17，专利：1（韩国）outline to whom (what problem)： bgs (foreground-background segmentation) who：ki

10、m k ，cv lab ， umd why： 提出codebook的假设和原因，主要包括光照实验 what： codebook是什么，包括模型、算法、过程； what effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 codebook背景建模算法的改进与发展 whyoutline to whom (what problem)： bgs (foreground-background segmentation) who：kim k ，cv lab ， umd why： 提出codebook的假设和原因，主要包括光照实验 what： codebook是什么，包括

11、模型、算法、过程； what effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 codebook背景建模算法的改进与发展modelmodelmodelalgorithmbg modeling均值algorithmbg modeling colordist(xt,vm)；algorithmbg modeling brightness(i,(ihigh,ilow)；algorithmbg refinementalgorithmfg subtraction这里加入其他前景检测的方法配合使用outline to whom (what problem)： bgs (

12、foreground-background segmentation) who：kim k ，cv lab ， umd why： 提出codebook的假设和原因，主要包括光照实验 what： codebook是什么，包括模型、算法、过程； what effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 codebook背景建模算法的改进与发展what effect 对压缩视频的处理方面对压缩视频的处理方面 what effect 多模态背景的检测情况多模态背景的检测情况 what effect 非干净背景训练非干净背景训练 what effect 长时间的背

13、景视频序列长时间的背景视频序列 mogkernelcb内存需求200bytes900bytes112bytesoutline to whom (what problem)： bgs (foreground-background segmentation) who：kim k ，cv lab ， umd why： 提出codebook的假设和原因，主要包括光照实验 what： codebook是什么，包括模型、算法、过程； what effect：real-time，背景多模态，全局光照变化，训练阶段允许少量前景的存在 codebook背景建模算法的改进与发展改进与发展 作者自己的改进作者自己的

14、改进 多层codebook建模在系统运行过程中背景可能会发生变动，比如背景中放进去了一辆汽车就不再移动等情况 自适应性的背景更新 全局光照变化的情况，比如室外环境中天空中突然飘过一片云遮挡了太阳，这时候全局光照就会变暗，导致图像像素值减小 多层codebook建模 hcache th tadd tdelete符合永久模型符合永久模型的背景的背景符合非永久模型的背景符合缓存的前景什么都不符合什么都不符合的前景的前景多层codebook建模自适应性的背景更新 learning rate 质心的更新 投影的更新？自适应性的背景更新改进与发展 其他人的改进其他人的改进 real-time backgr

15、ound modeling/subtraction using two-layer codebook model与作者的两层改进模型有些许区别 基于lbp(local binary patterns)的codebook改进算法 补充局部纹理模型到codebook建模中 real time foreground-background segmentation using a modified codebook model修改了算法参数方面的东西改进与发展 box-based codebook model for real-time objects detection 背景模型简化为box spa

16、tio-temporal context for codebook-based dynamic background subtraction添加了时空上下文到算法中 gaussian-based codebook model for video background subtraction结合高斯模型到codebook中 “hybrid cone-cylinder” codebook model for foreground detection with shadow and highlight suppression将背景假设为圆锥圆柱混合模型two-layer codebook model

17、 real-time background modeling/subtraction using two-layer codebook model . author: mohamod hoseyn sigari. iran. 修改： 输入图片序列为灰度图像，原始codebook使用的是rgb空间图像 原始codebook算法，亮度的上下限作者进行了放大和限制（即引入了alpha和beta用来解决highlight和shade的问题），本文作者是将亮度的上下限修改为统计量最大亮度和最小亮度 在判断codeword是否匹配的地方，原始codebook基于两个条件colordist(xt,vm)和b

18、rightness(i,(ihigh,ilow)，本文作者修改为一个函数brightness(i,(ihigh,ilow)，即只判断亮度是否落在上下限范围内two-layer codebook modellbp layered video background model and object detect ion based on local binary pattern and codebook / layered video objects detection based on lbp and codebook （重庆邮电大学 ） 局部二值模式的纹理信息进行第一层分块背景建模 在第一层上

19、选取代表点进行第二层码本背景建模 利用局部纹理模型很好的消除了阴影 segmentation of moving foreground objects using codebook and local binary patterns （北京交通大学 ） 前景检测中加入了单高斯判断和lbp判断 三种算法的结合 lbp（重庆邮电大学 ）lbp（重庆邮电大学 ）lbp（北京交通大学 ）modified codebook model real time foreground-background segmentation using a modified codebook model atif ily

20、as, mihaela scuturici, serge miguet . 里昂大学 改进： 只有最大负运行长度小于某一阈值和codeword的访问频率大于某一阈值的像素才能进入到匹配阶段 在缓存中的背景模型中的codeword不仅要达到待够一定长的时间的限制，而且还要访问的频率也大于某一预设的阈值才能加入到背景模型中去 modified codebook modelbox-based codebook box-based codebook model for real-time objects detection 华中科技大学 修改 hsv空间 box-basedspatio-temporal context codebook spatio-temporal context for codebook-based dynamic background subtraction 中科院成都光电所 两种修改 加入空间上下文 在加入空间因素的基础上也加入了时间的因素spatio-temporal contex