2D视频转3D视频算法的研究与软件实现

摘 要 I 摘 要 随着计算机图像视频与网络通信技术的高速发展，传统的 2D 高清视频由于不能呈现实场景的立体真实性，已经无法满足人们对高质量视频的追求，于是 3D（ 立体电视便应运而生了， 同时广电总局也把 3D 电视列为 “十二五”重点规划项目。 3D 电视涉及到 3D 视频源的制作、传输、立体显示等相关技术，由于网络通信与立体显示技术的日益发展成熟，所以 3D 视频内容的制作成为了 3D 电视未来发展成与败的关键。 目前有两种方法能够制作满足质量需求的 3D 视频。一种方法采用多目摄像机直接生成 3D 视频源，但是成本比较高；第二种方法是采用合适的算法将已有好的 2D 视频转换成可以通过立体显示技术显示的 3D 视频，由于当前大量的 2此对该方法的研究具有非常重要的现实意义。 本文在研究了已有的 2D 转 3D 视频技术的基础上，对已有的 2D 转 3D 视频技术算法做出了相应的改进并对其软件实现。论文首先通过连续自适应均值漂移(法与卡尔曼 (波算法对视频序列中的动态目标进行实时的跟踪，准确的定位目标前景，从而有利于后续前景与背景的分割，得到高质量的深度图像；然后通过目前比较成熟的 法分割图像前景与背景，并基于深度梯度假设与图像区域分块算法对前景与背景进行深度赋值，从而得到原始 2D 视频的深度视频；最后通过 于深度图渲染恢复 )算法对原始左路 2D 视频与与之对应的深度视频生成新的右路 2D 视频， 再根据相应的立体显示器把左右路 2D 视频合成为相应的 3D 视频进行显示， 本文通过色分法的立体显示技术对生成的 3D 视频进行实验结果展示。 关键词： 三维立体视频，目标跟踪，连续自适应均值漂移，卡尔曼滤波， 于深度图像恢复I of D TV t s of of of D TV it as 3D D D D D TVs of of D of D D be by is D be D a D TV of is of At it in on it in so its be a of to of by D be D on D be D to D 3D 录 录 第一章 绪论 . 1 题研究的背景与意义 . 1 内外研究现状 . 2 内研究现状 . 2 外研究现状 . 3 文的工作内容与结构安排 . 4 第二章 2D 视频转 3D 立体视频系统 . 5 眼立体视觉原理 . 5 面视频转立体视频的系统结构 . 6 成深度视频 . 6 成立体视频 . 7 体视频显示 . 7 章小结 .三章 生成与 2D 视频相应的深度视频 . 12 频中的目标跟踪 . 13 标跟踪的概述 . 13 标跟踪的相关方法与比较 . 14 于运动特点的目标跟踪算法 . 14 于特征匹配的目标跟踪算法 . 15 于概率统计的目标跟踪算法 . 22 论文所采用的目标跟踪算法 . 24 验结果与分析 . 26 景与背景的分割 . 27 像分割概述 . 27 像分割的方法与比较 . 28 于亮度的图像分割法 . 28 于颜色的图像分割法 . 29 目 录 本论文所采用的图像分割法 . 31 度信息的获取 . 34 验结果与分析 . 38 章小结 . 40 第四章 基于 2D 视频与深度视频生成 3D 视频 . 42 路视频的生成 . 42 体视频的合成 . 49 验结果与分析 . 51 章小结 . 53 第五章 实验结果与分析 . 54 动目标跟踪 . 54 景与背景的分割 . 55 成深度视频 . 56 成红蓝立体视频 . 56 验结果分析 . 57 第六章 总结与展望 . 59 文工作总结 . 59 作展望 . 59 致谢 .考文献 . 62 攻硕期间取得的研究成果 . 65 第一章 绪论 1 第一章 绪论 题研究的背景与意义 随着科技的发展与人们对生活质量的追求，视频领域的 3D 视频备受关注，3D 视频也将继高清视频成为视频领域的又一次大的飞跃与突破， 它不仅带给了人们视频感官上的优质享受，同时也带动了整个产业链的发展。 2010 年随着阿凡达电影票房的一炮走红1，全新的 3D 视觉体验逐渐被广大消费者熟知与认可，2010 年也因此被称为“ 3D 电视元年”2。 2010 年至今，非常多优秀的 3D 影视的出现更加点燃了消费者对 3D 电视的热情， 在 3D 电视生产商方面索尼等国内外大型企业也相继推出了主动式以及偏光式 3D 立体电视，甚至在一些高端的场合已经推出了裸眼 3D 的显示技术， 全高清以及逼真的 3D 效果给消费者带来的强烈的视觉震撼，根据 孚凯）中国数据显示 2011 年国内的 3D 液晶电视销售量与以往相比也有了大幅度的提高， 2012 年开始随着 3D 频道的开播，把 3D 电视推向了新一轮的高潮，但是 3D 内容的发展远远赶不上 3D 电视的发展速度，如此不平衡的发展并没有给市场带来足够的信心， 好的 3D 片源一直是 3D 电视整个产业发展的瓶颈， 所以制作出优秀的 3D 视频内容已经成为了 3D 电视未来发展成与败的关键。 1997 年上映的泰坦尼克号以全球 18 亿美元的票房拿下了一个又一个的传奇， 15 年后泰坦尼克号又将以 3D 的形式再一次亮相大银幕，相信将会创造另一个辉煌的票房成绩，可想一部好的经典的电影在消费者心中留下了多么深刻的印象，国内外像这样的经典影视枚不胜举。 3D 视频内容的制作方法可以分为两大类，一类就是主动视觉生成法，二就是被动视觉生成法。主动视觉就是比较直接的去获取现实场景中的三维信息，如三维扫描仪或者深度摄影机，三维摄像机能够比较精确的获得三维信息，但是对场景要求比较高，一般情况都要求比如目标是静止的，而且就是价格非常昂贵，一台三维扫描机可能要花上百万美元，对于深度摄像机，不仅价格昂贵，由于其采用红外或射线的方式进行深度测量，进过多次反射形成的多径效应使得测出的深度值会相当不准确3；被动视觉的特点就是不能主动直接的获取到三维场景中的深度与三维空间描述信息，最终计算电子科技大学硕士学位论文 2 出来的深度信息也只是一个近似值，其代表的方法有多目摄像机法与 2D 视频直接转 3D 立体视频的方法。由于多目摄像发同样具有价格昂贵的缺点，且不能利用已有的 2D 视频内容，而 2D 转 3D 的方法就是一种很好的过度方法，消费者可以根据自己的兴趣爱好把已存在的 2D 内容转换成 3D，那么这其中的价值将是难以估计的。 因此如何把现有丰富高质量的 2到了国内外高度的关注，研究 2D 转 3D 视频的技术也显现出了其重要的价值。 本课题论文就是在基于这样的背景下产生的，课题实现了一种可靠、快速高效的算法把 2D 视频转换成优质的 3D 视频。该算法非常适合于那种投资小、周期短等小制作的个人或者企业等领域，如小型的 3D 楼盘展示、校园的宣传片 3D 展示等等相关场合。 内外研究现状 国内外对于 2D 转 3D 视频技术提出了各种各样的方法， 这些方法大致可以分为三类： D 视频转 3D 立体视频方法。该方法就是根据原始视频序列每帧中不同区域的远近程度，对每一帧中的像素值进行水平方向上的移动，从而生成新的视频序列帧。这种方法可以生成质量比较好的 3D 视频，但是由于全是手动的生成，所以非常耗时间，且工作量就比较大，相应的成本也就非常高。 D 视频转 3D 立体视频方法。该方法就是在 2D 转 3D 视频的过程中，或多或少的进行手动的处理，如目标的提取分割、场景的深度值设置等相关点。该方法相对于全手动方法，虽然在时间与工作量消耗上有所改善，但同样没有取得突破性的改善，也没有非常大的商业应用价值。 D 视频转 3D 立体视频方法。该方法在 2D 转 3D 视频的整个过程中都是全自动的，首先对原始的 2D 视频中的目标进行跟踪，然后对目标与背景进行分割，接着设定不同的深度值，最后最后通过 术把生成得到的深度视频与原始 2D 左路视频生成新的右路 2D 视频， 根据相应的立体显示技术把左右路 2D 视频合成 3D 立体视频。 内研究现状 针对全自动的 2我国已经取得了一些阶段性的重要成果，第一章 绪论 3 这些成果主要有： 2009 年无锡景象数字技术公司发明了一种“单幅 2D 图像转 3申请获得了专利，该方法利用了单幅图像的灰度信息，先通过高斯滤波方法出去灰度图像中的噪声，然后再通过拉普拉斯滤波法获得与之对应的深度图像，最后结合原始图像与深度图像生成最终的 3D 图像。接着在同一年该公司再一次针对 3D 立体视频领域提出一种 “基于光流特征的 2D 转 3D 视频方法”并获得了专利，方法通过对视频帧进行光流运动的分析，获得像素点的中的光流向量，从而计算得到视差图。浙江大学也在 2009 年发明了“ 3D 电视系统中 2D 立体视频的技术方法”并同时获得了该项专利，该专利方法提出对视频序列中的像素块进行运动幅度的计算，根据运动幅度的大小推算出 2D 视频中的深度信息，再根据得到的深度视频与 2D 视频生成最终的 3D 视频。在 2010 年，福州瑞芯微电子有限公司申请并获得了一项全自动的 2D 转 3D 技术的专利4，该 专利系统包括“自适应控制电路” 、 “前处理电路”与“后处理电路” ，根据颜色模式识别以及视频序列中目标的运动信息获得目标与背景的分离，然后对不同的场景进行深度的赋值，最后通过深度视频与原始的 2D 视频生成 3D 的立体视频。随着科技不断的发展，该技术也得到了更进一步的发展，在 2011 年彩虹集团公司发明并获得了一项 2D 视频转 3D 立体视频算法专利， 该系统通过颜色与亮度的统计方法对图形进行分块，再与预设的景深假设系统进行对比生成相应的景深图，再对原始图像进行轮廓的分割，最后结合景深图与轮廓图生成 3D 图像或视频。还有清华大学等机构对这一块技术的研究以及相关应用的制作，如联讯出品的 件、 腾讯公司出品的 音播放软件都提供了实时的 2D 视频转立体 3 外研究现状 在 2D 转 3D 技术领域的研究， 国外走在中国的前面， 早在 2006 年美国的 获得了这项技术的专利，他提出了一种图像的 2D 转 3D 方法，该方法通过对原始的二维图像进行一部分的投影，然后通过照相机对投影的图像进行捕获，这样新捕获的图像与原始的图像就有了一些光照和位置的差异信息，再根据这样的差异信息，就可以获得相应的深度信息，最后生成可以展示的三维图像。美国高通公司的 出了一种自适应的 2D 转 3D 的技术方法， 该方法通过对视频序列中的颜色与运动信息进行分析，从而对序列的背景与前景进行分割，从而获得随着时间变化的图像像素深度值，然后基于深度图像恢复的技术电子科技大学硕士学位论文 4 生成最终的 3D 视频，随着他对该领域的进一步钻研，在 2009 年，他提出了一种实时的 2D 转 3D 视频的新方法，并获得美国专利，该专利提出先对原始的高清2D 视频进行欠采样的处理，根据前面的方法获得欠采样后的深度视频，然后根据此深度视频与原始的高清 2D 视频生成高清的深度视频，最后再生成实时的可欣赏的 3D 视频，该方案使计算量大大降低，从而增强了实时性5。接着 度视频领域做出了研究，在 2011 年提出了“快速的由 2D 视频生成深度视频”的方法，同样也是获得了美国专利，在应用方面国外做得比较好的 2D 转 3D 视频的软件包括 软件，生成的实时 3着 3D 视频领域等相关技术不断的发展成熟，这也为制作出优秀质量的 3D 视频内容提供了良好的保障。 文的工作内容与结构安排 本课题论文内容一共被分成了六个章节，每个章节的主要内容如下： 第一章：绪论。主要介绍了课题研究的背景与意义、国内外 2D 视频转 3D 立体视频领域的研究现状以及论文结构内容的安排。 第二章： 2D 视频转 3D 立体视频系统。主要介绍了三维立体视频系统的结构框架组成，以及每个框架下的相关技术与发展。 第三章：生成与 2D 视频相应的深度视频。本章节提出了一种如何实现在 2括了 波、 相关算法，并通过软件的方式实现。 第四章：基于 2D 视频与深度视频生成 3D 视频。主要介绍了 法，并提出了一种改进型的 法，利用原始 2D 视频和与之对应的深度视频生成3D 视频，并通过软件的方式实现。 第五章：实验结果与分析。本章内容主要是对本文设计的 2D 视频转 3D 立体视频的整个系统模块进行实验测试，并对测试的结果进行系统的分析。 第六章：总结与展望。主要对论文进行了综合性的总结，以及提出了对下一步工作的展望。 第二章 2D 视频转 3D 立体视频系统 5 第二章 2D 视频转 3D 立体视频系统 眼立体视觉原理 在人们观察现实场景的时候，由于场景从不同的角度进入人的左眼与右眼，造成场景在左右眼视网膜上形成的像存在着水平上的差异，这种水平上的差异也就被称作双眼视差。如图 2示。 图 2眼立体视觉原理6图 2用两台参数一样的摄像机来模拟人眼立体视觉，摄像机在与水平 2分别为两台摄像机的成像平面， 2分别为两台相同参数的摄像机， B 为摄像机之间的距离， 在像平面 2上的成像点， f 代表摄像机焦距，设点 P、 x， y， z） 、 （ 、 （ ，由于在双眼立体视觉系统中，只存在水平方向上的差异，即有 y = 根据三角形相似原理可得双眼视差 d 为： 电子科技大学硕士学位论文 6 (1 )= （ 2 由于其中 B 与 f 都是已知的，那么根据视频序列中的深度信息就可以计算出左右视图水平方向上的像素偏移，结合原有的 2D 视频序列就可以得到与其相应的另一路视频序列，再根据相应的立体显示系统把两路视频合成 3D 视频即可。 面视频转立体视频的系统结构 单路的 2D 视频要生成具有立体效果的 3D 视频， 主要须经过 2D 视频的获取、深度视频的生成、另一路视频的生成、 3D 视频的生成和 3D 视频的显示等重要步骤，当然每一个模块下可以采用不同的算法来实现，系统框图如图 2示。 图 2面视频转立体视频的系统结构图 图 2统中的关键模块为生成深度视频模块与生成右路视频序列模块，由于原始 2D 视频序列中并没有深度信息，所以生成比较好的深度视频成为系统的关键；在已获得深度视频的基础上，再基于深度图像恢复方法生成右路视频序列，该模块由于在基于 2D 视频序列与深度视频序列恢复的过程中可能会出现空洞效应，即在生成的右路视频中存在一些空白的区域，所以如何恢复出比较平滑且高质量的视频序列很是关键。最后根据相应的立体显示系统生成相应的立体视频格式进行显示播放。 成深度视频 第二章 2D 视频转 3D 立体视频系统 7 场景中各点相对于人眼或摄像机的距离是立体视觉中的重要参数之一，如公式 2示，双眼视差与场景深度成一定的比列关系，这样的场景深度可以用深度图来表示，即用灰度深度图中像素点的像素值，来表示场景中点到眼睛或者摄像机的距离，在对单路视频序列提出深度信息的过程中，由于原视频本身没有深度信息，所以就存在一个深度信息假设的过程，该步骤也将对最终生成的立体视频有着很重要的影响，在生成深度视频过程中，最重要的一步就是 2D 视频场景中的前景与背景进行准确的分割，这样才能对前景与背景进行有效的深度赋值，从而使最终得到的立体视频才更具立体真实感。 成立体视频 利用已经生成的深度视频与原始 2D 视频， 再根据深度图像恢复 （ ，生成右路视频序列，把原始的 2D 视频序列作为左视频序列，再根据相应的立体的显示系统合成立体视频进行显示。该过程中比较重要的就是 法，要想得到比较平滑且质量较好的右路视频，首先就要对相应的深度视频序列进行降噪过滤，然后通过对 法生成的右路视频进行比较准确的内插以及深度图像恢复等处理，从而使最终合成得到的 3D 立体视频更加准确逼真。 体视频显示 随着 3D 视频的广泛应用以及所受到的热捧与好评， 3D 显示技术也有了突破性的发展。目前的立体显示技术普遍根据双眼立体视觉的特点，首先在视频源端发送两路具有一定视差的视频源，然后进行编码、传输、接收解码获得该两路视频流，最后通过 3D 显示技术进行立体视频显示，目前的 3D 电视的显示技术大致可以分为两大类：眼镜式 3D 与裸眼式 3D 显示技术7。 所谓眼镜式 3D 显示技术，就是在欣赏 3D 电影或电视的时候，需要配戴特制的眼镜，才能获得比较具有立体感的效果，该立体显示技术可以分为三大类： 色差式法也称为分色立体成像法，就是把左右两路视频用不同的颜色融合在一路视频中，如红蓝、红绿格式的视频等，这样格式的视频如果通过肉眼直接观看，就会呈现出重影模糊的效果，只有通过相对的红蓝、红绿等眼镜才能观看到电子科技大学硕士学位论文 8 立体的效果，眼镜左右镜片对立体电影进行不同颜色的过滤，使左眼与右眼分别观看到不同的画面，从而产生立体的视觉感，但是由于原有两路视频被融合到的一路视频流，所以新的立体视频的亮度降低了很多，这样的立体效果就比较差，所以很难商业化或得到大规模的应用。色差式 3D 显示系统如图 2示。 图 2差式 3D 显示系统 该方法通过把视频帧的奇数与偶数行画面分别以右旋与左旋圆偏振光方式进行传播，然后采用与之对应的右旋圆与左旋圆偏振光镜片进行接收，从而使配戴者获得具有视差的两路视频，产生立体感觉，该方法有点就是成本低，缺点就是由于需要添加偏光膜，所有视频的亮度会受到一定的影响，且视频的水平分辨率将减半，观看的角度也受到一定的影响。 图 2振式 3D 显示系统 第二章 2D 视频转 3D 立体视频系统 9 该技术通过提高频幕的刷新率实现立体效果， 对两路视频分别进行交替显示，同时通过蓝牙或红外同步控制快门式眼镜的左右开关，让左右眼镜分别接收到左右路视频。由于正常情况的 2D 液晶显示器的刷新频率为 60以为了不产生闪烁的感觉，该立体液晶电视的屏幕的刷新率将提高到 120样对终端的要求提高，当然相应的也就增加了成本。但是该技术获得的 3D 画质是比较好，立体感也更加真实。快门式 3D 立体电视显示系统如图 2示。 图 2门式 3D 立体电视显示系统 虽然眼睛式的 3D 技术越来越成熟，但是其应用范围与使用的舒适程度都不是最佳的，尤其是对本来就近视眼的消费者来说，这种舒适感是大大折扣的，而且长时间的配戴也会让人产生一种眩晕的感觉， 于是裸眼 3，如今也得到了广泛的应用，如一些飞机场的广告展示、商业会展等等场合。目前的主要裸眼 3D 技术分成两大类： 其原理与偏振光式技术比较类似，该技术把高分子液晶层、偏振膜与开关液晶屏，其中这些比较细的偏振膜与高分子液晶层被组成了垂直的细条栅状模式，也被称为视差屏障，当显示 2D 视频的时候，所有的光线都可以通过视频屏障，所以与传统的 晶具有可兼容性，同时在 3D 立体视频显示的时候，一只眼睛所要看的图像在屏幕上显示时，视差屏障就会遮挡另一只眼睛观看视频，从而观看到立体的视频。同样，该系统与偏振式的 3D 眼镜显示技术具有视频亮度低，分别率也不是很有保障，但是由于其成本较其它裸眼 3D 显示器低，所以具有一电子科技大学硕士学位论文 10 定的成本与量产优势。光屏障式裸眼 3D 立体电视显示系统如图 2示。 图 2屏障式裸眼 3D 立体电视显示系统 该裸眼 3D 立体电视显示技术的原理就是在液晶显示屏幕前面加一层柱状透视镜，这样处于透镜焦平面上的屏幕像素点就能以不同的方向投影到观察空间中去，由于在投射过程中，液晶屏幕上的像素点之间的距离也会随着观测点的不同被相应的放大，所以该立体显示技术的有一定角度的限制，而且柱状透视技术的分辨率同样也会有所下降。但是该技术与光屏障技术相比，画面的亮度得到了很大的保障与提高，所以还是具有很大的商业应用价值。柱状透视技术裸眼 3D 立体电视显示系统如图 2示。 图 2状透视技术裸眼 3D 立体电视显示系统 第二章 2D 视频转 3D 立体视频系统 11 在 2009 年，一项改进的裸眼 3D 显示技术即多层显示技术由美国 技术的原理就是通过把两块液晶屏进行一定的重叠，在不配戴眼镜的情况下就能够观看到比较逼真的立体视频影像。与前面的两种裸眼 3D 技术相比，画面的分辨率得到了显著的提高，而且屏幕的可视角度也比较大，可以比较自由的观看 3D 立体视频，在观看的过程中也不会产生眩晕的感觉。 章小结 本章主要对人体双眼立体视觉的原理进行了介绍，并在基于双眼立体视差的原理下对通用的单路 2D 视频转 3D 视频系统进行了介绍， 然后对该系统的重要模块如生成深度视频与立体视频合成进行了综述性的概括，最后对立体显示技术进行了比较详细的讲解。 电子科技大学硕士学位论文 12 第三章 生成与 2D 视频相应的深度视频 本课题设计的 2D 转 3D 视频系统是在通用系统的基础上， 对关键的深度视频生成与立体视频合成两个关键模块进行改进设计的，整个系统主要对这两个模块进行了深入的研究与设计。该系统主要分成两大块：生成深度视频与基于深度图像的恢复。论文将在第三章与第四章分别对这两个模块进行详细的介绍。在生成深度视频的模块中，本系统设计结合了单幅图像中的几何与边缘信息，对图像进行了区域块的分割与深度提取；同时根据视频序列帧与帧之间的信息对图像中的目标进行跟踪，然后采用 割算法对目标与背景进行了分割，且对分割后的图像进行二值化处理从而得到二值化图像（前景灰度值根据场景设为一定值而背景灰度值为 0） ；在拍摄的视频中都有一个特点就是，图像中的场景的深度值从上到下呈现出小到大的趋势，即场景呈现出由远及近的趋势，基于这种现象，提出了梯度深度的假设，对原 2D 视频进行梯度深度的处理；最后把三种方式处理得到的深度图进行融合，得到最终的深度信息图，最终生成深度视频供后续合成立体视频所用。 论文设计的单路 2D 视频转 3D 立体视频的系统结构流程图如图 3示。 第三章 生成与 2D 视频相应的深度视频 13 图 3文设计的 2D 视频转 3D 立体视频系统结构 本章将对图 3示系统中的生成深度视频模块进行详细的介绍与分析。 频中的目标跟踪 本小节将对视频跟踪这个领域的算法进行详细的介绍，然后对算法进行相关的分析并提出本文所采用的视频跟踪算法，最后给出实验结果并进行分析。 标跟踪的概述 电子科技大学硕士学位论文 14 在计算机视觉领域，视频中的目标跟踪（ 直是一个热门的话题，人们对视频目标跟踪的研究也经久不衰从未间断，该技术也在视频安全监控、目标跟踪识别、目标跟踪定位等领域得到广泛的应用，所以目标跟踪算法也在不断地改进与更新，以取得更加准确的结果，视频由于其在时间与空间域的复杂性，其数据信息量是比较庞大的，如果对所有的视频信息进行分析与处理，这将对应用的实时性与准确性产生很大的影响，在视频的应用与分析领域，一般情况下静态的背景信息利用的价值都不是很大，所以提取出视频中的动态目标信息供分析应用是非常重要的，这也将对视频信息后续处理的实时性、存储、处理等应用提供了良好的保障，所以视频中目标的跟踪技术是视频领域一项不可或缺的重要关键性技术之一。 标跟踪的相关方法与比较 目前视频领域的目标跟踪算法大致可以被分为两大类：有参模型、无参模型。但是由于不同视频时空域上特征的不同， 所以很难找到一种通用的有参估计模型，所以实用性也是比较差，应用领域也比较窄。在这样的背景下，无参数的估计模型便应运而生，无参模型的目标跟踪算法大致可以分为以下三大类：基于运动特点的目标跟踪算法、基于特征匹配的目标跟踪算法、基于概率统计的目标跟踪算法9。下面就对这三中算法进行详细的介绍。 于运动特点的目标跟踪算法 基于该特性的算法主要有光流法、 帧间差分法和背景消减等方法8。其中光流量法原理就是，假设整个场景中的灰度变化是由目标的运动引起的，而不是由整个场景的光照亮度发生了变化，由于背景与目标的运动速度的不同，所以存在相对运动，所以背景与目标有着不同的光流速度矢量，根据这个相对运动矢量就可以计算出物体的位置；帧间差分法的原理就是，通过对连续的灰度值图像进行差分计算，如果图像没有运动，那么差分的结果将是零，但是如果图像中存在着目标的运动变化，就可以很快定位运动目标。背景差分法就是把当前帧的灰度图像与选用的背景灰度图像做差分，差分结果大于选定阀值的区域作为目标区域，否则为背景区域， 在这种方法下需要不断的更新背景模型已获得更好的完整目标，下面将用公式对背景差分法进行介绍，设视频帧的灰度值为 (, ,)I 中 (, )x 景图像的灰度值为 (, ,)B 么第三章 生成与 2D 视频相应的深度视频 15 差分灰度图像为： (, ,) | (, ,) (, ,)| （ 3 然后对差分灰度图像的结果进行二值化，便可得到运动目标与背景，从而更新背景模型。 1, ( , , )(, ,)0, ( , , )=（ 3 其中 T 为设定的阀值， (, ,) 1的像素点表示该点属于背景区域，否则为运动区域。 基于运动特点的这三种目标跟踪方法的优缺点如表 3示。 表 3基于运动特性的三种目标跟踪算法优缺点比较 基于运动特性的常见算法 速度 抗干扰能力 准确性 光流法 慢 差 (对光照、 背景变化等非常敏感 ) 差 帧间差分法 快 差 (对光照、 背景变化等非常敏感 ) 差 背景差分法 较快 差 (对光照、 背景变化等非常敏感 ) 一般 于特征匹配的目标跟踪算法 该