检测和跟踪移动对象的视频监控.doc

检测和跟踪移动对象的视频监控艾萨.克科恩 杰拉德.梅迪奥尼南加州大学研究所机器人与智能系统洛杉矶加利福尼亚90089-0273icohen| 摘要我们解决从移动空降平台获得的视频流对象的检测和跟踪问题。该方法依赖于一个图表。该图表显示在时间连贯性条件下每一个移动物体所得出并维持的一个动态模板。这意味模板随着图表改变，这允许我们采用该方法定性最佳目标的轨迹图中的路径。跟踪仪器被建议可以处理部分闭塞，停止和走在非常具有挑战性状态下的运动情况。我们正好说明了若干不同的结果真正的序列。然后，我们定义一个评价方法去量化我们得到的结果，并说明如何克服跟踪检测错误。1引言在云台和缩放功能或移动式平台监视中越来越多的视频传感器的应用，加强了研究者对视频流的处理上更随意的关注。对视频流中感兴趣的事件的加工依靠检测，该检测对涉及的对象在每个帧进行，并且这一时间框架的集成模型以信息为基础分为简单和复杂的行为。这种对视频流的高层次的描述依赖于对移动物体的准确的检测和跟踪，并与它们的轨迹现场有一定关系。在本文中，我们解决在视频监控范围内对移动的物体的检测和追踪问题。大部分技术使用一个固定的摄像头4,3或封闭的空间小平面8,6 来处理这一问题，这依赖于对正在发生的行动类型有一个固定的背景或特定的知识。我们处理一个更为挑战性的视频流类型：从一移动空中平台获得的视频流。一般情况下，这允许我们评估所提出的用于处理在现实世界中的视频监控情况下获得的视频流的方法。我们所提出的办法，依赖于一个图表对移动区域中强有力跟踪的展现。在检测阶段后，由观察运动对产生大量区域的平台的图像进行流量补偿。事实上，利用剩余的流场和正常的组成部分，即正常流动，锁定移动区域也可以检测到因登记错误导致的采用稳定量以及三维结构而没能正确处理本地变化量的问题，即视差。定义一个原因图，其中每个节点是一个检测地区，每一条边是两个采用了两种不同的框架检测的区域之间的可能匹配，该图表提供了对所有检测到的运动物体的详尽的代表。这个图表示我们可以维持一个动态的模板，该模板用于对所有移动对象的跟踪。此外，该图通过优化每个搜索路径图的连通分支，用来描述物体的轨迹。该文件的结构如下：最初我们在第2节描述了检测技术的使用，图形表示和动态模板推理介绍在第3和4节给予介绍。第5节介绍对从关联的图形轨迹得到观测对象所采用的方法。最后，在第6节，我们对一套已处理的视频进行评价，量化其所取得的成果。2运动物体检测 大多数现有的对移动物体的检测技术被设计为采用固定相机获得场景。这些方法允许通过使用背景差分算法6,4将每个图片集分割成各区域代表的运动物体。最近，3建议有背景的地方使用混合建模的 K -高斯方法，它 让不同背景下的时间来处理视频流。这些方法产生了令人满意的结果并可以实现实时处理并不需要专用硬件。 视频传感器的可用性，成本低，有泛倾斜和变焦功能，或者通过移动平台获得视频流，这些都将探测研究人员的注意集中在对从移动平台上获得的视频流中移动对象的监测。在这种情况下，背景差分方法不能使用，他们必须依赖在一个稳定算法以取消相机活动。这种两步法，即稳定和检测，由于差分检测技术基于一个完美的稳定性的假设上，已不能够执行。事实上，稳定的算法是使用仿射或透射方法进行运动补偿和质量赔偿，这种补偿取决于现场模型的观察角度和获得物的类型（即云台，变焦，任意行为活动.). 因此，运动补偿没有差错，也不会诱导虚假检测。然而，我们可以利用检测区域的时间相干性，以增加对运动目标检测的准确性10。 我们采用稳定算法，通过定位剩余的行为活动发生的区域这种具体方法去整合区域的图像检测，而不是使用这种分两步走的方法。这些区域可以利用光流场的正常组成来寻找。 正常流量是来自形象时空的稳定图像序列的时间梯度。这个框架的每个图像序列在选定的参照系下映射得到原始框架。事实上，让Tij表示图像i的变形量在参照系下的映射j，映射函数的定义是下面的公式： 稳定的图像序列用来定义。该映射函数的估计归结于对egomotion的估计，它以相机模型为基础，星级模型指在图像平面的投影点上他们的三维模型。该方法要求我们使用图像诱导流，而不是一般的角度转换7 中的三维参数。该模型的参数由跟踪一个序列中的小集特征点来估计。给定一个参考图片IO和 I1中的目标图像，图像稳定性构成两幅图像的登记并计算几何弯曲变换，是I1的象， 就如同I0也是他的一个原象。几何变换的参数估计是由最小化平方准则得来的： 如发现有异常数据，可通过一个反复的过程中删除。我们选择一个仿射模型，接近普通透视投影，并有低数值的复杂性。此外，形如金字塔形式的空间层次，用来跟踪选定的特征点。金字塔至少由三个层次和一个迭代仿射参数估计产生的精确结果组成。 一般，参考框架和扭曲框架，没有相同的指标，因为在大多数情况下，映射函数不是一种翻译，而是一个真正的仿射变换，因此，影响了在运动目标检测中图像梯度的计算。这种在度量上的改变了可以纳入相关的与图像序列相关联的光流方程，以便更准确地检测移动的物体。事实上，光流关联的图像序列是：其中是光流。扩大前公式，我们得到：因此，正常流动的特点是：虽然并不总能表示运动图像的特点，但由于光圈的问题，它可以准确地检测移动点。 的幅度最大靠近移动地区，并成为固定的附近空区域。图1显示了对空中平台获得的行驶中的车辆视频流的监测。我们鼓励读者查看在/home/iris/icohen/public -html/tracking.htm上的电影文件，它解释了如何在预测的马赛克上检测原始的视频序列。3 移动对象的图形表示在图像序列中的对运动目标的检测为我们提供了一组区域，该区域被监测到有活动发生。方程（5）允许给出正常的组成部分，给了框架对，去检测某一行为发生的图像点。然后这些点按考虑到对光流的正常组成部分的阈值聚集到各地区，然后使用4-连接方案。这些连通都代表了有行为发生的图像区域。图1：由空中平台得到的视频流中检测到一些车辆。在视频流中对运动物体检测的目的是能够实时跟踪这些对象并从他们的轨迹中得到相关性质属性，如他们的行为。常用的跟踪方法是token-based基于令牌，当一个对象的几何描述可以用2表达，或强度的（光流，相关.).这些技术对于斑点跟踪是不恰当的，因为对斑点追踪的可靠几何描述是无法推断的。在另一方面，以强度为基础的技术忽略了对斑点的几何说明。我们的方法将技术和移动物体的包括空间和时间的代表信息结合起来。这种演示是由图表结构提供，图表结构的节点表示检测到的移动地区和边缘，这些区域和边缘采用两种不同的框架展示两个移动地区之间的关系。每个新处理框架生成一个与发现的移动对象相对应的区域。我们在新发现的对象和以前的对象之间寻找他们可能的相似点。建立这种联系可以通过不同的途径做到的，如模板匹配5或相关11。然而，在视频监控，关于运动目标的信息很少是可用的，因为观察对象的类型各不相同。此外，小型的物体（人类在空中图像）或对象在大小上的改变量很大而且是频繁的，因此不适合采用模板匹配的方法。图2：检测区域和相关图。每帧对为我们提供了一系列监测到残留活动的区域（见图2）。这些地区可以与以前发现的联系起来，通过测量在时间t区域和其附近区域时间t +1区域之间灰色级别之间的相似程度。一个地区可能有多场比赛，在这个街区的大小由物体的运动幅度得来的。在图2中我们显示图形去表示红色斑点相关的检测。每个节点是一个区域，这个区域用一个椭圆表示，该椭圆来源于斑点的方向准则和相关的特征值。此外，一组属性与每一个节点的关联如图3所示。我们给每个边缘分配成本类似于多个区域对应相同的对象。在这种情况下，似然函数为区域之间的图像灰度级别的相关性。4动态模板推理该图形表示对有行为发生的区域给出了详尽的描述，并详细描述了各区域之间一个同另一个的关联方式。这个说明对于处理一个单独的移动对象连同一个小区域被监测出来的情况是适当的。这种情况发生时，普通的光学元件是流空的（孔径问题），因此，不是检测一个地区，而是我们有一组小区域。通常，集群技术是为合并的检测垢申请的，以恢复该地区对应的移动对象。这些图像为基础的技术6,9依靠对图像中的斑点，经常合并属于单独对象的区域。图3：描述关联到每个图的节点属性。每种颜色代表一个移动的区域。在检测到的地区，一些小地区要合并为一个大区域，或有他们自己的轨迹。在这两种情况下，基于图形表示，这些地区属于一个图的连通。在我们的做法，我们将检测到的区域聚集成图而不是和以前一样，工程6,9使用单一的图像。事实上，通过图形集群阻止我们合并属于有独特轨迹的对象的地区 ，因为集群是以接近图像为基础而不是通过一幅连通图完成。该集群技术的鲁棒性也通过维护一个移动对象的每个连接组件的动态模板提高了，因此，每个运动对象都在现场。若干技术被提出用于自动更新模板以描述移动对象；加权形状描述10或累积的动态图像1也被提出。这些方法的主要缺点是，形成错误的描述（如 边界）被传播，因此，这些技术对移动摄像机并不适合。我们提出方法以中值模板为基础，更稳定，产生强大的描述模板。那个模板应用中值滤波器（调整中心和每个斑点方向）计算现该区域过去检测到得5帧。图4：传播的节点用以恢复说明未被发现的对象。左侧我们展示每一帧的检测区域，右侧展示相关的图，其中红色节点代表从中值模板推断出的节点。动态模板允许完成图形的描述。在视频监控应用中，对象往往停止，然后恢复他们的行为，这样一个对象将通过图中的几个连接组件进行描述。这些连接的组件通过使用动态模板来合并，对对象进行跟踪：我们宣传每个节点没有继承人，把一定数目的帧并寻找在这些领域的匹配区域。这定义可能的匹配，这些都已通过定义新的匹配区域边界纳入到图形结构 。这一步如图4所示，其中的对象，不是在104帧而是图中由红色节点代表的。5提取目标的轨迹随着新的帧被获取并被处理，我们逐步构建处移动物体的图形表示。从图表和新发现的区域，沿着每个图的连通分支提取对象的轨迹。我们提出自动提取方法对所有的运动轨迹通过最佳代表对象的轨迹路径搜索移动的物体。此外，我们提前不知道起始节点（源）及目标节点（目标）。因此，我们考虑每个图节点不作为一个潜在的源节点的父，每个节点不作为潜在的继任者的目标节点。图5：卡车和小汽车生成的马赛克映射轨迹图。定义一个最优的标准来描述一个最佳路径，这相当于关联的每个图像边缘的成本。每一个图形的边对应于匹配两个区域之间有一个成本，这是各连接节点类似的措施。因此，每个节点对应的相关属性，如对象的灰度分布，质心和动态的模板，都被用来推断出强大的路径。这些属性被合并成下列相关与每个边缘的成本图表：其中，是区域i和j之间灰度和形状的相关关系，并代表两区域中心之间的距离。边缘成本方程（6）允许提取局部最优路径。事实上，由于对目标或者目标节点没有必须完成的限制，所以仅基于边缘的图搜索算法的成本将提供一个次优的解决方案。导致在不同的实验中，我们注意到这一标准产生的轨迹的一部分。无论属于其他节点的同样的连接组件如何，目标源基于最高成本价值而选择。在图中描述中使用到的每个连通分支本，展示了图中移动物体和每个节点的场景位置，描绘了从潜在的目标节点到这个节点的距离特性：一个新目标节点检测区域。这种特性是通过给每个节点分配从此节点开始最大路径长度完成。节点的长度从图形底部开始进行有效的计算，例如，无继承人的节点，并为每个父节点分配了他的继任者加1的最大长度。长度节点i是由下列公式表达：给定初始估计值：成本函数（6）和每个节点的长度允许我们为每一个节点定义新的成本函数。 连接i号节点到节点j 到边缘的相被定义为：其中是由（6）而是由式（7）定义的节点j的长度。这种成本函数恢复了被扩大的以各起始节点开始的路径中获得的最优路径。最佳路径的提取是通过未经父母节点而起始于图的节点和扩大与的最大价值节点完成的。这种方法如图5中一辆卡车和一辆小汽车的轨迹显示。那个处理视频流的AVI文件可在/home/iris/icohen/public的HTML / tracking.htm看到。6评价和量化我们的方法是基于移动对象超过一定数量的帧时的时间完整性：系统的延迟时间（在此处设置为5帧）。这个延迟时间，或推迟，有助于我们选择移动区域和不准确区分这些由于相机的运动补偿产生的斑点。而且，提取的运动区域的信心增加了，就像在处理帧的过程中发现新的对象。事实上，与各图的节点（即移动区域）相关的长度（见eq.7）代表对象在检测发现时的帧的数目。这种标值使我们放弃这些由于运动补偿算法的不当注册产生的斑点，因为这些区域没有时间相干性，无法用较短的长度来描述。表1给出了一些成果，这些成果由来自Predator UAV（无人视频流空降车辆）的几组视频流和VSAM（视频监控系统和活动监控）平台得来。这些视频流代表一涉及人类活动的各种场景，并被用来评价我们的系统性能。 该数值代表在不同的处理阶段得到的输出值。 “移动对象”列代表在视频流中移动物体的真实数目，并提供给用户。接下来的两个列分别代表检测输出和跟踪子模块。我们可以看到，其区域数目是相当大数量的移动物体。这些数字与区域号码相对应，在这些地区，正常的流场比限定门槛大些（在所有的实验）。该检测列给出了分布的处理序列中区域的数目。此外，相关的均值和方差给出指示值。对一组框架而言，区域的时间整合，因为这些区域由于噪声在时间上导致的不连贯，使我们能够减少区域的数量（在第四列给出）和放弃失误检测。然而，在egomotion模式下的一些不精确，或一个视差的存在可能会导致该区域有一个连贯的时间信号。最后，列“路径”代表有效轨迹的数目