TLD技术在城市智能轨道交通中的应用

1、TLD 技术在城市智能轨道交通中的应用1城市智能轨道交通中的视觉跟踪问题视觉跟踪技术在城市轨道交通的智能视频监控中起到重要作用。城市轨道交通的监控环境比较复杂：区域较大，周界广泛；拥有多个站台，大量的出入口、围栏及相关设施，而且人/车流量大。这种复杂的环境给智能视频分析带来了诸多困难。其中应用于城市轨道交通的跟踪技术仍存在以下问题：1）复杂的背景变化。光照变化引起背景改变，可能造成虚假检测与错误跟踪。2）遮挡问题。运动目标被部分或完全遮挡时，目标因部分不可见而造成信息缺失，影响跟踪的稳定性。3）有效性问题。由于运动目标一般都是时变的，如何获取和应用最新的目标特征信息是保持跟踪有效的关键。4）兼

2、顾实时性与鲁棒性。既要减少算法的计算量以保证实时性，又要增强算法对复杂情况的适应性，而这又以复杂的运算为代价。TLD视觉跟踪技术作为当今流行的技术，兼顾以上提到的所有问题。它采用跟踪和检测同步机制，并共同支持在线学习过程，在线学习所得的结果又反馈于跟踪和检测，最终的目标定位由跟踪和检测协同决定。TLD视觉跟踪技术联合跟踪、学习和检测于一体，完美兼顾了跟踪的精确性和实时性。它将成为解决城市轨道交通中跟踪问题的一种新方法。2TLD跟踪技术的引入视觉跟踪技术一直是人们研究的一个热点，它在视频智能监控领域有着重要的地位。目标跟踪一般以运动检测为基础，它不仅提供被监视目标的运动轨迹，而且也为场景分析和高

3、层的异常行为识别提供了可靠的数据来源。目前，已经出现了多种不同的目标跟踪算法。TLD是一种新兴且有效的跟踪技术，它是由英国萨里大学的捷克学生ZdenekKalal开发的一个精确定位系统。ZdenekKalal通过视频演示了该系统的功能，这些视频在互联网上已广为传播。这个系统几乎可以跟踪镜头里的任何物体，只要你能看见它，并把它选中。视频中ZdenekKalal演示了对手指、面孔、笔尖及高速行驶的轿车等目标的跟踪，跟踪灵敏，且定位准确，即使目标被遮挡或短暂消失，当其再次出现时，也会很快捕捉到。网络上人们给予这套系统很高的评价，有人说它可以和微软的Kinect相媲美。TLD跟踪系统最大的特点就在于能

4、对锁定的目标进行不断地学习，以获取目标最新的外观特征，从而及时完善跟踪，达到最佳的状态。也就是说，开始时只提供一帧静止的目标图像，但随着目标的不断运动，系统能持续不断地进行探测，获知目标在角度、距离、景深等方面的改变，并实时识别，经过一段时间的学习之后，目标就再也无法躲过。TLD的这一特点也是胜于传统跟踪系统的巨大优势。“跟踪-学习-检测(Tracking-Learning-Detection)的缩写。顾名思义，TLD技术有三部分组成，即跟踪器、学习过程和检测器。TLD技术采用跟踪和检测相结合的策略，是一种自适应的、可靠的跟踪技术。TLD技术中，跟踪器和检测器并行运行，二者所产生的结果都参与学

5、习过程，学习后的模型又反作用于跟踪器和检测器，对其进行实时更新，从而保证了即使在目标外观发生改变的情况下，也能够被持续跟踪。TLD的工作框架如图架我们将分述TLD的三个组成部分。TLD是图1TLD的整体工作框架(此图来自ZdenekKalal的文章简介)1)跟踪器TLD跟踪器采用重叠块跟踪的策略，单块跟踪使用Lucas-Kanade光流法。TLD在跟踪前需要指定待跟踪的目标，由一个矩形框标出。最终整体目标的运动取所有局部块移动的中值。这种局部跟踪策略可以解决局部遮挡问题。2)学习过程TLD的学习过程是建立在在线模型(onlinemodel)基础上的。在线模型是一个由大小为15*15的图像块的集

6、合。这些图像块来自跟踪器和检查器所得的结果。初始的在线模型为起始跟踪时指定的待跟踪的目标图像。在线模型是一个动态模型，它随视频序列而增长或减小。在线模型的发展有两个事件来驱动，分别为增长事件和修剪事件。由于在实际中，来自环境和目标本身等多因素的影响，使目标的外观不断发生变化，这使得由跟踪器预测产生的目标图像包含更多其他感兴趣的因素。如果我们把跟踪轨迹上所有目标图像看成一个特征空间，那么随着视频序列的推进，由跟踪器所致的特征空间将不断增大，这就是所说的增长事件。为了防止增长事件带来的杂质(其他非目标图像)影响跟踪效果，采用了与之相对的修剪事件来平衡。修剪事件就是用来去除增长事件所致的杂质的。由此

7、，两事件的相互作用促使在线模型一直保持与当前跟踪目标一致。由增长事件带来的特征空间的扩张来自于跟踪器，即从处于跟踪轨迹上的目标图像中选择合适的样本，并以此来更新在线模型。有三种选择策略，具体如下：i.与起始待跟踪目标图像相似的图像块，均被加入到在线模型。ii.如果当前帧的跟踪目标图像与前一帧的相似，则将当前的跟踪结果图像加入到在线模型。iii.计算跟踪轨迹上的目标图像到在线模型间的距离，选择具有特定模式的目标图像，即起初目标图像与在线模型的距离较小，随之距离逐渐增大，而后距离又恢复成较小状态。循环检验是否存在这种模式，并将该模式内的目标图像加入到在线模型。增长事件的特征选择方式，保证了在线模型

8、始终紧随跟踪目标的最新状态，避免因模型更新不实时所导致的跟踪丢失。其中最后一种选择策略也是TLD技术的特色之一，它体现了自适应跟踪的特性。当跟踪发生漂移时，跟踪器会自动适应背景，而不会很突然地转移到跟踪目标上。修剪事件假设每帧只有一个目标，当跟踪器和检测器都认可目标位置时，剩余的检测图像就认为是错误样本，从在线模型中删除。在线模型中的样本为TLD的学习过程提供了素材。另外，TLD在训练生成分类器（随机森林）的过程中，采用了两种约束：P约束和N约束。P约束规定与跟踪轨迹上的目标图像距离近的图像块为正样本；反之，为负样本，即为N约束。PN约束降低了分类器的错误率，在一定的范围内，其错误率趋近与零。

9、3）检测器TLD技术设计了一个快速、可靠的检测器，它为跟踪器提供了必要的支持。当跟踪器所得的结果失效时，需要用检测器的结果来补充纠正，并且对跟踪器重新初始化。具体做法是：i.对于每帧同时运行跟踪器、检测器，跟踪器预测出一个目标位置信息，而检测器则可能检出多幅图像；ii.决定目标的最终位置时，优先考虑跟踪器所得的结果，即如果跟踪到的图像与最初的目标图像相似度大于某阈值，就接受该跟踪结果；否则，将从检测器的结果中，选用与最初目标相似度最大的图像作为跟踪结果；iii.若为第二步骤中的后者，则此时更新跟踪器的最初目标模型，用现选用的跟踪结果替换原有的目标模型，同时，删除以前模型中的样本，以新的样本重新

10、开始。检测器是由在线模型中的样本经训练学习生成的随机森林分类器。其选取的特征为区域的边缘方向，称之为2bitBP特征，它具有不受光线干扰的特性。特征通过量化，共有4种可能的编码。对于给定的区域，其特征编码是唯一的。多尺度的特征计算可以采用积分图像的方法。图2是特征获取的示意图。图2TLD中的特征获取（此图来自ZdenekKalal的文章）将每一个图形块都用众多的2bitBP特征来表示，并把这些特征分成同大小的不同的组，每一组代表了图像块外观的不同表示。用于检测的分类器采用随机森林的形式。随机森林由树组成，而每棵树是由一个特征组构造而成。树的每个特征都作为一个决策结点。随机森林通过增长事件和修剪

11、事件完成在线更新和演化。开始时，每棵树由最初目标模板的特征组构建，都只有一个枝”。随着增长事件对正样本的选取，随机森林也不断加入新的枝”；修剪事件则相反,它会去掉随机森林中不用的枝”。这种实时的检测器采用扫描窗口的策略：按照位置和尺度扫描输入帧，对每个子窗口应用分类器判断是否属于目标图像。TLD技术巧妙的把跟踪器、检测器和学习过程结合在一起，共同实现目标的跟踪。基于上小节的设计思想，TLD系统表现出优秀的性能。TLD的设计者选择多个视频序列对其性能进行了测试。视频序列的场景包括室内、大厅、户外等，所要跟踪的对象有人、动物、车辆和任何指定的小物体，更为重要的是，这些视频序列都包含了传统跟踪算法所

12、不能及的挑战性因素。具体的测试简要介绍如下：1）毛绒玩具的跟踪（由人拿着），视频序列中涉及的困难因素有：物体缓慢运动；光线变化；物体形态改变。2）人脸的跟踪。视频序列是一个多人反复交错运动的室内场景，被跟踪的人脸存在部分遮挡。3）商场中行人的跟踪。其中行人间的行走存在全部遮挡。4）高速行驶的汽车的跟踪。展示了高速路上汽车由近到远的行驶过程，其中包括物体的快速移动；遮挡；消失；尺度变化；小物体跟踪。上述只是TLD测试的一部分，在其上列举的环境中，TLD都达到准确跟踪。TLD在应对光线变化、遮挡至消失、目标形态、尺度及运动变化等，具有很好的适应性。TLD发展了传统跟踪算法，是一种实时性、有效性兼备

13、的新方法。5TLD跟踪技术在城市智能轨道交通中的应用前景随着公共交通事业的快速发展，轨道交通出行已经成为人们方便快捷出行的最佳选择。为了加强轨道交通的公共安全，相关部门引入智能视频监控。通过应用智能视频分析，可以实现对轨道交通的主动、实时监控，及时有效避免或处理有威胁或突发性的事件。轨道交通作为一个主要交通枢纽的公共场所，地域较大，人流集中，需要对其进行监控的场景点较多，主要包括以下几个方面。l周界监控轨道交通的周界防范主要用于轨道附近的围界，用以监控是否有物体靠近或进入，一旦在设置范围内发现移动物体将触发警报。另外，由于轨道交通的枢纽站台通常都很大，系统应根据具体情况把控制边界划分成若干小区

14、域，以细化对边界的控制管理，提高报警的精确度。l轨道监控轨道是轨道交通的重要通道，通常会拥有多条轨道并伴随之间的交叉穿越。因此，对轨道和其两边设置的安全缓冲带，根据安全级别不同，划分区域，等级监控，严禁出现遗留物、人员或其他不明物体的进入，对此情况要实时报警。l设施监控轨道交通的配套设施包括车库机车、站内闸机、围栏、自动售票机、消防器具、屏蔽门、服务台等。设施的安全是保证轨道交通安全运行的前提，主要实行以下监控：机车在空闲时段严禁有人或不明物体接近，防止对机车进行破坏行为；对于各种辅助设备，严防盗窃和破坏行为；对于工作区的误入、防盗、遗漏和人为损坏也是轨道交通监控的重要环节l乘客活动区乘客活动

15、区域主要包括站台、通道出入口和其他人流频繁区域。需要重点监控是否有人遗留物品；在特定区域是否有徘徊、尾随等可疑行为；通道出入口的人流控制等。从上述可见，智能视频监控在交通轨道上的应用十分广泛。而且，实现智能视频监控的分析过程都有相同的处理流程，即通过对监控视频图像的实时分析来对动态场景中的目标进行定位、识别，然后跟踪，并分析和判断目标的行为，从而能在异常情况发生的时候及时做出反应。跟踪技术属于智能分析过程中的中间环节，起到承上启下的重要作用。实时可靠的跟踪技术一直是人们所追求的。一般城市交通轨道的场内环境都十分复杂，这对传统的跟踪算法是一个很大的挑战。TLD技术在继承传统算法思想的同时，又有新

16、的创新和发展，以克服传统算法的不足。TLD跟踪具有定位准确性，这是包括城市交通轨道在内的所有领域都期望达到的目标。TLD适合于对人或其它任何事物的跟踪，即使在缺帧或摄像头快速运动的情况下，也同样可以进行长期跟踪。TLD采用传统的跟踪与检测相结合的思想，但不同之处是TLD的检测器是一个实时更新的可靠的在线检测器。而传统的检测器则是通过预先离线训练而成，与实际跟踪物体相分离，不能为跟踪提供可靠的观测。轨道交通作为安全级别较高的公共场所，跟踪的准确性是需首要满足的。其次，TLD具有不受光线干扰的特性。这对于轨道交通是一个很大的福音。众所周知，光线变化带来的环境改变会加大进行智能视频分析的难度。地下轨道主要受灯光的影响，光线的强或弱都会影响实际的智能分析结果，而地上轨道受光照的影响较重，比如晴天太阳的普照、雨天的阴暗等，都会使对光线敏感的跟踪算法达不到应有的效果。第三，TLD具有抗遮挡性。当目标被半/全遮挡或消失时，TLD仍然可以做到正确跟踪。轨道交通环境中人流量大，各种设备比较密集，由此造成的遮挡障碍普遍存在。所以，抗遮挡性的跟踪技术具有较强的实用性。最后，TLD的自适应性使得跟踪可以始终跟随目标的变化。城市轨道交通中大多还是对人的跟踪，人属于非刚体，其形态时刻都在变化，TLD能够做到连续准确的跟踪，不会因为人的转身、弯腰等动作而丢失目标。综上所述，TLD的诸多技术优势可