11视频跟踪ppt课件

视频跟踪 概述 视频跟踪融合了图像处理 计算机视觉 模式识别 人工智能等学科的技术 是一种应用前景非常广泛的技术 所谓视频目标跟踪 是指对视频图像序列中的特定目标进行检测 提取 识别和跟踪 获得目标的位置参数 如目标质心的位置 速度 加速度 或者目标整体所占的图像区域 抑或是目标的运动轨迹等等 从而进行后续深入的处理与分析 以实现对特定目标的行为理解 或完成更高级的任务 一个视频跟踪系统通常包括以下几个环节 图像采集 视频图像处理 数据通信 传感器控制与伺服系统等 如图7 1所示 视频目标跟踪在诸如安全与监控系统 交通控制系统 定位导航系统 三维重建 视频传输与压缩 虚拟现实 增强现实等诸多方面均有广阔的应用 研究视频目标跟踪 具有重要的军事 商业价值 视频跟踪的最终目的是实现智能视频 随着大规模监控系统的广泛应用 工作人员根本无法管理和监看成百上千的摄像头 因而在很大程度失去监控系统的预防与积极干预功能 例如伦敦Heathrow国际机场装配有超过5000个摄像头 如何管理这些视频信息 将数据在适当的时间及时精准地传递给需要的工作人员变得非常重要 如果系统具有自动识别和分析图像所含信息的功能 也就是具备智能 这将大大提高系统的性能 智能视频技术主要包括对视频图像序列自动地进行运动对象的提取 描述 跟踪 识别和行为分析等方面的内容 如果把摄像机看作人的眼睛 而智能视频系统则可以看作人的大脑 智能视频监控系统能够识别不同的目标 发现监控画面中的异常情况 并能够以最快和最佳的方式发出警报和提供有用信息 从而能够更加有效的协助工作人员处理危机 并最大限度的降低误报和漏报现象 实现计算机智能分析 描述和理解视频画面中的内容 智能视频监控应用范围正不断扩大 1 安全相关类应用高级视频移动侦测 AdvancedVideoMotionDetection 在复杂的天气环境中 例如雨雪 大雾 大风等 精确的侦测和识别单个物体或多个物体的运动情况 包括运动方向 运动特征等 物体追踪 MotionTracking 侦测到移动物体之后 根据物体的运动情况 自动发送PTZ Pan Tilt Zoom 等控制指令 使摄像机能够自动跟踪物体 在物体超出该摄像机监控范围之后 自动通知物体所在区域的摄像机继续进行追踪 人脸识别 FaceRecognition 自动识别人物的脸部特征 并通过与数据库档案进行比较来识别或验证人物的身份 此类应用又可以细分为 合作型 和 非合作型 两大类 合作型 应用需要被监控者在摄像机前停留一段时间 通常与门禁系统配合使用 非合作型 则可以在人群中识别出特定的个体 此类应用可以在机场 火车站 体育场馆等应用场景中发挥很大的作用 车辆识别 VehicleIdentification 识别车辆的形状 颜色 车牌号码等特征 并反馈给监控者 此类应用可以用在被盗车辆追踪等场景中 非法滞留 ObjectPersistence 当一个物体 如箱子 包裹 车辆 人物等 在敏感区域停留的时间过长 或超过了预定义的时间长度就产生报警 典型应用场景包括机场 火车站 地铁站等 2 非安全相关类应用除了安全相关类应用之外 智能视频还可以应用到一些非安全相关类的应用当中 这些应用主要面向零售 服务等行业 可以被看作管理和服务的辅助工具 用以提高服务水平和营业额 此类应用主要包括 人数统计 PeopleCounting 统计穿越入口或指定区域的人或物体的数量 例如为业主计算某天光顾其店铺的顾客数量 人群控制 FlowControl 识别人群的整体运动特征 包括速度 方向等等 用以避免形成拥塞 或者及时发现异常情况 典型的应用场景包括超级市场 火车站等人员聚集的地方 注意力控制 AttentionControl 统计人们在某物体前面停留的时间 可以用来评估新产品或新促销策略的吸引力 也可以用来计算为顾客提供服务所用的时间 交通流量控制 TrafficFlow 用于在高速公路或城市环路 根据车流量的变化自适应调整交通信号的闪亮时间 达到智能控制交通的目的 该应用需要提高视频分析功能模块的适应性 使之适应更为复杂和多变的现场环境 流量统计 区域检测 滞留检测 轨迹跟踪 火灾预警 人脸识别 车牌识别 视频图像的预处理 彩色图像灰度化图像的平滑滤波 1 中值滤波 2 邻域均值滤波 3 高斯滤波 运动目标检测 光流法帧间差分法背景减除法 光流法是通过计算图像的光流场实现运动目标检测的一种方法 所谓光流场是指空间运动物体被观测表面上的像素点运动产生的瞬时速度场 一个二维的速度场 包含了物体表面结构和动态行为的重要信息 原理 给图像中的每一个像素点赋予一个光流矢量 即速度矢量 当物体和图像背景存在相对运动时 运动物体所形成的速度矢量必然和邻域背景速度矢量不同 通过对序列图像光流场的分析 计算出运动场后 对场景进行分割 从而检测出运动目标 光流法的核心是求解出运动目标的光流 即速度 光流法 光流法 帧间差分法将连续的两帧或三帧图像对应像素点的灰度值相减 当环境亮度变化不大时 如果对应像素值相差很小 则认为此处是静止的 标记为背景 如果对应像素值相差较大 则认为这是由目标运动引起的 该处像素标记为运动目标 背景减除法原理 建立一个无运动目标的背景图像 第一帧无运动目标的图像或前N帧无运动目标的图像的均值或中值 然后将当前图像的像素值与背景图像的像素值相减 通过设置一定的阈值 分割运动目标 优点 算法简单 实时性较高缺点 对背景的依赖性较高 阴影去除 RGB色彩空间的阴影消除算法在RGB色彩模型空间中 任何一种颜色都可由R G B三原色按一定的比例构成 而阴影区域中的像素亮度值一般比非阴影区域要小 特别是R G颜色分量一般都较小 所以依据这种差别可进行阴影消除 检测后处理 形态学处理 腐蚀 膨胀 连通域处理 孔洞填充 运动目标跟踪 所谓目标跟踪 就是在一段序列图像的每幅图像中找到所感兴趣的运动目标所处的位置 一个好的目标跟踪算法满足的要求是什么 实时性好 算法要费时少鲁棒性要强 目标跟踪的表示方法 a 质心表示 b 特征点集表示 c 矩形框表示 d 椭圆框表示 e 关节模型表示 f 轮廓表示 g 侧影表示 h 骨架模型表示 运动目标的表示方法 基于点的跟踪基于区域的跟踪基于轮廓的跟踪基于模型的跟踪 采用上述的哪种方法来表示运动目标和不同的应用场合 运动目标的运动特性 以及对跟踪算法的精度要求等密切相关 OpenCV2 的camshiftdemo 核方法 meanshift 均值漂移 简介 OpenCV2 的camshiftdemo 核方法 meanshift 均值漂移 简介 核方法 meanshift 均值漂移 简介 算法思想 MeanShift跟踪算法反复不断地把数据点朝向数据质心方向移动 最终收敛到某个概率密度函数的极值点 在MeanShift跟踪算法中 采用彩色直方图作为匹配特征 采用相似度函数用于刻画目标模板和候选区域所对应的两个核函数直方图的相似性 用Bhattacharyya系数描述相似性 因此 这种方法将跟踪问题转化为模式匹配问题 优缺点 该方法可以避免目标形状 外观或运动的复杂建模 建立相似度的统计测量和连续优化之间的联系 但是 MeanShift算法不能用于旋转和尺度运动的估计 直观描述 完全相同的桌球分布 感兴趣区域 质心 MeanShift矢量 目的 找出最密集的区域 直观描述 完全相同的桌球分布 感兴趣区域 质心 MeanShift矢量 目的 找出最密集的区域 直观描述 Distributionofidenticalbilliardballs 感兴趣区域 质心 MeanShift矢量 Objective Findthedensestregion 直观描述 完全相同的桌球分布 感兴趣区域 质心 MeanShift矢量 目的 找出最密集的区域 直观描述 完全相同的桌球分布 感兴趣区域 质心 MeanShift矢量 目的 找出最密集的区域 直观描述 完全相同的桌球分布 感兴趣区域 质心 MeanShift矢量 目的 找出最密集的区域 直观描述 完全相同的桌球分布 感兴趣区域 质心 目的 找出最密集