基于异常排斥点和互信息的人群异常检测方法.doc

基于排斥点和互信息的人群异常行为探测方法 111Mutual Information for the Detection of Abnormal Crowd Behavior 摘要摘要 快速探测人群场景中的异常行为 能够及时预警 减少其危险性并降低由此带来的损害 在大规模侦测 预防踩踏等群体 事件中具有很高的实用性 本文提出一种基于异常排斥点的人群异常行为检测方法 定义了人群异常场景中异常排斥点的概念 揭示了异常排斥点在人群异常探测中的重要作用 并通过融合异常排斥点信息与场景互信息扩展了人群异常检测在不同场景中的 适用性 大幅度提高了异常检测的准确性和灵敏度 关键词关键词 互信息 排斥点 人群异常探测 光学流 0 引言引言 人群状态检测是智能视频监控和智能环境的主要内容 也是实现自动人群管理的基本要求 利用计算机视觉技术 对监控视频的内容进行分析并理解在公共管理 国防 反 恐 银行 公共安全等方面具有不可替代的作用 近年来 频繁的群体性事件造成了大量的人员伤亡和财产损失 如 果在异常行为开始时 系统能够及时警报并进一步采取应 对措施 就可以有效降低相应事件所带来的危害 所以 异常行为探测在我国的当前社会 经济环境下具有广泛的 实用价值 然而 在实际应用过程中 由于监控使用场景 广泛 视频量庞大以及人群行为复杂等 人工视频监控和 传统视频监控往往需要耗费大量的人力 物力 且效率低 下 通用性差 人群异常行为识别严重滞后 为此 智能 视频监控技术得以迅速发展 从而将人们从大量的低效率 的工作中解脱出来 目前 智能视频监控主要面临两大挑战 一方面是监 控场景范围广 人群异常行为模式复杂 随着监控设备的 普及和技术的成熟 监控场景的范围原来越广泛 从公共 广场到建筑内部 不同场景的人群活动具有不同的异常行 为模式 其中人群的疏散和聚集是其中最具代表性的两类 如广场中某处发生骚乱 人群四处逃散 或向一侧出口逃 散 或者广场上某一区域发生聚集 面对如此复杂的异常 行为模式 研究其共有的特性以提高监控的普适性就变得 尤为重要 另一方面 异常模式探测困难 计算量大 对 于智能视频监控来说 及时地探测出人群的异常行为是衡 量方法有效性的重要标准之一 及时的探测有助于警报的 发出和人群的疏散和逃生 从而能够将危险造成的损失降 到最低 为此 有效简化异常探测模型 降低数据预处理 的计算量和计算复杂度 满足异常行为检测的高速乃至实 时要求是当前人群异常检测的核心内容 传统人群异常探测技术在计算量以及适用范围上难于 满足需求 为此 提出了一种基于排斥点和互信息的人群 异常行为探测方法 方法揭示了不同场景下人群异常行为 模式的公共特点 并进一步提出了 排斥点 的概念 结 合互信息理论 方法对不同的监控场景具有良好的适应性 提高了人群异常行为探测的及时性和准确性 1 相关工作相关工作 当前流行的人群异常探测方法主要包含两种 一种是基 于整体的方法 一种则面向个体追踪 前者往往通过构建 场景模型 5 6 用学习算法估计模型参数后用该模型进行异 常检测 Helbing 等 3 将牛顿力学定律引入人群动力学分析 中 称之为 社会力 Social force Mahadevan 等在文 献 4 中先通过使用动态纹理的混合物建立了正常的人群行 为模型 然后使用这个模型来判断异常点 Mehran 等 2 对 社会力模型进行了拓展 将其应用到相对稀疏的人群行为建 模上 为避免对每个局部目标跟踪而产生大量计算 使用 了质点平流传送的整体分析方法 在平流传送的基础上建 立力学模型 对社会力流构建语料库后用隐含狄利克雷分配 La tent Dirichlet allocation LDA 训练并发现人群行为标 题 再利用词袋法 Word bag WB 进行模式分析以检测人 群事件 LDA 训练和词袋模型的 EM 近似算法导致该方法 的计算量偏大 对于实时监控系统来说 这样的计算量对 系统来说无疑是个沉重的负担 更无法应用于大量的摄像 头监控系统 并且此方法适用于密度较高的人群场景 当 人群密度较小 人群中个体之间的相互作用力较小 这样 对人群的异常行为的探测影响非常大 并且 该文章没有 考虑到在室内场景中 个体与建筑物的相互作用力 如人 与墙的排斥力没有考虑到 其适用范围收到一定的限制 第二种方法更倾向于对场景中个体的追踪 7 8 Harding 1 提出了一种基于互信息的探测人群异常行为的方 法 该方法指出 人群在正常情况下的运动是有序的 场 景中人群的位置和方向有关 都是均匀分布的 这样 人 群中个体的位置和方向的相关度较高 所以计算得到的互 信息值较高 在异常行为下的人群会向安全的地方运动 这样在人群异常行为开始时刻 人群位置分布仍会很平均 但人群中个体会向着安全方向运动 如此一来 人群中个 体的位置和方向的相关度较低 所以计算得到的互信息值 较低 例如 在室内的酒店中 正常情况下 人群分布均 匀 个体的方向分布也均匀 所得的互信息值就相对较高 但假设酒店中失火 此时人群分布仍旧比较均匀 但人群 一般都是朝向出口的方向运动 这样计算得到的互信息值 NoTR 2012 06 007 2012 ZZU 2ZZU CS ITSG RESEARCH GROUP TECHNICAL REPORT NO TR 2012 06 007 就很低 此方法与上述社会力探测方法 3 相比 其计算量 显著降低 但是其适用范围更加狭窄 一般使用于具有单 一出口的封闭空间场景 如单一逃生出口的室内 对于 那些出口较多或开放式场景中 由于人群逃生运动方向较 为发散 此方法的适用性将大受限制 随着各种商业 文化 体育 娱乐 宗教以及交通运输 等方面的迅速发展 越来越多的人群聚集现象出现在大量 复杂场景中 传统人群异常检测方法在当前监控数据量规 模庞大 场景复杂且预警时限要求高的现状下进行高效地 智能化地监控已经难于实现 然而 在大多数群体事件中 一般都具备引起人群异常的具体诱因和发源地点 这成为 很多人群异常场景的共性所在 为此 揭示异常排斥点在 群体事件中的作用和特征 结合异常排斥点与互信息侦测 人群异常 将大幅度提高智能监控适用范围 降低相关技 术的计算量 本文揭示了异常排斥点的原理和在人群异常检测中的重 要作用 定义了异常排斥点的概念 并结合互信息的理论 基础提出了一种新的人群异常检测方法 基于异常排斥点的 人群异常检测方法 方法将异常排斥点概念引入人群监控 中 从而扩展了相应技术的应用范围 提高了监控有效性 和及时性 本文第三节描述了本文的具体方法 第四节进 行算法的实验分析 最后给出结论和下一步工作 2 方法方法 基于异常排斥点的人群异常检测方法其核心在于异常 排斥点的确定以及与互信息的融合 在大部分人群场景中 无论是在室内还是在室外 当 出现异常事件如火灾 骚乱等时 每个个体 人 为了躲 避这些危险 一定会尽量向远离这些危险的方向运动 这 样每个人才能尽量短时间内逃向安全的地方 而这些危险 发生的地方定为排斥点 因此 异常排斥点定义如下 定义定义 1 异常排斥点是指在人群异常场景下 所有个 体微粒运动反方向区域所覆盖最为集中的位置点 L L p p max I1 I2 In 1 In 其中 p 表示场景中的位置 Ii则表示第 i 个个体微粒 的运动反方向区域 而信息论的核心则在于通过场景中个体运动的有序程 度来探测人群的异常行为 互信息是信息论里一种有用的 信息度量 它是指两个事件集合之间的相关性 在人群场 景中 正常的人群中个体的运动方向是随机的 异常的人 群中个体的运动方向是受异常情况的影响 总体的运动趋 势是背离危险源运动 是无序的 所以 正常的人群中个 体的坐标和运动的方向是无相关性的 反之 异常情况下 则有相关性 结合异常排斥点与互信息理论 基于异常排斥点的人 群异常检测方法的基本步骤如图 1 所示 首先将输入视频 分为帧 第一步计算每帧中的速度场 在计算速度场中 我们将微粒网格布满每一帧的图像 使用微粒代替场景中 的个体 计算每个微粒运动 这样避免了追踪个体的典型 问题 第二步 通过统计每个微粒速度的反方向 我们知 道人群总体背离危险源运动 从而可以找出可能存在的危 险源的位置 本文将危险源称为排斥点 第三步 我们引 入信息论 通过计算互信息 得到微粒坐标与微粒背离排 斥点运动的无序程度 无序程度高 说明此场景属于异常 人群行为 通过以上步骤 可以高效的探测出视频中人群 的异常行为 3 1 计算速度场计算速度场 将输入视频分为帧 将微粒网格布满每一帧的画面 以微粒的运动代替场景中每一个个体的运动 这样可以避 免因人群密度大等复杂场景对于个体跟踪产生的问题 并 且可以节省个体跟踪的计算量 计算视频中连续两帧的光 流 得到每个微粒的水平和垂直的速度分量 通过两个方 向的分量得到每个微粒的速度方向 ij x y 算法算法 1 计算速度场 输入 连续两帧的图像 输出 网格中每个微粒的速度方向 ij x y 算法步骤 1 使用 Lucas k rp 计算反方向覆盖的网格 k rp end for return argmax k rp 3 将 k 网格的中心点坐标定为排斥点坐标 r x y 为进一步降低排斥点计算量 算法采用基于运动方向 的方法计算并获取排斥点 算法以微粒运动方向作为输入 参数 而无需其它诸如速度 加速度等参数 因为在人群 密集的情况下 个体速度不能反映真实危急的情况 而个 体的运动方向其适用范围则更广 实验证明上述算法可以 有效反映出场景中人群运动的无序性 拥有足够的精确度 侦测出异常点 在正常的人群行为的场景中 排斥点的选 取本身尚不能反映人群运动的无序 为此需要进一步计算 基于异常排斥点的互信息来确定人群的有序性 3 3 计算互信息计算互信息 大量研究文献指出 在正常的情况下 人群的运动是 高度有序的 方向和速度的一个特定的个体与他们当前的 位置相关 人群的运动受到很小的外界干扰 总体运动方 向是跟随自己的意愿运动 在异常情况下 人群的慌乱会 打破这种有序性 人群会因为危险改变自己的运动方向 为了尽快的躲避危险源 背离危险源方向运动 这样会呈 现出人群运动的无序性 基于异常排斥点可以更加准确和 高效地计算这种无序性 融合异常排斥点信息和互信息的 方法 可以巧妙地计算出运动个体的位置和运动方向的相 关度 从而得到人群总体的有序性 互信息公式有两个变量A和B 互信息定义为 2 log ij ij i j ij p a b I A Bp a b p a p b MERGEFORMAT 2 2 其中 和分别是的边缘概率分布 i p a j p b A B 是的联合概率分布 互信息实际上测量的是 ij p a b A B 两个变量的独立性 算法中互信息用于测量人群中个体的 位置和个体背离排斥点的运动角度 一个有序的人群有较 高的互信息值 当人群发生异常行为时 会进入无序状态 计算得到的互信息值会较低 所以 我们可以通过互信息 值的变化 探测异常行为的开始时刻 及时探测到人群的 异常行为 结合互信息理论与异常排斥点概念 算法定义个体运 动背离排斥点运动的角度 MERGEFORMAT 3 3 其中是微粒运动的速度方向 图3中红色箭头 ij x y 是微粒坐标到排斥点坐标的方向 图3中黄色箭头 ij x y 定义如下 tan j ij i yy x ya xx MERGEFORMAT 4 4 是微粒的坐标 是排斥点的坐标 算法使用 ij x y r x y 三个变量来计算互信息 其中一个变量是基于排斥点的 i 另两个是微粒的笛卡尔坐标 为了讨论人群的有序 ij x y 程度 我们使用公式 4 计算互信息 2 2 log log 2 ij ij i j ij ij ij i j ij p x I Xp x p x p p y I Yp y p y p I XI Y I MERGEFORMAT 5 5 图 3 图中是两幅异常人群行为的场景图 图中红色箭头表示个 体速度矢量 蓝色圆点代表排斥点 黄色箭头代表个体到排斥 点的方向 左图是人群水平背离排斥点运动 右图是人群背离 排斥点四散运动 图2 图像被白线分割成网格 右图中红色箭头代表微粒的运动 方向 左图绿色区域是微粒运动方向覆盖的区域 左图红色区 域是运动反方向覆盖的区域 右图中蓝色点是计算得到的排斥 点 4ZZU CS ITSG RESEARCH GROUP TECHNICAL REPORT NO TR 2012 06 007 通过计算笛卡尔坐标x y方向与的平均互信息值 我们可以获取人群的有序程度 从而判定该场景是否是异 常人群行为场景 算法算法 3 计算互信息 输入 每个微粒速度方向 排斥点的坐标 ij x y r x y 输出 每个互信息值 算法步骤 1 构造空数组存放每个微粒坐标到排斥点坐标的方向 ij x y 2 构造空数组存放微粒背离排斥点运动的角度 ij x y 3 for all tan j ij i yy x ya xx ijijij x yx yx y end for 4 通过公式 4 互信息公式计算互信息的值 3 4 人群异常行为的检测人群异常行为的检测 我添加的 内容较少 我添加的 内容较少 是否有必要加强 是否有必要加强 在获取场景相应互信息之后 接下来就是建立互信息 模型 检测人群的异常行为 具体来说 构建并分析正常 场景下的互信息分布 从互信息值的分布图可清晰的看到 人群正常行为时 场景中人群分布比较平均 速度方向分 布同样表现的比较平均 此时互信息值比较高 当人群刚 开始出现异常行为时 场景中人群分布仍会比较均匀 此 时传统检测方法往往难于及时发现异常情况 但因为场景 中人群速度方向都是背离排斥点运动的 所以排斥点方法 计算的互信息值会快速降低 持续走低一段时间后 随着 场景中行人的数量减少 场景中人群位置将分布在场景中 的某些特定位置 同样速度方向也变得单一 所以互信息 会再次升高 通过分析上述人群异常行为场景的互信息变 化规律 算法可以及时发现异常行为的发生时刻 具体方法包括 计算正常人群行为的互信息的平均值 设定异常行为的互信息警戒值小于正常时的平均值 当连 续多帧的值低于警戒值时 我们就判定该时刻人群已经进 入了异常行为状态 基于这个简单的原理算法能快速 有 效的探测多场景下的人群异常行为 算法的伪码和形式 化描述 3 实验和讨论实验和讨论 监控视频处理以及人群异常检测实验基于实验室服务 器进行 服务器主要配置包括 Intel Core TM i5 2 50GHZ 处理器 4GB 内存和 NVIDIA GeForce GT 540M 独立显卡 实验数据集来自明尼苏达大学的正常和异常人 群行为的视频 数据集包含三个不同的室内和室外场景 在微粒运动及划分方面 实验每隔 10 个像素确定为一 个微粒点 微粒网格的密度为源图像的 1 为了计算异常 排斥点 算法将视频图像进行划分 其中网格大小的宽度 定为 20 像素 为了更加高效地计算互信息 算法将坐标划 分的大小设置为 30 像素 的划分大小为 20 度 在后续 实验中发现 上述参数设置是合理且高效的 4 1 实验结果实验结果 图 4 展示了使用基于异常排斥点的人群异常检测方法 对三个真实场景进行异常检测的结果 其中前两个是室外 场景 最后一个是室内场景 当出现异常时 第一个场景 人群呈四散逃离状 第二个场景则表现为人群向广场一侧 逃离 第三个场景呈现人群向上下两个方向 针对画面 逃离 这些场景基本包含人群异常行为时的大部分场景 说明场 景具有广泛的代表性 而本文提出的方法在上述场景能够 高效 准确的检测出人群异常 也正因此证明了方法的广 泛适应性 下面是对每个场景的具体分析 第一个是室外的场景 正常时人群位置在场景的偏上方 人群逃离时呈现四散逃 离状 人群在正常行为时互信息比较稳定 波动不大 所 以异常行为前 互信息值保持在 0 53 左右 当人群处于异 常行为时 互信息会立即降低 图 4 场景一中右图 人群 刚呈现异常行为时 得到的互信息值已经降低到平均值以 下 并且持续走低一段时间 此时互信息值在 0 36 左右 当场景中人数减少 互信息值会重新升高到平均值 0 43 左 右 我们把警戒值定为 0 40 远低于正常时刻的值 当人 群异常行为发生后 0 51 秒后 系统探测到视频中发生异常 行为 第二个场景同样是室外场景 但人群平均分布整个场 景中 人群逃离时是向场景中一侧逃离 实验结果与场景 一情况相似 正常时刻互信息值是 0 43 左右 人群刚呈现 异常行为时 得到的互信息值已经降低到平均值以下 并 且持续较低 平均互信息值在 0 26 左右 远低于正常时刻 随后互信息值回升到 0 46 附近 当人群异常行为发生后 0 09 秒后 系统探测到视频中发生异常行为 第三个场景是室内场景 相对于室外场景 室内场景 有多处不同 例如 个体的运动速度相对较慢 人群中个 体数量相对较少 并且在本实验的场景三中 监控拍到的 视频中 被吊顶遮挡住一部分 三分之一的画面都是墙壁 没有运动的个体 人群只分布在画面中间的长廊里 所以 对于排斥点的选取和互信息的计算 这些都是干扰 所以 在正常人群行为时 得到的互信息值会有比较大的波动 但是这些波动都不会影响对人群异常行为的探测 在正常 情况时得到的互信息值会比上面两种场景中得到的值高 约在 0 92 左右 当出现异常行为时 互信息值仍会迅速降 低 降至 0 35 左右 随后互信息值重新升至 0 67 附近 当 人群异常行为发生后 0 54 秒后 系统探测到视频中发生异 常行为 那么不采用异常排斥点的互信息检测表现如何 对比一下才有意义吧 应该体现出本算法的广泛适应性和 及时高效性 设计实验 验证本方法比传统方法可以用更 少时间侦测到 在某些场景下本方法也使用而传统的方法 已经基本失效或者效果非常差 ZZU CS ITSG RESEARCH GROUP TECHNICAL REPORT NO TR 2012 06 007 表 2 报警响应时间 场景一场景二场景三 0 51s0 09s0 54 以上三个场景包涵了实际社会 商业等活动中 人群 异常行为的多种情况 其中包含了室内室外场景 还包含 了人群分布在场景中的一部分区域和人群布满整个场景的 两种情况 以及异常发生后人群向一侧逃离和多方向分散 逃离的情况 所以实验场景具有广泛的代表性 而实验结 果也证明异常排斥点方法在上述各种场景下均表现良好具 有广泛的适用性 在报警响应时间上 三个场景的实验得 到的结果都低于 1 秒 证明了方法的高效性和极高的灵敏 度 综上所述 基于异常排斥点的人群异常检测方法具备 广泛的场景适应性和准确 高效和高灵敏度的特征 4 2 讨论讨论 基于异常排斥点的人群异常检测方法不仅仅适用于人 群分散 亦可以用于探测人群聚集场景的异常行为 当人 群聚集时 在图像上一般会出现吸引点 吸引点与排斥点 相对 在计算吸引点的时候 不再寻找个体颗粒运动反方 向区域覆盖度最高的位置 而是沿着运动方向计算运动方 向区域覆盖度最高的位置 并据此获取吸引点 而在计算 互信息的时候 算法亦无需大的改变不需改变 仅需将个 体运动背离排斥点运动的角度替换为个体运动朝向聚集 点运动的角度即可 如此一来 算法即可以探测人群的聚 集异常行为 这增强了方法对广泛场景人群异常行为探测 的适应性 4 总结总结 本文提出了一种基于异常排斥点的人群异常检测方法 该方法提出了异常排斥点的概念 揭示了异常排斥点在人 群异常检测中的重要作用 方法通过将排斥点信息融合进 场景互信息计算 扩展了人群异常检测方法对于不同人群 场景的适用性 提高了方法的准确性和灵敏度 参 考 文 献 1 Harding P S Gwynne and M Amos Mutual information for the detection of crush PloS one 6 12 p e28747 2 Mehran R A Oyama and M Shah Abnormal crowd behavior detection using social force model 2009 Ieee 3 Helbing D and P Molnar Social force model for pedestrian dynamics Physical review E 1995 51 5 p 4282 4 Mahadevan V Li W Bhalodia V et al Anomaly Detection in Crowded Scenes C Computer Vision and Pattern Recognition CVPR 2010 IEEEConference on IEEE 2010 1975 1981 5 Thijs G Lescot M Marchal K et al A Higher o