基于角点特征的多目标跟踪-一篇论文.pdf

第 l 3卷第 l O期 2 0 0 8年 1 O月 中 国图象 图形学 报 J o u r n a l o f I ma g e a n d Gr a p h i c s Vo 1 1 3 No 1 0 0c t 2 0 08 基于角点采样 的多 目标跟踪 方法 刘 闯 龚声蓉 崔 志明 刘纯平 夏侯玉娇 苏州大学计算机科学 与技术学 院 苏州2 1 5 0 0 6 摘 要 为 了跟踪 互遮 挡 的多个 目标 提 出 了一种 基 于角点 采样 的多 目标跟 踪 方法 该 方法 以遮 挡 发生 前 的各 目标 区域 中的 H a r r i s 角点 信 息 为样本 在遮 挡发 生情 况 下 采 取 K近邻 分 类器 对 目标 区域 中提 取 的角 点 信息 进 行 分类 以有 效 区分 遮挡 在一 起 的多 个 目标 在 角 点特 征 提 取 过 程 中 还 提 出 了双 阈 值 H a r r i s 角 点 检 测 算 法 用 于 自适应 准确 地 提取运 动 区域 中角 点信 息 实 验 结 果 表 明 该方 法 能 有 效 区 分 遮挡 在 一 起 且 没有 分 裂 之 前 的多 个 目标 关键词 多 目标 跟踪 角点检测 角点采样K近邻分类器 中 国 法 分 类 号 T P 3 9 1 4 文 献 标 识 码 A 文 章 编 号 1 0 0 6 8 9 6 1 2 0 0 8 1 0 1 8 7 3 0 5 T r a c k i n g Mu l t i p l e Ob j e c t s Me t h o d B a s e d o n Ha r r i s Co r n e r S a mp l i n g 1 引 言 L I U C h u a n g GON G S h e n g r o n g CU I Z h i mi n g L I U C h u n p i n g XI AHOU Yu j i a o S c h o o l o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y S o o c h o w U n iv e i ty S u z h o u 2 1 5 0 0 6 基 于视 频 的运 动 目标 跟踪 经 过 4 0多年 的深入 研究 和发展 在 许 多方 面 有 着 广 泛 的 应用 和发 展 前 景 如 军事视 觉 制导 机器 人视 觉导 航 交通 管制 医 疗 诊 断等 但跟 踪 过 程 中 的 目标 相 互 遮 挡 目标 形 变 等又 为视频 跟 踪带来 一 定 的挑 战 区域对 应 虽 然 在 一 定 程 度 上 能 解 决 多 目标 遮 挡问题 但 不能 区分 相互 遮挡 且 没有 分裂 之前 的 多个 目标 目前解决上述问题的方法主要采用位置 预测 但 它 不 能 准 确 跟 踪 方 向 突 变 的 目标 为 此 本文 提 出 了一 种 基 于角 点 采 样 的 多 目标 跟 踪 方 法 即在 目标 区域 发 生遮 挡 时 采 用训 练好 的角 点信 息来 分类 当前遮 挡 区 域 中 角点 以 便 实现 对 相 互 遮 挡 且 没 有分 裂之 前 的多个 目标进 行有 效跟 踪 多 目标跟 踪 系统 流程 如 图 1 所 示 由于 在 目标 区域 遮挡 发生 之 前 区域 对 应 方 法 已 实现 了 多 目标 的稳定 跟 踪 为此 本 文仅 讨论 遮挡 发生 后 采用 基 于角点 采 样 的多 目标跟 踪 方法来 实 现相 互遮 挡 的多 目标分 离 问题 其 主 要包 含 目标 区域 中角 点 特 征 提 取 角 点分 类两 部分 内容 基金项 目 国家 自然科 学基金项 目 6 0 6 7 3 0 9 2 教育部科研重点项 目 2 0 7 0 4 0 江苏省高校 自然科学基金项 目 0 7 K J D 5 2 0 1 8 6 收稿 日期 2 0 0 8 0 6 2 0 改回 日期 2 0 0 8 0 7 2 2 第一作者简介 刘 闯 1 9 8 3 男 苏州大学计算机科学 与技术学 院计算应用 与技术专业 硕士研究生 主要研究方 向为图像与视频 处理 智能信 息处理等 E m a i l l c 8 3 1 7 s i n a c o rn n 吐 c 岬一 耄 是 u 哟 一 一 一 一 一 一 一 一 一 k e h d b 如 一 一 一 一 一 也 壶 嘲 汕 一 呱 一 e m 出 d 蚕 一 暑 m 山 m 蚕 m 一 一 一 一 一 立 一 一 一 一 一 一 一 一 一 一 一 一 中 国 图象 图 形 学 报 第 1 3卷 图 1 多 目标 跟 踪 系统 流 程 Fi g 1 Th e s y s t e m S fl o wc h a r t o f t h e t r a c k i ng p r o c e s s 2 预 处理 在 角点 检测 前 要 先进 行 预 处理 预处 理 就是 首 先对 输入 的视频 采用 基 于像素 灰度 归类 的背景重 构 算法 提取 背景后 再 运 用 背景 差 得 到 二值 化 运 动前 景 图 然后 运用 数 学 形 态 学 的 闭运 算 消 除细 小 噪声 点 并按 8邻 接进 行 区域连 通及标 记 以分离 各 目标 最后 以矩 形框框 出各 运动 目标 用 于表示其 区 域 同时 定义 多 目标 互遮 挡 的区域 为遮 挡 区域 3角点特征提取 3 1 Ha r r i s角点检 测原 理 H a r r i s 角点 检 测算 法 是 一种 基 于 信号 的点 特 征提取算子 利用式 1 式 2 计算 相关 函数 后 即 可采用式 3 通过角 点响应 函数检测 出图像 中角点 W u v 一 肘 u 1 M c 2 R d e t M 一k t r M 3 其中 W为进行降噪处理的平滑窗I 1 u 为偏移坐 标 J 为图像像素矩阵 为图像 中点 Y 的像 素值 和 分别 为图像像素在水平方 向和垂直方向的一 阶 灰度梯度 t r M d e t M 分别表示矩 阵 M 的迹 和行 列式值 H a r r i s 角点 检测算法推荐的 k 值 为 0 0 4 通过 人 为设定 阈值 选 取 R T的点 为 角 点 具 体计算 中 角点 响应 函数 可定 义为 R 1 2 一 I x 一后 I z 1 2 4 3 2双 阈值 Ha r r i s 角 点检 测原 理 Ha r r i s 角点 检测算 法需 要尝 试设 定 阈值 才 能 提 取较 理想 的角 点 自适应 Ha r r i s 角点 检测 算法 虽 然可 以 自动提 取 角 点 但 对 图像 进 行 分 块 操 作 时 容 易 造 成 块 边 缘 角 点 的丢 失 实 验 发 现 H a r r i s角 点检测算法 当取小 阈值时 其提取的角点较准确 但 易产 生虚 假角 点 当取 大 阈值 时 虽对 噪声点 有 很 好 的抑制 但容易丢失一些真正的角点 为此 本文 提 出了双阈值 Ha r r i s 角点检测算法 其主要包 含两 个步骤 1 在小 阈值下 提取运动区域 中角点 2 在 大 阈值下 剔 除虚 假角 点 具体描 述 如下 1 提取 帧中各运动 目标 的外接 矩形 对各 矩 形 框 内的每个像 素点 通过计算其 在水平 和垂 直方 向上 的梯度 以及 两者的乘积首 先得到 3幅新 的 图像 2 为提 高 抗 噪 能 力 可 对 这 3幅 图像 的 矩 形 框 区域进行高斯滤波 应用的离散 2维高斯 函数为 G 唧 3 采 用式 4 来 计 算 帧 中各 外 接 矩 形 窗 内对 应 的每个像 素 点的 尺 4 提取 局 部 极 大值 点 实 际操 作 中 可 依 次 在 以每个像 素 为 中心 的 窗 口区域 提 取 最 大值 如 果 中心 点 像 素 的 R 为 最 大 值 则 该 像 素 点 就 是 特 征 点 5 算 法先 自动设 置 一 较 小 阈值 T 2 0 T 5 0 用 于提 取 各 矩 形 窗 内的 R 的像 素 为 特 征 点 并 置 的像素 点 的 R为 0 再 分别 统计 各 矩 形框 内特 征点 的数 目 并 将 其 保 存 到 数 组 中 然 后按式 6 计算每一运动 区域 中 尺的均值 作为新 的 阈值 记 为 即 h z 6 其中 h W分 别 为 目标 外 接矩 形 的高 度 和 宽 度 N C 为 第 C 个 矩形 框 中满 足 的特征 点数 6 采 用 较 大 的 阈值 来 剔 除 对 应 矩 形 窗 内 的特 征点 中 的虚假角 点 以实 现准确 的角点 定位 4 角点分类 在进 行双 阈值 H a r r i s 角点检测 后 需 再进行 角点 分类 才能实现 目标跟踪 目前基 于角点 特征 的跟踪 主要采用 匹配方 法 如最 近邻 N N 方 法 互 匹配方 第 1 0期 刘 闯等 基 于角点采样的多 目标跟踪方法 法 等 N N方 法 是 根 据 特征 点 的最 近 邻 距 离 与 次 近邻距离 的 比值 是否 低 于给 定 的 阈值 来 判 断是 否 匹 配 互匹 配方法 即图像 1中 的点 p 的最 佳 匹 配 点 为图像 2中的点p 同时图像 2中的点p 的最佳匹配 点为图像 1中的点p 时 则 p P 为一对互匹配点 实际应 用 中 由于 目标 遮 挡 形 变 等易造 成 部分 角点 丢失 从 而 导致 上述方 法 匹配 的角 点减 少 严 重 时还会 造成 跟踪 的 目标 丢失 为此 本 文 采 用 近 邻 分类 算法 来进 行 角 点 分类 其 主要 包 含 以下 两 个 步骤 1 遮挡发生前 通过采样角点信息来训练分 类 器 2 遮 挡过 程 中 采用 近邻 分 类器 来分 类 遮 挡 区域 中的角 点 以 分 离互 遮 挡 的多 个 目标 为 简 洁解 释此算 法 本 文假 设 互 遮 挡 的 目标 种 类 数 c为 2 即含 两个 目标 记 为 A 本文假 设 遮挡 前 A 已实现 跟踪 算法 的具 体步 骤 如下 1 角点 采样 从 遮 挡 前 的 n n 3 帧 中 分 别 提取 A 的对应 区域 中 5 0个 以 上 的角点 信 息 作 为训练样本 并将其保存 到结构体数组 C o r n e r S c y 中 其 中 c表示 目标 种 类 C 值 为 1 表 示 此 角 点 属于 A c 值 为 2表示 此 角 点 属 于 曰 为 以 角 点 坐标 i J 为 中心 由 L L大小 的 区域 构 成 的 向 量 即 V 一 P L L 2 遮 挡区域角点 提取 当 A 发 生遮 挡时 则 提取遮挡区域中的角点信息作为测试样本 并将其保 存到结构体 数 组 C o r n e r T c 中 其 中 为 以角点坐标 i 为 中心 由 L L大 小 的 区域构 成 的 向量 即 V 同时将 J l P L L c 初始值设 为 0 用来 标注 角点 y 所属 的类别 3 角点分类 即 区分 遮 挡 的 A 曰 对 测试 样 本 C o r n e r T c 中的各角点 按 K近邻对其进行分 类 本文 K取 3 即 3近 邻 分 类 过 程 如 下 首 先 对 C o r n e r T c 中各 待 匹配 的 角点 y f I 采 用霍 夫 距离 式 7 计算 其 与 C o r n e r S c y 中最 相 近 的 3 个角点 然 后分别统计 A 曰 中含 此 3个角 点 的数 目 记为 2 如果 N N z 则 置 c 为 1 即 当前 角点 属于 A 否则置 c 为 2 即当前角点 属于 d l l V 一 l l 7 J l V 4 校 正误 分类 的 角点 上述 步骤 执行 后 由于 易产生少 量误分类 的角点 为此 本文对 步骤 3 中 的 3和 N 2 3 即非鲁 棒 的角点 采用空 间邻近法 进 行 校正 即提取 其空 间域 中最 近 的 m个 角点 并统 计 A 曰 中含此 m个 角 点 的个 数 记 为 如 果 则 检查 当前角 点 如 果其 c 值 不 为 1 则 校正 当前角点 并 置 c 1 否 则 检 查 当前 角 点 的 c 值是 否为 2 如果不是 则 校正 当前角点 并 置 c 2 5 实验 结 果 及 分 析 5 1双 阈值 Ha r r i s 角 点检 测 为 了验证 本文 算 法 的有 效 性 还将 本 文 算 法 分 别与 原 H a r r i s 角 点检 测算 法 和 自适应 的 H a rr i s 角 点检测算法 进行了比较 其中 图 2 a 图 3 a 分 别 为从 C A V I AR 视频 库 P E T S 2 0 0 1 视 频 库 中 提 取 的一 帧 图 2 b 图 2 f 图 3 b 图 3 f 分 一 a 原始图像 b 原算法检测结果1 c 原算法检测结果2 一 一 一 d 原算法榆测结果3 e 文献 6 算法检测结果 f 本文算法检测结果 图 2无遮挡情况 下角点检测实验结果 Fi g 2 Th e e x pe r i me nt a l r e s u l t s b e f o r e o c c l us i o n 1 8 7 6 中国图象 图形学报 第 1 3卷 a 原始图像 b 原算法检测结果 1 c 原算法检测结果2 d 原算法检测结果3 e 文献f 6 J 算法检测结果 f 本文算法检测结果 图 3遮 挡 情 况 下 角 点 检 测 实 验 结 果 别为从 原图像 中截取 的图像块 图 2 b 图 3 b 为 阈值 T 5 0时 H a r r i s角点 检测 算 法 检测 的结 果 由 此可 以看 出 小 阈值下 提 取 的角点 虽 较准 确 但 却 产 生 了很 多 虚 假 角 点 图 2 C 图 3 C 为 阈值 T 3 0 0 0 时 H a r r i s 角点检测算 法检 测的结 果 图 2 d 图 3 d 为 阈值 T 1 0 0 0 0时 H a r r i s 角点检 测 算法 检 测 的结 果 由此可 以看 出 大阈值情 况下 其 虽对 噪声 点有 很 好 的 抑 制 但 却 剔 除 了 一 些 真 正 的 角 点 图 2 e 图 3 e 为文 献 6 自适 应 的 H a r r i s 角 点 检 测 算法 检测 的结果 其 中图像 分为 8 8 共计 6 4块 从 该 两 图 中可 以看 出 除 了造 成 目标 部 分 角点 丢 失 外 还产 1 多虚假 角点 图 2 f 图 3 f 为本 文算 a 原始图像 法检测 到的运动 区域 角点 定位较 准确 5 2 Ha r r i s角点 分类 为 了验 证 本 文 分类 算 法 的有 效 性 还 将 其分 别 与 最近 邻 算 法 和 互 匹 配算 法 进 行 了 比较 其 中图 4 a 为从 P E T S 2 0 0 1视频库 中提取 的一 帧 图 4 b 为 图 4 a 中截取 的图像 块 采 用双 阈值 H a r r i s 角 点检 测算 法 检 测 的结 果 图 4 c 为 图 4 b 中剔 除了背 景 中的干 扰角 点后 的检测 结 果 图 4 d 为 基 于样 本 采 样 的 近 邻 分 类 算 法 的 分 类 结 果 图 中 分 别表示 当前角 点被 分类 为 车 目标 和人 目标 图 4 e 图 4 f 分别为假设当前 图像 的前 一 帧的所有角点已正确分类后 再采用最近邻算法 b 双闽值角点检测结果 c 剔除干扰点后的结果 d 本 文算法的分类结果 e NN 赞 法的分类结果 f 瓦匹配 法 的分类结果 图 4角 点 分 类 结 果 第 1 0期 刘闯等 基于角点采样 的多 目标 跟踪方法 互 匹配算 法分 类 的结果 可 以看 出 图 4 d 中正 确 分类 的角 点数 目远 多 于 图 4 e 图 4 f 可 见 本 文 的分 类算 法鲁 棒性 更强 5 3 对象 跟踪 由于篇 幅所 限 这里 只选择 了 2组 测试结 果对 本 文所提 出的方法加 以解 释 图 5 a 为 文献 1 方 法 跟 踪的结果 由图 5 a 可见 文献 1 方 法 不 能 区分 互 遮挡 的多 个 目标 图 5 b 为本 文 方 法 的跟 踪 结 果 由图 5 b 可见 已跟 踪到互遮 挡的多个 目标 a 文献 1 方法第5 7 0 帧跟踪结果 b 本文方法第5 7 0 帧跟踪结果 图 5 本文方法 与文献 1 方法的跟踪结果 比较 F i g 5 T h e c o m p a r i s o n b e t w e e n o u r me t h o d a n d p a p e r 1 目前 主要采用预 测方法来 区分互遮 挡 的多 目标 图 6为笔者采集 的视频序列 采用文献 2 的位置预测 方法 与本文方法 的跟 踪结 果 比较 其 中帧尺 寸 为 6 4 0 4 8 0 p i x e l s 由图 6可 见 2 1帧之 前 两 目标 呈 规 律 运动 2 2帧时两 目标 都突 然改 变 了运动 方 向 后退 运 动 对 于 目标呈 规 律 运 动 的情 况 文 献 2 方 法 与 本文 方 法 都 能 准 确 地 跟 踪 目标 如 图6 a 6 b 所 示 图中实线框 表示 目标 A 虚线 框 表示 目标 曰 但 当 目标 突然改变运 动方 向后 文献 2 方法 则产 生 了 误跟踪 如 图 6 C 所 示 图中跟 踪 目标 的虚线框 框 了 目标 A 跟踪 目标 A 的实线框框 了 目标 B 而本 文 方法则能准确地 跟踪 目标 如图 6 d 所示 a 文献 2 方法第2 帧跟踪结果 b 本文方法第2 0 帧跟踪结果 C 文献 2 方法第2 2 帧跟踪结果 d 本文方法第2 2 帧跟踪结果 图 6 本文 方法 与文献 2 方法的跟踪结果 比较 F i g 6 T h e c o m p a r i s o n b e t w e e n o u r me t h o d a n d p a p e r 2 6 结 论 本 文提 出了一种 基 于 角点 采样 的多 目标 跟踪 方 法 该方法 以遮 挡前 各 目标 区域 内的 H a r r i s角点 信 息 为样 本 在遮 挡情 况 下 采 取 K 近邻 分类 器 来对 目 标 区域 中提取 的角点信 息进行分类 从 而有 效地 区分 了互遮 挡 的多个 目标 在角点提 取 过程 中 还提 出 了 双 阈值 H a r r i s 角 点检测算 法 与原 H a r r i s 角 点检测 算 法和 自适 应 的 H a rr i s 角点 检测算 法相 比 本 文算法 能 自适应 地准确 定 位运 动 区域 中的角 点 实 验结 果 表 明 本文方 法能有 效 区分互 遮挡 的多个 目标 参 考 文献 R e f e r e n c e s 1 F a n g Y i n g Wa n g H u i y u a n Z h a o J i a n l e i e t a 1 Mu l t i p l e o b j e c t s t r a c k i n g a l g o r i t h m a p p l i e d t o o c c l u s i o n i s s u e J Ap p l i c a t i o n o f C o m p u t e r 2 0 0 7 2 7 s 2 6 2 6 5 方颖 王汇源 赵建蕾等 适用 于多 目标 之 问 遮挡 问题 的跟 踪算 法 J 计 算 机 应 用 2 0 0 7 2 7 s 2 6 2 6 5 2 J a v e d O S h a h M T r a c k i n g a n d o b j e c t c l a s s i fi c a t i o n f o r a u t o m a t e d s u r v e il l a n c e A I n P r o c e e d i n g s o f t h e 7 t h E u r o p e a n C o n f e r e n c e o n C o mp u t e r V i s i o n C C o p e n h a g e n D a n m a r k 2 0 0 2 2 8 3 1 3 Ho u Z h i q i a n g Ha n C h o n g z h a o A b a c k g r o u n d r e c o n s t ruc t i o n a l g o rit h m b a s e d o n p ix e l i n t e n s i t y c l a s s i f i c a t i o n J J o u r n a l o f S o f t w a r e 2 0 0 5 1 6 0 9 1 5 6 8 1 5 7 6 侯 志强 韩崇 昭 基 于像 素灰度 归类 的背 景重构算法 J 软件学报 2 0 0 5 1 6 0 9 1 5 6 8 1 5 7 6 4 Ha r i t a o g l u I Ha r wo o d D Da v i s L e t a 1 W Re a l t i me s u rve i l l a n c e o f p e o p l e a n d t h e i r a c t i v i t ie s J I E E E T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d Ma c h i n e I n t e l l i g e n c e 2 0 0 0 2 2 0 8 8 0 9 8 3 0 5 Ha r r i s C G St e p h e n s M J A c o mb i n e d c o r n e r a n d e d g e d e t e c t o r A I n P r o c e e d i n g s F o u r t h A l v e y V i s i o n C o n f e r e n c e C Ma n c h e s t e r UK 1 9 8 8 1 4 7 1 51 6 Z h a o Wa n j i n G o n g S h e n g r o n g L i u C h u n p i n g e t a 1 A n a d a p t i v e H a r r i s c o r n e r d e t e c t i o n a l g o r i t h m J C o m p u t e r E n g i n e e r i n g 2 0 0 8 3 4