视频跟踪算法研究综述_闫庆森

1、第 40卷 第 6A 期 2013年 6月 计 算 机 科 学C o m pu t e r S c i e n c e V o l . 40N o . 6AJ u n e 2013本文受山西省研究生优秀创新基金项目 (20123107资助 。 闫庆森 (1989- , 男 , 硕士生 , 主要研究方向为现代信号 处 理 、 模 式 识 别 、 压 缩 感 知 , E -m a i l :j n y a n q i n g s e n 126. c o m ; 李 临 生 (1961- , 男 , 教 授 , 硕士生导师 , 主要研究方向为现代信号处理 、 数字图 像 处 理 ; 徐 晓 峰 (

2、1988- , 男 , 硕 士 生 , 主 要 研 究 方 向 为 人 工 智 能 、 模 式 识 别 ; 王 灿 (1987-, 男 , 硕士生 , 主要研究方向为无线传感器网络 、 压缩感知 。 视频跟踪算法研究综述闫庆森 李临生 徐晓峰 王 灿(太原科技大学电子信息工程学院 太原 030024摘 要 在 许 多 计 算机 视 觉 应 用 领域 中 , 视 频 跟踪 是 最基 本 的 任 务 。 尽 管 有 了 大 量 的 跟踪 算 法 , 但 是 跟踪 算 法的 鲁棒 性 仍 是具有 挑 战 性 的 问题 。 物 体的 突 然 运 动 、 目 标或 者背景 外 观 的 改 变 、 目 标

3、 与 目 标以 及 目 标 与 背景 的 遮 挡 、 非 刚 性 物 体的 结构 、 摄 像 机 抖 动 等问题 都 是 视 频 跟踪 算 法 设 计 过 程 中 需 要 考虑 的 因 素 。 介绍 了 视 频 跟踪 算 法 及 其 研究 进展 , 综 述 了 现有 基 本 的 目 标 跟踪 算 法 分 类 , 详 细 描 述 了 每 种 表 示 方 法 , 并 指 出 其 优 缺 点 。 进 一 步 讨 论 了 跟 踪 的 重 要 性 问 题 , 包括 目 标检 测 、 特征 选择 、 贝叶 斯 跟踪 、 在 线 学习跟踪 等 。 关键词 视 频 跟踪 , 特征 选择 , 贝叶 斯 跟踪 ,

4、 在 线 学习 中图法分类号 T P 391 文献标识码 A S u r v e y o f V i s u a l T r a c k i n g A l g o r i t h m Y A N Q i n g -s e n L I L i n -s h e n g X U X i a o -f e n g WA N G C a n (C o l l e g e o f E l e c t r o n i c s a n d I n f o r m a t i o n E n g i n e e r i n g , T a i y u a n U n i v e r s i t y o f

5、S c i e n c e a n d T e c h n o l o g y , T a i y u a n 030024, C h i n a A b s t r a c t V i s u a l t r a c k i n g i s a f u n d a m e n t a l t a s k i n m a n y c o m p u t e r v i s i o n a p p l i c a t i o n s , a n d t h e r o b u s t n e s s p r o b l e m i s s t i l l a c h a l l e n g e

6、i n s p i t e o f t h e n u m e r o u s e x i s t i n g v i s u a l t r a c k i n g a l g o r i t h m s . B e s i d e s , s e v e r a l c i r c u m s t a n c e , a s t h e a b r u p t o b je c t m o t i o n , t h e v a r i a t i o n o f t h e t a r g e t o r t h e b a c k g r o u n d , t h e o b j e

7、 c t -t o -o b j e c t a n d o b j e c t -t o -s c e n e o c c l u s i o n s , t h e n o n -r i g i d o b j e c t s t r u c t u r e s a n d c a m e r a j i g g l e , c a n r e d u c e t h e e f f e c t i v e n e s s o f t h e d e s i g n e d v i s u a l t r a c k i n g a l g o r i t h m. T h i s s u

8、 r v e y d e s c r i b e d t h e v i s u a l t r a c k i n g a l g o r i t h m a n d i t s r e s e a r c h a d v a n c e . T h e e x i s t i n g t a r g e t t r a c k i n g a l g o r i t h m s w e r e o -v e r v i e w e d , a n d d e s c r i b e d e a c h o f t h e s e a l g o r i t h m s i n d e t

9、a i l , t h e n , t h e a d v a n t a g e a n d d i s a d v a n t a g e o f e a c h a l g o r i t h m w e r e a n a l y z e d r e s p e c t i v e l y . F u r t h e r m o r e , t h e i m p o r t a n t i s s u e s r e l a t e d t o t r a c k i n g w e r e d i s c u s s e d , i n c l u d i n g d e t e

10、c t i o n o f o b -j e c t s , f e a t u r e s e l e c t i o n , B a y e s i a n t r a c k i n g , a n d o n l i n e l e a r n i n g t r a c k i n g . K e y w o r d s V i s u a l t r a c k i n g , F e a t u r e s e l e c t i o n , B a y e s i a n t r a c k i n g , O n l i n e l e a r n i n g 1 引言视频跟

11、踪 1-4是机器视觉领域的基础问题之一 , 它是目标识别 、行为识别等后续 应 用 的 基 础 , 在 社 会 安 全 、 航 空 航 天 等 重大项目中有着广阔的应用前景 。 视频跟踪可以用在自动监 控 、 视频索引 、 人机交 互 、 交 通 监 控 、 车 辆 导 航 等 方 面 。 然 而 , 由于旋转姿态引起的物体本身外观的变化以及光照 、 遮挡等 外在因素的变化 , 进行鲁棒的跟踪仍然面临着很大的挑战 。视频跟踪技术由于拥 有 广 阔 的 应 用 前 景 , 因 此 受 到 了 世 界各地研究者的高度关注 。 国外进行视频跟踪研究的大学主 要有麻省理工学院 、 卡内基梅隆大学 、

12、斯坦福大学等 。 国内著 名高校清华大学和一些研究机构也对视觉理论的发展贡献了 力量 。 随着图像处理和分析技术 、计算机技术的飞速发展 , 一 些高校和科研机构已经开展这方面的研究 , 并且取得了可喜 的成绩 。在实际应用方面 , 国外起步比较早 , 技术也相对成熟 。 美 国军方对复杂环境下目标的动态检测 、 跟踪的算法的研究及其应用非常重视 。 美国自然科学基金资助有关公司进行算法 研究 。 在 20世纪 50年代初期 , G A C 公司就为美国海军研制 开发了自动地 形 识 别 跟 踪 系 统 。 1997年 美 国 国 防 高 级 研 究 项目 (D A R P A 设立了以卡内基

13、梅隆大学为首 、 麻省理工学院 等高校参与的视觉项目 5。 马里兰大学 6成功研发了一种实时视觉跟踪系统 W 4, 它 不 仅 能 够 定 位 和 分 割 出 人 的 身 体 部 分以及实现多人跟踪 ,而且能检测人是否携带物体等简单行 为 。 英国的雷丁大学 7在智能视频跟踪系统的研究中对行人和车辆的跟踪方面取 得 了 很 好 的 效 果 。 近 几 年 , 自 适 应 跟 踪 和智能跟踪的思想被相继提出 。 我国也开展了一系列的目标 跟踪系统的研究和开发 。 其中中国科学院自动化研究所模式 识别国家重点 实 验 室 取 得 了 丰 硕 的 成 果 , 处 于 领 先 的 地 位 。 清华大学

14、电子工程系针对户外复杂背景下的人体识别困难的 问题 , 研发了一套运动目标自动跟踪和分类的智能化跟踪系 统算法 。 此外 , 清华大学 计 算 机 科 学 与 技 术 系 提 出 了 一 种 利 用实时视频图像识别的技术来对无规则行人进行跟踪与统计 的算法 。 西安交通大学的人工智能与机器人研究所对车辆跟·402·踪进行了深入的研究 。由于以上的视频跟踪 研 究 广 泛 应 用 在 实 际 生 活 中 , 因 此 要建立鲁棒的跟踪系统 ,需考虑鲁棒性 、 自适应性和实时 性 3个因素 。 鲁棒性就是在复杂的环境下 (如复杂背景 、 部分或整 体光照改变 、 遮挡等 , 跟

15、踪 算 法 仍 然 能 较 好 地 跟 踪 目 标 。 自 适应性就是在目标本身改变的时候跟踪系统需要自适应地调 整 , 除此之外选择一个快速 、 精确的算法也很有必要 。2 初始化和前景检测在视频跟踪领域首先考虑的是如何初始化跟踪 。 一般来 说 , 初始化 是 通 过 手 动 选 择 目 标 或 者 通 过 别 的 系 统 检 测 模块 8, 9来完成 , 而 前 景 检 测 经 常 用 到 识 别 目 标 。 因 此 初 始 化 和前景检测是密不可分的 。 2. 1 跟踪初始化正如上面所说 , 目标 识 别 可 手 动 或 自 动 完 成 。 手 动 初 始 化是在视频的第一帧用矩形 、

16、椭圆等几何图形包围目标 , 后续 帧将自动跟踪 。 而大多 数 自 动 初 始 化 是 用 前 景 检 测 完 成 , 一 旦前景目标被识别 , 跟踪系统将用这个区域初始化 。 2. 2 前景检测前景检测是比较当前帧和背景模型的差异来完成 。 任何 在背景模型图像中 大 的 改 变 都 将 看 作 运 动 物 体 。 W r e n 提 出高斯模型 10作为背景模型 。 对图 像 的 每 一 个 像 素 I (x , y 的 颜色建立静 态 的 背 景 高 斯 模 型 , I (x , y N (x , y , (x , y 。 模型参数平均值 (x , y 和 方 差 (x , y 从 每

17、一 帧 的 颜 色中学习 。 一旦背景模 型 建 立 ,就 将 当 前 图 像 中 的 每 个 像 素 点与高斯模型匹配 ,如果成功则判定该点为背景点 , 否则为前 景点 。 但是 对 户 外 场 景 来 说 一 个 高 斯 模 型 并 不 是 最 好 的 ,S t a u f f e r 和 G r i m s o n 提出 混 合 高 斯 模 型 11, 其 使 用 多 个 高 斯 模型来表征图像中各个像素点的特征 , 如图 1所示 , 在新一帧 图像获得后每个像素点与混和高斯模型比对 , 匹配成功则更 新混合高斯模型 , 不成功就以当前像素颜色的均值和初始化 方差建立新的高斯模型。 图

18、1 (a 行人通过场景的一帧图像 ; (b 每个像素点位置的最高权 值的高斯均值 ; (c 每个像素点位置的次高权值的 高 斯 均 值 ; (d当前帧与高斯模型背景减去的结果 除此之外 , 也可在 颜 色 信 息 中 加 入 空 间 信 息 。 E l ga m m a l 和 D a v i s 12用非参数的核密度估计建立每个像素的背景 。 在 匹配过程中 , 不仅要与当前像素的背景模型匹配 , 还要与周围 的相邻像素位置匹配 。 这种方法可有效处理摄像机抖动和背景小幅度的变化 。 L i 和 L e u n g 13将颜色和纹理特征 融 合 , 以 减少 光 照 敏 感 度 。 S h

19、e n 和 H u 14将 压 缩 感 知 和 混 合 高 斯 模 型结合来实现实时跟踪 。这种方法和别的方法学相比 , 原理和算法设计简单 , 可以 根据实际情况确定阈值进行处理 , 在跟踪中寻找目标时 , 所得 结果直接反映了运动 目 标 的 位 置 、 大 小 、 形 状 等 信 息 , 能 够 得 到比较精确的运动目 标 信 息 。 前 景 检 测 可 以 减 少 搜 索 空 间 , 与在整幅图像中寻找相比 , 只在前景区域中分析更快 , 极大地 提高了运行速度和跟踪精度 。3 特征描述特征是目标可区别与其他事物的属性 , 具有可区分性 、 可 靠性 、 独立性和稀疏 性 。 进 行

20、目 标 跟 踪 , 首 先 要 描 述 目 标 , 如 颜色 、纹理 、 形 状 等 。 建 立 这 种 最 初 的 特 征 描 述 是 非 常 重 要 的 ,描述目标的好坏直 接 影 响 跟 踪 的 性 能 。 由 于 目 标 的 外 观 受到遮挡 、 光照 、 清晰 度 的 影 响 , 视 频 跟 踪 是 很 困 难 的 。 正 是 这样 , 针对图像的不同 性 质 有 了 不 同 的 特 征 。 以 下 介 绍 视 频 跟踪领域不同类型的特征 。 3. 1 边缘特征边缘 、 线段这些特 征 15-17经 常 用 到 跟 踪 系 统 中 。 在 此 之前计算机视觉系统采用的是自底向上的方法

21、 。 对图像的处理 需要计算出边缘图 , 后续的操作是在边缘图的基础上进行的 。 边缘图包含图像最重要的信息 , 但散乱的目标轮廓和复杂场 景的误报是常见的问 题 ,因 此 自 底 而 上 的 方 法 不 受 重 视 。 如 今有很多有效的 边 缘 检 测 算 法 , 如 C a n n y 18、 N a l w a 19、 I v e r -s o n 20等 。 在计算机视 觉 里 C a n n y 边 缘 检 测 是 最 标 准 的 ,它 是基于梯度的边缘检 测 , 由 水 平 和 竖 直 图 像 梯 度 组 成 。 利 用 图像梯度的幅值和 方 向 , C a n n y 算 子

22、识 别 最 有 可 能 是 边 缘 的 像素 。 与颜色特征相比 , 边缘特征对光照变化不敏感 。 3. 2 特征点特征点是匹配算法中常用的特征 。 特征点的提取算法很多 , 如 H a r r i s 算法 、 S I F T 算法 以 及 S U R F 算 法 等 。 H a r r i s 21角点用高斯函数对离中心点越近的像素赋予越大的权重 , 以 减少噪声影响 。 H a r r i s 算子用 T a y l o r 展开去近 似 任 意 方 向 , 矩阵形式为 M = I 2x I x I y I x I y I 2(y。 如 图 2所 示 , M 的 特 征值都很小 , 且图

23、像变化比较缓慢 , 如果特征值一小一大就是边 缘点 , 如果两个特征 值 都 很 大 就 是 角 点 。 H a r r i s 角 点 计 算 简 单 , 提取的特征均匀且合理稳定 , 但不具有尺度不变性。图 2 M 的特征值S I F T 算 子 是 计 算 机 视 觉 领 域 的 重 要 特 征 。 S I F T 是L o w e 22于 1999年提出的局 部 特 征 描 述 子 ,其 通 过 构 建 尺 度 空间 、 检测极值点来获得尺度不变性 ; 对得到的特征点过滤并 进行精确定位 ; 如 图 3所 示 , 以 特 征 点 (黑 色 为 中 心 取 16×16的邻域作为

24、采样窗口 ,将采样点与特征点的相对方向 通 过 高斯加权后归入包含 8个方向的方向直方图 , 如图 4所示 , 最 后将获得 4×4×8的 128维 特 征 描 述 子 。 S I F T 特 征 匹 配 算·502·法可以处理两幅图像之间发生平移 、 旋转 、 仿射变换情况下的匹配问题 , 具有很强的匹配能力 。 L a t e r 和 B a y 23提出 SU R F 算子 , 它是更快地处理尺度和旋转不变特征的描述符。 图 3 16×16的邻域 图 4 128维的描述子3. 3 颜色特征为了增强辨别能力 , 提出了颜色特征描述符 , 颜

25、色特征是 基于像素点的全局的特征 。 目标的外观颜色主要受两个因素 影响 :1 光谱能量分布 ; 2 目标的表面反射性能 。 颜色直方图 能简单描述一幅图像中颜色的全局分布 , 即不同色彩在图像 中所占的比例 。 C o m a n i c i u 用 颜 色 直 方 图24表 示 目 标 外 观 ,这尽管简单有效 , 但大多数的色带对亮度敏感 , 且不包含空间 信息 。 因此经常与别的特征共同表示目标 , 以改善跟踪性能 。 3. 4 纹理特征纹理也是一种全局特 征 , 描 述 了 图 像 或 图 像 区 域 所 对 应 景物的表面性质 。 但由 于 纹 理 只 是 物 体 表 面 的 特

26、征 , 并 不 能 完全反应出物体的本质属性 , 因此仅仅利用纹理特征无法获 得高层次的图像内容 。 和 颜 色 特 征 相 比 ,纹 理 需 要 一 个 处 理 步 骤 生 成 描 述 符 。 G a b o r 25小 波 就 是 一 种 纹 理 特 征 , G a b o r 滤波器可以看作方 向 和 尺 度 可 调 的 边 缘 检 测 器 。 O ja l a 26提 出非常有效的纹理描述 符 L B P (L o c a l B i n a r y P a t t e r n s , 如 图 5所示 , 其通过阈 值 来 判 断 像 素 邻 域 。 L B P 运 算 最 重 要 的

27、 特 征是鲁棒地应对光照改变 , 而且运算复杂度低。 图 5 周围像素值与中间像素值比较获得 L B P 特征3. 5 基于区域的特征对图像 的 区 域 的 特 征 描 述 也 是 流 行 的 方 式 。 D a l a d 和T r i g g s 27在 行 人 检 测 中 利 用 H o g (H i s t o gr a m o f O r i e n t e d G r a d i e n t 描述符训练 S VM 分类 。 H o g 的核心思想是所检测 的局部物体外形能够被光强梯度或边缘方向的分布所描述 。 把计算梯度后的图像分割成小的连接区域 , 每个区域生成一 个方向梯度直方

28、图 ,这 些 直 方 图 组 合 表 示 目 标 的 特 征 。 与 颜 色直方图相 比 , H o g 减 少 了 光 照 的 敏 感 度 。 但 是 , 当 背 景 复 杂时 , 背景目 标 的 梯 度 可 能 对 目 标 梯 度 模 型 有 影 响 。 此 外 , H a a r -l i k e 是一种简单 的 特 征 , 如 图 6所 示 , 计 算 矩 形 框 内 像 素值的差作为特征 ,其运算复杂度低。 图 6 计算矩形框内白色与黑色像素值的差作为特征另一种基 于 区 域 的 特 征 表 示 是 数 据 降 维 28, 29。 该 方 法 通过一些特征矩阵来最小化维数表示目标 。

29、 特征矩阵是对图 像特征值分解得到的 , 最大特征值对应的特征矩阵获得图像 最多的信息 ,随着特征值的减少 , 特征矩阵获得的图像信息会 越来越少 。 因此 , 我们可 以 通 过 特 征 分 解 获 得 图 像 的 主 要 信 息 。 这种方法虽然减少 了 信 息 量 , 但 是 真 实 的 目 标 变 化 由 训练数据并不能得到 , 这一问题已试图解决 30。 3. 6 多种特征的融合在视频跟踪与检测中 出 现 这 么 多 特 征 , 每 种 特 征 各 有 优 劣 ,因此特征融合变得 越 来 越 重 要 。 特 征 融 合 通 常 能 提 高 系 统性能和鲁棒性 , 引起了多媒体计算机视

30、觉和视听语言处理很多 研 究 者 的 关 注 , 如 彩 色 和 轮 廓 31、 H a a r -L i k e 特 征 和 边 缘 32、 角点 、 彩色和轮廓 33。 从以上的分析可以看出在这个领域已经取得了最大的进 步 , 但没有任何一个特征描述符能足够鲁棒 、 有效地处理任何 情况 。 例如 H o g 算 子 注 重 边 缘 和 结 构 , 忽 略 了 平 坦 区 域 , 因 此对边缘区域 含 有 噪 声 情 况 的 跟 踪 失 败 。 L B P 是 周 围 像 素 值与阈值的比较 , 因此 对 噪 声 很 敏 感 。 颜 色 特 征 表 示 图 像 全 局信息 , 有的颜色直方

31、图相同但是纹理完全不同 , 因此颜色直 方图不能提供足够多的信息 。 以后将研究如何更好地将各种 特征组合以提高跟踪性能 。4 贝叶斯跟踪视频跟踪可通过随机过程来描述 。 如果状态分布是高斯模型 ,则可采用卡尔曼 滤 波 器 34, 扩 展 卡 尔 曼 滤 波 器 34可 寻 求最优的解 。 然而大多数实际跟踪问题通常是非线性或者非高斯的 , 基于这类 问 题 提 出 蒙 特 卡 洛 方 法 的 粒 子 滤 波 器 35, 其核心思想是用加权重的随机采样表示后验概率函数 。卡尔曼滤波器用来估计线性高斯模型 。 卡尔曼滤波器由 两部分组成 :预测和更 新 。 预 测 是 用 状 态 模 型 去

32、预 测 变 量 的 新状态 。X t =D X t -1+W t =D t -1D T+Q t 其中 , X t和 t 分别表示在时间 t 时状态的均值和方差预测 , D 是状态转移 矩 阵 , Q 是 噪 声 W 的 方 差 。 更 新 则 用 观 测 值 Zt ·602·更新目标状态 。K t = t M T M t M T +R t -1X t =X t +K t z t -M X t t = t -K tM t 其中 , M 是观测矩 阵 , K 是 卡 尔 曼 系 数 。 卡 尔 曼 滤 波 器 已 经广泛用在视觉跟踪中 , B r o i d a 和 C h e

33、 l l a p p a 36用卡尔曼滤波器 跟踪噪声图像中 的 目 标 。 B e y m e r 和 K o n o l i ge 37用 卡 尔 曼 滤 波器预测目标位置 。粒子滤波器同样有预 测 和 更 新 过 程 , 解 决 了 卡 尔 曼 滤 波 器只能是高斯模型的限制问题 ,但同时也引入了粒子退化问 题 。 在粒子滤波器中 , 时间 t 的条件概率密度 p (X t |Z t 是 由 一系列加权重 (n t (取样概率 的取样点 s (n t :n =1, , N (粒 子 表达的 。 为了减少 计 算 复 杂 度 , 存 储 每 一 组 (s (n , (n 累 计权重 c (

34、n , c (N =1。 在时刻 t 新 的 粒 子 由 时 刻 t -1的 粒 子 集 S t -1=(s (n t -1, (n t -1, c (n t -1:n =1, , N 刻 画 。 文 献 38引 入了序贯粒子生成方法 :粒子通过重要性建议概率密度分布动态调整顺 序 产 生 ; N u m m i a r o 39将 粒 子 滤 波 和 颜 色 直 方 图 结合 ; I s a r d 和 B l a k e 40将 粒 子 滤 波 器 接 近 实 时 性 的 水 平 ; E r i c 41将粒子滤波器和压 缩 感 知 结 合 来 降 低 维 数 , 避 免 了 特 征提取的

35、复杂计算 。 在 粒 子 滤 波 算 法 下 ,一 些 传 统 的 问 题 如 目标检测 、 交叉 、 遮挡等得到了更好的结果 。 粒子滤波器的复 杂度和精度只与粒子数量相关 ,而与空间维度无关 。 这样 , 即 使维度增加 , 也不会导致算法的性能和复杂度增加 。 因此 , 如 何有效地减少样本数量以及保持粒子的有效性和多样性 , 克 服样本贫化 ,将是该算法的研究重点 。 5 核跟踪核跟踪的思想是对相似度函数或者后验概率密度函数的 连续估计 。 核跟踪不仅 可 以 采 用 估 计 的 函 数 梯 度 定 位 采 样 , 还可以有效地降低数据维数 , 减少计算量 。M e a n S h i

36、 f t 42是 核 跟 踪 中 最 有 代 表 性 的 算 法 , 是 高 效 的 模式匹配算法 , 且不需要进行穷尽搜索 。 M e a n S h i f t 跟踪算法 先算出当前点的偏移均值 , 移动该点到其偏移均值 , 然后以此 为新的起始点 , 继 续 移 动 , 直 到 满 足 一 定 的 条 件 。 M e a n S h i f t 跟踪包括 :对目标模板和候选区域的直方图表示 ; 两个直方图 的相似度 ; 在下一帧定 位 最 好 的 候 选 区 域 。 判 断 相 似 性 采 用 B h a t t a c h a r y ya 系数 , 核函数是算法核心 。 M e a

37、n S h i f t 算法计算量不大 , 在目标区域已知的情况下速 度快 , 完全可以做到实时跟踪 。 由于采用核函数直方图模型 , 因此它对边缘遮挡 、 目标旋转 、 变形和背景运动不敏感 。 由于 在跟踪中缺乏必要的模板更新 , 且直方图特征在目标颜色特 征描述方面略显匮乏 , 缺少空间信息等 , 我们将重点研究如何 对整体模板进行更新和学习 , 采取一定的方式来增加目标的特征 。 近 年 在 这 方 面 有 基 于 M e a n S h i f t 的 改 进 算 法 8, 43-45。 此外 , 结合最近比较热的稀疏表示 , 核函数可以用于稀疏分类 中 。 文献 46在文献 24基

38、 础 上 加 入 核 函 数 的 稀 疏 分 类 方 法 , 提出核函数 随 机 坐 标 下 降 (K R C D 算 法 来 高 效 求 解 稀 疏 系数 。6 在线学习跟踪在视频跟踪中 , 由于光照改变 、 姿势改变 、 背景遮挡 , 目标的外观并不是一成不变的 ,如何处理目标外观的变化成为最 基本问题 。 因此需要在 线 学 习 算 法 来 对 目 标 外 观 连 续 学 习 , 其分为两种类型 :生成法和识别法 。 6. 1 生成法生成 法 24, 28, 47, 48用 目 标 模 板 49, 50或 子 空 间 模 型 28, 30在图像中寻找最大可能的区域完成跟踪 。 为处理目标

39、的外观变化 , 目标模型需要动态更新 。 M a t t h e w s 47把首个模板信息和 模板更新结合来减缓视频漂移 。 文献 30用增量低维子空间 表示来自适应目标外观的变化 。 K w o n 50把观测模型 分 解 成 若干部分 ,以应对较大 的 姿 势 改 变 或 光 照 变 化 。 这 种 方 法 对 图像的外貌特征进行了详尽的描述 , 但是没有考虑目标的背 景信息 , 在复杂的背景下将导致跟踪失败 。 6. 2 辨别法辨别法 51-53则是把跟踪 看 作 分 类 问 题 , 训 练 的 分 类 器 用于从背景中识别 目 标 , 同 时 提 取 目 标 和 背 景 的 信 息

40、。 C o l l i n s和 L i u 54为了更好地从背 景 中 辨 别 目 标 , 提 出 自 适 应 选 择 颜 色特征方法 。 G r a b n e r 55, 56提出 在 线 提 升 方 法 用 于 在 候 选 特 征池中更新最好的识别特征 。 随后文献 57又提出半在线提 升算法来处理 漂 移 问 题 。 A v i d a n 51由 弱 分 类 器 组 合 成 强 分 类器来 进 行 全 体 跟 踪 。 B a b e n k o 52提 出 M I L (m u l t i pl e i n -s t a n c e l e a r n i n g跟踪 , 即 把

41、有 歧 义 的 所 有 正 样 本 和 负 样 本 放 入包中学习 辨 别 模 型 。 K a l a l 58提 出 P -N 学 习 算 法 ,其 寻 找 正负样本的潜在结构来训练分类器 。 辨别方法同时考虑了目 标和背景的信息 , 比生成法更鲁棒高效 。 6. 3 稀疏编码法最近 , 随着火热的稀 疏 表 示 、 压 缩 感 知 理 论 59-61的 发 展 ,受人脸识别的启发 , 在跟踪方面提出很多基于稀疏编码的算法 62-65。 基于稀疏 编 码 的 跟 踪 是 通 过 一 些 目 标 模 板 和 遮 挡 模板的线性组合来表示每一帧的取样 ,以最小的误差确定目 标位置 。 M e i

42、63提出了 自 适 应 的 目 标 稀 疏 表 示 模 型 , 其 通 过 解决 1最小化非负限制性问题实现跟踪 , 这是稀疏表示与跟 踪的第一次结合 。 文献 64在 此 基 础 上 降 低 粒 子 采 样 数 , 并 在模板更新中考虑遮挡问题 。 L i u 65提出 基 于 局 部 稀 疏 模 型 的跟踪算法 , 它 将 稀 疏 编 码 直 方 图 作 为 特 征 嵌 入 m e a n -s h i f t 算法完成跟踪 。 文献 63在跟踪中引入动态组稀疏 66, 即 将 稀疏表示和粒子滤波结合 , 经两次粒子滤波后可更精确地定位跟踪目标 。 Z h a n g 67提出将高维的特征

43、经压缩感知降维后训练分类器的算法 , 其 复 杂 度 低 。 文 献 68将 基 于 稀 疏 表 示 的生成模型和辨别分类器结合来有效处理目标变化和减缓视 频漂移 。 鉴于稀疏编码 的 有 效 性 ,应 把 核 跟 踪 和 辨 别 法 应 用 到稀疏编码中 , 以 提 高 分 类 器 性 能 , 增 大 背 景 和 目 标 的 区 分 度 。 但其计算复杂度较高 , 如何有效地降低计算复杂度 , 达到 实时效果也是值得研究的课题 。结束语 本文总结了 视 频 跟 踪 的 初 始 化 和 前 景 检 测 、 特 征描述 、 贝叶斯跟踪 、 核 跟 踪 、 在 线 学 习 跟 踪 的 基 本 内

44、容 及 其 进展 。 由于视频跟踪的复杂性 , 在实际的应用系统设计中 , 应 根据具体情 况 , 选 取 适 当 的 特 征 (组 合 特 征 以 及 跟 踪 算 法 。 以后将着重研究基于压缩感知和稀疏表示的稀疏编码方法 , 一方面这是简单有效的跟踪方法 , 另一方面利用压缩感知可 以有效降低数据量 , 在比较苛刻的条件下可以完成跟踪任务 。随着机器学习 算 法 的 发 展 , 流 形 学 习 69、 转 移 学 习 70、 深 度·702·学习 、 图形模型 71等在视频跟踪方面也均有较大应用前景 。 参 考 文 献1Y i l m a z A , J a v e d

45、 O , S h a h M. O b j e c t T r a c k i n g :A S u r v e y J . A C M J o u r n a l o f C o m p u t i n g S u r v e y s , 2006, 38(4 :1-452C a n n o n s K. A R e v i e w o f V i s u a l T r a c k i n g R . C a n a d a :D e p a r t -m e n t o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g

46、 a n d t h e C e n t r e f o r V i s i o n R e s e a r c h , 20083Y a n g H a n -x u a n , S h a o L i n g , Z h e n g F e n g , e t a l . R e c e n t a d v a n c e s a n d t r e n d s i n v i s u a l t r a c k i n g :A r e v i e w J . N e u r o c o m p u t i n g , 2011, 74(6 :3823-38314蔡荣太 , 吴元昊 ,

47、王明佳 , 等 . 视频目标跟踪算法综述 J . 视频技 术应用与工程 , 2010, 34(12 :135-1425C o l l i n s R , e t a l . A s y s t e m f o r v i d e o s u r v e i l l a n c e a n d m o n i t o r i n g : V S AM f i n a l r e p o r t R . T e c h n i c a l R e p o r t C MU -R I -T R -00-12. C a r n e g i e M e l l o n U n i v e r s i t

48、 y , 20006H a r i t a o g l u I , H a r w o o d D , D a v i s L . W 4:r e a l -t i m e s u r v e i l l a n c e o f p e o p l e a n d t h e i r a c t i v i t i e s J . I E E E T r a n s P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 2000, 22(8 :809-8307R e m a i n i n g P

49、 I , T a n T B a k e r K. M u f t i a g e n t v i s u a l s u r v e i l l a n c e o f d y n a m i c s c e n e s J . I m a g e a n d V i s i o n C o m p u t i n g , 1998, 16 (8 :529-5328C a n n o n s K , W i l d e s R. S p a t i o t e m p o r a l o r i e n t e d e n e r g y f e a t u r e s f o r v i

50、s u a l t r a c k i n g C A s i a n C o n f e r e n c e o n C o m p u t e r V i s i o n , 2007. T o k y o , J a p a n :A C C V , 2007:532-5439F i e g u t h P , T e r z o p o u l o s D. C o l o r -b a s e d t r a c k i n g o f h e a d s a n d o t h e r m o b i l e o b j e c t s a t v i d e o f r a m

51、e r a t e s C C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , 1997. S a n J u a n , P u e r -t o R i c o :C V P R , 1997:21-2710W r e n C , Z a r b a y e j a n i A A , P e n t l a n d A. P f i n d e r :R e a l -t i m e t r a c k -i n g o f t h e h u m

52、a n b o d y J . I E E E T r a n s . P a t t . A n a l y . M a c h . I n -t e l l . , 1997, 19(7 :780-78511S t a u f f e r C , G r i m s o n W. L e a r n i n g p a t t e r n s o f a c t i v i t y u s i n g r e a l -t i m e t r a c k i n g J . P AM I , 2000, 22(8 :747-75712E l g a m m a l A , H a r w

53、o o d D , D a v i s L . N o n -p a r a m e t r i c m o d e l f o r b a c k g r o u n d s u b t r a c t i o n C E u r o p e a n C o n f e r e n c e o n C o m p u -t e r V i s i o n , 2000. D u b l i n , I r e l a n d :E C C V , 2000:751-76713L i y u a n L , A n d m a y l o r L . I n t e g r a t i n g

54、 i n t e n s i t y a n d t e x t u r e d i f f -e r e n c e s f o r r o b u s t c h a n g e d e t e c t i o n J . I E E E T r a n s . I m a g e P r o c e s s . , 2002, 11(2 :105-11214S h e n Y , H u W , L i u J , e t a l . E f f i c i e n t b a c k g r o u n d s u b t r a c t i o n f o r r e a l -t

55、i m e t r a c k i n g i n e m b e d d e d c a m e r a n e t w o r k s C P r o c e e -d i n g s o f t h e 10t h A C M C o n f e r e n c e o n E m b e d d e d N e t w o r k S e n -s o r S y s t e m s . A C M , 2012:295-30815D e r i c h e R , F a u g e r a s O. T r a c k i n g l i n e s e g m e n t s J . I V C , 1991, 8 (4 :261-27016K o l l e r D , D a n i i l i d i s K