基于内容的视频拷贝检测分析

1、基 于 内容 的 视 频 拷 贝检 测 研 究摘 要随 着 互 联 网 技 术 的 发 展 和 多 媒 体 技 术 的 不 断 完 善 ，多 媒 体 信 息 呈 现 爆 炸 式 的 增 长 ，每 天 都 有 大 量 的 视 频 产 生 ，流 传 和 被 编 辑 。基 于 内容 的 视 频 拷 贝 检 测 作 为 视 频 的 组 织 管 理 和 版 权 保 护 的 重 要 手 段 ，己经 成 为 多 媒 体 信 息 检 索 领 域 的研 究 热 点 。本 文 提 出 了 一 个 对 于 尺 度 变 化 具 有 不 变 性 的 基 于 H essian 矩 阵 和 G ab o r 函 数 兴 趣

2、 点 检 测 方 法 H essian 一G ab o r D eteetor。该 方 法 首 先 利 用 基 于 H essian 矩 阵 的 S cale A d ap ted H essian 矩 阵 检 测 候 选 的 兴 趣 点 ， 并 定 位 了 兴 趣 点 的 空 间 位 置 ，然 后 再 利 用 基 于 G ab or 小 波 的 特 征 尺 度 提 取 算 子 计 算 候 选 兴 趣 点 的 特 征 尺 度 ，从 而 获 得 具 有 尺 度 不 变 特 性 的 局 部 兴 趣 点 。实 验 结 果 表 明 ，与 H arris 角 点 检 测 子 、D O G 算 子 ，H

3、arris一L ap lacc 等 方 法 相 比 ，H essian 一G ab o1D ctector 能 够 降 低 局 部 兴 趣 点 检 测 时 间 ，并 且 对 于 小 尺 度 变 换 有 较 高 的 检 测 率 ; 本 文 所 提 出 的 将 H essian 一G ab o r D etector 与 梯 度 序 数 特 征 以 及 固 定 点 内积 方 法 相 结 合 进 行 图 像 的 匹 配 实 验 ，通 过 与 S IFT 等 特 征 进 行 对 比 ， 在 保 持 与 S IFT 特 征 相 似 的 匹 配 正 确 率 的 同 时 ， 极 大 地 降 低 了计 算 时

4、 间 和 内存 的 使 用 率 。将 H essian 一G ab or D etector、梯 度 序 数 特 征 以及 固 定 点 内 积 方 法 相 结 合 应 用 在 视 频 拷 贝 检 测 中 ， 与 现 有 的 方 法 相 比 ， 能 够 显 著 地 提 高 检 测 效 率 。关 键 字 :基 于 内容 的视频 拷 贝检 测 兴趣 点检 测 局 部 特 征 相似 度 匹配 中 图分 类 号 : T P3 11复 旦 大 学 硕 士 学 位 论 文基 于 内容 的 视 频 拷 贝检 测 研 究Ab str a e tW i th t h e C o n tin u o u s d e

5、 v e lo P m e n t o f In te rn e t te c h n o lo g y a n d m u ltim e d ia te e b n o lo g y， m u ltim e d ia sh o w s e x P lo siv e g r o w th . A lo t o f v id e o s 15 P ro d u e e d ，c ire u la te d a n d e d ite d e v e r y d a y . C o n te n t一b a s e d v id e o e o P y d e te ctio n ， a n im

6、 P o r ta n t m e th o d o f v id e oo rg a n iz a tio n a n d m a n a g e m e n t a n d e o P y r ig h t P ro te c tio n ，h a s b e e o m e a m u ltim e d iain f o rllla tio n re tr ie v a l re se a re h f o e u s .T h is P a P er P ro P o s e d a n e w s e a le in v a r ia n t in te re st P o in t

7、s d e te e to r b a se d G a b o r filter an d H e ssian fun c tio n (H essian 一G ab o r D eteeto r). T h is m eth o d filld s th e e a n d id a te in te re st P o iizts w ith th e se a le a d a P te d h e s sia n d e te c to r a t f irst，a n d th e n g e t th e e h a ra e te r istie s e a le o f th

8、 e in te re st P o in ts w ith d e te e to r b a s e d o n G a b o r f u n e tio n .T h e e x P e rim e n ts sh o w th a t e o m P a r in g w ith H a r ris ，D O G a n d H a 雨 s 一I一a P la e e e te ，H e s sia n 一G a b o r D e te e to r e a n n o t o n ly re d u e e th e e o m P u te r tim e b u t a ls

9、o a e h ie v e b e tte r re P e a ta b ility w h ile in sm a ll s c a le e h a n g e ; H G D + G O S + F P IP e a n o b ta in e lo seP erf o r m a n e e to o th e r sta te 一o f -th e 一a rt d e s e r iP to rs lik e S IF T . a n d it e a n g re a tly im P ro 、zeth e sP e e d in im a g e m a te h in g

10、e x P e r im e n ts . S ig n if ic a n tly ，th e e o m b in a tio li o fH e s sia n 一G a b o r D e te e to r ，G O S a n d F P IP f or v id e o e o P y d e te e tio n e a n a e h ie v e b e tte r e f fi c ie n e y th an th e o th e r e o n iP a re d sta te 一o f -th e 一a r t m e th o d s .K e yw o r d

11、 s : C o n ten te d b a sed e o P y d e te e tio n ( C B C D ) ，in tere st P o in t d e te eto 几 lo e a ld e s e riP to r ，s im ila r ity s e a r c li.lV复 旦 大 学 硕 士 学 位 论 文基 于 内 容 的视 频 拷 贝检 测 研 究第 一 章绪 论随 着 互 联 网 技 术 的 发 展 和 多 媒 体 技 术 的 不 断 完 善 ，每 天 都 有 大 量 的视 频 产 生 ， 流 传 和 被 编 辑 。因 此 多 媒 体 信 息 的 管

12、理 和 检 索 成 为 当 前 互 联 网 发 展 必 须 解 决 的 问题 。多 媒 体 信 息 检 索 技 术 就 是 为 了解 决 此 类 问题 发 展 起 来 的 新 兴 学 科 。多 媒 体 信息 检 测 可 以分 为 两 类 : 基 于 文 本 的信 息检 索 (几 x t B ased In 伪rm ation R etriev e，T B IR ) 和 基 于 内 容 的信 息 检 索 (C on tented B ased In form atio n R etriev e，e B xR ) 。早 期 的 信 息 检 索 系 统 都 是 基 于 文 本 。当 前 ，大 部 分

13、 网 上 流 传 的 多 媒 体 信 息 (包 括 文 本 ，图像 ，音 频 和 视 频 ) 都 包 含 了文 本 的 详细 描 述 ，所 以对 多媒 体 信 息 的 检 索 都 是 采 用 的 基 于 文 本 的 方 式 ，当 前 的 主 要 的 搜 索 引 擎 (G oo gle， B aid u 等 ) 都 是 采 用 基 于 文 本 的 方 式 来 进 行 多 媒 体 信 息 检 索 。T BI R 实 现 简 单 ， 通 过 用 文 字 来 描 述 多 媒 体 信 息 ，符 合 人 的 检 索 习惯 ，因 此 得 至lJ了广 泛 的 应 用 ，也 取 得 了 巨 大 了成 功 。 但

14、 是 基 于 文 本 的 检 索 方 式 也 有 很 多 缺 点 。其 中 最 重 要 的 一点 是 就 是 多 媒 体 信 息 很 难 用 简 单 的 文 字 来 描 述 。例 如 ，对 于 一 些 风 景 类 图 像 ，通 常 包 含 树 木 、花 草 、 日 落 、各 种 动 物 等 。在 对 这 些 数 据 进 行 文 本 描 述 时 ，很 难 用 少 量 诸 如 “风 景 图”的这 种 简 单 的 关键 字 来对 图像 的视 觉 内容 进 行 具 体 的描 述 。基 于 内容 的 多 媒 体 信 息检 索 技 术 的 提 出就 是 为 了 解 决 此 类 问题 。C BI R 利 用

15、 多 媒 体 的视 觉 或 者 听 觉 特 征 ， 如 颜 色 、纹 理 、形 状 、结 构 、音 色 ，音 高 等 对 多 媒 体 的 内容 进 行 描 述 ，并 通 过 对 这 些 特 征 进 行 匹 配 和 检 索 来 达 到 对 多 媒 体 信 息 进 行 检 索 的 目的 。1.1 视 频 拷 贝检 测 的研 究 背 景 和 意义当 前 中 国 正 处 于 互 联 网 高 速 发 展 的 阶 段 ，互 联 网 的 用 户 也 越 来 越 多 ，多 媒 体 信 息 呈 现 爆 炸 式 的增 长 。从 数 据 的 种 类 来 看 ，视 频 数 据 占据 了 网络 上 数 据 流 量 的

16、很 大 一 部 分 ( 几 乎 每 一 个 网 民 每 天 都 会 在 网 上 分 享 视 频 信 息 ) 。每 天 都 有 大 量 的 视 频 产 生 ，流 传 和 被 编 辑 。因 此 视 频 的 管 理 和 版 权 的 保 护 成 为 当 前 互 联 网 发 展 的 必 须 解 决 的 问题 。数 字 水 印 技 术 (Di gital wa term arking ) 是 解 决 视 频 版 权 保 护 问 题 的重 要 手 段 。数 字 水 印技 术 是 将 一 些 标 识 信 息 (即数 字 水 印 )直 接 嵌 入 到 载 体 (包 括 多 媒 体 、 文 档 、软 件 等 )当

17、 中 ，但 不 影 响 原 载 体 的 使 用 价 值 ， 也 不 容 易 被 人 的 知 觉 系 统 (如视 觉 、听 觉 系 统)觉 察 到 。通 过 这 些 隐藏 信 息 来 确 认 内容 创 建 者 和 购 买 者 、传 送 隐 秘 信 息 或 者 判 断 载 体 是 否 被 篡 改 。但 是 水 印 与 密 码 技 术 相 似 ，容 易 受 到 攻 击 ，而 且 任 何 的 水 印 技 术 都 不 可 能 抵 挡 住 所 有 的 攻 击 。而 基 于 内容 的 视 频 拷 贝检 测 方 法 能 够 很 好 的解 决 这 些 问 题 。因此 ，近 年 来 ，基 于 内 容 的视 频 拷

18、 贝检复 旦 大 学 硕 十 学 位 论 文基 于 内容 的视 频 拷 贝检 测 研 究测 研 究 逐 渐 成 为 多 媒 体 信 息 检 索 领 域 的研 究 热 点 ， 并 逐 渐 应 用 到 了视 频 的 管 理 、 检 索 和 版 权 的 保 护 中 。1.2 视 频 拷 贝检 测 的研 究现 状视 频 拷 贝检 测 研 究 根 据 选 取 特 征 的 种 类 可 以分 为 两 类 : 基 于 全 局 特 征 的视 频 拷 贝检 测 和 基 于 局 部 特 征 的视 频 拷 贝 检 测 。基 于 全 局 特 征 的 方 法 主 要 使 用 全 局 的 底 层 特 征 ( 如颜 色 直

19、方 图 、颜 色 布 局 描 述 子 、序 数 亮 度 特 征 ) 对 视 频 的 内 容 进 行 描 述 。其 优 点 是 计 算 简 单 ，能 够 应 对 一 些 简 单 的 视 频 编 辑 类 型 ( 如 重 编 码 、帧 分 辨 率 变 化 、简 单 的 旋 转 、缩 放 等 ) 有 进 行 有 效 的检 测 。缺 点 是 对 于 平 移 、仿 射 、摄 录 、 画 中 画 等 复 杂 的 几 何 (g eom etric) 变 化 及 复 杂 的 后 期 处 理 等 视 频 类 型 检 测 效 果 不 佳 。基 于 局 部 特 征 的 方 法 首 先 在 视 频 序 列 的 每 一

20、帧 上 检 测 局 部 兴 趣 点 (也 叫特 征 点 或 者 关键 点)，然 后 用 兴 趣 点 周围 的 视 觉 信 息 对 兴 趣 点 局 部 邻 域 进 行 描 述 ，这 一 类 方 法 主 要 有 s IFT 【1112特 征 、 P C A 一sift 3、S u R F4特 征 等 。其 中 ，SIF T 描 述 子 在 对 象 识 别 方 面 的 性 能 最 优 。视 频 拷 贝检 测 的研 究 内容 主 要 包 括 两 个 方 面 : 特 征 的 提 取 和 视 频 相 似 度 匹 配算 法 。其 中特 征 的提 取 是研 究 的热 点 。在 基 于 全 局 特 征 的 方

21、法 中 ，大 量 的底 层 特 征 被 广一泛 的 使 用 ( 如 颜 色 矩 67 ，颜 色 直 方一图 ，颜 色 布 局 描 述 子 ，梯 度 直 方 图 ， 边 缘 直 方 图 ， 序 数 亮 度 特 征 等 )。 基 于 局 部 特 征 的 方 法 主 要 包 括 两 个 问 题 ， 即 兴 趣 点 的 检 测 和 局 部 描 述 子 的 生 成 。在 兴 趣 点 检 测 中方 法 中 ，具 有 代 表 性 的 方 法 有 H a币 s 角 点 检 测 、拉 普 拉 斯 高 斯 算 子 (L o o ) 5s、高 斯 差 分 算 子 (D o G ) 2 、 H arr is一L ap

22、 laee D eteeto r 等 。 具 有 代 表 性 的 掐 述 子 有 s xF T 描 述 子 (s eale In v ariant F eatu re T ran sform )、o L o H 描 述 子 9 (o rad ient loeatio n 一orien tatio n h isto g am )等 。1.3 本 文 工 作 简 介 和 内容安 排本 文 在 对 基 于 内容 的 视 频 拷 贝 检 测 相 关 方 法 进 行 了大 量 的研 究 的 基 础 上 ，提 出 了 一 个 对 尺 度 变 换 具 有 不 变 性 的 兴 趣 点 检 测 算 法 H es

23、sian一G ab o : D etec tor，并 将 该 法 与 梯 度 序 数 特 征 G o s 、G rad ien t o rd in al 5 1助 ature ) 以及 一 个 与 G o s 相 关 的 快 速 的 相 似 度 匹 配 算法 固定 点 内积 方 法 (F ix ed 一p oint Inn er p rodu et，F P IP ) 相 结 合 应 用 到 基 于 内 容 的视 频 拷 贝 检 测 中 。本 文 的 内容 共 分 为 六 部 分 :在 第 一 章 中 ，首 先 对 基 于 内容 的视 频 拷 贝检 测 的研 究 背 景 和 研 究现 状 进 行

24、 了 简 要 的介 绍 ，然 后 介 绍 了本 文 的工 作 内容 ，最 后 介 绍 了本 文 的结 构 。第 二 章对 基 于 内容 的视 频 拷 贝 的相 关 工 作 进 行 简 要 的 阐述 。分 析 了 当前 方 法的 优 缺 点 。复 旦 大 学 硕 士 学 位 论 文基 于 内容 的视 频 拷 贝检 测 研 究第 三 章 介 绍 了本 文 中 提 出 的 兴 趣 点 检 测 方 法 H essian 一G ab or D eteetor 。第 四 章 在 实 验 中对 本 文 方 法 和 相 关 的方 法 进 行 了对 比 ，并 对 实 验 结 果 进 行 了分 析 。第 五 章

25、对 本 文 的 内容 进 行 了 总 结 ，提 出 了 未 来 工 作 的 方 向 。最 后 列 出 了完 成 本 文 所 参 考 的相 关 文 献 资 料 、致 谢 和 硕 士 期 间 的文 献 发 表 情况 。复 旦 大 学 硕 士 学 位 论 文基 于 内容 的 视 频 拷 贝检 测 研 究第 二 章基 于 内容 的视 频 拷 贝检 测 概 述在 对 基 于 内 容 的 视 频 拷 贝 检 测 进 行 阐 述 之 前 ，先 对 几 个 相 关 的 知 识 点 进 行 简要 的介 绍 。基 于 内容 和基 于 关键 字传 统 的信 息 检 索 ，特 别 现 在 被 广 泛应 用 的 图像

26、和 视 频 的检 索 系 统 中 ，大 部 分 都 是 基 于 文 本 的 ( 当 你 在 传 统 的 搜 索 引擎 中 检 索 你 想 要 的 图像 和 视 频 时 ，都 是 输 入 某 一 个 关 键 字 )， 这 些 图 像 和 视 频 在 库 中 都 是 按 照 文 本 来 组 织 的 。 但 是 有 时 少 量 的 关 键 字 并 不 能 完 全 描 述 一 副 图 像 或 者 一 段 视 频 的 视 觉 内 容 。比 如 一 些 风 景 类 的 图像 ，可 以用 风 景 图来 对 图 像 内容 进 行 高 度 的抽 象 ，但 是 当我 们 需 要 的 信 息 涉 及 到 图像 的具

27、 体 视 觉 内容 时 ，用 简 单 的树 、花 这 类 关 键 字 并 不 能 很 好 地 概 括 图像 里 面 物 体 的 具 体 特 征 ( 如 形 态 、 位 置 等 )， 因 为 这 些 树 和 花 草 的 形 态 是 千 变 万 化 的 ， 在 图 像 中 的 位 置 也 是 参 差 不 齐 的 。考 虑 到 传 统 的 基 于 文 本 的 方 法 的 缺 陷 ，基 于 内容 的 信 息检 索 成 为 了研 究 热 点 。基 于 内容 的 方 法 在 检 索 图像 或 者 视 频 时 ，不 是 基 于 文 本 关 键 字 ，而 是 基 于 图 像 与 视 频 的 内 容 ，这 里

28、的 内容 更 多 的 是 指 图像 或 者 视 频 的 视 觉 信 息 ( 在 视 频 中 还 包 括 听 觉 信 息 )。拷 贝视 频 和相 似 视 频这 里 需 要 强 调 拷 贝 视 频 和 相 似 视 频 的 区 别 。相 似 视 频 是 指 在 内容 上 相 近 但 是 在 拍 摄 时 间和 角 度 等 不 同 。 而 拷 贝 视 频 是 指 对 于 两 段 视 频 A 和 B ，B 是 由 A 经 过 某 些 图 像 和 视 频 处 理 之 后 得 到 的 ，比如 对 于 视 频 中 的 图 像 进 行 缩 放 、加 入 噪 音 、 加 入 一 些 小 图标 或 者 冲 编 码 等

29、 。图 1 对 这 两 个 概 念 进 行 了很 好 的 描 述 ，(a)部 分 给 出的 是两 幅 相 似 的 图像 ，显 然 两 幅 图 像 是 在 不 同 时 间 和 角 度 拍 摄 得 到 的 ( 安 南 的 领 带 是 不 同 的 ，拍 摄 的 角 度 也 是 不 一 样 的 )。所 以虽 然 两 幅 图像 的 内 容 是 很 相 似 的 ， 但 是 右 图 并 不 是 左 图 的 拷 贝 ，所 以这 不 是 拷 贝 的 类 型 l0 。b 部 分 描 述 的 是 拷 贝 图像 的 情 形 ， 右 图 是 原 图 ，在 左 图 的 左 上 角 部 分 是 右 图 经 过 重 编 码

30、、镜 像 变 换 、加 黑 框 后 再 缩 放 ，然 后 嵌 入 到 另 外 一 张 图 片 中 得 到 。复 旦 大 学 硕 十 学 位 论 文基 于 内容 的 视 频 拷 贝检 测 研 究(a) 相 似 图 像(b) 拷 贝 图 像图 表 1 相 似 图 像 和 拷 贝 图 像 的 比 较2 .1 基 于 内容 的拷 贝检 测 的关 键 技 术 介 绍与 传 统 的 信 息 检 索 检 索 系 统 的 步 骤 类 似 ，基 于 内 容 的 视 频 拷 贝 检 测 主 要 包 括以 下 几 个 方 面 ( 如 图 2 所 示 ) ，主 要 包 括 以 下 儿 个 步 骤 :1. 特 征 的

31、抽 取视 频 特 征 的 抽 取 包 括 两 种 方 法 ， 基 于 全 局 的 特 征 的方 法 和 基 于 局 部 特 征 的 方 法 。 基 于 全 局 特 征 的 方 法 是 指 对 于 每 一 帧 图 像 ， 提 取 一 个 特 征 ， 即 所 获 得 的 每 一 个 特 征 描 述 的 都 是 整 个 图 像 的 全 局 信 自、。 如 灰 度 直 方 图 ， 颜 色 直 方 图 等 。 基 于 局 部 的 方 法 ， 获 取 的 是 图 像 的 局 部 特 征 ， 局 部 特 征 描 述 的 是 图 像 的 局 部 信 自、， 即 所 获 得 的 特 征 是 对 图 像 的 局

32、部 区 域 进 行 描 述 得 到 的 。 基 于 全 局 特 征 的 方 法 所 提 取 的 特 征 量 小 ，而 对 于 基 于 局 部 的 方 法 提 取 的 特 征 量 要 大 很 多 ， 一 般 对 于 每 一 帧 图 像 ， 提 取 的 特 征 的 数 量 多 达 几 百 个 。2 . 索 引 结 构 的选 取 与 建 立伴 随 着 互 联 网和 多媒 体 技 术 的 发 展 ，视 频 的数 量 以接 近 指 数 级 的速 度 在- . “ . .， ，增 长 。 因 此 ， 在 实 际 应 用 中 ， 视 频 拷 贝 检 测 系 统 所 涉 及 的 视 频 库 中 的 数 据 量

33、非 常 庞 大 。 大 规 模 的 视 频 必 然 带 来 大 规 模 的 视 频 特 征 ， 为 了 提 高 特 征 的 查 询 和 匹 配 的 速 度 ， 需 要 采 用 一 定 的 索 引 结 构 对 视 频 特 征 建 立 索 引 。视 频 的 特 征夏 旦 大 学 硕 十 学 位 沦 又基 于 内容 的 视 频 拷 贝检 测 研 究一 般 都 是 高 维 的 数 据 ， 所 以对 视 频 数 据 建 立 索 引 结 构 需 要 采 用 高 维 索 引 。 3 . 视 频 序 列 的 相 似 度 匹 配视 频 序 列 的 匹 配 是 基 于 内容 的 视 频 拷 贝检 测 重 要 阶

34、段 ，也 是 研 究 的 热 点 。在 对 视 频 进 行 了特 征 提 取 和 建 立 了索 引 结 构 后 进 行 拷 贝检 测 时 ， 首 先 进 行 特 征 的 匹 配 ， 得 到 一 系 列 匹 配 的 帧 。 由于 视 频 是 一 系 列 的 具 有 时 序 信 息 的 帧 ， 因 此 需 要 一 个 良好 的 视 频 序 列 匹 配 算 法 来 得 到 最 后 的 拷 贝视 频 检 测 结 果 。关 键 帧 提 取关 键 点 检 测特 征 提 取计算 索 引 值被 查 询 视匹 配 值 归 一视 频 匹 配帧 匹 配特 征 匹 配结 果 输 出建 命_索 弓结构关 键 帧 提 取

35、关 键 点检 测特 征 提 取计 算 索 引 值查 询 视 频图 表 2 拷 贝检 测 的 框 架本 文 的 研 究 主 要 集 中 在 特 征 的 提 取 方 面 。因 此 ，在 这 一 节 中 ，主 要 分 为 以 下 两 个 部 分 对 视 频 拷 贝 检 测 关 键 技 术 进 行 分 析 : 1.视 频 结 构 化 分 析 。 2 .视 频 描 述 子 提 取 。 3 .索 引 结 构 的 选 取 。2 .1.1 视 频 结 构 化 分 析视 频 结 构 化 分 析 是 基 于 内 容 视 频 检 索 工 作 的 第 一 步 。视 频 结 构 化 的粒 度 、精 确 度 很 大 程

36、度 上 决 定 了视 频 检 索 等 工 作 的 质 量 。 在 基 于 内容 的 视 频 拷 贝 检 测 中 ， 进 行 视 频 结 构 化 分 析 的 作 用 主 要 是 进 行 镜 头 分 割 和 关 键 帧 的提 取 。2 .1.1.1 视 频 镜 头 分 割视 频 是 具 有 时 序 特 性 的 帧 序 列 ，而 且 考 虑 到 人 眼 的视 觉 特 性 ，相 邻 的 帧 的相复 旦 大 学 硕 士 学 位 论 文基 于 内容 的 视 频 拷 贝检 测 研 究似 程 度 很 高 。这 就 使 得 视 频 存 在 很 大 的 时 间 上 冗 余 ，所 以 在 进 行 视 频 拷 贝检

37、测 时 ， 如 果 对 视 频 中 的 每 一 帧 都 进 行 特 征 的 提 取 ，必 然 带 来 很 多 额 外 的 不 必 要 的 计 算 。 所 以 需 要 对 视 频 进 行 结 构 化 分 析 ， 减 低 视 频 视 觉 信 J自、的 冗 余 度 。在 对 视 频 结 构 化 分 析 进 行 阐 述 之 前 ， 先 对 相 关 的 概 念 进 行 简 要 的 介 绍 。 图 3对 视 频 的 结 构 进 行 了 很 好 的 描 述 。爵爵爵图 表 3 视 频 的 结 构帧 (F ra m e ): 一 幅 图像 ，视 频 的最 小 单 位 。镜 头 (Sh ot): 摄 像 机 一

38、 次 不 间 断 的拍 摄 所 记 录 的 帧 序 列 。镜 头 是 视 频 具 有 语 义价 值 的 最 小 单 位 (视 频 检 索 使 用 最 普 遍 的 单 位 )。镜 头 边 界 (S ho t B ou n da ry ): 相 邻 两 个 镜 头 之 间 的部 分 ，用 以 区 分 前 后 相 邻 两 个镜 头 。关 键 帧 (K cy Fr :m e ): 一 个 镜 头 当 中 能够 代 表 镜 头 大 体 内容 的 帧 图像 。场 景 ( Sc en e ): 最 普 遍 认 同 的 场 景 概 念 是 指 在 同一 个 地 点 拍 摄 的 视 频 ，它 通 常 是 多 个

39、 镜 头 的 集 合 。节 目 : 不 同 场 景 构 成 的有 完 整 语 义 的 单 元 。 比如 体 育 节 目、广 告 、新 闻 节 目、 电视 剧 等 。一 段 视 频 中 可 能 会 包 含 几 段 完 整 的 节 目 ，每 个 节 目可 能 是 在 不 同 的 场 景 中 拍摄 所 构 成 的集 合 。在 何 个 场 景 中 包 含 儿 组 相 关 程 度 更 高 的 镜 头 。对 于 每 一 个 镜 头 ，可 以用 一 个 或 多 个 关 键 帧 来 对 镜 头 的 内容 进 行 描 述 。在进行特征抽取之前了.先对视频进行镜头分割，然后再在每一全镜头中抽取 最能代表镜头的视觉

40、内容的关键帧，再在关键帧上提联视频的描迷子。这样抽取 的 特 征 不 仅 能 很 好 的 描 述 视 频 的 内 容 ，而 且 能 够 去 掉 兀 余 信 息 ，为 后 而 索 引 结 果的 建 立 和 特 征 的 匹 配 以 及 视 频 序 列 的 匹 配 减 少 了 大 量 的 计 算 。复 旦 大 学 硕 十 学 位 沦 文基 于 内容 的 视 频 拷 贝检 测 研 究视 频 的 镜 头 分 割 的关 键 是 要 找 到 视 频 镜 头 的 边 界 。镜 头 的 边 界 可 以 分 为 切 变 和 缓 变 。切 变 是 指 两 个 镜 头 之 间 没 有 任 何 附 加 的特 效 ，即

41、单 纯 的 前 后 镜 头 的 罗 列 。 缓 变 通 常 是 指 使 用 某 些 特 效 ，使 得 前 后 镜 头 的 变 化 达 到 某 些 视 觉 效 果 。渐 变 镜 头 边 界 又 可 按 照 其 使 用 特 效 的 不 同划 分 成 不 同 的 种 类 。最 常 使 用 的 边 界 特 效 有 淡 入 淡 出(F ad e in o u t)、溶 解 (D isso lv e)、擦 变 (w ip e)【l一1等 。 图 表 3 描 述 了 镜 头 边 界 的 几 种 典 型 类 型 。茄象蕊簇_ 羞品裘石澳崖乙几簇撬 赢 鹰鹰 巍奋瞻奋巍巍蘸漏黝 薰 羹羹撇撇潺纂瀑傲傲鞘 鬓鬓墓

42、夔 鳞 蒙 脚 翼撇翼三豁三翼钱服服一一一 一 一 一-一 一一一 边 界 一 一 -一 一一、-一 一 、一- 一 图 表 4 视 频 镜 头 边 界 类 型对 于 镜 头 边 界 的 检 测 算 法 ，目前 己经 比较 成 熟 ，其 中 应 用 最 广 泛 的 是 双 阂 值比较 法 。镜 头 边 界 检 测 算 法 主 要 包 括 以 下 几 个 步 骤 : 视 觉 内 容 的表 示 ，连 续 信 号 的 建立 ， 镜 头 边 界 的 分 类 。视 觉 内 容 的表 示视 觉 内容 的 表 示 ，主 要 的 方 法 有 基 于 像 素 的 方 法 ，基 于 直 方 图 的 方 法 ，基

43、于 边 缘 变 化 率 的 方 法 和 基 于 运 动 信 息 的 方 法 等 112 。1. 基 于 像 素 的 方 法这 是 最 直 接 也 是 最 早 使 用 的表 示 视 觉 内 容 的 方 法 。一 种 最 简 单 的 方 式 是 直 接 通 过 比 较 相 邻 两 帧 之 间 的 对 应 像 素 点 的亮 度 分 量 和 颜 色 分量 ，然 后 将 帧 间 差 与 预 先 设定 的 阂 值 进 行 比 较 ， 判 断 是 否 是 一 个 镜 头 边 界 。这 种 方 法 有 两 个 重 要 的 缺 点 : 1.物 体 运 动 敏 感 : 当 图 像 的 局 部 发 生 剧 烈 变

44、化 时 容 易 被 误 检 测 为 突 变 。 2 . 相 机 运 动 敏 感 : 相 机 轻 微 运 动 就 可 能 造 成 误 检 ， 如 移 动 、 旋 转 。一朴改进的方法为计算发生变化较大的像素点个数;当该值大于某阂值时判断 为 突 变 。此 方 法 对 小 范 围 局 部 运 动 鲁 棒 性 好 ，但 仍 然 对 相 机 运 动 敏 感 。另 一 种改 进 是 将 图 像 分 成 b 块 ，每 个 块 看 作 一 个 像 素 点 。用 计 算 像 素 差 的 方 法 计 算 相 邻复 旦 大 学 硕 十 学 位 沦 文基 于 内容 的 视 频 拷 贝检 测 研 究两 帧 对 应 块

45、 的 差 值 并 累 积 该 值 作 为 帧 i 和 帧 i+l 的 距 离 。 并 且 在 计 算 机 时 ， 按 照 人 的 感 知 模 型 (p ercePtion m od el)， 认 为 越 靠 近 中 心 的 区 域 更 易 受 到 关 注 ， 因 此 应 取 较 高 权 值 。2 . 基 于 直 方 图 的 方 法直 方 图 算 法 的 主 要 思 想 在 于 ， 如 果 两 帧 的 背 景 和 物 体 (即 使 发 生 剧 烈 运 动 都 没 有 发 生 变 化 ，那 么 这 两 帧 的 直 方 图 差 异 将 会 很 小 。如 果 两 帧 的 内 容 发 生 较 大 变 化

46、 的 时 候 ，两 帧 的 直 方 图 很 有 可 能 也 有 很 大 的 差 异 。采 用 这 种 差 异 来 衡 量 帧 与 帧 之 间 的 差 别 。这 种 方 法 的 优 点 是 只 要 背 景 ，物 体 不 变 ，即 便 发 生 剧 烈 的 运 动 ，直 方 图 也 不 会 有 很 大 的 改 变 ，相 机 的 旋 转 ，较 慢 的 移 动 ，也 都 不 会 使 直 方 图 发 生 大 的 变 化 。因 此 物 体 和 相 机 的 运 动 对 基 于 直 方 图 的 算 法 的 影 响 是 较 小 的 。所 以 ，基 于 直 方 图 的 算 法 得 到 了较 好 的 效 果 和 很

47、广 泛 的 使 用 。直 方 图 的 缺 点 在 于 ，视 频 内 容 相 差 很 大 的 两 帧 图 像 可 能 有 相 似 的 直 方 图 ， 但 这 种 情 况 非 常 少 见 。3 . 基 于 边 缘 变 化 率 的 方 法基 本 思 想 是 ，统 计 每 一 帧 中 新 出 现 的 边 缘 和 消 失 的 边 缘 ，分 别 用 两 个 量 Pi，和 八1，1来 表 示 。对 于 帧 i，它 的 几，通 过 与帧 i一1 的 边 缘 进 行 比较 得 来 ，即 如 果 帧 i 的某 边 缘 像 素 与 帧 i一1 中 最 近 的 边 缘 像 素 的 距 离 大 于 某 个 阂 值 r，

48、 则 认 为 是 新 出现的 边 缘 像 素 。 同样 ， 帧 i 的 几 ，通 过 与 帧 i+l 的对 比得 来 。这 种 方 法 具 有 以 下 优 点 : 可 以在 检 测 到 突 变 的 同 时 ，对 于 缓 变 也 有 较 好 的 区分 度 。而 且 不 仅 几。，可 以检 测 到 边 界 ，还 可 以对 边 界 进 行 分 类 ( 尤 其 对 fade in/ou t) 。因 为 对 于 突 变 与 缓 变 ， 以及 不 同 类 型 的 缓 变 之 间 ， Pi。和 几、，的 值 都 会 有 不 同 的 特 点 。但 是 此 方 法 需 要 进 行 边 缘 检 测 ，边 缘 检

49、测 复 杂 度 高 ，而 且 算 法 的 性 能 很 大 程 度 上 取 决 于 边 缘 检 测 的 结 果 。因 此 很 难 避 免 由边 缘 检 测 算 法 带 来 的 误 检 测 。例 如 ， 由于 物 体 的 快 速 运 动 可 能 会 使 边 缘 检 测 中 出现 噪 声 ， 因 此 也 可 能 导 致 误 检 测 。4 . 基 于 运 动 信 息 的 方 法运 动 向 量 是 视 频 压 缩 域 当 中 很 重 要 的 信 息 ( 如 下 图 所 示 ) 。运 动 向量 可 以 比 较 好 的 反 映 视 频 当 中 物 体 的 运 动 方 向和 运 动 强 度 。基 于 运 动

50、信 息 的 主 要 计 算 方 法 是 使 用 视 频 压 缩 过 程 当 中 产 生 的 运 动 向量 。用 运 动 向 量 来 进 行 镜 头 边 界 检 测 的 基 本 思 想 就 是 当 前 后 P/B 帧 中 运 动 特 征 发 生 改 变 时 (例 如 两 帧 之 间 的 运 动 强 度 和 两 帧 之 间 的 几 个 主 运 动 方 向 ) ， 就 可 能 表 征 着 一 个 边 界 。复 旦 大 学 硕 十 学 位 论 文基 于 内 容 的 视 频 拷 贝检 测 研 究或奉 吸 落宪 努 电 黔二 鑫乙镜 头移幼欠量 二/时 熟 2图 表 5 运 动 向 量 示 意 图这 种

51、方 法 受 到 在 视 频 编 码 时 期 的 运 动 向 量 的 估 计 算 法 的 影 响 。但 是 计 算 简 单 ，充 分 利 用 现 有 的 信 息 ，且 运 动 向 量 属 于 局 部 特 征 ，具 有 局 部 特 征 的 一 些 优 势 。 连 续 信 号 的 建 立 连 续 信 号 的 建 立 是 指 根 据 己 有 的 视 觉 内容 表 示 方 法 ，对 帧 序 列 建 立 用 于 分 类 的 ，可 表 达 帧 间 关 系 的 连 续 信 号 。主 要 的 方 法 有 : 基 于 双 对 比 的 方 法 和 基 于 上 下 文 信 息 对 比 的 方 法 。1 . 基 于 双

52、 对 比 的方 法 : 以采 用 直 方 图 作 为 视 觉 内 容 的 表 示 方 法 为 例 ， 基 于 双 对 比 的 连 续 信 号 就 可 以简 单 的 采 用 第 i 帧 和 第 i+l 帧 之 间 的 直 方 图 差 。差 越 小 ， 两 帧 之 间 的 连 续 信 号 越 强 。基 于 双 对 比 的 连 续 信 号 建 立 是 最 简 单 ， 最 直 接 的 连 续 信 号 建 立 方 法 。但 是 它 的 最 主 要 的 一 个 缺 点 在 于 它 对 噪 声 过 于 敏 感 。 假 如 某 一 帧 受 到 了 某 种 噪 声 干 扰 ， 那 么 这 一 帧 与 其 前 后

53、 两 帧 的 连 续 信 号 就 极 有 可 能 变 得 很 微 弱 ， 从 而 使 得 算 法 将 这 两 个 边 界 判 定 为 镜 头 边 界 。2 . 基 于 上 下 文 信 息 对 比 的方 法 : 与 基 于 双 对 比 的 方 法 不 同 ，参 与 计 算 帧 间连 续 信 号 的 帧 的 数 量 不 只 是 前 后 两 帧 ， 而 是 以 当 前 帧 为 中 心 的 一 定 窗 口 内 的 所 有 帧 。 与 基 于 双 对 比 的 方 法 来 讲 ， 虽 然 复 杂 程 度 更 高 ， 但 是 解 决 了对 噪 声 过 于 敏 感 的 问 题 ， 而 且 融 合 前 后 的

54、上 下 文 信 息 更 符 合 人 对 视 频 的 感 知 ， 为 长 度 超 过 一 帧 的 镜 头 边 界 提 供 了 更 好 的 解 决 方 法 。镜 头 边 界 的分 类有 了 连 续 信 号 之 后 就 可 以 用 其 来 进 行 分 类 。粗 浅 的 边 界 分 类 可 以是 一 个 两 类 问题 : 边 界 与 非 边 界 。当 涉 及 缓 变 镜 头 边 界 的 时 候 也 可 以进 一 步 将 分 类 细 化 为 区 分 不 同 的 缓 变 镜 头 边 界 种 类 。方 法 分 为 两 大 类 : 1 基 于 法 则 的 方 法 (R ule一B ased) 。 2 机 器

55、学 习 的 方 法 。 下 面 对 于 基 于 法 则 的 方 法 进 行 阐 述 。基 于 法 则 的 方 法 其 思 想 就 是 设 定 阂 值 T h ，当 帧 间 的 连 续 信 号 低 于 阂 值 T h 时 ，就 判 定 为 镜 头 边 界 。采 用 阂 值 的 方 法 来 判 定 镜 头 边 界 是 最 简 单 ，最 直 接 的 方 法 。阂 值 可 以 通 过 先 验 经 验 来 人 为 确 定 ，也 可 以根 据 某 些 统 计 信 自、来 计 算 。最 简 单 的 阂 值 计 算 方 法 当复旦 大 学 硕 十 学 位 论文基 于 内容 的 视 频 拷 贝检 测 研 究然 是 人 为 确 定 一 个 阂 值 。其 缺 点 在 于 普 适 性 差 ，不 能 根 据 视 频 的 不 同 自动 调 整 阂 值 。 为 了 改 进 这 个 问题 ， 可 以通 过 视 频 的 统 计 信 息