（信息与通信工程专业论文）数字视频中的运动特征提取方法研究.pdf

摘要 一般认为，视频数据的视觉内容包括颜色、纹理、形状和运动等信息，其中运动信息 是视频区别于图象数据所特有的内容。对于一个视频片段来说，运动信息是反映视频中变 化 演进的 重要信息，要对视频内容进行全面的刻画，运动 信息是 必不可少的一个方而。因 此对视频进行运动分析成为视频压缩和基于内容的视频检索的一个必需的部分。 论 文主要 研究视频中运动对象的运动 特征的提 取方法。 首先简要介绍了 m p e g -7 标准 中 有关视觉描述的内容。在对 现有视 频运动分析方 法进行 分析比 较的 基础上，提出了 种 基于视频中 运动对象的 运动 特征 提取方 法。该 方法的 a t 本思想是， 利用差分分析法提 取视 频中 运动对象的 运动轨 迹， 将其轨迹曲率 作为 运动特征 之一; 然后计算包含运动对象的 知 形区域沿轨迹的颜色相关向量的统计特征，将其作为运动特征之二。同时提出了荃于轨迹 点 序列顺序匹配的视频 段检测方法。该方法的 特点是计算 简便， 运动特征与 视频内容 相关 性强，可以满足不同层次的基于内容的视频查询需求。 论文对所提出的算法针对一段视频进行了仿真试验，取得了预期的效果。 关键词:基于内容的视频检索、mp e g - 7 、运动分析、运动特征提取 第 vi 贝 ab s t r a c t i t i s g e n e r a l l y t h o u g h t o f t h a t v i s u a l c o n t e n t o f v i d e o d a t a c o m p o s e s o f . c o l o r , t e x t u r e , s h a p e , m o t i o n a n d s o o n . a m o n g t h e m , m o t i o n i s p e c u l i a r c o n t e n t t h a t i t d i f f e r s f r o m i m a g e d a t a . t o a v i d e o c l i p , m o t i o n i n f o r m a t i o n r e fl e c t s t h e c h a n g e s w h i c h a r e t h e i m p o rt a n t i n f o r m a t i o n o f t h e g r a d u a l p r o g r e s s i n v i d e o . s o i f w e w a n t t o d e s c r i b e t h e o v e r a l l c o n t e n t o f t h e v i d e o , t h e m o t i o n i n f o r m a t i o n i s a n e s s e n t i a l r e s p e c t , a n d i t a l s o i s a n e s s e n t i a l p a rt t h a t c a r ryi n g o n m o t i o n a n a l y s i s i n v i d e o c o m p r e s s i o n a n d c o n t e n t - b as e d v i d e o r e t r i e v a l . t h i s p a p e r d i s c u s s e d t h e f e a t u r e e x t r a c t i o n m e t h o d o f t h e m o v e m e n t o b j e c t i n v i d e o . i t b r i e fl y i n t r o d u c e d t h e r e l a t e d v i s u a l d e s c r i p t i o n c o n t e n t i n mp e g一 7 s t a n d a r d f i r s t . o n t h e b as i s o f a n a l y z i n g a n d c o m p a r i n g e x i s t i n g m e t h o d s , i t p r e s e n t s a m o t i o n f e a t u r e e x t r a c t i o n m e t h o d w h i c h i s b a s e d o n mo v e me n t o b j e c t i n v i d e o . t h e m a i n t h o u g h t o f t h i s m e t h o d f o l l o w s a s b e l o w : i t g e t t h e t r a j e c t o ry o f t h e mo v e m e n t o b j e c t i n v i d e o b y d i f f e r e n c e a n a l y s i s f i r s t l y , a n d i t c o n s i d e r s t h e t r a j e c t o r y c u r v a t u r e a s o n e o f f e a t u r e s o f m o t i o n ; t h e n c a l c u l a t e s t h e s t a t i s t i c s f e a t u r e o f c c v o f r e c t a n g l e a r e a c o n t a i n i n g m o v e m e n t o b j e c t a l o n g t h e t r a j e c t o r y t h a t i t h a s f o r m e d , a n d t h i s f e a t u r e i s c o n s i d e r e d a s t h e s e c o n d . a t t h e s a m e t i m e , i t p r o p o s e s a v i d e o c l ip d e t e c t i o n m e t h o d w h i c h i s b a s e d o n t h e t r a j e c t o r y d o t s s e q u e n c e o r d e r m a t c h . t h e c h a r a c t e r i s t i c o f t h i s m e t h o d l i e s i n s i m p l e c o mp u t a t i o n a n d t h e g r e a t r e l a t i v i t y b e t w e e n m o t i o n f e a t u r e a n d t h e c o n t e n t o f v i d e o , s o i t c a n s a t i s f y t h e n e e d s o f c o n t e n t - b a s e d v i d e o q u e r y o f d i ff e r e n t l e v e l u s e r s we ! 1 w e h a v e c a r r i e d o n t h e s i m u l a t i o n e x p e r i m e n t t o t h e a l g o r i t h m s t h a t a r e p u t f o r w a r d t o a s e g m e n t o f v i d e o , a n d h a s g o t t h e a n t i c i p a t e d r e s u l t . ke y wo r d s : c o n t e n t - b a s e d v i d e o r e t r ie v a l , mp e g - 7 , mo t i o n a n a ly s i s , mo t i o n f e a t u r e ex t r a c t i o n 第 v u页 独创性声明 本人声明所呈交的学 位论文是我本人在导师 指导下 进行的 研究工作及取得 的 研究 成果。 尽我 所知，除了 文中 特别 加以 标注 和致谢的 地方外， 论文中 不包含 其 他人已 经发 表和撰写 过的 研究 成果， 也不 包含为获得国 防 科学技术大学 或其它 教育 机构的学 位或证书而 使用过的 材料。 与我 一同 工作的 同志 对本研究 所做的 任 何贡献 均已 在论文中作了 明 确的 说明并 表示 谢意 。 学 位论文 题目 : 数字视频中的 运动特 征提取方法研究 学位论文作者签名:日 期 :2 . 弓年i t 月( 8 日 学位论文版权使用授权书 本人完全了 解国 防 科学 技术大 学有关 保留 、 使用学 位论文 的规 定。 本人授 权 国防 科学 技术大学可以 保留 并向 国 家有关 部门 或机构送交论文的复印 件和电 子 文 档， 允许 论文被 查阅 和借阅 ;可以 将学 位论文的 全部 或部分内 容 编入有关数 据 库进行检索，可以 采用影印 、缩印 或扫描等复制手 段保存、 汇编学 位论文. ( 保密 学位论文 在解密 后适用 本授权书 . ) 学 位论文题目 : 数宇 视频中的运动 特征提取方法 研究 学位论文作者签名: 作者指导 教师 签名: 日 期 : 。 易 年i t月/ 犷 日 日 期 : 、了 年(f ( 月 ， 肠 图索引 图2 . 1符 合m p e g 一7 标准的视频检 索系统结 构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 图2 .2描述定义语言、描述方案和描述符的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 图2 .3 m p e g - 7 的 范 畴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 图2 . 4 m p e g - 7 中的 视觉描 述符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 图2 .5 几 种 结 构的 表 示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 图2 .6 “ 局 部” 和“ 集 成” 坐 标 系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i 1 图2 .7 真 实 数 据 和 插 值函 数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 二 ” . . 1 2 图2 . 8 规则性示例 ， ， ， 1 4 图2 .9 各 种 形 状 举 例 ， ， ， 一 ” . . . . . . . . . . 1 4 图2 .1 0 轮 廓 线 形 状 的 性 质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 图2 .1 1 摄 像 机 运 动 模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 巧 图2 .1 2 (一 维 ) 轨 迹 表 示 ， 。 ， 一1 6 图2 . 1 3 m p e g - 7 的应用的抽象表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 图3 . 1 块匹 配 的 基 本 思 想 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 图3 . 2 n , x 从块与 搜索区 的几何关系图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 图3 . 3 三步搜索算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 图3 .4 连 续 两 帧的 运 动矢 量 图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 二 “ 2 6 图3 .5 相邻块的 位置. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 图3 .6 基少 直 方图 的 对 象 提 取 ， ， ， ， . . . . . . . . . . . . . . . . . . 3 0 图 3 . 7 运动对象的检测算法流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 图3 .8 差 影 检 测 示 意图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 图4 . 1 点到直线的距离. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6 图4 .2 特征示意图 、 、 ， . . . . . . . . . . . . . . . . . . . . . . . . . 3 7 图4 . 3 轨迹曲 线比 较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 图4 .4两帧具有相同颜色直方图的画而. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 图4 .5 搜索 方 向 示 意 图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4 1 图4 .6 沿轨迹曲线的包含对象的子图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 图4 .7 两 不 等 长 序 列 匹 配 过 程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5 图5 . 1 系统流图 ， 甲 。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 一 4 7 图5 .2 样 例视 频 的2 4 帧 灰 度 图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ， 二 ” . .4 8 第 川w il 图5 . 3 样例视频差分检测结果图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8 图 5 .4仿真结果图示 ， ， 一 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 9 第 ro 页 表索引 表3 . 1 各 种 算 法 性能 比 较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 7 第 v页 第一章绪论 1 . t引言 面对日渐庞大的图象、视频等多媒休信息，如何在浩如烟海的信息中快速、容易地获 得自己需要或是感兴趣的内容则成为当前必须解决的问题。 现在 www 上有无数的搜索引 擎用来缓解人与海量信息之间的矛盾，不幸的是现在的搜索都只能给人们提供一种基一于 文 本的解决方案。 比如人们要想检索 一 段包含某一 特定内 容的视频，或是想检索某一图 片， 仅仅利用基于文本的检索就显得力不从心了. 而且当 用户要利用这些线索对数据进行检索 时， 首先要将其人工转化为文本或关键词形式。 这种转换带有 一 定的主观性， 且极其费时。 因而仅仅基于文本的检索已不能满足用户的检索要求。数据库及其它信息系统不仅要能对 图 象 、 视 频 等 媒 体 进 行 存 储以 及 基 于 关 键 字 的 检 索 ， 而匕 要 对 多 媒 体 数 据 内 容 进 行自 动 语 义分析、表达和检索，基于内容的视频检索正是这样一种应运而生的检索方法。 视频 数 据所 包 含 的 视 觉内 容 包 括 颜 色 、 纹 理 危 状 和 运 动 的 信息 ， 其 中 运 动信 息 是 视 频 区别于图象数据所 特有的内 容m 1 2 1 。对于一 个视频片段来说 ， 运动 信息是反映视频中 变化 演进的重要 信息，因此基于运动信息的检索可以提供与颜色、纹理无关的检索特征，要 想 对视频内 容进行全面的刻画， 运动信息是必不可少的一 个方面。这在场景相对单一的体育 运动类视频检索、数字监控等系统中有应用的需求。本文也正是在这样的背景下对此进行 了初步的研究和试验。 基于内 容的 视频检索有着广阔的应 用前景， l i 前主 要应用于以 下几个方面 1 3 1 14 1 15 1 , 将基 于内 容视频检索引 擎嵌入到常规 数据库管理系 统中，以实 现多 媒体数据的 检索;在 信息 检 索系统中， 对专用领域的 视频库进行检索; 对i n t e r n e t _ i : 包含在w e b 信息网中i- i t ml 页而 上的多 媒体数据进行基于内容检索 等。 早期的 全文 信息检索、 罪犯头像的识别和管理、 指 纹的 识别和管理都是 基于内容检索的一 些尝试， 现在这种技术将扩展到任何媒体和更广 泛 的领域。例如，艺术画廊和博物馆管理、建筑与工程设计、地理资源遥感与管理、地理信 息系统、 商标及版权数据库管 理、数 字视频图传 馆、 www信息浏览、多 媒体c a i 应川、 多媒体出版、电子会议、远程教学、远程医疗、天气预报、服装设计、军事指抨系统等方 面。 第 1 页 1 . 2本课题的国内外研究 现状 在诸多的 基于内容的 视频检索方 面，大 体都是签于颜色、 纹理、 形状等特征， 但随着 视频图象压缩技术的发展，以及人们对检索视频的更高层次的要求，国内外 帕: 关注视频 这个重要而常常又不为人们注意的特征一运动。本节就1 11 1 内外有关运动分析和荃f运动特 征检索的相关内容进行了简要的论述。 r . f a b le t 和p . $ o u th e m y 16 1提 出 了 一 种 颇有 新 意 的 运 动 特征 提 取方 法 ， 它 将 运 动 看 作 时 间上的一种纹理，这样借助于纹理的分析方法来研究视频的动态特征，这对于犹如河水的 流动、火焰的摆动等动态场景有一种很好的效果，但对于一般的对象运动和周期运动并不 理想。 m a n - k w a n s h a n 17 1等 ， 也 提 出了 基于 运 动 轨 迹 的 检 索 方 案， 通 过 把 轨迹 看 作 是 一 些 线 段的 序列的方法来对轨迹建模，其中每一个线段用它们的 倾斜度来表示。简化了 轨迹的表 示， 节约了响 应时间。他们还提出了 基于动态规划的相似 度测量 方法来 进行匹配检测。 m .v .s r in i v a s a n 18 1等 人 提出 了 一 种 估 计 相 机 运 动的 方 法 ，该 方 法 将 光 流 场 分为 平 行 和 旋转两部分， 并试图通过合适的 算法来从整 个光流场中减去旋转分量， 剩下的就是 平行分量， 然后计算剩下的 平行分量的强 度和方向来得到 相机 运动参数。 它的特点 是定 性的分 析相机 的运动，而实际上我们认为要定量求出相机的所有运动参数是有一定难度的，特别是在一 般视频中 的应用难度更大。 一般情况下， 可以 先对全局运动进行补偿，然 后直接分析对象的 运动。 y u t l ( 2 1等人 提出了 从相邻帧之间 直接提取局部物体运动信息的 方法，首 先用最小二乘估计的方法提取 摄像机的 全局运动模型参数， 然后利用山 全局运动模型恢复的全局运动矢量场来补偿摄像 机引起的运动，并利用改进的h o r n -s c h u n c k 迭代算法提取出与全局运动相异的局部物体 运动矢量场。为了便于检索，采用运动方向直方图来统计局部运动矢量场的分布，将统计 后的直方图作为对应帧的局部运动特征，最后，利用方向直方图顺序匹配的方法来计算两 个视频片段的相似度，从而在视频序列中寻找共有相似局部物体运动内容的片段。 v id e o q 1911 4f 运 动作 为 检 索 特征 的 一 部分 ， 他采 川 形 态 分 割 提取 运动 对 象， 征 一帧 中 对 象的坐标被提取出来，得到对象的轨迹矢量后结合其它特征进行匹配检索，然而，它没有 考虑对象的大小，且不具有平移缩放旋转不变性特征，计算量较大。 m . i o k a l i o l 提出了用运动信息检索视 频的方法。 起始，每一 帧被 分割为 规则的 块， 运川 块匹配的方法从视频流中得到运动矢量，这些运动矢量被映射到时空空间，而且价 块的 运动在特征空间中表示为单个的向量，这些具有代表意义的轨迹存储在数据库， ， ，川以完 成示例查询的候选视频。但是，该文所提及的块匹配跟踪时有 一 些不确定性的参数，如块 的大小、最大平移范围、块间隔以及可靠跟踪的im 1 值等征，此外，也没有考虑遮挡，而且 第 z页 仅适用于二 维静态背景的视 在运 动。 s a h o u r i a i i 1 分析了 从监视应用场景中得到的视频。 他在获得了 对象运动轨迹的基础上， 将轨迹用两个运动矢量表示，即:x和 y ，而后分别对其进行小波变换，然后提取出前八 个变换系数作为运动特征向量。显然，这对以前的工作有 一 个很大的改进，这是在查全率 和误检率上的 t 个折衷。 目 前国内 外己 经开发出多 种视频数 据检索系统， 它 们从不同的角 度出发， 运用 种特 征或某几种特征的 组合作为 检索的关 键词来达到用户的 检索需求， 现有的 成型商 业或者 非 商业系统主要有 3 4 , 1 , q b i c系统q b i c ( q u e r y b y i m a g e c o n t e n t ) 图象检索系统是i b m公 司9 0 1 1= 代研 制开发的图象和动态影像检索系统， 它主要为 i b m的 d b 2 大型数据库提供图象检索功能， 并支持于 we b的图象检索服务。 q b i c系统提供了 静止图 象和视频信号的 检索手段。 在视频检索中， 包括了分 镜头 检 测、主运动估计、建立层描述、通过拼接完成关键帧生成等多种视频处理手段，并在此基 础上提供了 通过物质运动、 摄像机运动的附加视频检索手段。 提供了 将多 种检索特征相融 合的手段， 用户可以 定义各检索特征在检索中 的权重， 从而可根据自己的 需要控制检索方 向。系统还提供了 浏览检索手段。 2 , v i s u a l s e e k v i s u a l s e e k 系统是万维网图 象/ 影像检索工具， 研制者j o h n r s m it h 毕业于哥伦比亚大学电子信息研究中心，现任 i b m 公司华盛顿研究中心研究员，一直致 力于c o n t e n t - b a s e d 技术开发 研究， 创造出 一系列成果， 例如 v i s u a l s e e k , w e b s e e k , s a f e 和 c b v q等。 v i s u a l s e e k 提供一系列搜寻和检索万维网 视频信息的工具， w e b s e e k实际 上是这些工具中的 一 种。 比较其它多媒体信息检索系统， v i s u a l s e e k 的优点在于: 高效率的 we b图象信息检索， 采用了先进的 特征抽取技术， 用户界面强大， 操作简单，查询 途径丰富，结果输出画面生 动，支 持用户直接下载信息。在 v i s u a l s e e k 的众多_ 1 = a中， w e b s e e k具有较强功能和特 色 ， 其 本 身 就 是 个 独 立 的 万 维 网 可 视 化 信 息 编日 工 具， 己 经v g 对6 5 0 0 0 0 幅图 象 和1 0 0 0 0 个影像片进行了编目。用户可使用目录浏览和特征检索方式进行图象检索。 3 , v i d e o q系统 v i d e o q是哥 伦比亚大学 研究的一个项- 1 ， 它 扩充了 传统的关键 f - 和 主 题导 航的查询方法， 允许用户使用视觉 特征和时空关系来检索 视频。 它有以 下儿个特征: 集成文 本和视 觉搜索方法;自 动的 视频对象分割和追踪;丰富的视觉 特征库，包括颜色、 纹理、形状和运动:通过 www 互联网交互查询和浏览。 另 外还有许多类似的系统，例如加利福尼亚大学s a n t a b a r b a r a 分校的n e t r a ,伊利诺 依大学的m a r s , c m u的i n f o m e d ia , 清华大 学m t v 一f i 系统等。 对于已经开发出的多种视频数据检索系统，虽然大多没有成为商用化系统，似也反映 第 3页 了视频数据检索系统研究的主要成果。 然而， 还有许多问题需 要进一步深入研究1 1 2 1 . 1 ) 数据模型:数 据模型是c b r系统的核心，模型决定c b r支持的查询类型和 检索能 力。建立的数据模型要能够充分反映媒体对象的内容，反映与领域无关的和能够有效存储 的物理特征及逻辑特征。 2 ) 高层概念和底层特征的关联:人们 在日 常生活中习惯使 用简便的事物概念， 例如 用 词语 “ 树林、汽车、海滩”等概念表达具体的含义。在查询中，很多情沉 f 也是使用这些 概念，它们属于多媒体数据的高层内容。如果能够建立视频数据底层特征与高层语义概念 的关联，就能够使计算机 自 动抽取视频数据的语义。对 几 一股性的特征，建立起这种关联 是非常困 难的。 但是针对多 媒体信息检索而台 ，可以 采川语义模板、 机器学习、神 经网 络 等方法，以 及在用户交互的 辅助下， 突破从底层特征获取语义的壁垒。 对视频而言 ， 首先 必须要解决的 是对视频运动特征的 描述及实现算法， 这也是本文的中 心内 容。 3 ) 基于内容的编码:现在我们使用的媒体， 其格式和编码没有考 虑到内容，只是针对 颜色、像素、样值来编码，因此，从这些数据中抽取内容特征非常困难。如果我们在对媒 体数据编码表示时就考虑到媒体的内容，即媒体包含其表示内容的信息，那么，对这些数 据的内 容进行检索就会更有效与准 确。目 前 这方面的工作已经 取得很 大的进展。例如己经 成为国 际标准的基于内容的 编码标准m p e g - 4 和多媒休数据内容表示国际标准m p e g - 7. 4 ) 查询说明 模式: 对于特定类型的查询，该 领域纷 家可能宁愿需要一种功能丰富的义 杂的图形 接口 ，以支 持多种 形式的查询 类型。而 非正 式和普 通用户可能宁 愿用自 然语言 来 说明查询。从映射 自 然语 言查询到通用查询类型仍然需要进一步研究。 5 ) 索弓 i 和性能: 研究适合于 大型多媒体 库检索的索引结构和过滤器， 缩短系统的 响应 时间，提高查询效率。 6 ) 性能评价:需要有一套能够平衡表达各种场景 和事 物的 标准测试数据来评价检索的 效率和效果。 这是一项复杂的工作， 要召集领域专家收集大量有代表意义的 视频数据，以 便能够测试各种算法的效率; 在此基础上， 定义标准的性能评价准则， 如查准率、 查全率、 响 应时间等。这样就可以 利用标准的检索性能评价琳则来全面检验算法的性能。 7 ) 扩展性和灵活性: 系统的体系结构应该 支持更新 j 扩充新的 特征表示和新的l l m u m i 似性度量算法，以使系统查询及检索的性能和功能不断埔强。 1 .3本文主要工作 本文主 要通过运动分析提取了 运动对象的 轨迹，并且 通过对轨迹曲 线的分 析，提 取其 运动特征，同时也介绍了能用来进行视频动态分析和镜头分割的改进直方图方法一颜色相 第 4页 关向量法，最终通过计 算机仿真， 达到了 预期的 效果。 具体主 要包括以 下儿方血的内 容: 1 、参照国际运动图象专家组新制定的 mp e g -7 标难，介绍了标准中的视觉描述及表 示，重点讨论了标准中有关的运动特征描述: 2 ,山于运动对象的轨迹描述了对象的运动过程，人类和计算机视觉具有抽取独立 1 . 识别对象的运动信息的能力，因此，在不识别对象的情况下，直接从视频序列中抽取运动 信息一轨迹来分类检索视频.本文即是在这一思想指导下，运用 自 适应背景的差分方法提 取对象的坐标，然后在 mp e g-7 标准框架下，山其得出运动对象的轨迹矢量。 颜色相关向 量法根据像素的相关性综合考虑了 视频帧的颜色信息和结构信息， 本文利 用子图的颜色相关向量的几种统计特征来提供了一定层次的对象识别功能，从而可以更好 的反映视频的动态特征; 3 、提出了基于轨迹点序列顺序匹配的方法，少 ! : 通过采用 f f t使计算更加便捷，而且 随着轨迹矢量维数的增加，其优越性愈发明显; 4 、 最终在计算机上仿真了 算法思想的 可行性和可靠性， 取得了 满意的效果。 全文共分为 六章， 各章的内 容简述和组织如 下: 第一章 绪论。 介绍了 本课题国内外研究现状， 给出了 课题研究的目 的、意义以 及木 文的主要工作; 第二章 基于内容的视频检索与视频运动特征描述。 首先综合介绍了 mp e g-7 标准规 定的各种视觉特征描述符，并简要介绍了基于内容的视频检索的概念，最后说明了基于运 动特征的视频检索的重要意义; 第三章 视频运动分析与运动对象检测。分析了常川的运动分析和对象提取方法，针 对存在的问题提出了相应的改进方法: 第四章 视频运动对象特征提取及相似度测量算法。提出了针对对象运动轨迹的特征 提取算法，为使其具备一定层次的对象识别的能力，提出了基于颜色相关向量的统计特征 提取方法，并且给出了相似度匹配准则: 第五章 系统简介及实验结果分析。介绍了整个视频检索的仿真过程，给出了实验结 果，并对实验结果进行了分析; 第六章 结束语。对全文的工作进行总结，并指出下一步的研究方向。 第 5页 第二章 基于内容的视频检索 由于利用传统的文本检索进行视频检索存在诸多缺憾，以及人们对检索的越来越高层 次的 需求， 基于 内容的视 频检索必 然引 起) 一 泛 重视。 显然， 对视频内 容的描述是其基础， 描述得当与否直接关系到检索的效率甚至成败。为了使对视频内容描述更加确切和规范， 国 际活动图 象专家 组制定了一 个新的 称为“ 多媒体内 容描述接口 ” 的国际标准- m p e g - 7 , 它可以作为基于内容的视频检索研究中若丁 二 概念及体系框架的指南。本章就丛 1内容的视 频检索的概念和 mp e g-7进行简要介绍，并详细讨论了和本文有关的视觉描述符一运动 描述符。阐明了基于运动的视频检索的概念和其必然性。 2 .1基于内容的 视频检索概念 1 、基本概念 所谓 基 于 内 容 的 检 索 3 12 13 ( c o n te n t - b a s e d r e tr ie v a l , c b r ) ， 就是 根 据媒 体 对象 的 语 义和上下文联系进行检索。它提供了这样一种算法:在没有人工参与的情况下，自 动提取 并描述视频的特征和内容。 这是 一门 交叉学科，以图 象处理、 模式识别、 计算机视觉、图 象理解等领域的知 识为 基础，从 认知 科学、 人工智能、 数据库管理系统及人机交 互、 信息 检索等领域， 引入新的媒体数据表示和数据模型， 从而设 计出可靠、有效的检索算法、 系 统结构以及友好的人机界面。它有如下特点: 1 ) 从媒体内容中提取信息线索。 7_ 于内 容的检索突破了传统的基于表达式检索的局限， 它直接对图象、视频、音频进行分析， 抽取特征，利用这些内容特征建立索引，进行检索。 2 ) 是一 种近似匹 配。 c b r 采用相似匹配的 方法逐步求精，以 获得查询结果。 这一点与 常 规数 据库检索的精确匹配方法明显不同。 3 ) 大型数据库的快 速检索。多媒体数据库不仅数据库巨 大， 而且种类和数量繁多，要 求 c b r 技术能 快速实 现对大型库的检索。 4 ) 多 种 检 索 手 段。 除了 利 用 多 媒 体 内 容 的 特征 来 进 行 检 索 外， c s r 还提 供了 许 炙 其 它 检索手段，如可通过提供样本图象进行相似性检索，也可通过人机交互进行浏览检索。 基于内容的 视频检索( c o n t e n t -b a s e d v i d e o r e t r i e v a l ) 是1 1 i ii c b r 研究的 热点。 视频 检索要求在大量的视频数据中找到所需的视频片段，但山于视频内容繁多且复杂，对视频 的检索十分困 难， 与图 象检索在很大程度上不同。 而视频是目 前包含信息量最丰 富的 数据， 因而对视频的检索己成为实际生活中一个突出的问题。 视频检索实质上属于图 象的范畴。视频除了 具有一般静态图象的特征外， 还具有动态 第 6页 特征， 如镜头运动的 变化、 运动对象的大小变化、 视频对象的运 动轨迹等， 所以 视频也n j 以 称动态图象序列， 是一组图 象按时 间的有序连续表现， 它的表示与图象序列、 时间关系 有关。 视频数据可用幕、 场景、 镜头、 帧等描述。视频序列主要由镜头组成; 镜头山 一系 列连续的帧组成;帧是一幅静态的图象，是组成视频的最小单位;场景含有多个镜头;幕 是由 一系列相关的场景组成， 表达 一 个完整的事件。视频检索的方式目 前主 要有 从 1 ) 基于关 键帧的检索，是对代表视频镜头的关键帧进行检索。 关键帧是 用于描 述一个 镜头的关键图象，可以 采用类 似图象 检索的方法来 进千 j 飞 检索。一旦检索到对象关键帧，用 户就可利用播放来看它代表的视频片段。其重点是关键i队的确定、检测与提取。 2 ) 基于镜头摘要的检 索。它是 i )的扩展。即从一 个镜头中选取多 帧作为该镜头的 特 征，称之为镜头摘要。 3 ) 基于运动的 检索，是 基于 镜头和 视频对象的时间特征来检索， 是视频查 询的 进 一 步 要求。 可以查询摄像机的 移动、 操作和场景移动，以 及用运动方向 和运动幅度等特征来检 索运动的主体对象。 4 ) 上述方法的综合。 基于内容的视频检索用途非常 一 泛， 包括新闻视频信息的检索、 各类比赛节目的检索、 卫 星云图变化情况的检索等等。随着视频内容的增多和视频生成技术、 拍摄技术的提高， 研究内容将更广泛。 2 、系统结构 图 2 . 1 给出了符合m p e g - 7 标准框架的基于内 容的视频检索系统结构。 从图中 我们可 以 看到，首 先对所有的视 频数据 进行分 析，然 后根据分析结果 采用适当的 特征提取方法完 成 特征提取， 并且 在m p e g -7 框架下 选择适当的描述符进行描述， 以 此描 述作为 特征矢量 存入相应的特征库， 其中 视频特征库的特征矢量还要与其对应的视频片段相关联，以 便来 实现结果的精确返回。 用户采取示例 ( 模 板) 查n ( q u e r y b y e x a m p l e ) 机制， 系 统得到用 户提交的视频模板之后，采取对视频库数抓同样的分析方法，得到同一层次的特征向量， 然后据此特征在视频特征库中按照 一 定的准则进行匹配查询，最终将符合查询条件的视频 段通过示例检索界面返回给用户，以达到检索的目的。 第 ，页 视颇乃 特 征匹配 十 刁 例 检索 界i创 m , 法 图 2 . 1 符合 m p e g - 7 标准的视频检索系统结 构 在下一节中，我们将具体讨论 mp e g -7标准和其规定的各种视觉描述符的含义与用 并且较为详细地阐述了其中的运动描述符。 芍 2 .2多媒体描述接口( m p e g -7 ) 正如前 文所说， 为了 解决对多 媒体信息描述的 标准问 题， 国际活动图 象专家组于2 0 0 1 年，发展了一个新的国际标准 mp e g-7 ,其全称为 “ 多媒体内容描述接g 1 , 。木节简要地 介绍了 mp e g-7和它规定的一些视觉特征及j 称 表示，址后略述了它对基于内容的视频检 索的影响。 2 .2 . 1 mp e g -7 简介 m p e g - 7 114 1115 是 m p e g ( m o v in g p ic tu r e e x p e rt s g ro u p 运 动图 象 专家 组 ) 在m p