（计算机应用技术专业论文）视频搜索关键技术研究.pdf

学位论文数据集 舢! 1 1 1 l 洲1 l f ! l l l i | | 1 | | 1 1 1 1 | 1 i i l y 18 7 7 11 5 中图分类号 t p 3 9 1 学科分类号 5 2 0 2 0 论文编号 1 0 0 1 0 2 0 1 1 0 7 5 0密级 公开 学位授予单位代码 1 0 0 1 0 学位授予单位名称北京化工大学 作者姓名 王玮 学号 2 0 0 8 0 0 0 7 5 0 获学位专业名称计算机应用技术获学位专业代码 0 8 1 2 0 3 课题来源自选项目研究方向信息安全、软件工程 论文题目视频搜索关键技术研究 关键词目标检测，特征匹配，二阶高斯，场景检测 论文答辩日期 2 0 1 1 一0 5 2 6 论文类型应用研究 学位论文评阅及答辩委员会情况 姓名职称工作单位学科专长 指导教师易军凯教授北京化工大学信息安全、优化调度 评阅人1赵英教授 北京化工大学 分布式系统、网格计算 评阅人2 聂伟副教授 北京化工大学移动通信、数据融合 评阅人3 评阅人4 评阅人5 徽员会蛳赵英教授北京化工大学分布式系统、网格计算 答辩委员1山岚研究员北京化工大学网络信息获取 答辩委员2彭四伟副教授北京化工大学编译技术应用、并行计算 答辩委员3张杰副教授北京化工大学智能信息处理、嵌入式系统 答辩委员4聂伟副教授北京化工大学移动通信、数据融合 答辩委员5 注：一论文类型：1 基础研究2 应用研究3 开发研究4 其它 二中图分类号在中国图书资料分类法查询。 三学科分类号在中华人民共和国国家标准( g b t13 7 4 5 9 ) 学科分类 与代码中查询。 四论文编号由单位代码和年份及学号的后四位组成。 摘要 视频搜索关键技术研究 摘要 视频搜索关键技术主要是指视频中的目标检测和识别。目标检测是目 标识别的基础，直接影响着识别结果的准确性和鲁棒性。目前目标检测方 法多种多样，根据目标属性的不同，采用不同的方法进行检测，例如特征 分类器算法、h um o m e n t s 及特征匹配算法等。本文主要针对特征匹配算 法在视频目标检测中的应用进行研究。主要研究内容如下： 1 、研究目前流行的特征点检测方法，包括f o r s t n e r 、h 枷s 、s u s a n 角点检测及s i f t 特征点检测算法，通过大量实验，分析各自对尺度、旋 转和光照的不变性，对高斯噪声的抵抗能力以及特征匹配的鲁棒性，最终 确定采用s i f t 算法进行目标检测。 2 、研究目前已有的错配点剔除算法，并对s i f t 匹配点进行深入研究， 设计并实现一种基于二阶高斯的s i f t 特征点消除错配算法，对s i f t 特 征匹配结果进行改进。该算法根据匹配点间的欧式距离，利用高斯函数为 匹配点加权，然后筛除权值不在阈值范围内的匹配点。 3 、研究视频分帧技术，将d ir e i c t s h o w 和f f m p e g 相结合，实现对 多种常见视频格式的帧抓取，包括a v i 、m e g 、m p e g 、a s f 、w m v 、r n l 、m v b 、 m o v 、m 4 v 及f l v 等；设计并实现一种基于灰度级的场景检测算法，将其 融入到视频分帧过程中，实现场景目标检测，避免对具有相同或相似场景 的视频帧进行重复检测，以提高目标检测效率。 4 、结合s i f t 算法、基于二阶高斯的消除错配算法、视频分帧技术及 t 北京化工大学硕士学位论文 基于灰度级的场景检测算法，实现视频目标检测。 实验表明，本文使用二阶高斯算法消除s i f t 错配点，使得视频目标 检测正确率明显提高；结合场景检测到视频分帧过程中，提高了目标检测 的效率；本文采用的视频目标检测算法对尺度、旋转和光照保持不变性， 具有良好的稳定性。 关键词：目标检测，特征匹配，二阶高斯，场景检测 h a b s t r a c t k e yt e c h n o l o g yo fo b j e c t s e a r ch i n gi nv i d e o a b s t i 认c t t h ek e yt e c h n o l o g yo fo b l je c ts e a r c h i n gi nv i d e om a i n l yc o n t a i n so b je c t d e t e c t i o na n dr e c o g n i t i o n 0 b je c td e t e c t i o ni st h eb a s i so f r e c o g n i t i o n ，w 1 1 i c h h a sd i r e c ti n f l u e n c et ot h ea c c u r a c ya n dr o b u s t n e s so fo b je c tr e c o g n i t i o n t h e r ea r ev a r i o u so b je c td e t e c t i o nm e t h o d s ，d i f f e r e n tm e t h o d sa r ea d o p t e d a c c o r d i n gt ot h ep r o p e r t y o fo b je c t s ，s u c ha sf e a t u r ec l a s s i f i c a t i o n ，h u m o m e n t sa n df e a t u r em a t c h i n ga l g o r i 也m i nt h i sp a p e r ，t h ea p p l i c a t i o no f f e a t u r em a t c h i n ga l g o r i m mi no b j e c td e t e c t i o ni 1 1v i d e oi sd i s c u s s e d t h e f o l l o w i n ga r et h em a i nc o n t e n t so f t h ep a p e r ： f i r s t l y ，s e v e r a lp o p u l a rf e a m r ep o i n t sd e t e c t i o na l g o r i t h m sa r ed i s c u s s e d ， i n c l u d i n gs i f tf e a t i j r ep o i n t sd e t e c t i o nm e t h o da n dm ec o m e rd e t e c t i o n m e t h o d sl i k ef o r s t n e r h a h i sa n ds u s a n t h e ya r ec o m p a r e db yan u i n b e r o fe x p e r i m e n t st h a tt h ei n v a r i a n c et os c a l e ，r o t a t i o na 1 1 di 1 1 u m i n a t i o na n dt h e a n t i n o i s ea b i l 毋t og a u s s i a n ，a n ds i f ti sd e t e m i n e dt ob e 印p l i e di nt h e p a p e r s e c o n d l y a na l g o r i t h mo f m i s m a t c h e se l i m i n a t e db a s e do ns e c o n d o r d e r g a u s s i a ni s d e v e l o p e db yr e s e a r c h i n gt h ee x i s t i n gm i s m a t c h e se l i m i n a t e d i i l 北京化工大学硕士学位论文 m e t h o d sa n ds i f tm a t c h e dp o i n t s i ti sa p p l i e di nt h ep 印e rt o i m p r o v et h e k - e yw o r d s ：o b j e c t s c e n ed e t e c t i o n 北京化工大学硕士学位论文 v i 目录 目录 第一章绪论1 1 1 课题研究背景和意义1 1 2 国内外研究现状2 1 3 本文主要研究内容及成果4 1 4 本章小结5 第二章基于特征的图像匹配7 2 1s i f t 算法介绍。7 2 1 1s i f r 特征提取8 2 1 2s i f t 特征匹配1 4 2 2 经典特征点检测算法1 5 2 2 1f o r s t l l e r 特征提取算法l5 2 2 2h a r r i s 特征提取算法1 6 2 2 3s u s a n 特征提取算法17 2 3 实验结果与分析1 8 2 4 本章小结2 3 第三章s i f r 错配改进2 5 3 1s i f t 算法存在的问题2 5 3 2 基于二阶高斯的错配点消除算法2 6 3 3 本章小结。3 0 第四章基于s i f t 的视频目标检测31 4 1 基于s i f t 的视频目标检测算法3 l 4 2 视频分帧技术3 3 4 2 1d i r e c t s h o w 视频帧抽取3 4 4 2 2f f m p e g 视频帧抽取。3 6 v i l 北京化工大学硕士学位论文 4 3 场景检测在目标检测中的应用3 8 4 4 本章小结4 0 第五章实验结果与分析4 l 5 1 视频分帧4 1 5 2 场景检测4 3 5 3 基于二阶高斯的错配点消除4 4 5 4 基于s i f t 的视频目标检测4 8 5 5 本章小结4 9 第六章总结5l 参考文献5 3 致谢5 7 研究成果及发表的学术论文5 9 作者和导师简介6 1 v h i c o n t e n t s co n t e n t s c h a p t e r1i n t r o d u c t i o n 1 1 1r e s e a r c hb a c k g r o u da n dm e a j l i n g 1 1 2r e s e a r c hs t a t u sh o m ea n da b r o a d 2 1 3m a i nc o n t e n ta n ds t r l j c t u r eo fm i sm e s i s 4 1 4s u m m 孤y 5 c h a p t e r2i m a g em a t c h i n gb a s e do nf e a t u r e 7 2 1i l l t r o d u c t i o no f s i f t 7 2 1 1s i f tf e a t u r ee x t r a c t i o n 8 2 1 2s i f tf e a t u r em a t c h i n g 1 4 2 2c l 嬲s i c a la l g o r i 廿1 m so ff e a n j r ep o i n t sd e t e c t i o n 15 2 2 1f o r s 缸l e rf e a t u r ee x 臼a i m o na l g o r i t h m 15 2 2 2h a 币sf e a t u r ee x 昀c t i o na l g o r i m m l6 2 2 3s u s 川nf e a n j r ee x 缸_ a c 廿o na 1 9 0 r i m m l7 2 3e x p e r i m e n t a lr e s u l t sa n da n a l y s i s 18 2 4s u m m a r v 2 3 c h a p t e r3s i f tm i s m a t c hi m p r o v e m e n t 2 5 3 1p r o b l e m se x i s ti ns i f t 2 5 3 2m i s m a t c h i n ge l i m i n a t e da 1 9 0 r i t h mb a u s e do ns e c o n d o m e rg a u s s i a i l 2 6 3 3s m 啪a i y 3 0 c h a p t e r 4o b j e c td e t e c t i o ni nv i d e ob a s e do ns i f t 3l 4 1o b j e c td e t e c t i o ni i lv i d e ob a s e do ns i f t 3l 4 2f r n ee x t r a c t i o nt e c l i l o l o g y 3 3 4 2 1f r 锄ee x t r a c t i o nu s i n gd i r e c t s h o w 3 4 4 2 2f “u n ee x n a c t i o nu s i n gf f m p e g 。3 6 北京化工大学硕士学位论文 4 3a p p l i c a t i o no f t h es c e n ed e t e c t i o na l g o r i t i no b l j e c td e t e c t i o n 一3 8 4 4s u 】n m 孤y 4 0 c h a p t e r 5e x p e r i m e n t a lr e s u l t sa n da n a l y s i s 4 1 5 1f “m l ee x 缸a c t i o n 4 1 5 2s c e n ed e t e c t i o n 4 3 5 3m i s m a t c h e se l i i i l i n a t e da 1 9 0 r i t h mb a s e do ns e c o n d - o r d e rg a i l s s i 锄4 4 5 4o b j e c td e t e c t i o ni i lv i d e 0b a s e do ns t 4 8 5 5s u l n m a r y 4 9 c h a p t e r 6c o n c l u s i o n 51 r e f b r e n c e 5 3 t h a n l 【s 5 7 r e s e a r c hr e s u l t sa n dp a p e r sp u b u s h e d 5 9 a u t h o ra n dt e a c h e ri n t r o d u c t i o n 61 第一章绪论 1 1 课题研究背景和意义 第一章绪论 当前信息时代，计算机与人类的关系更加密切。由于海量信息需要计算机进行高 效、准确的处理，因此需要专业人员进行高级的开发，让计算机能够完成复杂计算， 而且随着计算机的应用范围越来越广，更多没有经过专业训练的人也需要操作计算机。 因此，如何能够让计算机为人类服务，功能强大的同时操作简单成为当今聚焦的话题。 由此，计算机视觉技术应运而生。 计算机视觉就是用计算机代替人类视觉器官，通过对输入图像的分析和处理，来 实现人类视觉的功能，具有分辨能力，去理解和感知世界。计算机视觉领域的起源可 以追溯到2 0 世纪5 0 年代，由统计模式识别技术发展而来，当时的研究内容主要是围 绕二维图像进行，如显微图像、航空图像的分析与识别。6 0 年代，r o b e n s 利用计算 机程序对数字图像进行分析，从中提取到了立方体、棱柱体等三维结构，并用计算机 语言对物体的三维信息和空间结构进行描述和存储，为三维计算机视觉领域的研究奠 定了基础。直到7 0 年代，计算机发展到足够处理图像这样大规模的数据以后，计算 机视觉才正式引起各界关注。7 0 年代中期，麻省理工学院人工智能实验室正式开设了 计算机视觉课程，同时吸引了国际上众多知名学者共同参与到计算机视觉技术的研究 工作中来。8 0 年代初，d a v i dm a r r 教授最早提出一个相对完善的视觉系统框架，并且 至今仍是广大计算机视觉研究人员使用的基本框架u j 。 视频目标检测技术是计算机视觉领域的热点研究内容之一。它是指从视频序列中 检测指定物体，为目标跟踪、目标识别等更高层的计算机视觉技术提供数据基础。视 频目标检测包括视频帧抓取、图像特征提取和匹配等几个阶段，目标检测就是利用图 像处理、模式匹配等技术从视频帧中寻找与检测目标相同或相似的图像区域，涉及计 算机图像处理、视频编解码、模式识别、人工智能等多个领域的技术。视频目标检测 已被广泛应用于生产生活中，例如公共场所的监控、军事武器的瞄准、安全部门的侦 查及视频编码等，因此，视频目标检测技术具有较强的研究价值和实际意义。 公安、司法和刑侦：如利用目标检测系统和网络，从各公共场所( 如医院、车站、 图书馆、宾馆及商场等) 的监控录像中搜索检测目标出现的时间、地点。 信息安全：如计算机登录、电子政务和电子商务。目前，电子商务发展迅猛，大 部分交易仍然是靠密码来实现。如果密码丢失，就很难保证账户安全。因此将身份识 别技术应用于电子商务当中，使得数字身份和真实身份统一，提高电子商务的可靠性。 电子产品：近年来，手机、数码相机及笔记本电脑都提供了人脸识别的功能，而 北京化工大学硕士学位论文 在这些应用中，人脸检测都发挥着重要的作用。 军事和遥感：将雷达和计算机结合使用可以定位远处的目标，而且通过测量目标 的三维参数和表面特性能够实现目标的分类和识别；利用微波遥感仪器，可以探测海 冰的厚度、海面的风速、矿产资源等。在这些应用中，目标检测技术是基础，发挥着 重要的作用。 视频压缩编码：在视频图像压缩编码标准m p e g - 4 中，为了实现基于图像内容的 压缩，提出了一个新概念视频对象平面( d e oo b i e c tp l a n e s ，v o p ) 。在视频压缩 过程中，视频图像被分解成若干个v o p ，并采用不同的方法进行编码。其中，视频目 标检测技术解决了运动目标自动提取与分割的问题，使得御e g 4 能够在任意场景下 都保持较高的压缩比和良好的视觉效果。 1 2 国内外研究现状 视频目标检测的算法根据物体和摄像机之间的相对运动可以分为两大类：静态背 景下的目标检测和动态背景下的目标检测。其中静态背景下的目标检测就是在视频中 摄像机没有位移，仅仅目标物体在运动：动态背景下的目标检测是指摄像机和物体都 发生了位移。本文主要对静态背景下的目标检测技术进行研究。目前主要有三种方法： 帧间差分法、背景差分法和光流法。 帧间差分法是指通过计算视频序列中相邻两帧图像的差分来获取目标轮廓的方 法。这种方法对于存在多个目标和摄像机移动的情况有很好的适用性，但它只能提取 到目标的轮廓，不能获得完整的目标图像，而且所选择相邻帧间的时间间隔直接影响 着检测的效果，如果时间间隔太小，目标在两帧图像中几乎完全重合，将会检测不到。 2 0 0 7 年，c h a o h l l i 盈锄等人提出一种基于帧间差分和边缘检测的目标检测方法，通过 提取两幅图像的边缘，并计算边缘图像的差分实现，实验证明该方法较传统的帧间差 分法正确率高、检测速度快【2 】。2 0 0 8 年，哈尔滨工程大学的卓志敏等人提出一种改进 方法，该方法首先利用三步搜索法和最多邻近点距离相关匹配准则对相邻的两帧图像 进行背景匹配，然后采用帧间差分法计算匹配后的两幅图像的差分，再使用灰度形态 学滤波为差分图像剔除背景噪声点，最后利用灰度阈值分割法检测目标区域【3 1 。另外， 很多学者将小波变换应用到目标检测当中来，也取得了很好的效果。例如，中国科学 院刘岩俊等人提出一种基于小波变换与帧间差分相结合的弱小目标检测方法。该算法 通过对原始图像进行小波变换，增强目标与背景之间的差异，然后对变换后的图像的 水平分量和垂直分量进行帧间差分，从而获取弱小目标所在的位置【4 1 。实验表明，该 算法较传统帧问差分法检测速度快，而且抗噪干扰能力强。2 0 0 9 年，x u c h a ol i 等人 2 第一章绪论 采用小波变换提取目标的空间特征，然后利用帧间差分法检测目标，并借助马尔科夫 先验概率模型和贝叶斯准则，充分利用视频的时间信息，准确检测目标p j 。 背景差分法是目前目标检测中最常用的一种算法，通过对当前视频帧图像和背景 图像进行差分运算检测目标区域。这种方法能够得到完整的目标，但是对场景和光照 等的变化比较敏感。为了解决其稳定性的问题，很多人开始研究各种背景模型，这些 模型基本上可分成三类：决策模型、统计模型和过滤模型。2 0 0 8 年，s us h ut e 等人 将瓜g a b m( i n l p r o v e dr - u r u l i n gg a u s s i a na v e r a g eb a c k g r o u l l dm o d e l ，改进运行高斯 平均背景模型) 用于背景差分法中【6 】，g 等人提出部分分配背景模型以提高目 标检测的鲁棒性和精确度阴。2 0 0 9 年，i y 肌等人采用高斯混合模型减少背景干扰 的影响，并以帧间差分作为参考，然后利用背景重建和动态学习效率函数处理光照改 变的问题【8 1 。z h a n g y a n 等人提出一种算法用于解决高斯混合模型【9 】中固定背景更新率 不精确的问题，该算法利用特征点将场景中的像素分类，然后根据分类信息计算背景 更新率【l o 】。2 0 l o 年，l i n gh o n g 等人在高斯混合模型的基础上提出一种模型，根据 场景变化动态调整每个像素的模型和学习率，实验表明，该模型在光照突变的情况下 也能够很好的检测到目标【i l j 。2 0 1 0 年，f a n c h i e hc h e l l g 等人将拉普拉斯分布模型应 用于背景差分法中，其背景模型是经过精训练和粗训练两阶段的训练后，生成的自适 应能力较强的背景模型【1 2 】。然而这些都是单一模型，在光照逐步变化和急剧变化的情 况下，不能很好的检测目标。因此近年来，很多人开始研究混合背景模型，例如s m m a d a a t s u s b i 提出的时间空间混合模型，该模型由像素水平模型和空间时间模型组成【1 3 1 ， s h i m a d aa t s u s h 等人提出的由随机背景模型和基于指数平滑的预测背景模型的混合模 型【1 4 】。 为了解决帧间差分法目标检测不完整以及背景差分法对环境敏感的问题，很多人 进行了将帧间差分法和背景差分法相结合的研究。2 0 0 9 年，c b u n l i a ny a 0 等人提出一 种掩模运动目标检测算法，该算法利用生成的帧间差分和背景差分掩模检测目标【1 5 1 。 y o n g q u a nx i a 等人提出一种基于帧间差分方差的目标检测算法，将方差作为阈值区分 变化的区域和没有发生变化的区域，没有发生变化的区域更新到背景帧中，发生变化 的区域与背景模型进行拟合，区分出显露区和运动目标，将显露区以较大的更新率收 入到背景帧中【1 6 1 。2 0 l o 年，m u y u nw e n g 等人将三帧间差分法和背景差分得到的灰度 图像相加，并通过阈值判断得到二值图像，然后对该二值图像进行形态滤波和连接分 析从而检测到目标，实验表明该方法在效果和速率上明显优于类似算法【1 7 】。 光流法为每个像素赋予一个速度矢量，当图像中没有运动目标时，速度矢量在整 个图像中是连续变化的，当存在目标运动时，目标和背景之间会发生相对运动，运动 区域产生的速度矢量将有别于邻域中像素的速度矢量，由此来确定目标区域。2 0 0 8 年，s t e f i 锄g e 哳g 等人将光流法与鱼眼立体音响系统结合，用于同时获取车辆的位置 3 北京化工大学硕士学位论文 和速度数据【1 8 j 。2 0 0 9 年，j e n s a p p s t e i n 等人采用光流法进行目标检测，提供对应于 移动像素点的相似度，并通过采用一种全局最优图像分割算法将像素点分割成目标【1 9 】。 用光流法进行目标检测的优点在于不受环境变化的影响，例如摄像机的移动及光照变 化等，克服了背景差分法中存在的问题，但是由于光流法计算量大，运算非常耗时， 需要硬件条件支撑，而且对噪声较敏感，因此实时性和实用性比较差。2 0 1 0 年， c h u r l g _ h s i e i lh u a i l g 等人提出一种混合方法，首先运用累计帧间差分检测运动像素点， 将当前帧分割成均匀的区域，其中的一些区域被选作候选目标，然后采用一种基于变 形的方法对候选目标区域和像素点进行模糊处理，获得移动目标的位置和形状，并运 用卡尔曼滤波跟踪器过滤错误的报警，实验表明，该方法由于光流法【2 0 】。 基于以上事实以及特征匹配对于尺度、旋转和光照良好的适应性，基于特征的图 像匹配技术在目标检测中的应用越来越广泛。特征匹配主要有点、线、面特征匹配三 种，其中特征点具有最明显的特性，匹配的正确率最高，应用最广泛。特征点匹配就 是从图像中提取具有一定特征的点( 例如局部灰度极值点) ，与另一幅图像中具有相 同特征的点进行比较，然后利用阈值分割法确定两幅图像之间的变化关系。因此特征 点的提取是点特征匹配法的关键。 目前常用的特征点提取算法有f o r s t l l e r 、h a r r i s 、s u s a n 角点检测算法以及s i f t 特征提取算法。2 0 0 8 年，t i n gj i n 等人在从运动背景中提取目标时，用基于一种统计 模型的背景差分法进行目标检测，其中利用h 枷s 特征点估计背景的全局运动，并借 助特征点的相对位置减少错配点对【2 1 1 。2 0 0 7 年，s 锄e as h a l l 等人利用一种分类器 将s 肼特征点分为两类：属于目标的和属于背景的，然后再进行目标检测，继承了 s i f t 特征点对尺度和旋转的不变性，并且提高了检测效率【2 2 1 。2 0 0 9 年，m i n l i a i l g w a n g 等人提出一种算法使得s 耵特征点匹配更加稳定。首先利用贝叶斯分类器对基于不 同s 阱向量的各种测试目标进行训练，系统通过选择基于k m e a i l s 分组的特征点从 图像的候选区域中预测可能的目标，因此不需要三维信息就能够检测到任意形状的目 标【2 3 1 。这样的特征优化过程使得目标特征更加稳定，目标检测和识别效率提高。 g l l 珈n a i lg i n 等人将基于形状的特征k - a d j a c e n t s e g m e n t s ( k a s ) 结合到基于外观的框 架中，且该框架是基于密集s i f t 特征的。从任意图像中检测k a s 特征，以形成形状 地图，用于基于外观的目标检测中，提高了目标检测效率【2 4 】。 1 3 本文主要研究内容及成果 本文主要研究了视频搜索中的目标检测，利用d i r e c t s h o w 和f f m p e g 相结合的 方法对多种常见的视频格式文件抓取视频帧，并在视频帧抓取的过程中融合了场景检 4 第一章绪论 测，避免对相同或相似视频帧的重复检测，以提高目标检测效率，然后利用s 胛算 法对视频帧进行目标检测，并实现一种基于二阶高斯的错配点消除算法对s i f t 特征 匹配结果进行改进，从而提高了视频目标检测的准确率和鲁棒性。 本文的主要内容及研究成果如下： 第一章绪论。阐述了课题研究的背景和意义，介绍了视频目标检测在国内外的 发展现状，尤其是基于特征的图像匹配方法在目标检测领域的应用现状，并对本文的 主要工作和各章研究内容及成果进行了说明。 第二章基于特征的图像匹配。主要对f o r s t l l e r 、h a 研s 、s u s a n 及s i f t 四种经 典的图像特征提取算法进行研究，通过大量实验，比较分析各自的优缺点及在视频目 标检测中的适用性，并最终确定本文使用s i f t 算法。 第三章s i f t 错配改进。s i f t 算法本身也存在缺点，其特征匹配结果的准确率不 够理想。通过对现有错配点剔除算法和s i f t 特征点的进一步深入研究，确定特征匹 配结果改进方案基于二阶高斯的消除错配算法，并对该算法做了详细阐述。 第四章基于s i f t 的视频目标检测。介绍了使用s i f t 算法进行视频目标检测的 原理及本文实现视频目标检测的总体框架，详细阐述了本文采用的将d i r e c t s h o w 和 f f m p e g 相结合的视频分帧技术方案，并介绍了本文设计的基于灰度的场景检测算法 及其应用。 第五章实验结果与分析。对视频分帧效果进行实验，表明系统支持常见的多种视 频格式，并能够按照不同的分帧方式抓取到指定帧；对场景检测效果进行实验，表明 系统能够过滤掉视频中具有相同或相似场景的视频帧，避免重复检测；对基于二阶高 斯的错配点消除算法进行实验，表明采用该算法对s 胛特征匹配结果进行处理后， 显著提高了图像正确匹配率，并对尺度、角度、光照都保持了良好的不变性；对本文 设计的基于s i f t 的视频目标检测方法进行实验，表明基于二阶高斯的错配点消除提 高了目标检测的准确率，场景检测使得目标检测效率显著提高，能够满足视频目标检 测的实时性要求，该方法具有良好的鲁棒性。 第六章总结。总结本文所做的研究工作，分析取得的成果和存在的问题，并提出 进一步研究的方向。 1 4 本章小结 本章主要介绍了课题的研究背景和意义，调研了视频目标检测技术在国内外的研 究现状和发展趋势，尤其是基于特征的图像匹配技术在目标检测领域的应用现状，最 后列出本文的章节安排，介绍本文的主要研究内容及成果。 5 北京化工大学硕士学位论文 第二章基于特征的图像匹配 第二章基于特征的图像匹配 图像匹配是指根据特定的某些特征、相似性准则及搜索策略等，在两幅或多幅图 像间进行相关运算，以确定图像匹配的最佳空间对应点。图像匹配方法多种多样，但 都包括以下两个基本步骤：特征提取和特征匹配。其中特征提取是进行图像匹配的基 础，主要有两类方法：基于区域的提取和基于特征的提取。基于区域的提取主要考虑 边缘特征的影响，在医疗方面应用较广，而基于特征的提取包含了整幅图像的特征， 在计算机视觉领域应用广泛。目前已有多种图像特征点提取的方法，如s 口t 特征检 测算法、f o r s m e r 、h a 玎i s 和s u s a n 角点检测算法等。 2 1s i f t 算法介绍 1 9 9 9 年，哥伦比亚大学的d 撕dg l o w e 教授首次提出一种尺度不变特征检测算 法，随后，一些学者在此基础上进行了多次改进。2 0 0 4 年，l o w e 教授正式提出了比 较完整的尺度不变特征变换( s 蒯ei n v 撕a i l c ef e a t u r et r a i l s f 0 肌，s i f t ) 算法【2 5 】。该 算法目前已被广泛应用于目标检测【2 6 1 、图像复原2 7 1 、图像拼接【2 8 】等领域。 s i f r 特征具有对图像尺度和旋转的不变性，并对光照变换、三维相机视角变化具 有部分不变性，能够在空间域和频域减少由闭塞、杂波、噪音等带来的干扰。另外， s i f t 特征正确匹配率较高，能够从一个特征库中准确的匹配单个特征点，为目标和场 景识别奠定了基础。 s i f t 算子具有如下特性： ( 1 ) s t 特征是图像的局部特征，对旋转、尺度缩放、光照变化保持不变性， 而且具有一定的抗噪能力； ( 2 ) 独特性好，特征描述符信息量丰富，能够从海量特征数据库中准确找到正 确的匹配； ( 3 ) 多量性，能够为少数物体生成大量s i f t 特征点； ( 4 ) 高速性，s i f t 匹配算法经过优化能够满足实时的要求； ( 5 ) 可扩展性，能够与其它的特征向量方便得结合【2 9 j 。 该算法的重要之处在于s i f t 算子具有多量性，能够生成大量特征点覆盖图像的 所有尺度和位置。特征点的数量对于目标识别尤其重要，可靠的识别要求在混乱背景 中的每个小目标至少能够正确匹配3 个特征点。而对于一幅大小为5 0 0 5 0 0 像素的图 片，s i f t 算法能够提取到多达2 0 0 0 个特征点。 另外，算法中的特征描述符独特性好，使得单一的特征点也可以很好地从大型特 北京化工大学硕士学位论文 征库中找到正确的匹配。正确匹配点通过在新图像中，以一致的目标、位置、尺度和 方向为标准从匹配点集合中过滤出来，确定特征点的子集。 2 1 1s i f t 特征提取 s i f t 特征提取过程主要包括以下四个阶段，如图2 。l 所示： ( 1 ) 尺度空间极值点检测：在所有尺度和图像位置进行搜索的第一步，使用高 斯差分函数确定对尺度和方向不变的潜在特征点，从中检测局部邻域内的灰度极值点， 作为候选特征点。 ( 2 ) 特征点定位：对于每个候选特征点，都有一个最合适的模型用于确定其尺 度和位置。然后根据自身的稳定性，最终选出特征点。 ( 3 ) 特征点方向确定：根据图像的局部梯度方向，赋予每个特征点一个或多个 方向。 ( 4 ) 特征点描述符生成：在选定的尺度空间，在每个特征点的邻域内，测量图 像局部梯度值，这些梯度值以一种对局部形状畸变和光照变化敏感的形式表示。 l 检测尺度空间极值点 j 精确定位特征点 0 特征点方向确定 上 特征点描述子生成 图2 一ls i f r 特征提取步骤 f i g 2 1s t 印so fs i f rf e a t l 嬲e x t r a c t i o n 2 1 1 1 尺度空间极值点检测 s i f t 特征提取使用级联滤波方法确定候选特征点，然后再对其做进一步的处理。 极值点检测的第一步是确定特征点的位置和尺度，通过使用尺度空间函数在所有可能 的尺度上搜索稳定的特征，来实现特征点位置对于图像尺度变换的不变性。首先，构 建图像的尺度空间函数。k o e n d 甜i l l 【( 1 9 8 4 ) 和l i n d e b e 略( 1 9 9 4 ) 研究发现，在各种可能的 假设中，唯一可能的尺度空间内核是高斯函数。因此，图像的尺度空间定义为l ( ty ，盯) ， 该函数由变尺度高斯函数g ( x ，y ，盯) 和输入图像， ，y ) 的卷积得到【3 0 】： l ( 墨) ，盯) = g ( x ，y ，盯) ，( z ，) ，) ( 2 1 ) 其中， 代表卷积操作， 第二章基于特征的图像匹配 g ( 毛) ，盯) = 去e 一( “y 2 ) 伽2 ( 2 2 ) 为了在尺度空间中更有效的检测出稳定的特征点，使用高斯函数之差中的尺度空 间极值与图像进行卷积运算，得到高斯差分函数d ( y j 仃) ，记做d o g ( d i 触e o f g a u s s i 柚，即计算图像在两个相邻尺度空间的差，其中相邻尺度空间由 常量系数后确定。 d ( z ，y ，盯) = ( g ( z ，) ，七盯) 一g ( x ，y ，盯) ) j ( z ，y ) = l ( x ，y ，七盯) 一l ( x ，y ，盯) ( 2 3 ) d o g 算子计算简单，因为对平滑图像进行特征描述时，需要在各尺度空间下 对其进行计算，因此函数d 可以通过简单的图像减法来得到。另外，d o g 算子与 l i n d e b e r g 研究出的尺度归一化l o g ( l a p l a c i a l lo fg a u s s i a n ) 算子盯2 矿2 g 近似。 m i k o l 萄c z y k 【3 1 】【3 2 1 通过大量实验发现，与其他图像特征相比，在盯2 矿2 g 的最大值或最小 值处取得的特征最稳定。因此，通过计算d o g 算子的极值点能够得到较稳定的特征。 其中，d 与口2 矿2 g 的关系表示为： g ( z ，y ，尼盯) 一g ( x ，) ，盯) ( 七一1 ) 盯2 矿z g ( 2 - 4 ) 这表明，高斯差分函数不同的尺度已经包含了尺度不变拉普拉斯算子要求的盯2 尺度归 一化。等式中的j | ：c 一1 是一个尺度不变的常数因子，例如尼= 扼。 一种有效构建d ( 誓”仃) 的方法如图2 2 所示。用高斯内核函数对原图像进行滤波， 以消除模糊，并且在滤波时采用不同的滤波因子，从而产生一组图像分层结构，这组 图像在尺度空间中由常数因子尼分离，如图2 2 左侧所示。将尺度空间中每组分成一 个整数s 的间隔，所以七= 2 1 加。为使极值检测能够覆盖整组图像，我们必须为每组 生成s + 3 副图像，一般令s = 2 。图2 2 右侧所示是相邻尺度的图像相减得到的高斯差 分图像。 处理完一组图像后，以2 盯的采样距离重新采样，这样计算量将大幅度减少，而 采样的精度与之前没有区别。第一次采样时每行每列每隔o 5 个像素点进行采样，相 当于将原始图像放大一倍，处理完一组图像后，再以2 倍的采样距离进行采样，即每 隔1 、2 、4 个像素点分别采样得到第二、三、四组图像，相当于对原始图像进行了不 同比例的压缩，从而形成金字塔形状的分层结构。然后分别对各组图像进行高斯滤波， 其中第二组第一层的滤波因子与第一组第三层的滤波因子相同，第二层是第一层的七 倍，以此类推直至最高层，第三、四组图像的滤波因子以同样的方法计算得到【3 3 1 。在 图2 2