（计算机应用技术专业论文）基于纹理与勾描的物体识别.pdf

基于纹理与勾描的物体识别 摘要 物体识别是近年来图像处理和计算机视觉领域一个十分活跃的分支和备受 关注的前沿课题 该领域的研究有着广泛的应用价值 如应用于智能安全监控 人机接口 人体运动细节分析等方面 可变形模板和勾描特征都是物体识别方面 非常重要的元素 在物体识别中 勾描可以简单又直观地表示物体信息 最近 针对可变形模板 w u 等人提出动态基 a c t i v eb a s i s 模型来共享物体勾描特征 其中每一笔勾描都允许在位置和方向上有一定的平移和旋转 本文在总结和分析了国内外相关研究工作的基础上 针对复杂场景中物体识 别问题展开研究 在上述动态基模型的完整理论框架下 设计出一种基于可变形 模板的混合模型 该模型结合物体的纹理特征和勾描特征 利用它大大提高了其 在复杂场景中的物体识别效果 对同一物体的不同样本上的细微差别 w u 等人 提出了动态基模型来提取它们 模型中的每一笔勾描特征都允许在方向和位置上 有一定的旋转或平移 而对于不同样本中的纹理差异 假设它们和自然图像集有 相同的纹理特征 在模型中不需要对其进行描述 然而事实上 对某一类特定的 物体 其纹理特征和自然图像集的纹理特征服从完全不同的分布 我们从一个前 景掩膜 m a s k 上提取对应物体这部分特征的均值 并把每个方向上的均值作 为一个独立的特征 用高斯分布分别拟合特定物体集和自然图像集上的边缘分布 然后把这个分布结合动态基特征形成一个联合概率以区分前景物体和背景 跟原 始的动态基模型比较 实验表明新模型明显提高了物体的识别效果并且可以有效 地识别复杂场景中的物体 本文进行了大量的物体识别实验 分别对5 0 类不同的物体样本训练出对应的 模板 并将它们的检测结果与用相应的动态基模板得到的识别结果进行了比较 结果显示 利用本文设计出的模板的检测性能基本上优于用原始的动态基模板检 测性能 关键词 物体识别 纹理特征 可变形模板 动态基 d e f o r m a b l et e m p l a t e sb a s e do nt h ec o m b i n a t i o no fa l i g n a b l e a n dn o n a l i g n a b l es k e c h e s a b s t r a c t t h er e c o g n i t i o no fo b j e c ti sav e r ya c t i v eb r a n c hi nt h ei m a g ep r o c e s s i n ga n d c o m p u t e rv i s i o nf i e l d r e s e a r c hi nt h i sd o m a i ni n v o l v e sw i d ea p p l i c a t i o n s i n c l u d i n g s e c u r i t ys u r v e i l l a n c e h u m a n c o m p u t e ri n t e r f a c ea n dt h ed e t a i l sa n a l y s i so fh u m a n m o v e m e n t d e f o r m a b l et e m p l a t e sa n ds k e t c h e sa r eb o t hi m p o r t a n te l e m e n t si no b j e c t r e c o g n i t i o n s k e t c h e sa r ec h o s e nf o ro b j e c tr e c o g n i t i o nb e c a u s et h a ti sav e r ys i m p l e a n di n t u i t i v ew a yt or e p r e s e n to b je c ti n f o r m a t i o n r e c e n t l y w ue ta lp r o p o s e da c t i v e b a s i sm o d e lf o rd e f o r m a b l et e m p l a t e st os h a r es k e t c h e s w h e r ee a c hs k e t c hi sa l l o w e d t os h i f ti np o s i t i o na n do r i e n t a t i o n b a s e do nt h es u m m a r ya n da n a l y s i so ft h er e l e v a n tr e s e a r c h t h i sp a p e rp r o p o s e sa h y b r i dm o d e lf o rd e f o r m a b l et e m p l a t e sw h i c hc o m b i n ea l i g n a b l ea n dn o n a l i g n a b l e s k e t c h e s t h e s es k e t c h e sa r es u b je c tt os l i g h to rc o n s i d e r a b l et r a n s l a t i o n si nd i f f e r e n t i m a g e s f o rs l i g h tt r a n s l a t i o n s w ue ta lp r o p o s e da c t i v eb a s i sm o d e lt oc a p t u r et h e m w h e r ee a c hs k e t c hi sa l l o w e dt os h i f ti np o s i t i o na n do r i e n t a t i o n f o rl a r g e r t r a n s l a t i o n so fs k e t c h e s w ue ta la s s u m e d 廿l a tt h e yf o l l o wt h es a m ed i s t r i b u t i o na s s k e t c h e so fn a t u r a li m a g ee n s e m b l e s w h i c hn e e dn o tb ee x p l i c i t l ym o d e l e d b u ti n f a c t f o ras p e c i f i e do b je c tc l a s s t h eu n a l i g n e ds k e t c h e sf o l l o wat o t a l l yd i f f e r e n t d i s t r i b u t i o nf r o mt h o s eo fn a t u r a li m a g e s t h i st h e s i ss u m m a r i z e st h e s es k e t c h e sb y t h e i rm e a n si nt h ef o r e g r o u n dm a s ka n dt r e a t st h em e a nv a l u ei ne a c hd i r e c t i o na s i n d e p e n d e n tf e a t u r e s m o r e o v e rt h i st h e s i sf i t st h e i rm a r g i n a ld i s t r i b u t i o n so no b j e c t e n s e m b l ea n dn a t u r a li m a g ee n s e m b l eu s i n gg a u s s i a nd i s t r i b u t i o n t h em a r g i n a l d i s t r i b u t i o n sa r ec o m b i n e dw i t ha c t i v eb a s i si n t oaj o i n tp r o b a b i l i t yr a t i ot o d i s t i n g u i s hf o r e g r o u n do b j e c t f r o mn a t u r a lb a c k g r o u n d c o m p a r e dw i t ho r i g i n a l a c t i v eb a s i sa n di t sv a r i a n t s e x p e r i m e n t ss h o wt h a tt h i sn e wm o d e ls i g n i f i c a n t l y i m p r o v e dt h er e c o g n i t i o np e r f o r m a n c ea n dc a nr e c o g n i z eo b j e c t s 析也c l u t t e r e d b a c k g r o u n d e x p e r i m e n t sa r ec o n d u c t e do n5 0o b j e c tc l a s s e s f i r s to fa l l t h i st h e s i st r a i n s c o r r e s p o n d i n ga c t i v eb a s i sm o d e la n d n e wm o d e lf o re v e r yo b j e c t t h e ne x p e r i m e n t s a r es e p a r a t e l yc a r r i e do u ti nt e s t i n gs a m p l e su s i n gt h et w om o d e l sa n dd r a wt h e i rr o c c u r v e s t h er e s u l t ss h o wt h a tt h er e c o g n i t i o nc a p a b i l i t yo ft h en e wm o d e l c o n s i d e r a b l yi m p r o v e dt h ep e r f o r m a n c ei nr o c k e yw o r d s o b j e c td e t e c t i o n t e x t u r ef e a t u r e d e f o r m a b l et e m p l a t e a c t i v e b a s i s 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果 据我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发 表或撰写过的研究成果 也不包含未获得 洼 麴逡直墓丝 噩蔓壁型直堕的 奎拦亘窒2 或其他教育机构的学位或证书使用过的材料 与我 同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 学位论文作者签名 锩犹朱恕签字日期 伽1 年 月歹日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留 使用学位论文的规定 有权保留并向国 家有关部门或机构送交论文的复印件和磁盘 允许论文被查阅和借阅 本人授权学校 可以将学位论文的全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或 扫描等复制手段保存 汇编学位论文 同时授权中国科学技术信息研究所将本学位论 文收录到 中国学位论文全文数据库 并通过网络向社会公众提供信息服务 保密 的学位论文在解密后适用本授权书 靴做作栏名 象懒 导师签字苇芴 签字日期 沙叩年厂月 日签字日期 产6 月占日 基于纹理与勾描的物体识别 l 绪论 本章简单介绍了课题的研究背景 物体识别问题的研究状况和存在的问题以 及进一步研究的必要性 阐明了本课题所作的主要工作 1 1 课题研究背景 物体识另l j o b j e c tr e c o g n i t i o n 问题是当前国内外计算机视觉与模式识别领域 研究的热点 它是任何一个以图像或视频作为输入的实际应用系统中的核心问题 和关键技术 1 0 2 2 6 3 3 这类系统的性能和应用前景都依赖于其中物体检测和识 别所能达到的水平 如在军事和民用中都有着广泛需求和应用的智能视频监控 车辆辅助驾驶 为盲人提供视觉伺服 数字图书馆和i n t e m e t 互联网中所需的在 海量视频或图像库中基于内容的检索 基于内容的图像和视频编码与压缩 以及 各类身份识别和认证系统等 1 1 1 物体识别的主要任务 物体识别问题包含2 类任务 1 从包含复杂背景的图像中进行检测识别 o b j e c td e t e c t i o na n dr e c o g n i t i o n 如图l l 所示 其本质是搜索并且匹配物体的 个体实例特征 图1 1 a 为给定物体实例 图 b 表示根据物体实例特征 在目标 图像中检测和识别相似物体 其中不同颜色的轮廓表示识别出的不同物体实例 2 通过对物体类别特征建模 实现物体类型识另j o b j e c tc a t e g o r yr e c o g n i t i o n 如 图1 2 所示 其本质则是首先建模描述类别特征 如外观 结构等在物体类别之 内通用而共享的特征 再通过计算测试图像与物体类别模型的相似程度来实现物 体分类 图1 2 给出了5 种常见的组合型 c o m p o s i t i o n a l 物体 由于此类的结构复 杂 外观变化较大 不但不同类别间有明显的特征差异 而且在同一类别之内的 物体实例都有较大差异 因此难以建模和计算 是目前物体类型识别研究中的难 题 物体识别的过程通常表现为 2 6 4 2 5 1 6 3 首先建立待识别物体的一种表示 模型 在一定量的训练样本中学习得到一组满足预定要求 如训练的识别错误率 1 基于纹日与日 物体识别 t r a i n i n ge r r o rr a t e 的模型参数 同时根据表示模型 建立一套从实际图像中进 行推理的识别算法 通过在实际图像中测试可获得系统的泛化能力 o e n e r a l i z a t i o n a b i l i t y 对其进行性能评估 l a l 譬驾粤到食i 图1 1 从复杂背景图像中检测物体实例 图 a 为给定物体实例 图 b 为从复杂 背景图像中识别物体的结果 其中被识g 物体用外框标注 这一过程中需要关心的四个主要方面是 建模 学刊 推理计算和数据测试标准 b e n c h m a r k t i 性能评估 已有研究中 大多数物体表示与识别方法是针对特定 的物体实例 o q i e c ti n s t a n c e 1 1 表现形式 c o n f i g u r a t i o n 如人脸 字符 车牌 前视 f r o n t a lv i ew 或侧视 s i d ev i e w 的车等 此时建模 学习 推理与数据都有 很强的引对性 从而也就缺少了通用性和可扩充性 当前 物体识别的前沿研究 是如何对大规模物体类别 如上百类常见物体 1 9 而不再是单个物体实例 进行 表示和识别 这导致在建模 学刊 推理与数据四个方面都遇到很大的挑战 具 体而言有以下五点 基f 纹g 与勾描 物体m 别 图i 一25 类常见组合型物体示例 组合型物体具有结构复杂多变 物体配置复杂的 特点 是目前物体类型识别研究中的挑战性对象 如何对大量物体统一建模 6 2 7 3 5 4 0 5 8 6 1 6 3 自然图像中可能出现的 9篓 奢 一毋一 国藤一豳固懑一冈圉蝈赶 圈 邈矗蠢文氍了瀛圆圈囵露霉舅霪 基于纹理与勾描的物体识别 物体有成千上万种 它们千差万异 同时不同视角与不同尺度下 同一类物体的 表现形式又千姿百态 其所需的表示模型都有不一样的地方 那么 如何对大量 物体进行统一建模 使得不同物体之间可以相互比较 同一物体不同视角与不同 尺度之间建立相互联系 来完成最终识别 这是构建一个鲁棒的大规模物体识别 系统的前提 如何基于小样本学习 2 4 1 9 2 0 5 3 5 6 大多数物体类别的类i 为 i n t r a c l a s s 结构变化十分大 如钟 椅子和衣服等 每类都具有千变万化和千姿百态的表现 形式 c o n f i g u r a t i o n 如何在统一建模框架下来描述这类物体 给出数学模型定 义 同时要能使得模型的学习是基于小样本 类似人类感知机理 人能从少量几 个蛩j 1 0 0 个左右样本中学习而推广到一般 即举一反三的泛化能力强 从而可以 保证实现具备识别上百类物体的系统的可行性 传统针对单个物体实例所建立的 表示方法 如目前流行的机器学习算法 7 1 在处理类内变化维度大的物体时都 会遇到所谓的 维度灾难 c u r s eo fd i m e n s i o n a l i t y 问题 即所需的样本数量按照 维度的指数级方式增长 如 需要上百万的正 负样本 再加上同时处理大规模物 体类别 就使得其不再实际可行和有效 如何同时进行多尺度 m u l t i s c a l e 多视角 m u l t i v i e w 情况下识别并融入 场景信息来提升识别率 8 2 7 2 8 4 0 5 l 5 6 5 5 6 3 物体在图像中能以任意尺度和 视角出现 并且系统无法预先知道其具体尺度和视角 同时 每种特征都只在一 定尺度范围内具有可感知意义 不同尺度下和不同视角下 对识别起作用的特征 是不同的 已有大部分识别算法都是针对某一固定尺度下对某种视角进行学习 而没有考虑如何同时处理不同尺度与视角的情况 这会导致识别的丢失率 m i s s i n gm t e l 匕较高 在低尺度情况下 物体本身的本质信 皂 i n t r i n s i ci n f o r m a t i o n 已经丢失 这些情况下识别必须依靠其所在图像区域的上下文相关信息 即场景 信息 c o n t e x ti n f o r m a t i o n 来帮助进行推理 提升识别率 所以 如何在统一建模 和学习过程中表达多尺度信息和场景信息就十分重要 如何在贝叶斯框架下进行有效推理计算 自底向上 b o t t o m u p 的辨别式 模型 d i s c r i m i n a t i v em o d e l 和自顶向下 t o p d o w n 的产生式模型 g e n e r a t i v e m o d e l 是目前主流的推理计算模型 如何在统一框架下有效调度这两者是系统鲁 棒性的保h q 4 7 2 8 5 6 6 5 辨别式模型通过自底向上 b o t t o m u p 在图像局部区域 4 基于纹理与勾描的物体识别 计算各种特征来对不同的物体进行 提议 p r o p o s a l 而对 提议 自身的确认 v a l i d a t i o n 以及不同提议之间相互有 重叠 o v e r l a p 的最终解释权都应该由产 生式模型自顶向下 t o p d o w n 来负责解决 它通过在贝叶斯框架下 从全局出发 进行仲裁 进一步需要研究产生式模型如何帮助辨别式模型使其能更好的 提议 从而提高推理的有效性和快速收敛 物体的客观表达 g r o l l i l dm a t hr e p r e s e n t a t i o n 是什么 如何基于这种表达提 供客观有效的训练和测试数据 2 3 4 4 5 0 6 3 1 数据是建模 学习和推理计算的根 本 没有数据 一切都无从谈起 同时 训练和测试的图像与视频数据必须是客 观标准的 才能保证模型和算法的实际可用性 但是如何进行客观标注本身就是 视觉中由来己久的问题 必须综合在物体表示与识别的统一框架下进行研究 综上所述 当前物体表示和识别的国内外前沿研究中 必须综合考虑解决以 上五点挑战 接下来将介绍目前物体识别问题发展现状和主流方法 1 1 2 物体识别研究与相关研究的关系 物体识别问题作为一个跨学科的研究领域 为模式识别 图像处理 分析与 理解 计算机视觉 人工智能 机器学习 人机交互 计算机图形学 认识科学 神经计算 生理学 心理学等多种学科提供了一个良好的具体问题 有利于构 建这些学科领域的基础实验平台 并以此为基础尝试新方法 验证新理论 解释 新现象 例如 作为一个典型的模式识别问题 物体识别问题被认为是最具有挑 战性的问题之一 首先它是一个不确定性的数学问题 因为人们事先不知道样本 可能的分布情况 在采集样本时 可能有些特性的样本被采集得比较充分 而另外一些特性的 样本在这次采集中根本就不出现 这样导致后面的统计学习有很大的偏差 即训 练出来的模型只对某个测试集有用 对另外的某个测试集就很糟糕 这就要求统 计学习在处理小样本 甚至偏差样本方面的能力有比较大的提高 另外 模式种 类繁多 不同类别模式的差别非常微妙 这一点由于数据采集过程的噪声 成像 设备的精度 外界条件的变化以及数据缺损等原因而显得更加突出 这就促进硬 件设备的设计水平和制造工艺发展 再如 作为一个计算机视觉问题 如何融合 物体的一般性先验形状信息来准确地恢复特定物体的3 d 结构也是一个非常有 s 基于纹理与勾描的物体识别 价值的研究问题 从机器学习角度出发 如何将具有坚实理论基础的统计学习算法应用于真实 物体环境中的具体问题 提高系统的鲁棒性和推广能力 对于拉近基础研究与应 用实践的距离具有重要的指导意义 此外 物体识别还将是下一代智能计算环境 的重要组成部分 1 2 国内外研究现状 物体识别问题从对物体建模以及特征选取的方法来划分 可以大致区分为两 大类方法 基于结构的方法 s t r u c t u r e b a s e dm e t h o d 与基于外观模型的方法 a p p e a r a n c e b a s e dm e t h o d 1 2 1 传统的基于结构模型的方法 传统的基于结构方法 1 6 2 7 3 0 3 3 3 8 3 9 4 0 4 6 6 3 本质是通过图像语法来对 物体进行建模 因此基于结构的方法 也通常称为基于语法的方法 g r a m m a r b a s e dm e t h o d 其中较著名的方法有随机上下文无关语法 s t o c h a s t i c c o n t e x tf r e eg r a m m a r s c f g 带属性的语法 a t t r i b u t eg r a m m a r 1 以及视觉部 件的多层次分解 h i e r a r c h i c a ld e c o m p o s i t i o no f v i s u a lc o m p o n e n t s 等 在上个世纪 7 0 年代 基于语法的方法是主流 它表达了物体多层次分解和构成 h i e r a r c h i c a l d e c o m p o s i t i o na n dc o m p o s i t i o n 的语法特性 如著名华人科学家傅京生张 s r u 在上个世纪7 0 年代提出的语法模式识别 s y n t a c t i cp a t t e r nr e c o g n i t i o n b i e d e r m a n 提出的通过部件识别物体 r e c o g n i t i o n b y c o m p o n e n t 6 1 等 但由于当 时没有数学模型来建立语法基元 p r i m i t i v e 与真实图像块 i m a g ep a t c h 之间的对 应 使其与真实图像之间产生很大的语义鸿沟 s e m a n t i cg a p 而无法处理自然图 像 同时缺少学习能力 也就没有取得非常好的进展 这些主要是受当时的种种 条件不足的限制 具体分析主要体现在建模 学习 推理计算和测试标准图像数 据库四个方面 缺少统一建模的数学框架来对各种物体统一表示 由于当时相关学科研 究相对滞后 没有统一的表示框架的理论和方法 物体之间就无法通过相互合作 和竞争来完成最终识别 6 基于纹理与勾描的物体识别 缺少建立语法基元 p d m i t i v e 至u 真实图像块 i m a g ep a t c h 对应的真实外观 模型 r e a l i s t i ca p p e a r a n c em o d e l 没有这种对应 基于语法规则的推理就成了纸 上谈兵 根本无法应用到真实自然场景图像中 而只能处理简单的人工合成图像 缺少好的机器学习算法来解决检测和分类问题 没有学习 表示模型的 参数和推理算法的计算都只能定性分析 而无法定量分析 也就无法进行实际应 用 当时缺少建立大型的图像数据库的条件 没有客观标准 g r o u n dt r u t h 也就无法进行学习 以及检验算法的结果 1 2 2 基于外观模型的方法 基于外观模型的方法 2 9 1 2 1 4 1 6 1 7 1 8 6 6 2 6 2 7 4 6 5 1 5 4 基于外观模型方 法又可以进一步分为基于全局外观和局部外观两个主要研究路线 基于全局外观 模型 如主成分分析 p r i n c i p a lc o m p o n e n ta n a l y s i s p c a 通用主成分分析 g e n e r a l i z e dp c a 等 以及基于局部外观模型 如 以尺度不变特征点变换 s c a l e i n v a r i a n tf e a t u r et r a n s f o r m s i f t 3 6 与基于熵的显著性度量 e n t r o p y b a s e d s a l i e n c ym e a s u r e m e n t 为代表的各种不变性特征点方法 i n v a r i a n tf e a t u r ep o i n t 图 像块 p a t c h e sa n df r a g m e n t s 的编码字典 c o d eb o o k 5 1 包括c o n s t e l l a t i o n 模型 1 6 1 8 b a g o f w o r d s 模型 1 4 等 发展到9 0 年代 基于外观模型的方法由于 与真实图像相结合紧密而较为直观并且相对容易实现 逐渐为大多数研究者所采 用 但是这类方法依赖于物体实例的某些表现形式下外观的纹理特征 而没有对 物体本质上多层次分解和构成特性进行表示 所以它们无法表达类内结构变化大 的物体 也就是说这类方法是放弃了原本基于结构语法方法的优点 其中 基于全局外观模型的方法是将物体的图像看作高维图像空间中一点 对其作数学上的线性或非线性变换 投影到某些低维的特征子空间中 形成对物 体的表示 识别就表现为在所得特征空间中对样本点的聚类分析和决策分类 对 于一个大规模物体识别系统 不仅有很多类 为 i n t r a c l a s s 结构变化大的物体 同 时也存在许多物体类型的类间 i n t e r c l a s s 有较大的相似性 这导致在特征空间通 过划分来识别就力不从心 以及现实图像中物体之间的遮挡会导致基于全局外观 的表示失效 这些都是基于全局外观模型方法不可逾越的困难 7 基于纹理与勾描的物体识别 基于局部外观模型相对于全局外观模型有了较大的改进 其过程是将物体看 作由一组局部外观块组成 这些局部外观块的选取可以通过先检测某种不变性特 征点 s i f t 特征点 3 6 此后以特征点为中心取一定形状和大小的区域 或按 照某种信息度量准则来取局部外观块 如f r a g m e n t 模型 6 1 然后将这些局部外 观块作为基元对物体进行编码 如b a g o f w o r d s 方法 或者再加入一些几何形 状模型约束 j t n c o n s t e l l a t i o n 模型与其相关改进模型 最后基于此模型进行物体 识别 基于局部外观模型的方法从形式上看也对物体做 分解 这可以使得其表 示能力有一定的提高以及可以应付一些遮挡情况 但是它采用的 分解 没有真正 从语法意义上体现物体的多层次分解和构成特性 没有显式的结构分解分析指导 也就没有语法上统一表示和多层次构成的能力 1 2 3 新的基于结构的方法 由上可知 传统的基于语法结构方法和基于外观模型方法各有优缺点 应该 相互取其优势 才能解决大规模物体统一表示问题 当前机器视觉的国际前沿研 究中也正朝这个方向发展 3 5 5 2 5 9 3 9 6 3 通过结合基于外观模型方法取得的发展 去改善传统基于结构语法方法中存 在的四点不足 对于缺少统一建模的数学框架问题 近年来视觉研究飞速发展 产生了 大量表示框架理论 如何统一马尔可夫随机场 m a r k o vr a n d o mm o d e l m r f 等图 模型 g r a p h i c a lm o d e l 和稀疏编码 s p a r s ec o d i n g 与随机上下文无关文法 s c f o 脑 奇 对于如何建立语法结构基元与真实图像块对应问题 出现了如上述的主 动外观模型 a c t i v ea p p e a r a n c em o d e l aa m 模型 1 2 基 于p a t c h e s 和f r a g m e n t s 的模型 各种编码字典 c o d e b o o k s t e x t o n 纹理 t e x t u r e 以及具有不变性特征 点方法 i n v a r i a n tf e a t u r ep o i n t s 等解决方法 对于缺少机器学习算法的问题 出现t a d a b o o s t 和支持向量机 s u p p o r t v e c t o rm a c h i n e s v m 等较好的机器学习框架 对于问题图像数据库的缺乏问题 目前国际上已经开始研究建立各种图 像和视频数据库 如美国伯克利大学 b e r k e l e y 的分割图像数据库 3 8 美国加州 8 基于纹理与勾描的物体识别 理工大学 c a l t e c h 1 0 1 类物体图像数据库 2 3 美国麻省理工大学 m i t 的 l a b e l m e 图像数据库 4 2 以及2 0 0 6 年新兴的中国莲花山人工图像与视频标注 数据库 6 0 等 基于结构方法的回归代表着物体表示与识别正确的发展思路和前进方向 已 经又成为前沿研究课题和发展主流 本文正是沿着这个思路 研究基于物体结构 的物体识别相关方法 1 2 4 纹理分析的研究概况 实际上对纹理的研究有两个目的 一个是研究纹理的观赏特性 即如何设计 具有特定效果的纹理 使之具有一定的美学价值或自然逼真效果 这是计算机图 形学所研究的主要目标 另一个是研究纹理图像的特性 即纹理分析 以便分类 和识别场景 这是机器视觉追求的目标 也即 对机器视觉来说 纹理是分割和 识别场景或物体表明类型的一种视觉标记 纹理分析的基本内容包括纹理定义 纹理分类 纹理分割以及纹理合成等 其中纹理定义是纹理分析的核心内容 为使纹理分析具有一个规范的测试标准 人们发布了b r o d a t z m i t n e a s t e x 和o u t e x 等各种纹理图像库 纹理分类用于判别图像纹理的类型 4 9 5 7 6 2 6 4 6 8 纹理分类需要预先知道 尽可能多的纹理类型 在实际应用中 一般首先提取能够反映纹理整体性质的全 局纹理特征 然后再利用各种模式识别方法对纹理类型进行判别 纹理分割的目的是把图像分割成不同的纹理区域 每个区域应具有均匀的纹 理性质 同时相邻区域应具有不同的纹理性质 纹理分割的困难在于缺乏足够的 先验知识 例如在纹理分割前往往不知道图像含有几种纹理类型 纹理分割的重 点不在于确认图像哪个区域存在何种纹理 而在于通过某种途径有效区分相邻的 不同纹理 并正确找到相邻不同纹理间的边界 纹理分割方法包括基于区域的方 法和基于边界的方法 前者侧重区域纹理的一致性 后者侧重区域边界的差异性 纹理合成主要应用于计算机图形学领域 纹理合成首先对纹理图像进行建模 通过学习 优化确定模型参数 并用该纹理模型生成纹理 常用的纹理模型包括 自相关模型 自回归模型 分形模型 m a r k o v 随机场模型 g i b b s 随机场模型和 w o l d 模型 9 基于纹理与勾描的物体识别 图像中有许多信息可用于推测物体的三维形状 如物体表面的阴影变化 边 界的相对结构以及边界连接的形状等 在纹理图像中 纹理基元的尺寸 形状及 密度变化可用于评估物体表面的形状和姿态 根据纹理的基本特征 目前已出现了很多纹理分析的方法 m h a r a l i c k 曾作 了较为全面的总结 基本上可归纳为统计法 结构法 模型法和空间 频域联合 分析法等4 类 6 9 由于纹理分析各种方法都存在一些问题 故近年来呈现了相 互渗透的趋势 近年来 随着大量相关学术论文的发表 也出现了许多纹理分析 的新方法 在基于统计法的研究方面 7 0 运用一种矢量量化技术 从而生成原始图像 的符号图像 再构造共生矩阵 选用矩阵的统计特征 实现对纹理图像的快速匹 配 对于尺寸较大 信息冗余度也较大的图像 该方法具有较好的适用性 7 2 在变差函数理论基础上提出了描述图像纹理特征的新方法 不仅考虑区域化变量 的随机性 而且考虑数据的空间结构特征 用变差函数的单步变差函数值描述图 像空间相邻两点的统计特征 不同的纹理有不同的变差函数值 在基于模型法的研究方面 7 3 运用特征符号随机场的概念 将灰度图像变 换为特征符号随机场 然后采用g i b b s 一马尔科夫随机场描述特征符号随机场 具 有简单的形式 同时排除了传统的空间干涉关系 对b r o d a t z 标准图像纹理的分 割效果较好 分形维数因其与人眼对图像表面粗糙度的判断一致而倍受重视 7 4 通过对不同的分形维数估计方法的比较 发现差分盒计数估计方法和基于分形布 朗运动自相似模型的估计方法覆盖了图像f d 较大的动态范围 差分盒计数方法 对粗糙度小的纹理敏感 而基于分形布朗运动自相似模型的估计方法在高粗糙度 的情况下变化剧烈 因此 7 4 综合运用两种f d 估计方法 对真实的图像进行分割 取得了较好的效果 在基于信号处理法的研究方面 7 7 1 着眼于单g a b o r 滤波器分割双纹理图像 提出一种利用功率谱选择最佳滤波器的方法 给出了利用滤波器频率带宽参数指 导搜索最佳滤波器的策略 计算量小且效果好 为多滤波器分割多纹理图像这种 更为通用的方法提供了一种有用的思路 7 8 深入分析了傅里叶变换具有的自配 准特性 提出了一种基于傅里叶变换自配准特性的图像纹理识别和分割方法 对 自然纹理和遥感图像进行分割比较有效 实现简单 抗噪能力强 且纹理的亮度 1 0 基于纹理与勾描的物体识别 不均和旋转容易处理 在基于结合法的研究方面 1 5 将统计法与信号处理方法相结合 基于纹理 基元直方图导出了一种纹理表示的新方法 并根据正交镜像滤波器的小波变换能 量的转换和量化来定义纹理基元 还给出了多种小波纹理特征集的实验评价 4 8 利用了小波变换与分形的联系 在计算多尺度h 参数特征时 用小波变换低频分 量图像的差分代替原定义中的图像各尺度的灰度差 得到了较好的分类效果 虽然现有的纹理分析方法有很多种 但从理论上来看 找到一种适合各种纹 理分析的通用方法还是很难 且很多方法对纹理的描述随分辨率而变化 对方向 敏感 易受噪声影响 因此 对于一个具体纹理图像 寻找综合性方法 充分利 用各自优势 是近年来的一个研究趋势 1 3 论文主要研究工作及内容安排 本文主要针对复杂场景中物体识别问题 改进动态基算法 进一步提高了物 体的识别率 提高了复杂场景中物体的检测性能 本文所做的主要工作有 改进动态基算法并将其应用到物体识别领域 因为原始的动态基算法假设物 体的纹理特征和背景纹理特征服从同一分布 以致在复杂场景中识别物体时漏检 率很高 为此 我们加入了纹理特征 设计出一种基于纹理与勾描的可变形模板 用于复杂场景中的物体识别 进一步提高了在这类场景中的物体识别率 提高了 检测性能 本文的主要内容安排如下 第一章 绪论 介绍了本文的研究背景和应用方向 综合介绍了当前物体识 别技术的主要研究成果 最新进展 研究动态以及存在的主要问题等 说明了本 文研究工作的必要性和理论价值 同时 提出本文的创新点 说明论题的实用性 新颖性和前沿性 第二章 物体纹理特征及识别算法 本章主要介绍了论文中所用到的一些相 关知识 如 物体知识表示 物体纹理特征在识别中的应用以及已有的各种物体 识别算法 后面章节的展开做准备 第三章 基于动态基的物体识别方法及改进 本章首先简单介绍了动态基算 法 然后针对动态基模型中纹理信息的缺失 在识别过程中 设计出一种新的可 1 1 基于纹理与勾描的物体识别 变形模板 其中加入了纹理信息 提高了检测率 即本文的主要工作 第四章 多组物体检测及实验结果 本文一共进行了5 0 类不同物体的识别 分别和原始的动态基算法检测结果做了比较 实验结果表明大部分识别结果优于 之前的动态基算法 第五章 总结及展望 对本文所做工作作了总结 并提出了今后进一步研究 的方向及本人在研究过程中的一些感想 1 4 论文主要创新点 基于动态基模型特征的理论框架 本文提出了一个结合纹理特征和勾描特征 的可变形模板 充分运用了动态基在物体识别方面的优势和纹理特征对物体识别 的贡献 1 2 基于纹理与勾描的物体识别 2 物体纹理特征及识别算法 2 1 引言 本章首先介绍了物体知识表示方法 然后简单介绍了一下常用的物体识别算 法 最后 阐述了纹理特征在物体识别方面的重要应用 为后面章节的展开做准 备 2 2 物体知识表示 由上分析可知 基于结构的分析方法首先要从图像中获取图像结构信息 即 组织图像底层知识 即从像素到结构特征 结构基元 才能进一步对物体进行语 法建模和推理 因此在本章节中将先讨论用于图像结构表示 i m a g es t r u c t u r e r e p r e s e n t a t i o n 的结构属性图 再引入描述物体高层语义信息的解译图 p a r s eg r a p h 和与或图 a n d o rg r a p h 2 2 1 结构属性图 通常来说 图像可以分为两种本质的元素 即结构元素 s 仃u c t u r a lc o m p o n e n t 和纹理元素 t e x t u r a lc o m p o n e n t 其中结构元素指图像中能够被显式建模的部分 又被j u l e s z 称作为 t e x t o n s 而被m a r r 称为 t o k e n 纹理元素指图像中只能模糊 感知的部分 i 扫g u o z h u 2 7 1 等提出的一个原始简约图模型 p r i m a ls k e t c h m o d e l 可知 一个完整的图像底层知识表示应该具备如下要素 1 能够统一表示图像中的结构信息和纹理信息 2 能够将底层图像特征矢量化表示 这些特征的属性包含几何形变 拓扑变 换以及外观差异 3 能够描述图像特征之间关系 使图像特征不再是孤立 从而可以表达图像 复杂结构信息 在实际的应用中 考虑到建模和计算的复杂性 我们往往不需要完整的图像 知识表示 例如根据不同的物体识别任务 我们只需要能够表示相应的图像信息 由图1 1 和图1 2 所示 在我们面对的物体检测和识别任务中 图像中的结构信 基于纹理与勾描的物件识别 息是比较稳定而可靠的 因此在本文中采用了原始简约图理论 2 7 并简化其模 型对物体结构信息进行表示 称之为结构属性图 已知图像区域为a 可以分为独立的结构部分a k 和纹理部分 s k 则有 s k u a n s k s k n n s k2 巾 1 一i 而结构部分又可以显式地分解为图像中的各个结构单元 即 5 k u 箍 1 k k s k k n k k 巾 k 1 k 2 0 2 假设每一个结构单元 业k 对应于一个产生式图像基元 i m a g e r r f i t i v e 定义为 b k 则图像的结构属性图可以定义为 s k k k 闰b b a k k 1 2 l i s k k b k n k 1 2 k 1 3 1 4 其中3 k 表示结构单元 s k k 与其他基元的邻接关系 公式 1 5 表示结构单元所对应 图像可以由图像基元产生 1 1 为随机扰动 b 图2 1 典型图像基元以及示例 基十纹理与勾描的物体识别 因此 根据调和分析和稀疏编码理论 结构属性图的概率模型可以定义为 p i j s n b s n s k e x p 一嘉 匙t u me 5 k i u v 一b u v 2e s s k 0 5 其中e s s k 表示先验能量函数 由上分析可知 对图像结构信息表示是通过对图像基元的属性描述来实现的 根据图像流形研究 可以大量的自然图像样本中学习得到主要的图像基元 如图 2 i 所示 其中图1 3 a 表示基元的拓扑属性 图l 一3 体现了基元对应的图像区 域上包含的几何变化与外观差异的属性 222 解释图和与或图 物体高层语义的表示是基于结构方法的核心 t u 和z h u 2 8 4 6 7 5 1 最早提出 了图像解译i 园 i m a g e p a r s e g r a p h 它是对物体图像语义内容的完整解释 并且提 出了一种从自然图像中自动计算解译图的思路 但是在建立物体语义表示阶段 还是必须用监督学习的思路 于工标注物体的解译图 两副手动标注的解译图如 图2 2 所示 来自中国莲花山人工图像与视频标注数据库f 6 0 在标注图中 每 个物体按照语义关系层次性地分解成相应的各个部件 并且各个部件中的关系都 被明确地定义 i 墨f 主 f 心二 图2 2 手工标注的解释图实例 通过物体的大量解译图 就可以学习出整个物体类型的语义表示 物体与或 图 a n d o rg r a p h 与或图的概念是 c h e n d z h u 7 6 最早在2 0 0 6 年提出用于衣服 建模和识别 简而言之 与或图表示能对复杂物体的多层次构造特性 h i e r a r c