基于视觉注意的显著区域检测算法研究优秀毕业论文.pdf

基 于 视 觉 注 意 的 显 著 区 域 检 测 算 法 研 究 国 防 科 学 技 术 大 学 研 究 生 院 分类号 tp391 学号 09060027 密级 公 开 工学硕士学位论文 基于视觉注意的显著区域检测算法研究基于视觉注意的显著区域检测算法研究 硕士生姓名 李崇飞 学 科 专 业 计算机科学与技术 研 究 方 向 计算机软件与理论 指 导 教 师 卢 凯 研究员 国防科学技国防科学技术大学研究生院术大学研究生院 二 一一二 一一年年十十一月一月 research on salient region detection algorithms based on visual attention candidate li chongfei advisor prof lu kai a thesis submitted in partial fulfillment of the requirements for the degree of master of engineering in computer science and technology graduate school of national university of defense technology changsha hunan p r china november 2011 国防科学技术大学研究生院工学硕士学位论文 第 i 页 目目 录录 摘 要 i abstract iii 第一章 绪论 1 1 1 研究背景 1 1 2 国内外研究现状 2 1 2 1 空间域模型 2 1 2 2 频谱域模型 3 1 2 3 基于目标和物体的显著性模型 4 1 3 论文主要内容与组织结构 4 1 3 1 论文的主要内容 4 1 3 2 论文的章节安排 5 第二章 视觉注意的处理机制 7 2 1 视觉注意机制的神经生物学和心理学研究 7 2 1 1 视觉注意的神经生物学机制 7 2 1 2 视觉注意的心理学研究 11 2 2 视觉注意模型 12 2 3 本章小结 16 第三章 基于结构相似度的显著区域检测方法研究 17 3 1 结构相似度概论 17 3 1 1 结构相似度的概念 17 3 1 2 结构相似度的改进 19 3 2 局部结构相似度方法 22 3 2 1 视觉特征提取 23 3 2 2 局部结构相似度度量 24 3 2 3 特征融合和显著区域提取 25 3 3 全局结构相似度方法 26 3 3 1 空间距离权值 27 3 3 2 全局相似度模型的优化 28 3 4 实验结果与分析 30 3 4 1 局部结构相似度方法 30 3 4 2 全局结构相似度方法 31 国防科学技术大学研究生院工学硕士学位论文 第 ii 页 3 5 本章小结 33 第四章 基于相位谱和调谐幅度谱的显著区域检测方法研究 35 4 1 显著性检测的频谱分析 35 4 1 1 相位谱与显著性 35 4 1 2 幅度谱与显著性 37 4 2 侧抑制机制与显著性频谱 38 4 2 1 侧抑制机制 39 4 2 2 侧抑制与频谱调谐 41 4 3 调谐方法研究 42 4 3 1 谱残余方法 42 4 3 2 基于频谱调谐的显著区域检测方法 43 4 3 3 调谐方法分析与实现 44 4 4 实验结果与分析 49 4 4 1 实验结果对比 49 4 4 2 自然场景检测与速度测试 53 4 5 本章小结 54 第五章 基于遥感图像团块目标区域检测的显著性方法改进 55 5 1 基于局部结构相似度显著性的团块目标检测方法 55 5 1 1 显著图计算 55 5 1 2 目标区域提取 56 5 1 3 实验结果与分析 56 5 2 基于频谱显著性检测的团块小目标检测方法 57 5 2 1 显著图计算 57 5 2 2 目标区域提取 57 5 2 3 实验结果与分析 58 5 3 本章小结 59 第六章 总结与展望 61 参考文献 65 作者在学期间取得的学术成果 69 国防科学技术大学研究生院工学硕士学位论文 第 iii 页 表 目 录 表 3 1 全局结构相似度方法优化前后的检测时间对比表 32 表 4 1 100 幅自然场景图像中正确检测到最显著区域的数目与平均检测时间 53 国防科学技术大学研究生院工学硕士学位论文 第 iv 页 国防科学技术大学研究生院工学硕士学位论文 第 v 页 图 目 录 图 1 1 论文各章关系结构图 6 图 2 1 视觉加工的层次及过程 8 图 2 2 koch 神经生物学框架中的预注意阶段 10 图 2 3 特征融合理论结构 11 图 2 4 itti 视觉注意模型 13 图 2 5 特征归一化函数 15 图 3 1 结构相似度评估系统框图 18 图 3 2 多尺度结构相似度系统评估框图 20 图 3 3 基于局部结构相似度的显著区域检测方法 23 图 3 4 center surround 定义 25 图 3 5 显著图与显著区域提取 25 图 3 6 基于全局结构相似度的显著性度量 26 图 3 7 线性权值曲线 27 图 3 8 多项式权值曲线 28 图 3 9 指数权值曲线 28 图 3 10 全局优化对比图 29 图 3 11 局部结构相似度对比实验 1 30 图 3 12 局部结构相似度对比实验 2 31 图 3 13 抗噪能力实验结果 31 图 3 14 全局结构相似度对比实验 1 32 图 3 15 全局结构相似度对比实验 2 32 图 4 1 一维信号相位谱重构图 39 36 图 4 2 相位谱构建自然图像显著图 37 图 4 3 sr 方法重构图 37 图 4 4 pta 方法重构图 38 图 4 5 侧抑制实验 40 图 4 6 神经节细胞感受野示意图 41 图 4 7 残余谱频谱效果图 43 图 4 8 调谐函数示例 44 图 4 9 指数调谐效果图 1 45 图 4 10 指数调谐效果图 2 46 图 4 11 多项式调谐效果图 1 47 国防科学技术大学研究生院工学硕士学位论文 第 vi 页 图 4 12 多项式调谐效果图 2 47 图 4 13 调谐函数与阈值点 48 图 4 14 心理物理学模板图像示例 一 49 图 4 15 心理物理学模板图像示例 二 50 图 4 16 自然图像示例 一 51 图 4 17 自然图像示例 二 51 图 4 18 自然图像示例 一 52 图 4 19 自然图像示例 二 52 图 4 20 心理物理学模板实验对比图 53 图 4 21 图像灰度图与显著图 54 图 5 1 团块目标检测结果 56 图 5 2 显著图计算过程 57 图 5 3 简单背景实验结果 58 图 5 4 复杂背景实验结果 59 国防科学技术大学研究生院工学硕士学位论文 第 i 页 摘 要 随着信息技术的飞速发展 图像数据的规模和复杂程度不断加大 为后续的 图像处理和目标分析带来了很大难度 近年来 以视觉注意为代表的图像显著区 域检测技术成为提高海量数据筛选实时性和分析准确性的重要技术途径之一 传统的基于视觉注意的显著区域检测模型存在检测结果边缘特性较差的问 题 同时由于使用邻近插值 会出现马赛克现象 另一方面 满足实时性的频域 模型又存在检测结果不稳定 生物学依据不明显等缺陷 针对这些问题 本文以 生物视觉的注意机制为基础 通过分析空频域内显著区域的分布特性 对显著区 域检测技术进行了多个方面的探索 本文的主要工作包括以下四个方面 1 分析了人类视觉注意的处理机制 在神经生物学和心理学两个方面进行 了介绍 讨论了经典的基于特征融合框架和 koch 神经生物学框架的视觉注意模 型 2 通过研究人类高层视觉的结构相似性理论 基于特征融合框架分别提出 了局部和全局两种显著区域检测方法 利用结构相似性和自相似算子度量视觉显 著性 并对提出的方法进行了优化 实验结果表明本文方法的检测结果的边缘特 性比较好 显著区域的对比度很高 并克服了传统方法的马赛克现象 同时在抗 噪等方面体现了较好的性能 3 通过研究图像频谱与显著性的关系 提出了一种保留相位谱和调谐幅度 谱的显著区域检测方法 该方法通过改变频谱分布来增强显著区域并抑制非显著 区域 同时针对提出的频域模型提出四种频谱调谐方法 对四种方法的优劣进行 了研究 另一方面 通过研究人类视觉的侧抑制机制 找到了这种方法的生物学 依据 实验表明这种方法可以有效检测多种图像的显著区域 并且满足实时性的 要求 4 根据团块目标遥感图像的特点 提出对上文的两种显著性模型进行针对 性改进 实验表明改进方法可以有效检测出遥感图像的团块目标区域 综上所述 本文通过研究人类视觉注意机制的相关关键技术 在空频域提出 了相应的显著区域检测方法 最后通过实验验证了方法的有效性 主题词 显著性 视觉注意 频谱 侧抑制机制 结构相似性 自相似算子 国防科学技术大学研究生院工学硕士学位论文 第 ii 页 国防科学技术大学研究生院工学硕士学位论文 第 iii 页 abstract with the development of information technology the size and complexity of image data continue to increase which brings great difficulty to image processing and target analysis in recent years the salient region detection technology represented by the visual attention has become an important technical approach to improve the real time and analysis accuracy performance of mass data image processing the traditional salient region detection model based on visual attention has some defects such as poor contour detection and mosaic results causing by neighboring interpolation on the other hand the spectral models that meet the real time requirement also have some drawbacks such as lack of bionics meaning and unstable detection result responding to these problems on the basis of visual attention this paper analyzed the distribution characteristic of salient region in spatial domain and frequency domain and explored the saliency detection technology in several areas the main work of this paper can be described into four aspects below 1 mechanisms of human visual attention were analyzed and we introduced the mechanisms in both areas of neurobiology and psychology in addition the classic visual attention model based on feature integration theory and the koch neurobiological framework was discussed 2 the structural similarity theory based on human high level vision was studied and we proposed two saliency detection methods of local and whole based on feature integration theory these methods uses the ssim and self similarity operator to appraise the visual saliency then the proposed methods were optimized the experimental results show that our method overcomes the weakness of mosaic causing by neighboring interpolation and it show better performance on contour detection and anti noise 3 the relationship between the spectral characteristics of the image and the saliency was discussed and a saliency detection method based on phase spectrum and tuning amplitude spectrum was proposed this method tries to change the spectrum distributions of the images to inhibit the redundant image features and enhance the salient image features then we introduced four spectrum tuning methods and discussed the relative strength of these methods meanwhile we find the biological meaning of this spectrum method by studying the lateral inhibition mechanism of human vision the experimental results indicated that our methods could not only detect the salient region of multiple images effectively but also satisfy the requirements of real time 4 according to the clump target characteristics of the remote sensing image two saliency detection methods that proposed above were improved and the experimental results indicated that our improved methods could detect the target region effectively 国防科学技术大学研究生院工学硕士学位论文 第 iv 页 in summary this paper studies the key technologies of human vision and proposed some salient region detection methods in spatial domain and frequency domain the experiment results show the effectiveness of the proposed methods key words saliency visual attention spectrum lateral inhibition ssim self similarity operat 国防科学技术大学研究生院工学硕士学位论文 第 1 页 第一章 绪论 1 1 研究背景研究背景 随着传感器技术和成像技术的飞速发展 图像数据的规模和复杂程度不断加 大 对后续的图像处理和目标分析带来了很大难度 如何减少处理数据量和提高 分析准确性成为当前海量复杂图像处理的一个难点 1 近年来 以视觉注意为代 表 2 的图像显著性区域检测技术成为提高海量数据筛选实时性和分析准确性的重 要技术途径之一 传统的图像分析方法将图像中所有的像素值赋予了相同的处理优先等级 然 而很多图像分析任务 诸如目标识别 图像检索 场景分析等 其关键内容通常仅 占图像中很小的一部分 因此这种不分级的图像处理策略带来了巨大的计算浪 费 同时也提高了分析复杂性 另一方面 从机器视觉的角度来看 通过多年的 努力 我们对于如何从计算机的角度来理解 分析图像达到了一定的层次 但计 算机视觉和人类的视觉能力仍差距很大 现代计算机的计算速度已达到了万万亿 次的级别 但计算机视觉仍然无法做到诸如摘苹果这样简单的任务 5 这种能力 的缺失 从一定程度上来说 是因为在图像理解中没有加入显著性分析的指导作 用 计算机在图像分析时没有按任务进行分级处理来提取关键信息而造成的 因 此 深入研究基于视觉注意的显著性检测算法以及视觉注意计算机模型具有重大 的学术意义和应用价值 从计算机智能模拟的角度来说 视觉注意的显著性计算可以为选择少数的几 个视觉显著区域和排除冗余提供快速的计算机制 6 开展视觉注意的理论与实验 研究不仅符合人类对智能探秘的科学思想 而且具有战略意义 应用到海量数据 的处理可以有效的提高计算效率 应用到军事侦查 医疗设备 智能机器人 智 能武器系统 高智能专家系统 高性能脑模型 工厂智能化中将明显提高我国高 科技产品在国际市场上的竞争力 可见 基于视觉注意的显著性计算模型研究对 自动目标检测 图像和视频压缩 机器人场景分类和医学图像处理等多个领域都 具有重要意义 近年来 基于视觉注意的显著性计算已逐步成为计算机学科研究 的热点课题之一 7 将传统的图像处理过程和人类的视觉注意相结合 提取和图像分析任务有关 的内容并优先处理 形成一套合理的资源分配方案来引导图像处理 使计算机具 有类似人类选择性和主动性的信息处理能力 是本领域的主要研究目的 3 基于视觉注意机制的显著区域检测是一个多学科交叉的研究领域 视觉生理 学和认知心理学等领域的学者 主要研究视觉选择注意机制的神经机理和认知模 国防科学技术大学研究生院工学硕士学位论文 第 2 页 型 而计算机视觉 模式识别 人工智能和信息处理等领域的学者 结合视觉生 理学和认知心理学对视觉选择注意的研究成果 主要研究如何建立视觉选择注意 机制的计算模型 4 本文研究大体属于第二类 通过构建空域和频域显著性检测 模型 为数据筛选 目标检测 图像压缩 场景分类和医学图像处理等领域提供 理论基础和模型参考 当前 对注意机制的关键技术以及应用的研究才刚刚处于 起步阶段 并没有形成一个较为系统的发展思路 本文在以下两个方面做出了探 索 首先 在空间域对视觉注意机制进行研究 找到了一种新的评测显著性的分 析方法 并在多种角度进行推广和扩充 为视觉注意机制建立新的模型 第二 最近兴起的傅里叶频谱域显著性检测方法在实时性等方面取得了较好的效果 本 文通过分析图像频谱与显著区域的关系 试图找到其中的统计性规律以快速高效 的检测到显著区域 1 2 国内外研究现状国内外研究现状 基于视觉注意的显著性检测模型是一个多学科交叉的基础理论研究领域 涵 盖了计算机视觉 图像处理 模式识别 人工智能 心理学 神经生物学等多个 学科 按照处理方式的不同 显著性检测算法可以大致分为两类 自底向上 bottom up 的视觉显著性模型和自顶向下 top down 的视觉显著性模型 自底向上 型的视觉注意由数据驱动 独立于具体任务 而自顶向下型的视觉注意受意识经 验支配 依赖于具体任务 5 本文主要研究不依赖高层信息的 通过计算底层特 征得到视觉显著性检测方法 因而属于自底向上一类 基于视觉注意的显著性模 型大致分为空间域模型 频谱域模型和目标物体模型三种 下面分别针对这三种 不同的计算模型予以详细介绍 1 2 1 空间域模型 基于空间的模型中 最具影响力的是 itti 和 koch 等提出的视觉注意模型 2 8 9 itti 模型在对人类视觉系统分析的基础之上 模拟人类视觉系统的注意体 系 该模型的基础是treisman 14 的特征融合理论和koch 15 的神经生物学框架 在 itti 模型中 首先抽取亮度 颜色 方向三个早期视觉特征 得到不同特征的高斯 金字塔图像 然后通过跨尺度相减把这些多尺度多特征图像合并成亮度 颜色和 方向三个特征图并采用一个线性机制将它们合成一个显著图 通过生物学中的胜 者为王的机制获得显著图的最显著的空间位置 最终利用抑制机制实现注意焦点 的转移 itti 模型的缺点是对动态空间的处理效果较差 itti 模型的思想成为其他 视觉显著性模型的基础和灵感来源 张鹏 王润生 10 11 提出基于视点转移和视区 追踪的显著性检测算法 检测速度提高了九十多倍 walther 12 13 扩展了 itti 模 国防科学技术大学研究生院工学硕士学位论文 第 3 页 型 通过分层反馈连接将itti模型中显著区域的固定大小圆而扩展可随显著区域的 形状改变的模型 可以更好的指导目标识别 ma和zhang等人 16 提出了基于颜色 邻域对比性的视觉显著性模型 该模型定义了视觉感知单元 提出了基于 luv颜 色空间计算感知单元的邻域对比度 然后通过模糊区域增长的方法提取显著区 域 近年来一类基于信息论的视觉显著性模型取得了较好的显著区域提取效果 信息论认为人类视觉系统的功能是观察周围自然信号的统计特性 其中以 bruce 和tsotsos 17 的信息最大化 information maximization 模型为代表 此信息论模型简 称 aim 其在人眼注视点实验中性能超越 itti 模型 gao 18 等人提出了基于中心 周边判别理论的视觉显著性模型 简称 dics 实验效果同样优于 itti 模型 信息 论模型的检测效果普遍较好但是因为模型复杂 运算速度远低于itti模型 另一类 空间显著性模型是基于区域分割的视觉显著性模型 此类方法的主要思想是利用 图像分割算法将图像按照颜色 亮度 纹理等特征的同质性划分成不同的区域 然后将这些区域看作是显著对象潜在的候选区域 对这些区域进行邻域或全局的 对比度分析得到显著区域 代表模型是 m aziz 19 提出的分析不同视觉显著性在不 同图像区域的计算方法和 h liu 20 提出的基于图像分割的区域竞争方法 基于区 域分割的视觉显著性模型的特点是可以利用已有的较成熟的区域分割算法进行计 算 缺点是此类模型过渡依赖区域分割算法 而图像本身是存在一些非同质性 很难找到一个合适的区域分割适合所有图像 其他的基于空间的显著性模型还有 harel 等人 21 提出的将马尔可夫链引入到区域显著性的检测中 把定义在特征向 量上的马尔可夫链的平稳分布作为图像的显著度度量 邵静等人提出了基于协同 感知理论的视觉显著性模型 22 此模型将与人认知过程类似的协同感知理论用于 研究基于任务的显著性模型 总体来说 基于空间的视觉显著性模型的优点是图 像底层特征容易提取 图像物理特征比较明显 缺点是对噪声比较敏感 鲁棒性 较差 对图像的适用度不够理想 1 2 2 频谱域模型 基于频谱域的显著性模型是近年来逐渐兴起的显著区域检测模型 其主要思 想是首先把图像从空间域变换为频谱域 然后通过分析频谱域找到其与显著性特 征的关系 代表方法有 hou 和 zhang 23 提出的谱残余方法 spectral residual 谱残 余方法根据信息论的观点 认为图像包含的信息可以分为显著性信息和冗余信息 两部分 认为在 log 幅度谱上做运算 利用平均滤波器与幅度谱进行卷积得到冗 余数据 进而可以得到显著性信息 谱残余方法的显著优点是速度很快 基于谱 残余方法的启发 guo 等人 24 提出了四元相位谱方法 认为图像的显著性信息隐 藏在图像傅里叶频谱的相位谱中 因而通过对图像的多特征分量进行相位谱提取 国防科学技术大学研究生院工学硕士学位论文 第 4 页 可以得到显著区域 相位谱方法速度更快 但是其缺点是无法找到合适的心理物 理学解释 hu 等人 25 提出了特征值极坐标变换方法 此方法将图像从空间域变 换为 0 2 的线性子空间坐标内 并对子空间内呈现线性的特征值进行分析并抽 取 分析该子空间内分布的线性部分 进而找到显著性区域 频谱域方法的特点 是运算速度很快 同时对某些特定图像特别是那些符合信息论统计规律的图像的 显著性检测效果较好 其缺点是显著性模型检测精度不高 无法提取显著区域的 边缘和形状 只能提取大致区域 而且往往会忽略掉某些显著性细节 1 2 3 基于目标和物体的显著性模型 第三类显著性检测算法是基于目标和物体的显著性模型 一些学者认为 视 觉显著性检测是基于物体的注意 关键思想是利用格式塔规则定义 感知物 体 grossberg 和 raizada 26 27 提出了一种基于生物学的神经元和神经网络的显 著性注意模型 利用大脑皮层中的感知机制提取物体的大致边缘 sun和fisher 24 提出了另一种基于物体的视觉显著性模型 此模型结合空间显著性模型提出了 分组 和 视觉物体 的概念 把 视觉物体 作为显著性和注意的概念进行 追踪 tian 28 提出使用感知颜色线索来进行基于物体的分割 并根据抑制返回机 制来生成基于物体的显著图 zhong 29 提出了边缘区域的概念 结合 itti 的空间视 觉注意模型进行显著性检测 基于空间和基于物体的显著性哪个更合理可信 其 主要争论是视觉感知是局部的还是全局的 1 3 论文主要内容与组织结构论文主要内容与组织结构 1 3 1 论文的主要内容 针对显著区域检测技术面临的挑战 本文在国内外视觉显著性相关领域的研 究基础之上 通过研究图像空频域特性 分析传统空频域方法的优缺点 结合人 类视觉的多种处理机制展开研究 提出了结构相似性检测方法和频谱调谐检测方 法以及相应的改进应用 主要研究内容包括以下四个方面 1 视觉注意的处理机制概述 人类视觉利用选择性注意机制处理大量视觉信息并及时做出各种反应 本文 介绍了人类视觉的注意的处理机制 在神经生物学和心理学两方面进行探讨 其 中又把视觉注意的神经生物学机制分为大脑的神经处理机制和koch神经生物学框 架两方面进行讨论 通过研究脑的神经处理机制和koch框架 提出视觉注意的生 物学依据 进而研究相关的心理学模型 通过概述特征融合等心理学模型分析了 视觉注意的处理过程 最后阐述了人类视觉注意机制的典型模型 itti 模型 通 国防科学技术大学研究生院工学硕士学位论文 第 5 页 过分析 itti 模型的建模过程 探讨了其主要优缺点 2 基于结构相似度的显著性检测方法研究 传统的空域模型对显著区域提取效果不太理想 检测结果存在一定的马赛克 现象 显著结果的边缘特性不理想 针对这些问题 本文通过研究基于人类高层 视觉的结构相似性理论 ssim 和相应的模型改进 把其引入到显著性评价中 提 出了基于局部结构相似度的显著区域检测方法 针对 ssim 方法只能评价两幅图 像的问题 提出了自相似算子 通过局部区域的模板匹配计算像素的自相似性 进而评价显著性 同时通过融合视觉注意机制中的特征融合理论 对局部结构相 似性方法进行多特征融合 实验结果表明本文方法可以有效提取自然图像的显著 区域 显著图的对比度比较高 另一方面 对提出的局部结构相似度方法进行扩 展 提出了全局结构相似度方法 引入空间距离权值 利用全局信息和基于自相 似的 ssim 评价显著性 对多种空间距离权值进行分析和优化 实验结果表明基 于全局 ssim 的显著区域检测方法可以更全面的提取图像的显著区域 3 基于频谱分析的显著性检测方法研究 目前常见的频谱域显著性模型存在检测结果不稳定 生物学依据不明显的不 足 针对这些问题 本文通过分析图像显著性与频谱的关系 在相位谱和幅度谱 两方面进行讨论 提出了基于保留相位谱和调谐幅度谱的显著区域检测方法 同 时通过研究人类视觉的侧抑制机制 探讨了频谱调谐方法的生物学依据 然后分 类提出了多种频谱调谐方式 最后通过对幅度谱的分析提出了最优方案 本文针 对频谱域方法进行了大量实验 结果表明基于相位谱保留和幅度谱调谐的显著区 域检测方法适用性比较强 可以检测自然图像和心理物理学模板等多种图像 同 时满足实时性的要求 4 基于显著性的遥感图像团块目标区域检测方法改进 针对遥感图像团块目标的特点 本文分别对空域 ssim 模型和频域调谐模型 进行改进 提出了基于显著图计算和目标区域提取的检测方法 实验表明 ssim 模型可以检测出遥感图像的较大团块目标区域 而频谱方法可以有效检测出多种 背景条件下的团块小目标区域 1 3 2 论文的章节安排 论文一共分为六章 各章安排如下 第一章介绍了基于视觉注意的显著性检测的研究背景 总结了国内外相关领 域的研究现状 第二章分析了视觉注意的处理机制和研究模型 在神经生物学和心理学两方 面讨论了视觉注意机制 详细介绍了著名的 itti 模型 国防科学技术大学研究生院工学硕士学位论文 第 6 页 第三章在itti模型的基础上 提出利用结构相似性评价显著性 首先介绍了结 构相似性的相关理论 提出了两种基于结构相似性显著性度量模型 并对这两种 模型进行了优化和扩展 实验表明这两种方法都能较好的提取图像的显著区域 第四章提出了一种基于相位谱和幅度谱调谐的显著区域检测方法 首先分析 了图像频谱和显著性的关系 提出了一种保留相位谱和调谐幅度谱的显著性模 型 然后找到了这种模型的生物学依据 并通过实验验证了方法的有效性 第五章提出利用三 四章提出方法检测遥感图像的团块目标 做出相应改 进 取得了较好的效果 第六章对全文进行了总结 并提出了未来工作的方向 论文各章关系如图 1 1 所示 图 1 1 论文各章关系结构图 绪 论 第 一 章 视觉注意的 处理机制和 模型研究 第二章 基于结构相似 度的显著性方 法 空域方法 第三章 基于相位谱和 调谐幅度谱的 显著性方法 频域方法 第四章 遥感图像团 块目标区域 检测 第五章 总结与展望 第六章 国防科学技术大学研究生院工学硕士学位论文 第 7 页 第二章 视觉注意的处理机制 视觉注意机制是人类视觉的一项很重要的心理调节机制 人类视觉正是利用 这种选择性注意机制处理大量视觉信息并及时做出各种反应 而当前的这些机器 视觉研究特别是视觉显著性研究都是从人类视觉注意机制的研究发展而来的 视 觉注意机制在意识和心理活动中表现为对特定对象的指向和集中 认知心理学者 的研究表明 人类的心理资源是有限的 使得人在处理视觉信息时集中的资源也 是有限的 另一方面 人类视觉同时接收的信息却是海量的 故而视觉注意机制 极其必要 人类视觉利用注意机制快速高效的筛选分辨出显著性的 重要的区域 进行集中处理 视觉系统是人和高等动物最重要的感觉系统 视觉信息占全部感 觉信息的 80 以上 因此视觉注意这一心理现象在整个注意和视觉显著性的研究 中具有重要地位 5 本章对视觉注意机制的神经生物学和心理学基础分别进行讨论 进而提出经 典的视觉注意模型 为后文频谱域和空间域方法提供理论基础 2 1 视觉注意机制视觉注意机制的神经生物学和心理学研究的神经生物学和心理学研究 人类视觉系统在观察视野时 通过视觉注意机制把感兴趣的区域移动到高分 辨率的视网膜中心 实现对显著区域的注意 下边分别对视觉注意的神经学和心 理学两方面的处理机制进行探讨 2 1 1 视觉注意的神经生物学机制 2 1 1 1 大脑的神经处理机制大脑的神经处理机制 神经生物学研究发现 大脑皮层中有初级 中级和高级功能区多个层次 各 个功能区层次间存在联络关系 这些各级功能区 功能区之间的联系和记忆有关 的脑机构是视觉信息处理的神经基础 猕猴 人类等灵长类动物的视觉信息处理涉及到多个大脑皮层区及其下边的 神经中枢 这些结构按层次排列 在各层次之间存在着 串并加工 通路 从视 网膜上获得最低层次的感觉信息 经过中级 高级皮层区分析 最终形成空间视 觉表象 中间要经过若干层次 伴随有信息的串并加工 具体的加工层次及过程 如图 2 1 所示 由图 2 1 可见 视觉信息最初由视网膜传送到 p 细胞和 m 细胞 然后经过初 级和中级的皮层分析 使得视觉细胞呈现出选择性的发放模式 在较高层次上 视觉信号汇聚到皮层的颞下回区和后顶叶区 这两个区表征不同的视觉任务 颞 国防科学技术大学研究生院工学硕士学位论文 第 8 页 下回区是生成 客体表象 的主要区域 顶叶后部则是生成 关系表象 的主要 区域 下边简单介绍各个层次的神经处理机制 图 2 1 视觉加工的层次及过程 1 低层次的神经处理机制 视觉信息最初进入眼睛时 通过可变大小的瞳孔和自由调焦的晶状体 最终 聚焦在视网膜上 视网膜最外层的细胞的功能是光感受器 最里层有神经节细 胞 神经节细胞的功能是将视觉信息最终传递到大脑皮层中 这样 射入眼睛的 光线可以最终通过瞳孔 晶状体 经过视网膜的传递作用进入大脑皮层 而光线的强弱色彩等信息 是通过神经节细胞的发放作用输出给大脑皮层 的 神经节细胞有两种 较大的是 m 细胞 小的是 p 细胞 神经节细胞通过轴突 将光线转换成电信号 然后传送到丘脑的侧膝体中 再从侧膝体传到大脑皮层 中 p 细胞主要包含颜色 纹理 形状 视差等信息 m 细胞则主要携带与运动 目标有关的信息 29 2 初级的皮层视觉处理机制 大脑皮层中分为很多的层 而且很多层还存在一些亚层 liveingstone 和 hubel 30 使用电生理结合细胞色素氧化酶染色技术对灵长类动物的大脑皮层 v1 区 和 v2 区功能和机制进行了深入研究 提出了一种神经机制模型 30 认为形状 颜色 运动和深度等视觉信息在 v1 v2 区即初级视觉皮层区进行串并行加工 正是在初级视觉大脑皮层的 v1 v2 区 通过这些串行的和并行的加工机 国防科学技术大学研究生院工学硕士学位论文 第 9 页 制 形状 颜色 运动和深度等视觉信息开始分离 而在 v2 区以上的高级视觉 皮层 分离倾向更加明显 3 中高级视觉皮层的神经处理机制 liveingstone 30 david吉林大学 博士学位论文 2010 6 v navalpakkam l itti modeling the influence of task on attention j vision research 2005 45 2 205 231 7 l itti visual salience j scholarpedia 2007 2 9 3327 8 l itti c koch a saliency based search mechanism for overt and covert shifts of visual attention j vision research 2000 40 10 12 1489 1506 9 l itti c koch computational modeling of visual attention j nature reviews neuroscience 2001 2 3 194 203 10 张鹏 王润生 基于视点转移和视区追踪的图像显著区域检测 j 软件学 报 2004 15 6 891 898 11 张鹏 王润生 由底向上视觉注意中的层次性数据竞争 j 计算机辅助设计与图 形学报 2005 17 8 1667 1672 12 d walther c koch modeling attention to salient proto objects j neural networks 2006 19 9 1394 1407 13 d walther interactions of visual attention and object recognition computational modeling algorithms and psychophysics d california california institute of technology 2006 14 treisman a m and gelade g 1980 a feature integration theory of attention j cognitive psychology 12 l 97 13 15 koch c and ulman s 1985 shifts in selection in visual attention toward the underlying neural circuitry j human neurobiology 4 4 219 227 16 ma y f zhang h j 2003 contrasr based image attention analysis by using fuzzy growing c proceedings of the eleventh acm international conference on multimedia berkeley acm press 374 381 国防科学技术大学研究生院工学硕士学位论文 第 66 页 17 n d bruce j k tsotsos saliency based on information maximization c in proc nips 2005 18 d gao v mahadevan n vasconcelos the discriminant center surround hypothesis for bottom up saliency c in proc nips 2007 19 aziz m z mertsehing b 2008 fast and robust generation of feature maps for region based visual attention j ieee trans on image processing 17 5 633 644 20 liu t sun j zhang n tang x shum h 2007 learning to detect a salient object c proceedings of ieee conference on computer vision and pattern recognition l 8 21 j harel c koch p perona graph based visual saliency j advances in neural information processing systems 19 2007 pp 545 552 22 邵静 高隽 基于协同感知的视觉选择注意计算模型 j 中国图象图形学报 2008 13 1 129 136 23 hou x and zhang l saliency detection a spectral residual approach c proceedings of ieee conference on computer vision and pattern recognition 2007 24 c l guo q ma l m zhang spatio temporal saliency detection using phases spectrum of quaternion fourier transform c proceedings of ieee conference on computer vision and pattern recognition 2008 25 hu y rajan d and chia l t 2005 robust subspace analysis for detecting visual attention regions in images c proceedings of the13th annual acm international conference on multimedia singapore 716 724 26 s grossberg r raizada contrast sensitive perceptual grouping and object based at the laminar circuits of primary visual cortex j vision reserach 2000 40 1413 1432 27 r d raizada s grossberg context sensitive bindings by the laminar circuits of v1 and v2 a unified model of perceptual grouping attention and orientation contrast j visual cognition 2001 8 431 466 28 tianfu wu jun gao qin zhao a computational model of object based selective visual attention mechanism in visual information acquisition c proceedings of 2004 international conference on information acquistion 2004 405 409 29 schiller p h logothetis n k the color opponent and broadband channels of the primate visual system j trends neurosci 1990 13 392 398 30 livingstone m s hubel d h psychophysical evidence for separate channels for the perception of form color moveme