基于视觉显著性的图像分割方法

北京理工大学本科生毕业设计（论文）毕业设计（论文）题目基于视觉显著性的图像分割方法学院光电学院专业光电信息工程班级04120901姓名娄树旗指导教师陈小梅北京理工大学本科生毕业设计（论文）II毕业设计（论文）任务书题目类别毕业设计题目性质理论研究毕业设计（论文）题目基于视觉显著性的图像分割方法学院光电学院专业光电信息工程班级04120901姓名娄树旗指导教师陈小梅北京理工大学本科生毕业设计（论文）III题目内容从上世纪末ITTI视觉模型产生以来，关于图像视觉显著性的研究得到了快速发展。众多研究者建立了多种显著性模型，广泛应用于图像分割、目标识别、图像检索等计算机视觉的多个领域。本课题旨在研究利用视觉显著性模型进行医学三维图像分割，从而协助医生进行病变分析。任务要求1、在大量文献调研的基础上，学习掌握视觉显著性理论。2、了解MRI的工作机理和影像特点；3、编程实现基于视觉显著性理论的脑部MRI影像的病变区域分割；4、翻译相关外文文献5000字左右；5、撰写本科毕业设计。指导教师签字年月日教学单位负责人签字年月日责任教授签字年月日北京理工大学本科生毕业设计（论文）IV毕业设计（论文）评语表（一）指导教师对毕业设计（论文）的评语娄树旗同学在查阅大量文献的基础上，就磁共振医学图像中的病变区域提取，开展了基于视觉显著性的图像分割研究，通过改进ITTI模型确定了不同的QSM和SWI影像中的病变区域，并将此结果与OTSU分割结果综合决策，实现了单一切片上的病变区域分割。在该结果基础上，引入了连通域检测，从而成功实现了三维影像的图像分割。通过实验验证，具有较好的分割效果。该学生按期圆满完成了规定的任务，工作难度大，工作努力。所撰写的论文综述完整，论述充分，结论合理，符合科技论文要求。该学生较好地掌握本门学科的基础理论、专门知识和基本技能；具有从事科学研究工作的初步能力。指导教师（签字）年月日评阅人对毕业设计（论文）的评语娄树旗同学开展的精确的图像分割研究在医学领域具有中重要的应用前景。论文在ITTI视觉显著性模型之上，结合OTSU阈值分割方法可以较好实现MRI图像中的显著性区域分割，能够比较精确地分割病变区域，得到其位置和轮廓信息。论文结构合理，层次清晰，表述流畅，写作符合相关规范要求。评阅人认为论文已经达到本科毕业论文的要求，同意论文进行答辩。评阅人（签字）年月日北京理工大学本科生毕业设计（论文）V毕业设计（论文）评语表（二）答辩委员会（小组）成员姓名职称主要分工签字许廷发教授组长蓝天教授成员高昆副教授成员陈小梅副教授成员唐义副教授成员答辩中提出的主要问题及回答的简要情况1展示的序列图中间有一幅图没有标完答没有标记的那一部分其实不是病变组织，而是脑干。2病变组织的体积如何提取是相对体积还是绝对体积真实的体积如何提取答通过统计病变组织的像素数提取。是相对体积，因为有一小部分病变组织确实被忽略了，所以和真实体积相比会有一定的误差。病变组织的真实体积其实是医生根据经验得到的，通过技术手段获得的目前还没有。3什么是视觉显著性答视觉显著性就是根据人眼的视觉注意机制对图像中的显著物体进行各个特征的提取，那本模型的视觉显著性提取的特征就是方向，亮度以及纹理，因为纹理特征处理效果不理想，所以最后舍弃了。答辩委员会（小组）代表（签字）年月日北京理工大学本科生毕业设计（论文）VI答辩委员会（小组）的评语娄树旗同学按期圆满完成任务书规定的任务；熟练地综合运用所学理论和专业知识；立论正确，设计方法科学合理，结论严谨；具有较强的独立工作能力和灵活运用学科知识的综合应用能力。论文条理清晰，论述充分，符合写作规范。答辩陈述清楚，回答问题正确。答辩委员会一致同意，娄树旗同学通过本科毕业设计答辩。答辩委员会（小组）代表（签字）2013年6月14日答辩委员会（小组）给定的成绩优答辩委员会（小组）主任（签字）2013年6月14日毕业设计（论文）开始日期2013年3月11日截止日期2013年6月13日毕业设计（论文）答辩日期2013年6月14日北京理工大学本科生毕业设计（论文）I摘要在医学领域，精确的图像分割技术对医生对病人病情的诊断具有重大的现实意义，视觉显著性模型的建立就是为了克服普通分割方法不能满足医疗诊断要求这样的难题。本文的视觉显著性模型建立在改进ITTI视觉显著性模型之上，通过保留亮度和方向通道，忽略了颜色通道，并结合OTSU阈值分割从而很好地将MRI图像中的显著性区域进行分割。论文在此基础上，对各切片的结果进行基于26邻域的连通域标识的形态学操作从而对分割结果中病变区进行唯一性检测。实验结果表明，该视觉显著性模型对不同成像方式的MRI，能够比较精确地分割病变区域，得到其位置和轮廓信息。关键词视觉显著性模型；ITTI模型；OTSU阈值分割；连通域唯一性检测北京理工大学本科生毕业设计（论文）IIABSTRACTINTHEMEDICALFIELD,PRECISEIMAGESEGMENTATIONTECHNIQUESFORDOCTORSDIAGNOSETHECONDITIONOFTHEPATIENTISOFGREATPRACTICALSIGNIFICANCE,SALIENCYMODELISBUILTTOOVERCOMETHEPROBLEMTHATTHECOMMONSEGMENTATIONMETHODSCANTMEETTHEREQUIREMENTSOFMEDICALDIAGNOSTICTHISARTICLESALIENCYMODELISBUILTBASEDONIMPROVEDITTISALIENCYMODEL,WHICHCANGIVEAGOODSEGMENTATIONRESULTSFORMRIIMAGESTHROUGHRETAININGTHELUMINANCEANDDIRECTIONCHANNEL,IGNORINGTHECOLORCHANNEL,ANDCOMBININGWITHOTSUTHRESHOLDMETHODSBASEDONTHISSTUDY,MORPHOLOGICALOPERATIONSAREIMPLEMENTEDFORTHERESULTSOFEACHSLICE,THEREBY,UNIQUENESSDETECTIONBASEDON26CONNECTEDDOMAINISIMPLEMENTEDFORTHELESIONAREAOFTHERESULTSOFTHESEGMENTATIONEXPERIMENTALRESULTSSHOWTHATTHEVISUALMODELCANDIVIDETHELESIONAREAACCURATELY,WHOSELOCATIONANDCONTOURINFORMATIONCANALSOBEOBTAINED,FORMRIWITHDIFFERENTIMAGINGMODALITIESKEYWORDSSALIENCYMODELITTIMODELOTSUTHRESHOLDINGUNIQUENESSDETECTIONBASEDONCONNECTEDDOMAIN北京理工大学本科生毕业设计（论文）III目录毕业设计（论文）任务书II摘要IABSTRACTII第1章绪论111研究背景1111MRI医学图像2112图像分割312国内外研究现状5121KOCH神经生物学框架下的视觉显著性模型5122特殊理论的视觉显著性模型1213研究意义1414论文章节安排16第2章视觉显著性基础知识1721ITTI模型数学理论1722阈值分割19221基本全局阈值处理19222OTSU全局阈值处理2023纹理分割21231基于灰度共生矩阵的纹理分割方法22232基于小波变换的图像纹理分割方法23第3章MRI医学图像分割2631MRI医学图像2632面向MRI的视觉显著性模型26321改进后的ITTI模型28322OTSU阈值分割29323病变组织亮暗判断32324连通域唯一性检测32第4章仿真结果及分析34北京理工大学本科生毕业设计（论文）IV41QSM系列图像处理结果3442SWI系列图像处理结果3943本章小结41第5章总结与展望42致谢43参考文献44北京理工大学本科生毕业设计（论文）1第1章绪论11研究背景医学图像主要包括CT、正电子放射层析成像技术PET、单光子辐射断层摄像SPECT、磁共振成像技术MRI、超声ULTRASOUND及其它医学影像设备所获得的图像。在医学领域中，医学图像已成为现代医学诊断和治疗最重要的技术手段之一，可以让医生更加全面地认识人体解剖结构及功能，已经广泛应用于医疗诊断、治疗、术前检查和术后监测等各个环节中。随着医学图像的种类和数量的不断增加，计算机自动分析技术已成为医学图像中最重要的研究内容，而医学图像分割技术正是计算机自动分析技术的一个分支。医学图像分割类似于人眼对客观世界中不同对象进行分类的过程，它从图像中把相关的结构分离出来，是图像分析与识别首要解决的问题，也是制约医学图像处理中其它相关技术发展和应用的瓶颈。所以，医学图像分割是一种重要的图像处理技术，是从低层次图像处理到高层次图像理解的桥梁。因此，医学图像分割得到了广泛的重视和研究。医学图像分割的重要意义在临床上主要表现在以下四个方面1医学图像分割是图像后继处理，尤其是图像分析和理解的必备前提条件；2可用于临床医学应用系统中。例如医学图像的3D重建、解剖参考、病理研究等，这些系统丰富了医生的诊断和治疗手段；3可对医学图像进行定量分析。例如测量人体病变组织的体积、血管的半径等。通过在治疗前后对这些参数进行定量测量和分析，医生可以进行量化诊断，制定或修改对病人的治疗方案以及对药物疗效的评估。4医学图像分割是人类视觉研究的一个重要方面，通过研究分割方法可以加深对视觉本质的理解，对相关学科的发展，如计算机视觉、图形学等都有很大的促进作用。在医学领域，运动分析、结构分析、图像引导手术、三维可视化、肿瘤放射治疗、治疗评估等研究都建立于准确的图像分割技术之上，都是以图像分割为基础的。而图像分割是图像分析的关键技术，其在医学图像处理中发挥着越北京理工大学本科生毕业设计（论文）2来越大的作用。图像分割是提取图像中特殊组织的定量信息的不可或缺的手段，分割后的图像被广泛应用于各种场合，如组织容积的定量分析、诊断，病变组织的面积测量等。111MRI医学图像医学上的核磁共振成像也称磁共振成像，是利用核磁共振原理，通过外加梯度磁场检测所发射出的电磁波，据此绘制物体内部的结果图像。其具体的工作原理可以大致描述如下利用磁场和射频脉冲使人体组织内进动的氢核（即H）发生章动产生射频信号，经过计算机处理而成像。原子核在进动中，吸收与原子核进动频率相同的射频脉冲，即外加交变磁场的频率等于拉莫频率，原子核就发生共振吸收，去掉射频脉冲后，原子核磁矩又把所吸收的能量中的一部分以电磁波的形式发射出来，称为共振发射。共振吸收和共振发射的过程叫做“核磁共振”。核磁共振成像的“核”指的是氢原子核，因为人体约70是由水组成的，MRI即依赖水中氢原子。当把物体放置在磁场中，用适当的电磁波照射它使之共振，然后分析它释放的电磁波，就可以得知构成这一物体的原子核的位置和种类，据此可以绘制出物体内部的精确立体图像。MRI是多参数成像，其成像参数主要包括T1、T2和质子密度等。在MRI检查中，可分别获取同一部位或层面的T1WI、T2WI、PDWI等多种图像，从而有利于显示正常组织与病变组织。而包括CT在内的X线成像，只有密度一个参数，仅能获得密度对比一种图像。在MRI中，T1加权图像T1WI上的影像对比主要反映的是组织间T1的差别；T2加权图像T2WI上的影像对比主要反映的是组织间T2的差别；PDWI上的影像对比主要反映的是组织间质子密度的差别。这种多参数成像有利于组织性质的确定。例如，在CT图像中，如果两种组织之间的X线吸收率无差别，在图像上就没有密度的差别，我们就无法辨认两者。在磁共振图像中，即使两种组织的T1没有差别，我们还可以通过T2的差别来区分两者。这就显示出多种成像参数比一种成像参数的优越性。磁共振成像MRI包含不同的成像方式，其中磁敏感加权成像北京理工大学本科生毕业设计（论文）3SUSCEPTIBILITYWEIGHTEDIMAGING，SWI和磁敏感定量成像QUANTITATIVESUSCEPTIBILITYMAPPING，QSM是近年来新型发展起来的成像技术。1SWI磁敏感加权成像SWI首先产生强度图像和相位图像，相位图像经过适当频率滤波处理后产生相位蒙片，然后再与强度图像整合，经最小密度重建得到SWI图像。在临床应用中，SWI在静脉显影领域大有作为，而静脉又常参与肿瘤等病灶的发展过程，所以其在肿瘤检测方面具有很大的应用空间。2QSM磁敏感成像是随着高场发展起来的一门技术，它利用组织结构或功能的差异所导致的磁敏感变化得到图像反差，提供了一种新的诊断和研究手段。但较早采用的成像技术测量的是磁敏感变化所导致的空间综合效应，缺乏对信号源的定量定位。磁敏感定量成像QSM，通过攻克技术难关，实现了对磁敏感扰动源的定量定位，因而更能准确地提供信号与病变或功能间相关的直接性和准确性。112图像分割在图像分析处理中，人们往往只对图像中的某些部分感兴趣，这些部分通常称为目标，一般对应于图像中具有特定性质的区域。图像分割就是将这些具有特定性质的区域从复杂的场景中提取出来。图像分割的数学表示如下令R表示一幅图像占据的整个空间区域。我们可以将图像分割视为把R分为N个子区域1R，2R，NR的过程，满足A1NIIRRBIR是一个连通集，1,2,IN。CIJRR，对于所有I和J,JI。DIQRTRUE,1,2,IN。EFALSERRQJI,对于任何IR和JR的邻接区域。其中，KQR是定义在集合KR的点上的一个逻辑属性，并且表示空集，北京理工大学本科生毕业设计（论文）4符号和分别表示集合的并和交。若IR和JR的并形成一个连通集，则我们说这两个区域是邻接的。条件A指出，分割必须是完全的；也就是说，每个像素都必须在一个区域内。条件B要求一个区域中的点以某些预定义的方式来连接（即这些点必须是4连接或8连接的）。条件C指出，各个区域必须是不相交的。条件D涉及分割后的区域中的像素必须满足的属性例如，如果IR中的所有像素都有相同的灰度级，则TRUERQI。条件E指出，两个邻接区域IR和JR在属性Q的意义上必须是不同的1。目前传统的图像分割方法主要有两种1基于区域的图像分割根据事先定义的一组准则把一幅图像分割成相似的几个区域，区域内的像素值近似相等。主要包括阈值分割、区域生长、区域分裂与聚合、分水岭等。2基于边缘的图像分割假设区域的边界彼此完全相同，且与背景不同,从而允许基于灰度的局部不连续性进行边界检测，其方法和原理与人的视觉过程有些相似。人对场景中亮度或其他性质变化较快的部位比较敏感，一般当人观察场景时总先注意到其中不同物体的相交处，并得出每个物体各自的轮廓。主要应用各种边缘检测算子，比如ROBERTS、PREWITT、SOBEL等。基于区域和边缘的图像分割方法主要是依据灰度值的两个基本性质相似性和不连续性。相似性是指灰度值相等或者比较接近，这样的一簇数据可以组合成一个区域，换言之，同一区域内的灰度值具有相似性；不连续性是指在某处灰度值会发生跳变，从亮变暗或者从暗变亮，这些灰度突变的地方一般就是物体的边界，因此这些点就代表了物体的边缘信息。基于区域和边缘的图像分割是最为基础的分割方法。随着社会的发展和科技的进步，新型的图像分割方法相继出现，这些新型的图像分割方法又叫特殊理论模型分割。特殊理论模型主要包括模糊集理论、人工神经网络理论、小波理论、遗传算法理论等，这些图像分割理论是对传统分割技术的延伸和扩展。特殊模型理论是建立在新型算法基础上的，将新的理论运用到图像分割上来，如小波理论、神经网络理论等。以上提到的三种图像分割方法的处理效果有好有坏，但是多数不符合人眼的视觉习惯，提取出的显著区域要么过小，要么过大。欠分割（过小）会丢失北京理工大学本科生毕业设计（论文）5显著物体细节，而过分割（过大）会带入背景信息，所以准确分割出显著物体需要传统分割方法和特殊理论模型分割方法进行有效的结合才能实现。基于视觉显著性的图像分割方法是一种新型的图像分割方法，由于是利用人类视觉注意机制进行分割，所以得到的分割图像符合人眼的视觉特性（视觉注意机制是人类及其他灵长类动物一个重要的内在属性，能够帮助人类在大量视觉信息中迅速地找到显著的或感兴趣的物体，并忽略其他不重要的内容）。正是由于视觉注意机制这种类生物方法预期能够很好地得到人们所关注的区域，其结果符合人眼视觉习惯，所以对它的研究也日益增多。12国内外研究现状国内外对视觉显著性的研究还在热火朝天地展开，相关文章也层出不穷，处理效果也各有特点。目前对视觉显著性的研究工作大致可以分为两类，一类是建立在KOCH神经生物学框架下的视觉显著性模型，另外一类是特殊理论的视觉显著性模型。121KOCH神经生物学框架下的视觉显著性模型心理学研究工作表明，在视域中对于对象的检测、定位和识别可能是一个两阶段的人类视觉感知过程，第一个阶段被称为“预注意阶段”，第二个阶段被称为“注意阶段”。在第一个阶段，简单的早期特征在整个视域中被并行且快速的处理；在第二个阶段，“注意焦点”FOCUSOFATTENTION被导引到视域中的某些特定的位置。在KOCH的神经生物学模型中，分别用显著度图和选择性映射来描述上述两个阶段。1显著度图在各个特征通道中，不同视野中的各个位置的显著度表征了各个特征图对应单元的“能动性”，这种“能动性”越高，视野中对应位置的显著度就越高，反之则越低。KOCH指出，为了观察视野中每个位置的显著度，可以假设存在一幅“显著度图”SALIENCYMAP，这幅显著度图融合了每个独立的特征通道的信息，形成了一种全局的显著度。那么这幅图就给出了对于视觉环境的一种偏见，着重强调了视域中的感兴趣区域或显著区域，由于显著度图是早期视觉系北京理工大学本科生毕业设计（论文）6统的一部分，它更倾向于通过简单的视觉特征来描述显著对象的显著性，诸如颜色、运动、纹理和方向特征。那么一个位置的显著度主要取决于该位置在上述视觉特征上与周围区域的差异程度。显著度图的形成阶段可以用图11表示。输入图像早期视觉特征特征图特征图特征图特征图融合显著图图11KOCH神经生物学模型中的预注意阶段在视觉注意的第一阶段，人眼是通过在不同的特征通道快速且并行地抽取早期的视觉特征，并将这些特征予以融合来形成一幅潜在的视觉显著度图。这幅视觉显著度图描述了图像中的每个位置的视觉显著程度，对于图像中的感兴趣区域和显著区域具有一定的倾向性，这样便于后一阶段对目标的定位与识别。2选择性映射接下来，需要给出一种机制让那些“注意点”或“选择点”相关的属性可以被提交到后面的处理中。这里KOCH等人采用了WTA法则WINNERTAKEALL，赢家通吃来构建显著图各区域之间的竞争关系，并以此作为后面的视点转移过程的基础。对于一个多输入的网络，假设对于每个输入IX，都对应一个相应的输出IY，那么WTA网络法则要求0IYIFMAXIIJXX11北京理工大学本科生毕业设计（论文）7IIYFXIFMAXIIJXX12其中F是对于输入IX的响应函数。从上面两式可以看出只有最大的输入可以获得输入，其他的输入都被屏蔽了,这样就符合视觉注意机制中的单焦点性。为了防止注意焦点一直停留在显著度图中最为显著的位置，KOCH等人还设计了相应的抑制返回机制对于已经注意过的位置，将其显著度值设为最小，保证该位置在后续竞争中不会再次出现。对于视点转移过程的模拟，KOCH等人认为应遵从以下两点原则相似优先视觉注意机制总是倾向于选择内容属性上如颜色、方向等特征与当前注意焦点相似的显著区域作为下一个注意焦点。近邻优先视觉注意机制总是倾向于选择距离当前注意焦点近的显著区域作为下一个注意的焦点。KOCH等人的神经生物学框架给出了一套较为完整的视觉注意机制建模的整体思路和框架，他提出了视觉注意机制的两个阶段显著度图和选择性映射，同时提出了返回抑制机制以及模拟视点转移过程的相似优先和近邻优先等原则，为视觉注意机制的发展提供了理论基础3,4。1998年KOCH的学生ITTI成功地构建出了首个基于该框架的计算模型。该计算模型可以描述如下先把输入图像表示为9层的高斯金字塔，其中第0层是输入图像，1到8层分别是用55的高斯滤波器对输入图像进行滤波和采样形成的，大小为输入图像的8,2,121NN，然后把每一层图像分解为亮度、颜色和方向等一系列通道，同时，为了表示图像中不同大小的物体，特征提取可在不同的尺度上进行。对金字塔的每一层分别提取各种视觉特征亮度、红色、绿色、蓝色、黄色、方向，形成亮度金字塔I，色度金字塔R、G、B、Y和方向金字塔,O，其中，取值为80，分别代表9个不同的尺度。这样就把所有特征表示成为9个特征金字塔亮度1个，颜色4个分别是红色、绿色、蓝色、黄色，方向4个分别是4个不同的方向。综合所有特征的显著性，就得到对应于输入图像的显著图。整个计算模型的流程图如图12所示5。北京理工大学本科生毕业设计（论文）8图12ITTI等人的视觉显著性计算模型流程图ITTI模型可以定位出显著物体的位置，但是不能得到目标的轮廓，该方法生成的显著图只占了输入图像大小的1/256，即如果输入是幅640320像素大小的图像，则得到的显著图只是4020像素大小的区域，其结果十分模糊，不能满足精确分割的要求。另外ITTI模型中，注意焦点的转移是仅按照局部显著度由强到弱的顺序来进行的，没有考虑除颜色、方向和亮度外的其它特征，如目标纹理、目标位置、目标大小等因素的影响，显著区域的大小和目标有较大偏差，这与人类实际注意过程存在差异，存在漏检测问题。针对以上ITTI模型的不足，韦灵丽等人对其进行了适当的改进，既引入了目标纹理、大小等对注意焦点有影响的信息，又加大了对更多注意区域的检索。图13显示了改进的注意力模型9。北京理工大学本科生毕业设计（论文）9输入图像显著性测量显著区域生成显著区域多通道特征融合，任务外部命令参与注意焦点的选择和转移WTA机制图13韦灵丽等人的改进的注意力模型改进的模型主要包括三部分1多通道特征融合采用ITTI模型的局部显著性度量的方法得到显著图；2显著区域的生成将显著性的度量部分与注意焦点的选择与转移部分相结合，用K均值算法计算得到显著点的位置，并且通过合并显著点与候选区域得到显著区域，胜者为王机制得出注意焦点；3注意焦点的选择和转移根据视觉注意的影响条件得到新的注意焦点的定位。与ITTI模型相比，这种改进后的方法能更准确地找到有用的显著点，在检测上实现了焦点的较为全面搜索，避免了漏检测，使得注意区域更能接近实际的生物视觉系统。张巧荣等人的利用视觉显著性的图像分割方法也要依据KOCH神经生物学框架，是对ITTI模型的一种改进算法。该算法首先提取图像的底层视觉特征，从局部显著性、全局显著性和稀少性三个方面计算各个特征图像中各像素的视觉显著性，得到各个特征显著图。对各个特征显著图进行综合，生成最终的综合显著图。然后对综合显著图进行阈值分割，得到二值图像，将二值图像与原始图像叠加，将前景和背景分离，得到图像分割结果。其算法流程图如图14所示8。北京理工大学本科生毕业设计（论文）10输入图像特征2特征1特征N视觉显著性度量特征显著图1特征显著图2特征显著图N综合显著图阈值分割二值图像原始图像分割结果视觉显著性度量图像分割图14利用视觉显著性图像分割方法流程图这种方法只用到了ITTI模型中的亮度和颜色通道，而忽略了方向通道，原因是方向特征在自然图像中的作用并不明显，却增加了计算的复杂度。该算法对于包含显著前景目标的图像可以得到很好的分割效果，但对于一些背景比较复杂且前景目标不明确的图像，分割效果较差。谭菊等人在ITTI模型的基础上，采用灰度共生矩阵提取纹理特征，融入自顶至底的纹理粗糙度感知过程，提出了一种基于视觉纹理粗糙度感知的目标检测方法。图15是谭菊等人在ITTI模型的基础上提出的基于纹理特征的显著性感知模型，主要包括纹理、强度和方向三个特征计算模块和非线性多特征融合函数。北京理工大学本科生毕业设计（论文）11输入图像多通道多尺度线性滤波器组强度金字塔方向金字塔中心周边差强度映射图方向映射图特征映射图组合强度特征图方向特征图多特征图非线性组合纹理粗糙度感知纹理特征图兴趣图胜者为王注意目标禁止返回图15基于纹理感知的目标检测方法该模型首先提取图像的强度和方向等初级视觉特征，并通过中心环绕CENTERSURROUND算子计算各种特征在不同尺度下的视觉反差，得到各自特征的特征图，同时提取图像景物的纹理特征图，最后把不同特征图通过非线性函数进行融合形成显著图，从而得到反映视觉显著信息的注意焦点。其中的方向、强度多通道多尺度计算过程与ITTI模型一致11。张菁等人基于视觉注意机制的感兴趣区检测10，闵华清等人自然场景图北京理工大学本科生毕业设计（论文）12像中基于视觉显著性的文本区域检测13以及TIAN等人自然场景中检测显著目标的视觉显著性模型6都利用了KOCH神经生物学框架，张菁等人是在模型中加入了分水岭分割方法，而闵华清等人则是将图像从RGB空间转为LAB或HIS颜色空间，构造基于亮度和颜色的特征向量。122特殊理论的视觉显著性模型前面讲到了建立在KOCH神经生物学框架之上的一些视觉显著性模型，由于KOCH神经生物学框架是经典的视觉显著性模型的基础，因而将所有其他不依据该框架的模型叫做特殊理论的视觉显著性模型。何发智等人的一种随机视觉显著性检测算法就属于特殊理论视觉显著性模型。他们的算法中，首先使用随机查找方法快速检测出图像金字塔中每一层对应的粗糙的视觉显著性区域；其次，精化粗糙的视觉显著性区域，去除由于随机算法所引入的噪声；再次，合并图像金字塔中不同层的精化了的视觉显著性区域图；最后，适应性地更新每一像素的显著性值，得到一个精细的视觉显著性结果。由于算法不需要建立辅助的数据结构来加速视觉显著性区域的检测，并且还可以快速生成与输入图像尺寸大小一致的精细的视觉显著性区域结果，所以很容易在GPU上实现和并行执行7。图16是实验结果。图16视觉显著性区域结果比较与图像缩放结果比较A原图像；BITTI模型处理结果；CGOFERMAN模型处理结果；D随机显著性检测算法处理结果；E上图是利用B中的显著图处理的结果，下图是利用C中的显著图处理的结果；F上图是输入图像的统一尺度的结果，下图是利用D中的显著图处理的结果。楼甜甜的视觉显著性检测模型也属于特殊理论的视觉显著性模型，不需要北京理工大学本科生毕业设计（论文）13特征提取，而是根据自然场景图像的统计特性来计算显著性。统计特性用条件概率来描述PROBABILITYDISTRIBUTIONS,PDS，包括两个方面，一是是该条件概率不是针对特定的场景对象，而是从大量自然场景中得到；二是条件概率取决于自然场景中具体的上下文背景环境。图17展示了该模型计算自然场景显著性的过程12。自然场景数据中心周边图像块样本独立成分计算上下文调制的条件概率广义高斯分布拟合显著性结果图17计算自然场景显著性过程陈硕等人利用视觉显著性特征提出了一种快速场景配准方法，他们的视觉显著性模型有别于传统的模型，首先采用调幅傅里叶变换构造视觉显著性映射，然后通过对显著特征局部极值特性以及信息丰度的分析，实现显著点的粗定位、预选择和可信度排序，最后通过图像形态学操作，实现了显著场景区域的生长与合并14。图18显示了该视觉显著性模型的流程图。北京理工大学本科生毕业设计（论文）14图像数据集视觉显著图新的显著图显著区域中心位置信息显著场景区域位置信息调幅傅里叶变换自适应高斯滤波基于熵排序区域定位算法图18视觉显著性模型流程图上述几种方法主要处理静态特征，针对的是静态图像，很多时候视觉显著性模型还要运用在动态场景下，在动态场景中提取显著性区域，基本都是采用动态特征和静态特征相结合的方法。基于大脑两条处理路径的动态场景视觉注意力模型是通过将动态显著图和静态显著图相结合以刺激整合神经网络来提取显著区域的，该模型能动态地定位空间中的注意力焦点，它的处理过程类似于自然的注意力15。基于运动优先的视觉注意力模型分别提取空间和运动显著度，并采用运动优先原则将时空显著度进行动态混合形成视觉注意度16。13研究意义视觉注意机制建模是一个多学科交叉的研究领域，对于认知心理学、人工智能、计算机视觉等领域具有重要的研究意义。视觉注意的研究工作最早源于认知心理学的研究者们，他们试图从认知心理学的角度解释人类视觉注意机制是如何快速而准确地选择感兴趣区域，并高效地完成视觉搜索任务的。通过计北京理工大学本科生毕业设计（论文）15算机来模拟人类视觉注意机制最早就是由该领域的研究学者提出，他们试图通过这种模拟来分析视觉注意机制的工作机理。将视觉注意机制引入图像分析，赋予现有分析过程一定的选择能力，将资源优先分配给那些感兴趣的区域，这使它对于解决数据筛选的问题、降低计算量并提高计算机对信息处理的效率都具有极为重要的研究意义和应用价值3。其中表现较为突出的几个领域如下1图像压缩与编码其基本思想是在图像压缩时对显著对象区域进行无损或近无损压缩，而对其他区域进行有损压缩，从而既能够保持较好的图像质量，又可以获得较高的压缩比。2目标检测利用自底向上视觉显著度模型自身的特点，和它对于对比度、亮度和噪声等影响的鲁棒性解决某些目标检测中传统分割方法较难将目标与背景很好地分离的问题。3目标识别它的基本思想是依次识别显著对象中一组显著性逐渐下降的区域，并据此不断调整对整个目标的判断，从而避免了由目标中的非感兴趣区域信息引起识别效率下降的问题。4医学图像分析基于视觉显著性的图像分割方法因为利用人类的视觉注意机制，所以得到的显著区域符合人眼的视觉习惯，这种方法在医学领域具有广泛的应用。在医学领域中，图像分割常常用于病变区域提取、特定组织测量以及图像三维重建实现的研究。但是由于医学图像的特殊性使得传统的图像分割方法不能取得令人满意的分割效果，基于视觉显著性的图像分割为准确提取医学图像中的信息提供了极大的可能性。MR脑部图像具有一些特殊的性质，例如无纹理、组织类别较少、每种组织中像素的灰度值差别较小、不同组织间的对比度较大等。针对MR脑部图像的分割是医学图像分割中的热点。磁共振MRI脑部图像的分割主要包括两个方面的内容一是对正常脑组织的分割，就是要将MRI脑部图像分割为灰质、白质和脑脊液等组织部分；另一方面就是对包含有病灶的MRI脑部图像北京理工大学本科生毕业设计（论文）16的分割，即将感兴趣的病灶从其它组织中分割出来，这样就能够对病灶的形状、边界、截面面积以及体积等进行测量，并通过在治疗前后对这些指标的测量和分析，帮助医生制定和修改治疗方案。14论文章节安排本论文从分析传统视觉显著性着手，通过研究传统视觉显著性模型分模块的分割方法来进行MRI医学图像分割。由经典ITTI模型得到改进后的模型，在图像分割方法上对OTSU阈值分割和纹理分割进行了探讨，根据图像类别选择处理方法，对最后得到的显著图进行连通域的唯一性检测，所以整个图像处理过程共包括四个模块改进的ITTI模型模块、OTSU阈值分割模块、病变组织亮暗判断模块和连通域唯一性检测模块。具体章节安排如下第1章是绪论部分，主要讲述研究背景、现状及意义，详细阐述了各种视觉显著性模型及各模型的流程图，加深了对视觉显著性模型的认识和理解；第2章是视觉显著性模型基础理论知识的讲解，结合经典的视觉显著性模型对图像分割的基础理论知识进行了详细的解释，这些理论是构建视觉显著性模型的前提；第3章是论文的主体，通过结合传统视觉显著性模型中分模块的图像分割方法找寻最佳的搭配方案，建立本论文的视觉显著性模型。第4章展示了对两类医学图像（QSM系列和SWI系列）的处理效果并对其进行了深入分析，通过观察效果图可以大致了解本模型的正确性和算法的可执行性；第5章是总结与展望，总结了论文的所有工作，并对算法的不足之处进行了说明，在说明问题的同时展望了以后可能的研究方向和内容；最后是致谢以及参考文献和附录。北京理工大学本科生毕业设计（论文）17第2章视觉显著性基础知识所谓视觉显著性，是指利用人眼视觉特性捕获图像中的显著区域，这里提到的人眼视觉特性属于神经生物学范畴，目前国际上对神经生物学的研究还不是很完善，对大脑的工作机理了解的不是很深入，所以对人眼视觉特性的工作原理不能给出很好的解释，但是一些学者的说法却具有很好的借鉴意义。有些学者认为人眼视觉特性是综合了图像几乎所有的特征信息，所以当给出一幅图像，人们能够很快地找到显著区域。那么基于视觉显著性的图像分割方法也要致力于找到图像的各种特征信息，然后进行融合得到显著性区域。前面提到的各种视觉显著性模型中，最经典的是ITTI视觉显著性模型，其处理结果虽然不能描述显著物体的轮廓，但是可以标识显著物体的位置，所以具有很好的借鉴意义。建立在ITTI模型之上视觉显著性模型种类也有很多，张巧荣等人7在去掉ITTI模型中的方向通道的同时加入了阈值分割，谭菊等人10在去掉ITTI模型中的颜色通道的同时加入了纹理分割等，这些改进的视觉显著性模型在处理自然图像和医学图像时效果比传统的模型好很多。下面就根据这些经典的和改进后的视觉显著性模型介绍视觉显著性的基础知识。21ITTI模型数学理论绪论部分已经简要介绍过ITTI模型的工作原理，它是真正基于视觉显著性的图像分割模型，因为它从颜色、亮度、方向三个通道对一幅图像进行分析，最后将分析结果融合在一起形成显著图，这里针对ITTI模型中的一些重要的公式进行说明。在ITTI视觉注意模型中，对于早期特征主要选取颜色、亮度和方向三种。在显著度计算上，ITTI模型采用“中心环绕”算子在多尺度下对各个特征进行计算。该算子量化了中心区域相对于四周的差异。,ICSICIS21其中，C表示中心精细尺度，S表示周围粗糙尺度，I表示强度图。,RGCSRCGCGSRS22,BYCSBCYCYSBS23北京理工大学本科生毕业设计（论文）18其中，SCRG，表示红/绿绿/红对立颜色对，SCBY，表示蓝/黄黄/蓝对立颜色对。,OCSOCOS24其中，,SCO表示I中的方位信息，351,90,45,0是优先选择的方向。这个阶段，ITTI模型生成42幅特征显著度图，其中，亮度图6幅，颜色图12幅，方向图24幅。得到初始显著度图后需要进行相应的融合，组合不同特征图的一个难题在于它们是先验的，不可比较，有不同的动态范围和提取机理，而且，因为所有的42幅特征图都要组合，只在小部分图中强烈显现的显著物体可能会被噪声或者大量图中的非显著物体掩盖。为了将不同计算尺度和不同特征通道特征图可以统一地进行融合，ITTI在模型中提出一种归一化算子N，具体计算过程如下1对于每幅特征图，将图中的显著度值归一化到固定区间0M，这样做是为了消除因不同特征通道中显著度值分布的区间不同而产生的放大效应；2找到图中全局最大值M的位置，计算其他局部最大值的平均值M；3图中的每个位置均乘以放大系数2MM。先对每个特征通道内的不同尺度特征图进行归一化处理，以形成一幅该特征通道的综合显著度图，之后再将不同特征通道的显著度图进行归一化处理来获得综合视觉显著度图，具体计算如下4423,CCSCINICS254423,CCSCCNRGCSNBYCS26440,45,90,13523,CCSCONNOCS2713SNINCNO28其中，I代表强度，C代表色度，O代表方向，它们是通过跨尺度加“”获得的，S表示综合显著图。在综合显著度图形成之后，ITTI模型利用KOCH神经生物学框架中提及的WINNERTAKEALLWTA法则和抑制返回机制来模拟人眼视点转移的过程3,5。北京理工大学本科生毕业设计（论文）1922阈值分割阈值分割本身是一种很传统的图像分割方法，而张巧荣等人将阈值分割加入到了视觉显著性模型中，最后取得了较好的图像分割效果。由此可见，视觉显著性模型中包含阈值分割可能会使最终的图像分割效果更加令人满意。由于阈值处理直观、实现简单并且计算速度快，因此图像阈值处理在图像分割应用中处于核心地位。假设一幅图像,FXY，该图像有暗色背景上的较亮物体组成，以这样的组成方式，物体像素和背景像素所具有的灰度值组合成了两种支配模式。从背景中提取物体的一种明显方法是选择一个将这些模式分开的阈值T。然后，,FXYT的任何点,XY成为一个对象点；否则将该点称为背景点。换句话说，分割后的图像,GXY如下1,0,FXYTGXYFXYT29221基本全局阈值处理当物体和背景像素的灰度分布十分明显时，可以用适用于整个图像的单个（全局）阈值。其运算步骤如下1为全局阈值T选择一个初始估计值；2在式29中用T分割该图像。这将产生两组像素1G由灰度值大于T的所有像素组成，2G由所有小于等于T的像素组成；3对1G和2G的像素分别计算平均灰度值（均值）1M和2M。4计算一个新的阈值1212TMM5重复步骤2到步骤4，直到连续迭代中的T值间的差小于一个预定义的参数T为止。当物体和背景相关的直方图模式间存在一个相当清晰的波谷时，这个简单的算法工作得很好。在速度是一个重要因素的情形下，参数T用于控制迭代的次数。通常，T越大，则算法执行的迭代次数越少。所选的初始阈值必须北京理工大学本科生毕业设计（论文）20大于图像中的最小灰度级而小于最大灰度级。图像的平均灰度对于T来说是较好的选择2。222OTSU全局阈值处理该方法在类间方差最大的情况下是最佳的，就它的灰度值而言给出最好的类间分离的阈值就是最好的（最佳的）阈值。除了最佳性之外，OTSU方法有一个重要的特性，即它完全以在一幅图像的直方图上执行计算为基础，直方图是很容易得到的一维阵列。OTSU算法如下1计算输入图像的归一化直方图。使用IP，0,1,2,1IL表示该直方图的各个分量；2对于0,1,2,1KL，计算累计和1PK，其中1PK的计算式如下10KIIPKP2103对于0,1,2,1KL，计算累计均值MK，其中MK的计算式如下0KIIMKIP2114计算全局灰度均值GM，其中GM的计算式如下10LGIIMIP2125对于0,1,2,1KL，计算类间方差2BK，计算式如下221111GBMPKMKKPKPK2136得到OTSU阈值K，即使得2BK最大的K值。如果最大值不唯一，用相应检测到的各个最大值K的平均得到K；7在TK处进行阈值分割1。北京理工大学本科生毕业设计（论文）2123纹理分割纹理是人类视觉的一个重要组成部分，是图像的一种基本特性，是进行图像分析和理解的一个重要的信息源。一幅图像的纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的重要特征，包含了物体表面结构排列的重要信息以及与周围环境的联系。图像的纹理可以概括为以下四点1图像局部不规则而全局又呈现某种规律的物理现象；2由许多相互接近、相互编织的元素以一定的形式排列构成，并常伴有某种周期性；3图像的灰度统计信息、空间分布信息和结构信息的综合反映；4一种区域特性，在适当的区域内测量才有意义。研究纹理分析就是通过各种数学工具使得计算机能够模拟人类对纹理特征的理解过程，能够快速、准确地对纹理进行识别。韦灵丽、谭菊等人都将纹理分割方法加入到了其各自建立的视觉显著性模型中，并且都取得了较好的分割效果。目前已有的纹理特征提取方法大致分为4类统计法、结构法、频谱法和模型法。统计法是利用纹理在局部的随机性和整体上的统计规律性这一特点对纹理进行分析。它以数理统计理论为依据，构造出各种特征值，然后计算图像中各个特征值的概率分布，从而对图像的纹理特征进行分析。常用的统计分析方法是灰度共生矩阵法。结构法的思想是假定图像由较小的纹理基元按照一定的规则排列而成，然后利用句法分析方法确定存在于纹理基元之间的“重复性”结构关系。频谱法是在信号分析的基础上发展起来的纹理分析方法。该类方法利用多分辨率和多通道特性来对图像作频率和方向上的滤波变换，得到相应的纹理特征。这类方法的性能很大程度上取决于滤波算子对目标特征的提取效果。常用的变换方法有傅立叶变换、GABOR变换、小波变换等17。北京理工大学本科生毕业设计（论文）22231基于灰度共生矩阵的纹理分割方法由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔一定距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法。一幅图像的灰度共生矩阵反映了图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。根据共生矩阵，可以定义对比度CONTRAST、熵ENTROPY、角二阶矩ANGULARSECONDMOMENT、相关性CORRELATION等16种用于提取图像中纹理信息的特征统计量。如果将众多特征统计量全部进行实验，则运算量非常大，时效性也差，因此一般选择最能反映图像纹理特征的4种统计量进行实验。1对比度2,IJCONIJPIJ214对比度是灰度共生矩阵主对角线附近的惯性矩，它度量矩阵的值是如何分布和影像中局部变化的多少，反映了影像的清晰度和纹理的沟纹深浅。2熵,LG,IJENTPIJPIJ215熵用来度量影像纹理的随机性。当空间共生矩阵中所有值均相等时，它取得最大值；相反，如果共生矩阵的值非常不均匀时，其值较小。3角二阶矩2,IJASMPIJ216角二阶矩是灰度共生矩阵各元素的平方和，又称能量。它是影像纹理灰度变化均一的度量，反映了影像灰度分布均匀程度和纹理粗细度。4相关性北京理工大学本科生毕业设计（论文）231,XYIJXYCORIJPIJ217相关性度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了影像中局部灰度相关性。其中；,XIJIPIJ,YJIJPIJ2,XXIJIPIJ2,YYJIJPIJ基于灰度共生矩阵的纹理分割方法可以总结如下首先建立一个小的滑动窗口，用每一个小窗口形成的子影像，通过纹理特征计算程序计算小窗口影像灰度共生矩阵和纹理特征值，然后将代表这个窗口纹理特征值赋值给窗口的中心点，这就完成了第一小窗口的纹理特征计算。然后窗口被移动一个像素，形成另外一个小的窗口影像，再重复计算新共生矩阵和纹理特征值。依此类推，这样整个图像就会形成一个由纹理特征值做成的一个纹理特征值矩阵，该矩阵的列代表某一位置处像素的特征向量，行代表窗口行进的路程，更加详细地讲，该矩阵的每一行都代表着原始图像的对比度、熵、角二阶矩和相关性中的某一种特征图。得到这样的矩阵后再对其进行模糊C均值聚类，得到最终的纹理图像17,18,19。图像纹理分割的效果主要由以下四点决定1生成的灰度共生矩阵的正确性，如果程序得到的灰度共生矩阵不完全，或者是忽略掉了一些情况，那么最终的结果肯定不理想；2滑动窗口尺寸的选择。灰度共生矩阵的纹理分析方法需要选择一定大小的滑动窗口，窗口大