（生物医学工程专业论文）基于内容的医学图像检索(1).pdf

东南大学硕上学位论文 a b s t r a c t t h e s i st i t l e ： c o n t e n t - b a s e dm e d i c a li i d a g er e t r i e v a l g r a d u a t es 1 1 j d e n tn a m e ：t a 0y i - t o o s u p e r v i s o rn a m e ：l u o l i - m i l l ( p r o f c s s o r ) s c h o o ln a m e ： s o u t h e a s tu n i v e r s i t y w i t ht h ed e v e l o p m e n to f m u l t i m o d a l i t ym e d i c a li m a # n ge q u i p m e n t s ，t h em e d i c a l i m a g e sh a v eb e c o m ei n d i s p e n s a b l et om o d e mc l i n i c a ld i a g n o s i sa n dm e s c a lr e s e a r c h a g r e a tn u m b e ro f i m a g e sa l eg e n e r a t e di nah o s p i t a le v e r y d a y i tb e c o m e s a 1 1u r g e n t p r o b l e m t ob es o l v e dh o wt oo r g a n i z e ，m a n a g ea n di n d e xm e d i c a li m a g e si ns ol a r g e s c a l e t h et r a d i t i o n a li n f o r m a t i o nr e t r i e v a lt e c h n i q u e s ，w h i c ha r eb a s e do nt e x t c o m p a r i s o n , a r en o ts a t i s f i e dt or e t r i e v el a r g es c a l em e d i c a li m a g ed a t a b a s e s n e w i m a g er e t r i e v a lm e t h o d ss h o u l db ee x p l o r e d i ti sav e r yp r o m i s i n gi d e at oi n t r o d u c e c o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) t e c h n i q u ei n t oi n d e x i n gm e d i c a li m a g e d a t a b a s e s ，s ow es t u d i e dt h ea l g o r i t h m sa n dt e c h n i q u e so f c o n t e n t b a s e dm e d i c a l i m a g er e t r i e v a li nt h et h e s i s ， i nt h i sp a p e r ，w ef h s tp r o p o s eac o n t e n t - b a s e dm e d i c a li m a g er e t r i e v a la p p r o a c h b a s e do na n a t o m i c a ls t r u c t u r eu n d e rf i x e dr e c t a n g u l a rs e g m e n t a t i o nm o d e s o m e f e a t u r e sa r et h e nu s e dt od e s c r i b et h ei n f o r m a t i o no f e a c hb l o c k , s u c ha sh i s t o g r a m a n di t ss t a t i s t i c a lf e a t u r e s ，a n dt e x t u r e ，w h i c ha r e a p p l i e di no u rr e t r i e v a lm e t h o d b e c a u s eo f d r a w b a c k so f f i x e ds e g m e n t a t i o n , an e w r e g i o n - b a s e dr e t r i e v a l m e t h o db a s e do ng r a yd u s t e ra n d h o p f i e l dn e u r a ln e t w o r k si sa p p l i e di nt h i sp a p e r t h e nt h ef e a t u r e so f m a i nb l o c k so f a u t o - s e g m e n t e di n l a g ea r ee x t r a c t e da n du s e df o r i ni m a g er e t r i e v a l f i n a l l y ，i no r d e rt oi m p r o v et h ee f f i c i e n c ya n da c c e l e r a t et h er e t r i e v a lp r o c e s s ，w e g i v es o m ei n s i g h ti n t or e l e v a n ti m a g ed a t a b a s ei n d e xm e c h a n i s m e s p e c i a l l y ，w e d i s c u s st h o r o u g h l ya b o u tm - t r e ei n d e xm e c h a n i s m , w h i c hw ea p p l i e di no u rc b i r s y s t e m k e y w o r d s ：c o n t e n d - b a s e di m a g er e t r i e v a l ( c b m ) ，i m a g es e g m e n t a t i o n , h i s t o g r a m , t e x t u r e ，s h a p e ，s p a c es i m i l a r i t y ，d o m i n a n tc o l o r , h o p f i e l dn e u r a ln e t w o r k , d a t a b a s e i n d e x ，m t r e e u 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 研究生签名：因i 上量墨日期：坦点：i ：! ! 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子 文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查 阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：国竖导师签名：日期：士! ：；：生 第一章前言 第一章前言 在过去的三十多年中，伴随着计算机技术的蓬勃发展，医学成像技术经历了 巨大的发展，医学图像变得越来越数字化和多样化。新出现的技术包括诊断超声、 x 射线计算机断层摄影( c t ) 、核磁共振成像( m r i ) 、核磁共振波谱( m r s ) 、 功能核磁共振成像( f m p d ) 、数字血管剪影( d s a ) 、正电子断层摄影( p e t ) 和单光子发射计算机断层扫描( s p e c t ) 等等。随着医学上这些数据的大量产生， 如何有效地组织、管理和检索大规模的图像数据库，成为当前所面临的迫切需要 解决的问题。 医学图像归档与通信系统( h c t u r ea r c h i v f la n dc o m m u n i c a t i o ns y s t e m s p a c s ) 是医学图像领域出现的一个新的研究方向。它将计算机技术与网络通信 技术应用于医学领域，以“电子化”的方式在通信网络中传输、归档和显示各类医 学图像，实现了无胶片方式的医学图像存储和管理。而图像检索是p a c s 的首要 任务之一。它需要根据医生的请球，及时地将医生所需要地图像发送给医生。如 何快速地找到医生所需的图像，即如何在医学图像数据库中进行图像检索，己成 为当前的一个热点课题。 1 1 传统图像检索技术 利用传统的数据库技术访问和检索图像数据库，首先需要利用相关的文字对 图像内容进行注解，通过检索注解来检索图像，是基于文本关键字的精确匹配检 索。这种方法在图像数量不大和图像的内容比较单一时，不失为一种简单易行 的方法，知道今天仍然在被广泛使用。但是，当图像的数量狠大时，基于文本的 图像检索存在很多局限：一是手工对图像进行标注所需要的工作量太大；二是由 于图像内容的丰富性，文字标注难以真正表达图像的视觉内容：三是人工标记的 方法带有很大的主观性，不同的人对同图像的理解也不相同，这就导致对图像的 标注没有一个统一的标准。图像注解的主观性和不精确性可能导致后续检索过程 的失败。另外人工标记的方法还存在速度慢、效率低等问题。检索的结果不能很 好地符合用户的需求。 东南大学硕士学位论文 为了解决传统图像检索技术的不足，科学工作者开始探索新的图像检索方 法。自上世纪9 0 年代以来，基于内容的图像检索方法引起了计算机界研究人员的 广泛兴趣。 1 2 基于内容的图像检索 基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，简称c b m ) 技术陵是一 种根据图像的可视特征对图像进行检索的方法。这种方法利用图像自身包含的视 觉属性，如颜色纹理、形状及其空间关系等建立图像的索引，然后利用这些特征 进行检索( 即在数据库中进行特征相似性匹配) 。区别于传统的基于关键字的检 索手段，采用该方法，用户不需要对检索的图像进行精确地表述，克服了传统检 索方法中需要人工标记图像所带来的缺陷，比较适合实际应用；同时检索过程具 有很强的交互性，用户可以参与，可以不断地根掘用户的需要改变查询结果，提 高查询的效率。此外还可以引入特征库和知识辅助的概念，既便于保存描述图像 内容的特征，又有利于查询优化和快速匹配。该方法融合了图像处理和理解、模 式识别、计算机视觉、人工智能以及多媒体人机交互等技术，可以在更高层次上 更有效地利用所存储图像的信息，目前已成为图像检索领域的研究热点，并显露 出必将成为图像检索主流方向的发展趋势【3 1 。 1 2 1 c b i r 系统的构成 一个典型的c b i r 系统辩5 】通常包括查询接口、相似性比较、数据库管理、结 果输出和用户反馈等几个部分，它的基本组成如图1 1 所示。在图像入库阶段， 首先对图像进行特征提取，得到的各特征值组成特征向量存入图像特征库中；图 像数据库和图像特征数据库通过特定的标识相关联。在图像检索阶段，用户可以 通过预先设定各特征值进行检索，也可以先输入检索样图，通过程序自动提取样 图对应的图像特征进行检索；无论采取何种方式，其结果总是得到一个关于图像 描述的特征向量，系统将这个特征向量和图像特征库中存储的各特征向量相比 较，并按匹配结果的相似性程度排序。为了使检索的结果更加符合检索者的要求， c b i r 系统一般还包扩检索反馈部分。用户根据自己的需要对前次检索的结果进 行评价，评价的结果反馈给系统用以调查询模式，使查询结果更加符合用户的需 2 第一章前言 求。 广一查译i 方1 0 1 人机接口1f - 榷儆性h ：较一1f 一一一一一一一一1 l - 铺莱输 i 矗反馈机制- jl 磺t 据库管理j 图1 - 1 c b m 系统结构图 1 2 2 国内外c b i r 技术发展情况 在国外，基于内容的图像检索引起了众多科员人员的注意，许多公司、大学、 科研机构以至政府部门都投入了大量的人力、物力和财力开展研究，并取得了一 些令人瞩目的成果。已有一些著名的大学研究机构和商业公司研制出了自己的 c b i r 系统，有些己达到商业实用化水平，这其中包括： 1 q b i c l 6 系统( h t t p ：w w w q b i c a l m a d e n i b m c o m ) ：i b ma l m a d e n 研究中 心9 0 年代研制和开发的图像和影像检索系统，主要为i b m 的d b 2 大型数据库 提供图像检索功能，并支持基于w e b 的图像检索服务。是第一个商务化的c b i r 系统。系统系统允许使用检索样图、用户构建的草图、可选择的颜色和纹理模式、 目标运动等信息，对图像和视频数据库进行查询。 东南大学硕士学位论丈 2 b l o b w o r d f f 系统( h t t p ：e l i b e s b e r k e l e y e d u p h o t o s b l o b w o r l d ) ：由加州大学 b e r k e l e y 分校的电子工程与计算机科学系开发。该系统是一个基于图像自动分割 的检索系统在检索过程中系统首先将检索样图中包含的物体和背景分割开， 然后用户选择自己感兴趣的图像区域，系统提取该区域( 物体或背景) 的颜色、 纹理、形状和位置等特征信息进行检索。 目前，国外已将c b i r 引入医学领域，研究了适合医学图像特点的特征提取、 相似性度量方法，已有的系统和研究成果包括： 1 a s s e r t ap h y s i c i a n - i n - t h e - l o o dc o n t e n t - b a s e dr e t r i e v a ls y s t e m l 8 川： 美国p u r d u e 大学开发的针对肺部的高分辨率c t 图像的c b i r 原型系统。在图像 入库时由医生交互式地制定病理区域( p b r ：p a t h o l o g y b e a r i n gr e g i o n s ) ，然后跟 掘医生对该病理区域的知觉分类提取不同的特征，存入特征库，并且由训练样本 集确定任意两个病理类型的分类器，库中的每幅图像都被标明了疾病种类；在图 像检索时，同样由医生勾画查询图像中的病理区域，分别提取对应于不同病理分 类的特征，然后由分类器确定该病理区域包含有哪些病理类型，从而确定疾病种 类，组后从相同的疾病分类中根据相应的特征提取相似的图像。 2 c td a t a b a s e 系统12 j ：由美国l o sa l a m o s 国家实验室开发。该数据库包 含了大量不同病理症状的肺部c t 图像。系统选择纹理特征作为特征值，对每个 c t 图像进行纹理特征提取并建立特征库。该系统可以快速地找到查询样图的匹 配图像，方便了医生对某些疑难病症图像的归类和分析。 3 美国加州大学洛杉机分校研究的基于知识的脑部m r i 图像检索系统1 1 3 】： 建立了一个四层的模型检索脑部肿瘤，将肿瘤几何形状与脑组织间的空间关系等 高层次语义转变为低层特征参数的取值范围，用关系运算符( = ， ， ) 来完成 检索操作；利用不同时间的图像组成查询图像序列，用特征参数的变化来反映检 索所要求的时间特性；系统由高层语义导出低层特征，提出了一个实现高级语义 与低层特征相结合的实用方法。 近年来，国内许多大专院校和科研机构也开展了基于内容的图像、视频和 音频检索方法研究。清华大学计算机系结合国家8 6 3 高技术研究发展项目“w e b 上基于内容的图像检索”【1 4 i 的研究，于1 9 9 7 年研制了一个i n t e m e t 上的静态图像 4 第一章前言 的基于内容检索的原型系统。另外，浙江大学15 1 、上海交通大学、东北大学 等院校机构都在开展c b i r 这方面的研究，在此不作进一步讨论。 1 3 本文的主要研究内容和组织结构 第一章介绍了医学图像检索的研究背景和意义，以及国内外的研究现状。 第二章首先简要介绍了c t 和m r i 图像的成像机理，然后介绍了图像的预 处理方法，为第三章的特征提取做准备。 第三章主要讨论了在固定分割模式下的结合解剖学结构知识的医学图像检 索方法。我们详细探讨了针对医学图像的灰度直方图、直方图的统计特征和纹理 特征的提取技术，而后从检准率和检全率的角度评测了使用以上特征的检索效 果。 第四章主要讨论了基于自动区域分割的医学图像检索方法。首先，我们详细 讨论了医学图像的灰度主色预分割方法和基于神经网络的分割方法。随后，讨论 了如何提取分割后的主块特征，并将其用于检索的方法。 第五章讨论了医学图像数据库索引技术。着重介绍了本课题所采用的 m - t r e e 索引机制，并对其对检索速度的影响做了评测试验。 第六章对所做的工作进行了总结，并对今后的工作和发展方向进行了展望。 第二章医学图像的特点和预处理 第二章医学图像的特点和预处理 2 1 医学图像的特点 在医学领域，各类医学图像已成为现代医疗中的- - i l 基础性技术，这些医学 图像在临床诊断与治疗、医学教学和科研活动中占有不可替代的地位，有效地组 织和管理医学图像数据库，可以弥补人类记忆的不足，提高诊断的精确性，同时 可以极大地促进医学研究和医学教育领域的进步。大量数字化的医学图像存贮在 计算机中，用传统的方法进行检索困难越来越大，近年来发展起来的基于图像内 容的检索技术正被逐渐引入医学领域。 与一般的基于内容的图像检索技术相似，基于内容的医学图像检索的基本步 骤是：对图像数据库中的每幅图像，先进行图像处理和分析，提取图像特征，建 立特征向量库，并建立与图像数据库的关联；在检索过程中，先提取检索样图相 应的特征向量，然后将该特征向量与特征库中的特征向量进行比较，根据匹配结 果在图像数据库中检索出所需要的图像。 与图像分析和模式识别相同，图像特征的提取也是图像检索中的关键技术之 一。不同的应用对特征提取的需求不同，所采用的方法也不尽相同，例如在图像 分析和模式识别应用中，为了对物体进行分析和识别，要求提取的特征能精确地 描述图像物体的本质，因此应优先考虑特征提取的精确程度，必要时可以借助人 工的帮助；而图像检索是对图像的近似匹配，所提取的特征是对图像内容的近似 描述，且由于图像数据库中图像数目庞大，因而首先要求特征提取方法简单易行， 计算速度快，可靠性高，且需要在没有人工干预的情况下自动完成。 要使提取的图像特征能充分有效地描述医学图像的内容，就必须要对医学图 像的成像原理、特点及其所反映的人体组织器官的信息有一定的了解。医学图像 是由于人体的不同组织部位对成像介质的不同响应而产生的，成像介质不同，得 到的医学图像的特点及人体组织器官在图像中的表现形式也不相同。现代医学影 像设备采用的技术手段主要有x 射线成像、磁共振成像( m a g n e t i cr e s o n a n c e i m a g i n g ， m r i ) 、放射性核素显像( r a d i on u c l i d ei m a g i n g ，r n i ) 和超声波成像 ( u l t r a s o u n di i l l a 百n g ) 四大类| l 叫。下面简要介绍x 射线成像和m r i 成像。 2 1 1x 射线成像 x 射线成像原理则是利用x 射线在人体组织内的不同衰减，也就是人体的不 同组织对穿过其中的x 射线有着不同的吸收能力。物理学中已证明，物质对x 6 东南大学硕上学位论文 射线的吸收规律为指数形式： - i t j c i = l o e ( 2 1 ) 其中而为入射x 射线的强度，为穿过厚度为x 的均匀物质后x 射线的强度，口 为物质的线性衰减系数，当入射x 射线能量一定时，与物质的密度线性相关( 成 正比) ，因此也把x 射线所成的图像叫做密度图像，通常密度大的物质对x 射 线吸收强，即较大，密度小的物质比较小。当x 射线照射人体时，由于人 体各组织器官在密度、厚度等方面存在差异，对投照在其上的x 射线衰减各不 相同，因而对x 射线的透射也不相同。用探测器检测从人体不同部位透射出的x 射线，将测得不同强度的射线信号，再通过a i d 转换为数字信号，就可以得到 与x 射线的衰减相对应的数值，进而转化为数字图像。 大部分的x 射线成像设备得到的都是投影像，它反映了在x 射线的照射方 向上多个器官对x 射线共同衰减的结果，因而得到的是多器官的重叠图像。c t 运用一定的物理技术，以测定x 射线在人体内的衰减系数为基础，采用一定的 数学方法，求解出衰减系数值在人体某剖面上的二维分布矩阵，再把此二维分布 矩阵转变为图像的灰度分布，因此它得到的是清晰的断层图像。 c t 机中的x 射线强度测量是相对测量，即测得的是z 值的相对值，用c t 值表示。国际上对c t 值的定义为：c t 图像中每个像素所对应物质的x 射线线 性平均衰减量大小的表示8 1 。实际中，均以水的衰减系数心作为基准，若某物 质的衰减系数为，则其对应的c t 值由下式给出： c t ：k p - g w ， ( 2 2 ) c t 值的单位为“亨，h u 或h ”，规定风为能量是7 3 k e y 的x 射线在水中的线性 衰减系数，g w = 1 9 m 一。定义式中的k 称为分度因数，实际中多取k = 1 0 0 0 ，故 实际应用中，式( 2 2 ) 可以表示为： c t ：g - l t , , x 1 0 0 0 h 。 ( 2 3 ) 按照c t 值的定义，人体中各组织( 包括空气) 的c t 值范围大约为 一1 0 0 0 1 0 0 0 h ( 实际可达4 0 0 0 h ) ，即约有2 0 0 0 个c t 值。人体组织的c t 值 分布如图2 - 1 所示。 第二章医学图像的特点和预处理 丌v a l u e b o n e h u 目 矿息! 1 o 一 8 o 柏o 。 s p o n g i o u $ ： b o n e 2 ：咖。圈。 d 一j r a t 2 - j 啪 如d - ；必宦卜 一1 o 一1 6 i 2 1 2 磁共振成像( m 砒) 图2 1 人体组织c t 值分布 磁共振成像( m a g n e t i cr e s o n a n c ei m a g i n g ，m r j ) 是利用射频( r a d i o f r e q u e n c y ，r f ) 电磁波对放置于磁场中的含有自旋不为零的原子核的物质进行 激发，发生核磁共振( n u c l e a rm a g n e t i cr e s o n a n c e ，n m r ) ，用感应线圈采集共 振信号，经处理按一定的数学方法建立的数字图像。 磁共振成像原理及参数比x 射线成像复杂，涉及到力学、原子核物理等许多 学科的知识。其中驰豫时间t 1 ，他是m r j 最重要的成像参数，它们反映了组织 器官中氢原子的密度，m r i 就是通过测量得到不同组织器官的t l ，他值而成像 的。影响t l 、t 2 值的因素很多，如外加主磁场的强度、磁场的均匀性、外界温 度等等，因而使得m 成像变得更加复杂。基础医学试验表明： ( 1 ) 不同的( 正常) 组织和器官的驰豫时间有显著不同，这一特点使m i u 对软组织器官有特殊的分辨能力。 ( 2 ) 同一组织、器官的不同病理阶段上的驰豫时间也有显著的不同。这使 得使用m r i 进行病理分期成为可能。 2 2 图像格式转换 本课题中所涉及的图像主要是来自医院的c t 、m r j 图像。原始图像均为 d i c o m 格式。d i c o m 文件中有很多与图像无关的冗余信息，比如病人的姓名， 年龄，图像生成e t 期以及医院信息等。表征图像信息的实际像素值还要经过一个 东南大学硕1 ：学位论文 线性变换才能得到，为了便于数据库管理，我们首先对d i c o m 作了格式转化。 在提取图像特征时，我们关心的是图像本身的像素值信息。我们将原始的 d i c o m 图像压缩转换为了2 5 6 阶的灰度b m p 图像格式。原始图像中附带的其 它一些描述信息在图像入库时被从图像中分离出来，分别存放于数据库中描述图 像的相应各属性表中。 2 3 蒙板图的生成 图2 - 2 ( a ) 所示为一典型的医学c t 图像，从这幅图我们可以看到，图像中除 了我们关心的目标( 人体的一个横断面) 以外，背景并非是同一灰度的( 如图 2 - 2 ( a ) 中的背景部分还包含了的仪器框架) 。为了去除背景的影响，我们考虑为 图像生成如图2 - 2 ( 0 所示的蒙板图。我们将蒙板图定义为去除了背景后的目标区 域。 具体过程如下：先对图像进行阈值分割【1 9 1 ，在本课题中，图像的阙值分割算 法是使用迭代法求图像的最佳分割阈值。该算法的步骤如下： ( 1 ) 求出图像中的最小和最大灰度值乃和磊，令阈值初值为t o = ( z # - z k ) 2 ； ( 2 ) 根据阈值心屉：o 1 ) 将图像分割成目标和背景两部分，求出两部分的平 均灰度值z d 和历： z ( i ，j ) x n ( i ，) 一：( ，) ，。 ( 3 ) 式中z ( 切是图像中( 忉点的灰度值，( 切是( 切点的权重系数，一般 ( f 护1 ； 求出新的阈值产州= ( z 历) 2 ； ( 4 ) 如果严= 严+ 7 ，则结束，否则k 足+ l ，转步骤( 2 ) 。 阈值分割后图像也随之二值化( 图2 - 2 ( b ) ) ，此时人工选取图像中靠近目标 边缘的一点，然后由特定的“探测准则”找到目标物体的轮廓上一点，再从这点出 发，由轮廓跟踪算法得到目标物体的轮廓。得到目标物体轮廓后选取轮廓内的一 点开始进行种子填充，填充完成后便生成了我们所需要的蒙板图( 图2 - 2 ( c ) ) 。 我们使用蒙板图过滤原图像得到目标图像2 2 ( d ) 。这样，在后续提取i 訇像特征时 就可以去除图像背景的干扰了。 9 第二章医学图像的特点和预处理 ( a ) 原始图像 ( c ) 图( a ) 所对应的蒙板圈 ( b ) 阈值分割后的图像 ( d ) 使用蒙板图过滤得到的目标图像 图2 - 2 蒙板图的生成 1 0 第三章基于解剖结构的医学图像榆索 第三章基于解剖结构的医学图像检索 在这一章中，我们将讨论在固定分割模式下的结合解剖学结构知识的医学图 像检索方法。这里提到的固定分割是指将图像行列均匀地分为n x n 个矩形小块。 我们对图像做如此方式分割的原因是因为我们通常提取的一些图像的统计类特 征( 如：直方图、纹理等) ，是对整幅图像进行运算处理的，这些特征只反映了 图像的某些整体特性，而不能反映这些特性在图像中的空间分布。因此，我们首 先对图像进行分割，然后在每个图像子块上提取那些统计类特征的特征值。考虑 到医学图像具有解剖部位的组织位置相对固定的特点，对于固定分割后的图像， 我们可以只针对包含感兴趣部位( 人体器官) 的局部图像子块提取特征。此外， 我们还可以根据解剖部位的组织类型调整灰度直方图匹配算法，提高检索效率。 为了后续讨论方便，我们在此先定义一些符号：我们用x = ，x ：，x ， ( m 为图像数据库中图像的数目) 表示一图像集合( 相当于一个图像数据库) ， x t 表示图像集合中的一幅图，在特征选定的条件下，每幅图像而对应一个特征向 量再。c b i r 系统的任务之一就是要找到一个函数r 将图像映射到特征空间，即： 确定t ：而专7 ：。我们用符号d ( z ，j ) 表示两幅图像问的距离( 或相似度) r 距离 越小则表示两幅图像越相似。另外，我们将检索样图用符号g 表示，其对应特征 向量为r ( g ) ，对于图像集合中的某一图像置，d 仃( 五) ，r ( g ) ) 便表示了图像五和检 索样图之间的距离。对于我们预先给定的一个阈值t ，图像集合 r = “：d ( r ( ) ，r ( g ) ) n 便是我们检索返回的结果。 3 1 固定分割模式下图像解剖部位的标注 如2 1 节所述，成像介质对不同的人体组织作用是不相同的，例如在c t 图 像中，骨组织的c t 值大约为0 - - 4 - 1 0 0 0 左右，软组织的c t 值为2 0 5 0 ，脂肪组 织的c t 值为9 0 - - - 7 0 ，水的c t 值为0 ，空气的c t 值为1 0 0 0 左右。同样的在 m r j 图像中，不同人体组织对应的灰度值也相应变化。 根据人体解剖学的知识 2 0 1 2 ”，我们可以预先建立起头部、胸部和腹部图像 东南大学硕士学位论文 的子块模板组合模式。例如：对于胸部图像，图像的外围有一些零散不连续的骨 组织( 肋骨和椎骨) ，图像的中间两侧是大面积的肺组织( 肺) ，中间部分是软 组织( 心脏等) ；对于腹部图像，图像的外围和胸部图像相同，有一些零散的不 连续的骨组织( 肋骨和椎骨) ，图像的中间则是大面积的软组织( 肝脏等器官) 。 图像子块的组合模式可以用图3 1c a ) ( c ) 来简单的示意，其中a 代表骨组 织，b 代表软组组织，c 代表肺组织，未标注代表人体外围。 按下面的步骤，根据人体组织的分类通过c b i r 系统提供的人机交互界面来 标注图像子块( 即将图像子块化分为骨组织、软组织、脂肪组织和肺组织) ： ( 1 ) 在系统中显示使用蒙板图过滤得到目标图像。此时，仪器框架等背景噪 声的像素已经统一设置为0 ( 黑色) 。 ( 2 ) 对整幅图像进行固定分割，使每个图像子块的大小为6 4 x 6 4 ( 或3 2 3 2 ) 像素。 ( 3 ) 通过人机交互界面，直接调用预先设定的模板或手工修改，标注图像中 感兴趣的区域，即人体组织所在的区域。 ( 4 ) 根据人体解剖学的知识，使用骨组织、软组织、脂肪组织和肺组织( 空 气) 对图像子块进行标注，将图像子块归类为上述四种组织类型之一( 如 图3 1 ( d ) ) 。 以下各节将介绍如何提取标注后的图像子块特征。 ( 且l 胸部图像模援 1 2 b 头部图像模扳 第三章基于解剖结构的医学图像柃索 c ) 腹部图像模板( d ) 头部模扳标注后的图像 图3 - 1 不周部位的子块组合模式 3 2 图像子块特征的提取 3 2 1 灰度直方图及其统计特征 对于彩色图像而言，颜色是重要的视觉特征，也是图像的重要信息，颜色特 征在c b i r 系统中被广泛运用f 2 2 - 2 4 】，取得了较好的检索效果，而且在该方面的研 究也较为深入。在颜色的表示上有多种模型，对于彩色图像而言通常采用r g b 、 h s v 等模型，与r g b 模型相比较，h s v 模型更符合人的视觉感觉。在匹配方面 也有多种方法，如直方图相交法 2 5 1 、累加直方图法1 2 6 i 等。就医学图像而言，除 了多普勒超声、伪彩色核医学图像和病例图像等，大多为灰度图像，其深度大部 分为1 2 位或1 6 位。这里借鉴颜色特征的检索方法，提取医学图像的灰度直方图 及其统计特征作为特征值。 我们分别提取各标注的图像子块的直方图以及其所对应的方差、歪斜度、峭 度、能量等特征。由于原图大多是1 6 位或1 2 位色深的，为了减少计算量，在计 算图像直方图信息时我们将之量化为1 6 阶，并将之归一化。 我们用瑰g ) 来表示图像x 和样图g 的第i 个子块间的直方图距离，则： l5 d 以( 圳) = 以陋( h ) 一何：( n ) l ( 3 1 ) n = o 这里，i - i ；( n ) 和哦( 厅) 分别表示图像x 和样图g 对应第f 个图像子块的归一化 东南大学硕士学位论文 直方图，w ：表示第f 个子块的第n 阶灰度范围的权重。 解剖组织骨软组织( 腹) 肺脑 c t5 1 67 9 4 67 9 i m r i 3 97 9 1 l o3 1 5 表3 - 1 部分解剖组织对应的灰度范围( 1 6 阶) 借鉴主色提取的思想【2 刀，根据医学图像中解剖部位的组织相对固定的特点， 我们可以适当的增加不同图像子块中解剖部位所对应的灰度范围( 见表3 - 1 ) 在 直方图匹配运算中的权重w ：，来保证在人体视觉及解剖意义上与原图像间的相 1 6 似性，从而得到相对精确的检索结果。在本课题中设以= 1 ，我们取 彬= 2 k ，当疗图像的第f 个子块的解剖组织对应的灰度范围 彬= 七，当拧薯图像的第f 个子块的解剖组织对应的灰度范围 这里，k 为相应的比例系数。 ( 3 2 ) 图像x 和样图q 关于分块直方图之间的距离我们可以表示为： ( g ) = w ：。( x ，g ) ( 3 3 ) 这里，n 表示标注的图像块数，嵋。是第f 个子块的权重。根据人的视觉特 点，我们可以将位于图像中心的子块的嵋。赋予较大的权重，对图像四周的子块 赋予较小的权重。在课题中，我们取 么= 1 o = 1 ，2 ， 9 。 另外我们还根据各图像子块的直方图信息，计算下列统计特征： 1 均值( m e a n ) ：反映图像的平均灰度值。 一i 万= n i l ( n ) 2 方差( v a r i a n c e ) ：反映直方图中灰度分布的离散情况。 1 4 ( 3 4 ) 第三章基于解剖结构的医学图像检索 - i 仃2 = ( n - n - ) 2 h ( n ) 月= 0 3 歪斜度( s k e w n e s s ) ：反映直方图分布的不对称程度。 1 n - 1 驴专丢( 肛刃憎( 栉) ( 3 5 ) ( 3 6 ) 4 峭度( k u r t o s i s ) ：反映了灰度分布接近正态分布的程度，等于0 时为正 态分布，小于0 表示比正态分布陡峭，大于0 表示比正态分布平缓。 = 7 1 刍n - i 。一习4 日( 丹) ( 3 7 ) 5 能量( e n e r g y ) ：图像的灰度分布比较均匀时能量较大，反之，则较小。 = - ( n ) 2 ( 3 8 ) 6 熵( e n t r o p y ) ：当直方图分布均匀时，熵最大，反之，灰度分布较集中 时，熵较小。 n - i = 一h ( n ) l o g ：日( 功 n = o ( 3 9 ) 在本课题中，我们对特征相似度的比较采用了第一范数距离，即两特征相减 的绝对值，然后按照绝对值排序得到相似图像序列。由于 ，口2 ，n w ，i i k ，n m ，不 同特征值的取值范围不同，就需要对各个特征进行归一化，使各个特征拥有相同 的地位，当权重相同时，它们对检索结果有相同的贡献。这里，我们定义图像x 的第i 个子块的对应以上统计特征的归一化特征为： 以护勘 聊 这里，m 为数据库中的图像总数，为标注的图像块数，或( ，) 为图像工的 第f 个子块在归一化之前的第，个特征。这种方法可以用来归一化任何一种单一 东南大学硕i 学位论文 的统计特征。在以后的章节中若无特别说明，我们所指的特征均为归一化后的特 征。 这样，对于图像x 和样图g 对应以上统计特征的第i 个子块间的距离，我们 可以用以下公式来表示： 7 一，o ，g ) ：壹一k u ) 一名( 叫 ( 3 1 1 ) 这里，和名u ) 分别表示图像x 和样图q 对应第f 个子块的第，个灰度 统计特征，为各特征的权重。在课题中，我们取u = l 6 ( j = l 2 6 ) 。 这样，图像x 和样图q 对应以上统计特征的距离我们可以表示为： 一， ，口) = 咄一f 妃u ( x ，碍) ( 3 1 2 ) ，= l 其中，为标注的图像块数，乞，为第k 个子块的权重，权重的确定与式 ( 3 3 ) 类似。在本课题中，我, f r a w h , , f = l n ( i = l 2 ，) 。 3 , 2 2 纹理特征 图像的纹理指的是图像象素灰度或颜色的某种变化，这种变化是统计相关 的，纹理反映了图像或物体本身的属性。纹理基元是构成纹理的基本单位，它是 一种或多种图像基元的组合。纹理基元的适当排列组合就形成了纹理。已有的纹 理分析方法大致可以分为统计方法和结构方法：统计方法是对图像中颜色强度的 空间分布进行统计，适用于纹理比较细微的图像，如木纹、沙地及草坪等；结构 方法则重点分析纹理基元之间的相互关系和排列规则，适合于纹理基元比较粗大 且排列规则的图像，如布料图案或砖的花样等。此外，还有模型法和谱分析方法 等。这里主要讨论统计分析方法。 3 , 2 2 1 灰度共生矩阵法 在本课题中，我们采用空间灰度相关法( s g l d m ) 【2 8 】，s g l d m 法根掘数 字化图像数据计算一个共生矩阵的函数。已知一个图像具有一个离散灰度集合 1 6 第三章基于解剖结构的医学图像捡索 1 = f ( x ，力，按下述方法对每一组离散值d 和口定义一个共生矩阵s ( 面口) ：矩 阵中每一项s ( 工正口) ，是相距d ，互成角度日的灰度对i 和，出现的次数。另 外，如果图像的灰度级为则共生矩阵大小为n x n 。 通常计算时，我们限制目的取值为l r 4 的整数倍，也就是图3 2 中各箭头所 示的方向。 对于粗纹理，当d 相对较小时，在矩阵 的对角线附近，其矩阵的元素值较大。而对 于细纹理，当d 与纹理基元可比时，以距离d 分开的点对灰度变化较大，相应在共生矩阵 中元素值分布较为均匀。当纹理具有方向性 时，则在对应方向( 口) 的共生矩阵中，s 有 较大的值。 、艮，8 7 、 一王一一 4 ，l 、2 、 、 ， ， 给定一幅图像，我们能够得到对应的四 i t i3 - ：z 个共生矩阵。我们将每个方向对应的共生矩阵归一化后计算共生矩阵的熵、对比 度、能量这三个纹理参数1 2 9 1 ，它们分别表示如下：( 我们用p ( u ) 表示归一化 共生矩阵中的元素值) 1 熵( e n t r o p y ) ：肿= p ( f ，j ) l o g p ( i ，) ( 3 1 3 ) ， j 当矩阵中的数值均相等时，熵最大；反之，若数值差别很大，则熵较小。 2 对比度( c o n t r a s t ) ：c d = ( i - j ) 2 p ( i ，) ( 3 1 4 ) l j 对于粗纹理，元素较集中于矩阵的对角线附近，此时( i - j ) 的值较小，相应 的对比度也较小；相反，对于细纹理，则具有较大的对比度。 3 能量( e n e r g y ) ：a s m = p ( f ， ， j ( 3 1 5 ) 如果共生矩阵中元素分布较均匀则能量较大，反之，则能量值较小。 查询时，我们计算所标注的图像子块在四个方向上d n ( d 尸o ，d z = ，r 4 ，9 3 = 石，2 ， d 4 = 3 7 r 4 ) 上共生矩阵统计特征的距离，则检索样图q 和图像库中的图像x 之间 东南大学硕士学位论文 的第f 个子块间的纹理特征距离为： ( 删) ：壹壹哆k ( 加) 一石( ，玎) i n = lt = l ( 3 1 6 ) 这里，爿( ，”) 和z ( 工雎) 分别表示图像x 和样图垡对应的第f 个子块在d n 方 向上的第- ，个纹理特征，睁为各特征的权重。在本课题中，我们取 睁= l 3 ( j = l ，2 ，3 ) 这样，图像工和口对应以上纹理特征距离的距离我们可以表示为： 屯( x ，鼋) = 吆砭o ，碍) ( 3 1 7 ) i = l 这里，吃为第f 个子块的纹理特征的权重，为图像块数。在本课题中， 我们取吃= l n ( i = l 2 ，) 。由于纹理特征的计算相对复杂，我们在提取纹理 特征时采用了较大的分块方式( 6 4 x 6 4 ) 。因此，式( 3 1 7 ) 与式( 3 3 ) 中的图像块数 可以不同。 3 2 3 固定分割模式下图像特征的综合 以上我们讨论了固定分割模式下图像特征的提取，我们分别提取了该模式下 图像的分块直方图、直方图其它统计特征( 直方图能量、熵、峭度等) 和纹理特 征。由于各个特征在实际检索过程中的效果可能不同，所以，在综合考虑这些特 征时我们为每个特征项初始化了相应的权重。我们用p m ( j ，q ) 来表示图像x 和样图q 之间在如上讨论的特征空间上的距离，则： ( x ，g ) = ( x ，g ) + 一f 一f ( g ) + ( 石，g ) ( 3 1 8 ) 其中，f 、阡n 和h 分别为分块直方图特征、直方图统计特征和纹 理特征对应的权重，这些权重可以由用户根据各个特征的检索效果进行调整。特 别的，当仅有一个权重为1 ，其余权重为0 时，反映的就是单一特征的检索效果。 第三章基于解剖结构的医学图像榆索 3 3 试验结果及比较 3 3 1 灰度直方图及其统计特征