（信号与信息处理专业论文）基于内容的医学图像检索的研究.pdf

基于内容的医学图像检索的研究 专业：信号与信息处理 硕士生：董艳雪 指导教师：沈伟教授 论文摘要 随着现代影像和图像处理技术的深入发展，可供临床、教学和研究使用的医 学图像数量正在快速增长，对医学图像进行有效的管理和检索对辅助诊断、医学 研究、医疗教学等都有着非常积极的影响。传统的基于病人姓名、住院号等关键 字进行查询的检索方式逐渐显示出不足，将基于内容的图像检索技术应用于医学 图像是目前为众人瞩日的研究方向。 论文建立了基于内容的医学图像检索系统，以胸部平扫c t 图像为研究目标， 在对图像的多种特征进行研究和比较的基础上，提出以综合特征( 灰度特征、纹 理特征、形状特征、归一化转动惯量( n m i ) 特征的结合1 代替单一特征进行医 学图像检索的思想，且在对n m i 特征进行提取时，改进了传统的方法，对图像 进行分块后分别提取n m i 特征。实验表明，在分块提取n m i 特征的条件下，结 合图像累积直方图特征、纹理特征( 共生矩阵的反差、能量、熵、相关四个特征) 、 形状特征( 目标区域的面积和周长特征) ，对图像进行检索可以使平均查准率由单 一特征检索下的0 3 7 4 0 8 1 6 提高到综合特征检索下的0 9 1 6 ，有效改善了检索 效果。 关键词：基于内容的图像检索：归一化转动惯量( n m i ) ；查准率；查全率 t h es t u d ya b o u tc o n t e n t b a s e dm e d i c a l i m a g er e t r i e v a l s i g n a la n di n f o r m a t i o np r o c e s s i n g n a m e ：d o n gy a n x u e s u p e r v i s o r ：s h e nw e i a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to fm o d e r ni m a g i n i n ga n di m a g e p r o c e s s i n gt e c h n i q u e ，m o r ea n dm o r em e d i c a li m a g e sa r ep r o d u c e d s t u d yo nh o wt om a n a g et h o s ei m a g e sh a sb e e nd r a w i n gm o r ea n dm o r e a t t e n t i o ni nr e c e n ty e a r s ，c a u s ei t ss u c c e s sw i l lb r i n gp o s i t i v ee f f e c to n m a n yo t h e rm e d i c a lr e s e a r c hf i e l d s o nt h eb a s i so fa n a l y z i n gt h ec h a r a c t e r i s t i c so fc o n t e n t b a s e di m a g e r e t r i e v a lt e c h n i q u e ，a na l g o r i t h mc o m b i n i n gg r a yf e a t u r e ，s h a p ef e a t u r e ， t e x t u r ef e a t u r ea n dn m if e a t u r ei si n t r o d u c e d t h ee x t r a c t i o nm e t h o d so f i m a g e sc o m b i n a t i o nf e a t u r ea r eg i v e n , a n dap r a c t i c a lc o n t e n t b a s e d m e d i c a li m a g er e t r i e v a ls y s t e mi sd e s i g n e d e x p e r i m e n t sb a s e do i l1 0 0 m e d i c a li m a g e ss h o wt h a tc o m b i n a t i o nf e a t u r ea n dp r o p e rf e e d b a c kc a n i m p r o v et h er e t r i e v a lp e r f o r m a n c e k e yw o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ；n m i ：p r e c i s i o n ；r e c a l l 第一章绪论 1 1 技术背景 第一章绪论 在当今信息知识时代，全球信息正以惊人的速度急剧递增，庞大信息的选择、 检索已经成为一个突出问题。另一方面，越来越多的信息资源以图像、音视频等 非文字形式存在，实现对这些多媒体数据的有效检索成为人们迫切需要解决的问 题。至今，大部分的商业性数据库都以文字匹配算法为基础来实现信息的检索， 这对多媒体数据有很大的局限性。解决信息量庞大和多媒体化的重要手段是基于 内容的多媒体信息检索。作为人类获取外界信息的主要形式，图像信息自然成为 基于内容检索的主要对象。因此，利用图像分析技术，生成图像的非文字特征描 述，并实现图像查询的基于内容的图像检索( c b i r ：c o n t e n t b a s e di m a g e r e t r i e v a l ) 技术，成为当今国际上多媒体信息检索的热点研究课题。 二十世纪八十年代以来，医学成像技术迅猛发展，核磁共振、c t 扫描、超 声波等新技术设备产生了大量的信息丰富的医学影像，为我们做出更为精确的诊 断创造了良好的条件，但与此同时，医学图像数量也在以指数速度激增，如何在 如此浩瀚的有价值的医学图像信息中方便的查找相关的医学图像成为一个迫切 需要解决的问题。传统的基于关键词的检索方式，例如根据病人的姓名、住院号、 医生姓名等所进行的查询是耳前主要的检索方式，但一幅复杂的医学图像，其形 状、纹理、颜色以及空间关系很难用有限的文字信息进行确切的理解和描述，正 所谓“一幅图胜过千言万语”，因此，将基于内容的图像检索技术应用于医学领 域成为当前的医学图像查询的主要研究方向之一。基于内容的医学图像检索以图 像实体中包含的内容为依据，检索数据库中与之相关的图像。例如：医生在诊断 时遇到了疑难病症，需要找到一些相似的图像以助确诊，这时就可以利用基于内 容的医学图像检索这一功能，找出几幅相似图像，进而可参考与几幅图像对应的 已确诊的病历，以使诊断时减少失误。 基于内容的医学图像检索正逐步应用于患者数字图书馆、临床诊断、临床实 验和教学中，都产生了非常积极的作用，给医疗诊断带来了极大的便利，它正逐 中山大学硕士论文基于内容的医学图像检索的研究 渐成为一种新的辅助诊断的工具嘲。近年来，医学图像存储与传输系统( p i c t u r e a r c h i v i n ga n dc o m m u n i c a t i o ns y s t e m ，p a c s ) 传入我国，更是急需医学图像检 索技术迅速实现。基于内容的医学图像检索正逐渐成为一个亟待发展的科学领 域。 1 。2 课题的研究目标和意义 目前，各医院c t 透视科普遍采用医院c t 室管理系统这一软件与c t 设备相 连接，完成c t 透视图像的存放以及诊断结果的存放等功能。通过该软件中的 i m a g ev i e v e r 模块可以方便的浏览不同患者的各层c t 扫描图像。然而，该软件 并不具备图像检索功能。因此，要想找到与已有例图相似的图像，只能人为的凭 记忆在数据库图像中逐一查找，这不仅浪费了大量的人力，而且也使确诊时间大 大延长。针对这一问题，本课题将研究目标确定为：研究c b i r 系统的相关技术 和算法，将c b i r 技术和数据库相结合，实现一个基于内容的c t 图像检索系统。 基于现有的各种图像特征提取方法，结合医学图像的特点以及胸部扫描c t 图像的病灶特点，在分析各种特征在该类医学图像检索上所取得的效果的基础上 选取了几种通用图像特征进行综合，以得到的综合特征向量作为本课题中医学图 像的基本特征进行检索，得到较为理想的检索结果。在此基础上，该系统还充分 考虑医学图像信息的丰富性及检索目标的多样性，建立了友好的界面并实现了用 户与系统的交互，使用户能随心所欲的查找符合自己检索要求的医学图像，较好 的改进了该系统的检索性能。 本课题的意义是：对各种图像特征在医学图像检索上的效果做了较为详尽的 分析，分块提取n m i 特征并将其与三种底层物理特征相结合，实现了根据综合特 征对医学图像进行检索的目的并得到了较好的结果，对进一步开展医学图像检索 的研究打下了一定的基础。 1 3 论文内容安排 实现了基于医学图像的内容进行检索的c b i r 系统，开发工作主要经历了三 个阶段：系统的整体功能设计和算法研究；图像数据库的建立；实验测试。 第一章绪论 对应的，论文的内容安排如下： 第一章绪论。阐述选题的背景、意义与目前该课题的研究现状，以及论文的 内容情况。 第二章图像检索的发展。概括阐述了图像检索技术由基于文本的检索到基于 内容的检索的发展历程。 第三章c b i r 技术研究。具体介绍了c b i r 相关技术，包括内容特征的提取方 法、相似性度量方法、图像匹配方法等。 第四章基于内容的c t 图像检索系统。介绍基于内容的c t 图像检索系统的实 现、系统测试及对实验结果的分析。 第五章结束语。总结全文并对下一步的研究工作提出若干建议。 3 中山大学硕士论文 基于内容的医学图像检索的研究 第二章图像检索的发展 2 1 早期的图像检索 最初的图像检索可追溯到上个世纪7 0 年代，是基于文本的图像检索，例如 借助对图像的编号即标签来对图像进行检索。为实现检索，通常需要先给图像加 上一个对其描述的文字或数字标签，然后在索引时对标签进行检索”。这样一来， 对图像的查询变成了基于标签的查询。这种方法虽然简单，但有几个根本问题影 响图像的有效检索：首先，由于图像内容非常丰富，很难用有限的文字完全表达， 所以这种方法在查询图像时常会出现错误。其次，文字描述是一种特定的抽象， 如果描述的标准改变，则标签也需重新制作才能适合新查询的要求。换句话说， 特定的标签只适合特定的查询要求。最后，目前这些文字标签是靠观察者选出来 加上去的，因此受主观因素影响很大，不同的观察者或同一个观察者在不同的条 件下对同一幅图像可能给出不同的描述，因而不够客观”1 。纵然图片获取的日期、 关键字等都可提供一定的有用索引线索，但都不能完全抓取图像的视觉信息，图 像内容带给人的信息是多方面的，对图像内容的描述也应该是多方面的，如颜色、 模式、纹理、目标形状、分布位置等描述。 由于不能完整地概括图像的视觉内容，传统方法在很多实际应用中并不能满 足人们的要求，例如，商标注册部门在审理新的商标注册时需要对己注册商标进 行检索，看是否有雷同。这仅靠对商标的文字标签进行检索是不能解决的；又如 医学图片的查询，医生如何才能从巨大的图片库中找出不同器官相同病变或者相 同器官不同病变的所有照片呢? 为解决上述问题，我们需要全面的、一般性的和 客观的来提取视觉内容。实际上人们查询图像更重要的是根据它们的视觉内容， 所以只有根据图像的内容进行检索才能有效的获得所需的图像，同时在掌握图像 内容的基础上数据库中的图像才能得到有效的管理。例如商标是否雷同主要看商 标的图案，把图案信息提取出来就可方便的比较不同的商标；利用医学病变的不 同图像显示，提取图像内容便可以方便的实现根据病变的图像查找。 由此可见，对视觉信息的检索需要根据图像所表达的内容来进行。基于内容 第二章图像检索的发展 的检索方法是获取和利用图像信息的有效手段，只有根据内容进行检索才有可能 有效的获取需要的信息，同时在掌握信息内容的基础上对数据库中的图像才有可 能有效的管理。 2 2 基于内容的图像检索及其发展现状 基于内容的图像检索是指在图像聚合中找出满足特定的视觉特征描述的图 像的过程，c b i r 系统直接从图像中获取图像视觉特征的信息，并用于图像检索 操作，从而查找出合适的图像信息对象。 1 9 9 2 年，“基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ) ”一词 开始在国际上使用，国内也很早就开展了相关研究”1 。十几年来，基于内容的图 像检索技术得到了长足的发展和应用，已开始在众多领域得到应用，例如：医学 影像系统、公安侦查系统、军事指挥系统、多媒体数据库等等，随着基于内容的 图像检索技术的不断发展和逐渐成熟，国际上已有一些著名的研究机构和商业公 司研制出了可投入使用的c b i r 系统，例如： q b i c ( q u e r yb yi m a g ec o n t e n t ) 系统”。 i b ma l m a d e n 研究中心于9 0 年代研究开发的，是基于内容检索系统的典型 代表。其系统框架设计和采用的技术对后来的图像系统具有深远的影响。 q b i c 系统允许使用例子图像、用户构建的草图和图画、选择的颜色和纹理 模式、镜头和目标运动和其他图形信息等，对大型图像和视频数据库进行查询。 在索引技术方面，q b i c 提供了基于颜色、纹理和形状的图像索引方法。色彩特 征的表达采用的是平均色和色彩直方图两种方法；纹理特征表达采用了纹理的粗 糙度、对比度和方向性三者的结合：形状特征的表达采用了形状的面积、离心率、 主轴方向以及一组变换无关量等描述方法。 q b i c 在线系统网址：h t t p ：w w w q i b i c a l m a d e n t i b m c o m m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 系统 由美国u i u c ( u n i v e r s i t yo f1 1 l i n o i sa tu r b a n a - c h a m p a i g n ) 大学开发 m a r s 的重点不在于找到单个的最佳特征表示，而在于如何将不同的视觉特 征组织成有意义的检索系统，以动态地适应不同用户。 中山大学硕士论文基于内容的医学图像检索的研究 它是正式提出相关反馈的系统，它将相关反馈技术集成到检索系统的不同层 次中。 u i u c 的在线检索系统：h t t p ：c h o p i n i f p u i u c e d u ：8 0 8 0 s k e t c hd a t a b a s e 由美国n o g o y a 大学开发，对心脏x 射线数据库进行查询。以草图( s k e t c h ) 作为图像键，查找期望图像。 就国外相对成熟的技术而言，目前国内研究面不宽，主要集中在基于图像的 颜色、纹理等的查询部分。例如，有利用局部累加直方图进行彩色图像检索，也 有基于颜色直方图以及基于主色调的图像检索算法等。比较有代表性的成果之一 是中科院计算机技术研究所的m i r e s 多媒体信息检索系统，它可以在i n t e r n e t 上按内容对图像影像信息或文本信息进行检索。 第三章c b i r 技术研究 第三章c b i r 技术研究 图像数据具有难以用符号化的方法描述的信息线索，如图像的颜色、图像中 对象的形状等。如何使系统直接从图像中获取信息线索并将这些线索用于数据库 中的图像检索操作，帮助用户从数据库中检索出合适的图像信息对象，是基于内 容的图像检索的主要内容。 3 1 理论基础 图像信息在最低层次上是二进制位流，其中保存着图像的像素值。像素没有 清晰明确的语义含义，其中包含的语义信息远远不能支持图像分析，所以图像的 检索不能通过对图像像素值的查询来实现。图像的检索必须在更高的层次上进 行，系统要具有图像检索能力就必须能获得图像的内容知识。在获得内容的过程 中，抽象起着十分重要的作用。抽象过程通常包括若干个抽象层，从接近具体感 官的信息表示层到接近符号的抽象表示层，信息的抽象程度递增，图像内容的描 述就是在从感官数据到符号数据的抽象过程中逐步形成的。 对应于不同程度的抽象，图像的内容可以有两种不同层次上的含义”。，一 是指图像的视觉感官内容，它是人们从视觉感官上觉察出来的图像属性 ( p e r c e p t u r a la t t r i b u t e ) ，在概念上表现为一些低层次的图像特征( 如颜色、 纹理、形状、图像中对象间的空间关系等) 。使用图像处理的方法，计算机可以 自动而有效地提取出图像中的感官特征，完成对图像视觉内容的抽象。另一种指 的是图像的语义内容，它是属于人类认知领域的图像属性( c o n g n i t i v e a t t r i b u t e ) 。如对一幅太阳的图片，“太阳”是图像所含的语义内容，而“红色 的圆形物体”则是它的感官特征内容，显然，第一种说法更准确也更自然。但是， 目前尚无有效的方法由计算机自动从图像种提取图像语义信息，这种更高层次的 抽象只能通过人工标注图像来完成，人们为每一幅图像加上标题、注释或关键字 等符合数据以描述图像的语义内容，查询时通过关键字的匹配来查找图像。然而， 关键字是对图像信息主观上的高度抽象，很难在不同语言、不同类型的用户之间 共享，对用户约束很大，灵活性差。例如，用户用“f l o w e r ”或“花朵”作为查 7 中山大学硕士论文基于内容的医学图像检索的研究 询条件检索所有包含有花的图像时，被标注为“茉莉”的图像就无法被检索出来， 尽管这个图像是用户希望查到的。由此可见，人工标注的方法完全而唯一的描述 一个复杂图像几乎是不可行的，颜色、轮廓、纹理、对象空间关系等图像信息线 索都难以用符号化的方法描述。 基于内容的图像检索( c b i r ) 可以比较好的解决上述的问题，此处的“内容” 指图像的视觉感官内容。c b i r 便是利用图像内在的视觉特征，查找出包含指定 内容图像的过程。 基于内容的图像检索，其特点不仅是提取图像内容，更是一门信息检索技术， 必须能够从图像集合中以用户可以接受的响应时间查询到用户要求的信息。通 常，c b i r 系统的实现方法是：使用图像数据库存储和管理图像数据，然后将c b i r 技术作为数据库的搜索引擎嵌入数据库中，提供基于内容的图像检索功能。一个 典型的基于内容的图像检索系统如下图所示： 图3 - 1 典型的c b i r 系统 图像分析与描述模块负责图像处理工作，具体实现c b i r 系统中支持的各种 特征( 如颜色、纹理等) 的提取算法，从而能够从图像中提取相应的特征信息。 用户界面为用户提供一个组织和表达自己的查询需求的渠道，系统检索得到的图 像也通过界面显示给用户。实现检索功能的核心模块是检索引擎模块，在该模块 中实现了匹配和查询处理功能。基于内容的图像查询采用相似性匹配，搜索引擎 中实现了各种特征的匹配算法，来计算两个同类特征的相似程度，进而根据用户 第三章c b i r 技术研究 界面送来的查询要求，调出匹配算法计算的特征库的每个特征与查询特征的相似 程度，从中挑出最相似的若干图像按相似程度由大到小排列返回到用户界面显 不。 由此可见，c b i r 系统要求将图像处理( i p ，i m a g ep r o c e s s i n g ) 领域和信 息检索( i r ，i n f o r m a t i o nr e t r i e v a l ) 领域的多种技术相结合。图像处理领域 的研究者已经研究出各种有效的算法来提取各种图像特征；另一方面，信息检索 领域针对符号型数据研究了检索系统框架和多种检索技术。要对图像数据进行有 效的检索就要将检索模型与特征提取技术相结合，为图像特征信息选择适当的模 型表示方法，并将该模型与数据管理系统相结合以支持有效的检索。 信息检索最常用的检索模型是矢量模型。大多数c b i r 系统采用这种模型。 在矢量模型中，每个图像的视觉特征信息用特征矢量的方式来表示，每种特征的 所有特征矢量构成它的特征空间，不同特征有自己的特征空间。每种特征的匹配 算法被映射为特征空间上的距离算法。两个特征之间的相似性度量通过计算其特 征矢量在对应特征空间中的距离来表示，距离越小，相似性测度越大，对应的两 个图像在这种特征上越相似。 查询结果的选取方式大致可以分为两类：七个最近邻查询和球形范围查询。 前一种返回与查询矢量的距离最小的女个特征矢量所对应的图像，而后一种则返 回与查询矢量的距离小于一个指定距离的所有图像。这样，在数据库中寻找相似 图像的问题就转换成为特征空间点集的七个最近邻搜索问题或球形搜索问题。 3 2 分类 根据其应用环境( 领域) 和图像数据库中存储的图像种类，基于内容的图像 检索系统被分为通用图像检索系统和专用图像检索系统两类。 通用图像系统( 例如数字照片库和w 聊网络图像库) 的图像库中放着不同领 域中内容迥异的图像，可以应用于不同的环境，系统的使用者大多为普通用户， 因此，图像相似性的概念是主观的，它取决于系统的具体应用环境和系统的使用 者。当用户在通用图像数据库中检索图像时，他们的目标千差万别，对于i 蛩像是 否相似有着各自不同的理解和判断。系统的设计不可能同时符合所有用户的相似 9 中山大学硕士论文 基于内容的医学图像检索的研究 性概念。由于图像间没有共同的特点，系统往往使用可以描述各类图像视觉内容 的颜色、形状和纹理等通用特征来进行检索。同时，通用图像系统的检索引擎应 有相当的灵活性和学习的能力，能够自动适应不同用户的检索目标。 专用图像系统是针对某一特定领域的应用，系统的使用者一般是该领域的专 业人员。这类应用的例子有指纹系统、人脸面部图像识别系统等。这类应用有着 很具体的领域知识背景：它要处理的图像属于同一领域，所有图像有共同的特点； 用户检索图像时，有着预知的相同目标；对于两个图像是否相似用户有着同样的 判断，因而图像相似性的概念是明确而固定的，使用者都认同这种相似性定义。 图像系统的设计者会充分利用这种领域知识，根据图像特点和用户的检索需求， 为图像提供特殊的特征，这种特征往往能够最有效的表达用户所关心的图像内 容，因而，基于这些特征的图像检索能够满足用户特别的检索需求。c b i r 系统 的优化主要是通过调整模型或参数，使系统的检索结果尽量符合用户的相似性判 断，从而取得最佳的检索性能。 我们研究开发的c b i r 系统属于一个专用系统，在设计该系统时主要考虑了 以下几个性能和与之相关的技术问题： 系统支持的查询类型：即系统能够根据哪些特征进行图像检索。我们要确定 系统使用的特征种类并实现每种特征的特征提取算法、特征矢量的表示方法及对 应特征空间中的距离算法。 扩展性：随着图像处理技术和图像信息检索技术的发展，不断出现新的特征 提取算法及其匹配算法，所以在设计该系统时应该考虑到系统的可扩展性，使其 能够在系统中增加新的特征种类来适应不同应用中的检索需求的变化。系统体系 结构应该支持加入新特征和新匹配算法。 灵活性和自适应性：实现异种特征的组合查询和界面与用户的交互来增强系 统的灵活性，使系统可以适应不同需求的不同检索目标，从而改善系统的检索性 能。 易于使用：设计图形化用查询接口，使用户能够方便的说明它的查询要求。 由于图像的视觉特征难以用符号化的方法来描述，所以本系统采用示例查询说明 ( q u e r yb ye x a m p l e ，q b e ) 的查询说明方式，即让用户通过一个例子来表达其查 询要求。这个例子可以是通过浏览数据库中选择的某个图像，也可以是用户手边 第三章珉技术研究 的一个图像，系统从示例中提取查询特征用于检索。 3 3 图像的内容特征及提取 第互层语义特征屡 【是人f l 对图像中内容的概念缀反映】 i 第：屡t 物理特征层 ( 图像的底层特疰如赣色、绞理、形状等特征) 1 第一层t 原始数据层 ( 图像的原螨像素点) 图像内容盼层次 图3 2 图像内容的层次 图像内容可以理解为个简化了的层次模型”。，如上图所示：第一层为原始 数据层，即图像的原始像素点；第二层为物理特征层，反映了图像内容的低层物理 特征，如颜色、纹理、形状、轮廓、图像内容的空间关系和时间关系( 对视频来 说) 等；第三层为语义特征层，是人们对图像内容概念级的反映，一般是对图像 内容的文字性描述。图像特征的表示方法有三种：数值表示、关系表示和语义表 示。譬如，图像的颜色可用r 、g 、b 三种数值表示，图像中对象之间的位置关系 就要用到关系表示，而语义表示方法需要对物体进行识别和解释，往往要借助人 类的知识推理。采用的表示方式不同，查询时进行相似性比较的算法也不一样， 如数值式的特征比较可采用多维空间中点的距离来计算，而对基于文字性的语义 特征的查询，可直接采用文本信息检索技术。图像检索所用到的基本特征大多属 于第二层和第三层特征，即颜色、纹理、形状、轮廓、空间关系、时间关系、图 像的语义等等。 3 3 1 颜色特征 颜色是图像的一种重要视觉信息，是最早在基于内容的图像检索中得到应用 的图像特征。颜色往往和图像中所包含的物体或场景十分相关，而且颜色特征定 1 l 中山大学硕士论文基于内容的医学图像检索的研究 义比较明确，抽取相对容易，所以在图像检索中得到广泛的重视和研究。到目前 为止，利用颜色特征进行检索的方法主要是基于直方图的计算，例如统计直方图 法、累加直方图法、颜色对等。现代色视觉理论认为，r g b 模型值表示颜色是没 有直感的，而h s i 模型( h ：h u e 表示色度，s ：s a t u r a t i o n 表示饱和度，i ： i l l u m i n a t i o n 表示亮度) 从人心理感知的角度来说比r g b 模型更容易被人们接 受。对传统的h s i 空间还可以改进成更符合视觉的m t m ( m a t h e m a t i c a l t r a n s f o r mt om u n s e l l ) 空间。彩色图像检索也可用上述算法在h s i 或m t m 空间 进行。 以灰度图像为例介绍直方图的计算 - 统计直方图的计算 灰度的统计直方图( 一般简称直方图) 是常见的灰度特征的表达方法，它反 应了各种灰度在图像中的分布情况。图像的灰度统计直方图实际上是一个卜d 的 离散函数，即 日( t ) 。翌，k ；o ，1 ，l 1 ( 3 1 ) 上式中，七代表图像的特征取值，l 是灰度空间的量化数目， k 是具有第k 种灰度的像素个数，n 是图像像素的总数。可以采用直方图相交法 5 来度量直 方图的相似性。 累积直方图的计算 累积直方图也是一个一维的离散函数： 7 ( 七) 。荟n i n 七- 0 3 ，l - 1 ( 3 - 2 ) 式中参数的含义与直方图表达式中相同。累计直方图减少了直方图中的零 值，使颜色分量之间的距离与它们之间的相似程度成正比。 对彩色图像来说，如果用r g b 模型表示，其统计( 累积) 直方图就是分别计 算该图像在r 、g 、b 三个颜色分量上的统计( 累积) 直方图。有关文献的实验表 明累积直方图的检索效果要好于统计直方图，其鲁棒性也要较后者优越。这是因 为统计直方图算法对特征值的量化参数过于敏感，而累积直方图的优点在于它体 现了两种颜色在特征值轴上的距离与相似性之间的关系，即分布轴( x 轴) 上距 第三章c b i r 技术研究 离小的两点要比距离大的两点更相似。 颜色对 首先将图像分成一x h 个小块，计算每个小块的颜色直方图，再按下式计算 每个小块与相邻的8 个小块的颜色直方图的距离d ，生成距离直方图。 d ，1 o 一 ，( ，一( ，) 一q 一( ，) ) 2 + 。( ，。( g ) 一q j ( 占) ) 2 + 艺。( ，。p ) 一q 。( 6 ) ) 2 2 3 其中，i 、q 分别表示两相邻块的颜色直方图。 根据距离直方图，确定k 种距离最大的颜色对来描述图像的特征，通过比较 查询颜色对在图像库中某一幅图像里出现的次数来判断其相似性。 颜色对的方法比颜色直方图更能描述图像的局部特征。 因为本课题的研究对象为医学c t 图像，大多为灰度图像，因此，在颜色特 征的提取上主要考虑图像的灰度特征。 3 3 2 图像边缘的检测 图像的边缘检测是提取图像的线类型特征( 如轮廓) 以及进行基于边界的图 像分割的必不可少的关键技术。边缘是灰度值不连续的结果，可利用求导数方便 地检测到。图3 3 给出了边缘和边缘点的导数变化规律，其中( a ) 、( b ) 所示为阶跃 边缘，( c ) 为脉冲状边缘，( d ) 为屋顶状边缘【1 0 1 。据此，可有以下常用的简单边缘 检测算子。 图象 阶荨数 = 陆导数 圉3 3 边缘和边缘点的导数变化规律 中山大学硕士论文基于内容的医学图像检索的研究 _ 梯度算子 对梯度边缘，在边缘点其一阶导数取极值。由此，我们对数字图像 ，( f ，) ) 的 每个像索取它的梯度值： g ( i ，j 渔，o ，j ) + ，( f ，) ( 3 - 3 ) 其中 a ：f ( i ，) o ，j ) 一f ( i - 1 , j ) ，( f ，j ) a f ( i ，j ) 一，a ，j 一1 ) 适当选取门限掰。作如下判断：若g ( f ，) 删。，则点( f ，) 为阶跃边缘点， g ( f ，j ) ) 成为梯度算子的边缘图像。在有些问题中，只对边缘位置感兴趣，把边 缘点标以“1 ”，非边缘点标以“0 ”，形成边缘二值图像。 常用的梯度算子有r o b e r t 算子和p r e w i t t 算子，如下图3 - 4 所示 田田 r o b e r t s 2x2 横板 11 1 0 0 0 ll l ( b ) p r _ 虹t t 横板 图3 4r o b e r t s 算子与f r “v i h 算子的模板 一s o b e l 算子 对数字图像 ，( f ，硝的每个像素，考察它上、下、左、右邻点灰度的加权差， 第三章c b i r 技术研究 与之接近的邻点的权大。据此，定义s o b e l 算予： s a ，j ) 垒i ( ，a 一1 ，一1 ) + 2 f ( i l ，) + ，o - 1 , i + 1 ) ) 一( ，a + 1 ，j 一1 ) + 2 f ( i + 毛，) + f ( i + 1 j + 1 ) ) + i ( f ( i 一1 , j 一1 ) + 2 ，( f ，一1 ) + f ( i + 1 , i 一1 ) ) ( 3 - 4 ) 一( ，a - 1 , ，+ 1 ) + 2 f ( i ，+ 1 ) + f ( i + 1 j + 1 ) ) i 适当取门限t h ，作如下判断：若s ( f ，) t h ，则( f ，j ) 为阶跃状边缘点。 矗a ，) 为边缘图像。 图3 5 为常用的s o b e l 算子模板，图( a ) 、图( b ) 分别为检测水平方向边缘和检 测垂直方向边缘的模板， 121 no b i2 i 10 1 2 0 2 10l ( a )( b ) 圈3 - 5s o b e l 模板，( a ) 为检测水平方向边缘的模板，彻为检测垂直方向的模板 p r e w i t t 和s o b e i 算子是在实践中计算梯度时最常用的。p r e w i t t 模板实现 起来比s o b e l 模板更为简单，但后者在噪声抑制特性方面略胜一筹，这在处理导 数时是个重要的问题。 l a p l a c l a n 算予 对阶跃状边缘，其二阶导数在边缘点出现零交叉，即边缘点两旁二阶导函数 异号，据此，对数字图像 ，( f ，硝的每个像素，取它关于x 轴方向和y 轴方向的 二阶差分之和。 v 2 f ( i ，j ) a 2 x f ( i ，) + ，( f ，) ( 3 5 ) 一f ( i + 1 ，) + f ( i - 1 , j ) + f ( i ，j + 1 ) + f ( i ，j 一1 ) 一4 f ( i ，) 。 其中，a ：，a ，) 垒，f ( i + 1 ，j ) 一a ，f ( i ，) 中山大学硕士论文基于内容的医学图像检索的研究 醴p f ( ，n 警p f ( ，j + 1 ) - z x ，f ( 。订 这就是著名的l a p l a c i a n 算子，这是一个与边缘方向无关的边缘点检测算子。其 实现模板如图3 6 所示： 010 1 4 1 01o 1i1 i g 1 111 ( a )( b ) 图3 - 6 拉普拉斯算子的模板 _ l o g 算子( l a p l a c i a no f g a u s s i a n ) 噪声点( 灰度与周围点相差很大的点) 对边沿检测有一定的影响，所以效果更 好的边缘算子是高斯拉普拉斯算子，它把高斯平滑滤波器和拉普拉斯锐化滤波器 结合起来，先平滑掉噪声，再进行边沿检测，所以效果会更好。常用的高斯拉普 拉斯算子是 一24442 - 40 80 - 4 - 482 484 - 40 804 2 4 4- 4 2 图3 7l o g 算子 _ c a n n y 算子【1 1 】 c a n n y 在1 9 8 6 年提出，他根据边界检测算子应满足的3 个判断准则：信噪 比准则、定位精度准则和单边界响应准则，从理论上推导出了最佳边界检测算子 a n n v 算子。为简化计算，c a n n y 用泛函数方法导出该算子的最好近似是高 斯函数的一阶导。 c a n n y 算子之所以比较优越，在于它用两个不同的阈值来检测强边界和弱边 界，当一个弱边界和一个强边界连通时，在输出强边界的同时输出弱边界，否则 第三章c b i r 技术研究 弱边界不会被输出，这样做的日的是去除噪声对于边界的检测的干扰，同时又不 会丢失弱边界信息。c a n n y 算子的实现是一个多阶段的处理过程，首先对图像进 行g a u s s i a n 平滑，然后对于平滑后的图像进行一个r o b e r t s 算子运算： 用，a ，) 表示图像，使用可分离滤波方法求图像与高斯平滑滤波器卷积，得 到一个平滑数据阵列： s ( i ，d - a ( i ，j ；a ) j ( f ，j )( 3 6 ) 其中，盯( 取盯= 1 ) 是高斯函数的散步参数，控制平滑程度；s ( i ，) 为平 滑后的数据阵列；g ( i ，j ；c y ) 为高斯平滑滤波器。 平滑后的数据阵列s ( i ，j ) 经过r o b e r t s 算子得到x ，y 上的分量： p ( i ，j ) 一( s ( i ，+ 1 ) - s ( i ，) + s ( i + 1 ，+ 1 ) 一s ( i + 1 ，) ) 2 ( 3 - 7 ) q ( i ，) 一( s o ，j ) - s ( i + 1 j ) + s ( i ，j + 1 ) 一s ( i + 1 ，+ 1 ) ) 2( 3 - 8 ) 变换后的图像为： o ( i ，j ) - p ( f ，叫+ l q ( f ，刊 ( 3 9 ) 其中，o ( i ，j ) 为变换后的图像。这样，就可以得到用c a n n y 方法运算得到的 边缘图像。用上述算子对图3 - 8 ( a ) 进行边缘检测，检测结果如图3 8 ( b ) 、( c ) 、 ( d ) 所示： ( 匐原圈 1 7 c b ) $ 0 b e l 算子 中山大学硕士论文基于内容的医学图像检索的研究 ( c l 。i ；算子( d ) c a r n y 算千 图3 - 8 用s o b e l 算子、l o g 算子、c a n n y 算子对图像进行边缘检测结果对比 由上图易看出，采用c a n n y 算子对图像进行检测，相对以上介绍的各算子可 以得到更为详细的边缘信息且边缘较为连续。 c a n n y 算子是最佳的二阶检测算子，而沈俊的最佳边缘检测算子则是一阶的 最佳算子，二者在对图像进行边缘检测的应用上都取得了非常理想的效果。 3 3 3 纹理特征 纹理是图像中一个重要而又难以描述的特性，至今还没有公认的定义。习惯 上，把图像中局部不规则，而宏观有规律的特性称之为纹理。以往纹理多用于模 式识别和计算机视觉，近年来在图像检索中也得到了广泛的应用。目前，用于纹 理分析的方法主要有以下几种。 一共生矩阵 在纹理图像中，在某个方向上相隔一定距离的一对象元灰度出现的统计规 律，应当能具体反应这个图像的纹理特性。可以用一对象元的灰度共生矩阵来描 述这个统计规律，进而由共生矩阵计算出一些参数定量描述这个纹理的特性。灰 度共生矩阵是描述在方向妒上相隔d 象元距离的一对象元分别具有灰度a 和b 的 出现频率，其元素可记为0 _ 0 ，们。如果记图像为，d 是像素对集合， d l f x ，那么距离为d 、方向分别为o 。、4 5 。、9 0 。、1 3 5 。的共生矩阵定义为： 第三章c b m 技术研究 咯。0 ，b ) | 【( 七，z ) ，( 肼，h ) 】d ：七- m 一0 ，i f h i d ，f ( k ，d t 4 ，( m ， ) 一6 ) i 气e , d ( 4 ，6 ) i 【俅，f ) ( 优，n ) i e d ： ( 七一m - d ，f 一再一一d ) o r ( k - m 一- d ，z 一玎一d ) ， ，d 一口，( m ，厅) 一6 ) i j 0 。0 ，占) 蕾i 【忙，z ) ，( 坍，开) j d ：i 七- - m i d ，f n = 0 , f ( k ，f ) 1n ，( m ，挖) 一舛l 暑3 5 _ q ，6 ) 叫( 七，) ，( m ，n ) 】d ： ( 七一小一d ，f 一以t d ) o r ( k m 一- d ，f 一，l 一一d ) ，f ( k ，1 ) = 口，( ， ，玎) a 6 ) l 其中，k 、m 和l 、n 分另在图像窗口中变动。 由灰度共生矩阵可以计算出一组参数，用来定量描述纹理特性。有人总结可 计算1 4 种参数，其中下面4 种是比较常用的参数： 1 ) 反差 对于粗纹理，共生矩阵m * 的数值较集中于主对角线附近，此时0 一七) 的值 较小，相应的c o n 值也较小。相反，对于细纹理，相应的c o n 值较大。其表达式 如下： c 0 。辜；q - k ) 2 ( 3 - 1 0 ) 2 ) 能量 是一种对图像灰度分布均匀性的度量。当肌船的数值分布较集中于主对角线 附近时，其相应的a s m 值较大；反之，a s m 值较小。其表达式如下 删军；2 ( 3 - 1 1 ) 3 ) 熵 当灰度共生矩阵中各m 从数值相差不大且较分散时，e n t 值较大；反之，若卅* 的数值较集中时，e n t 值较小。其表达式如下： e n t - - m m l o g m m 乍乍一 ( 3 1 2 ) 4 ) 相关 描述矩阵中行或列元素之间的相似程度的，是灰度线性关系的度量。其表达 式如下： 蚴。古t ；” m 中山大学硕士论文基于内容的医学图像检索的研究 其中： ”； ；m “ 驴；七；m n 吼。；o 一以) 2 ；m “ 旷；似碣) 2 ；肌n 另外，还有惯性矩、局部平稳等参量，在此不再赘述。 一m a r k o v 随机场模型n 踟 b e s a g 关于方形网格上数据的统计学模型，把马尔可夫随机场与g i b b s 联合 分布概率联合起来，为该数学模型的实际应用铺平了道路。在这种数学模型指导 下，使用局部的图像运算，可以获得全局性的处理结果。 理论上，m r f 模型可以产生任何模式的纹理。但在实际应用中，m r f 模型仍 然因为有较多的局限性而未得到广泛应用。 除了上述两种纹理描述方法以外，还有基于小波变换的描述、多尺度随机场 模型、连续m a p 估计等描述方法，但最为广泛应用的是共生矩阵法描述纹理。 3 3 4 形状特征 物体和区域的形状是图像表达和图像检索中的另一重要的特征。但不同于颜 色或纹理等底层特征，形状特征的表达必须以对图像中物体或区域的划分为基 础。由于当前的技术无法做到准确而鲁棒的自动图像分割，图像检索中的形状特 征只能用于某些特殊应用。另一方面，从不同视角获取的图像中目标形状可能会 有很大差别。为准确进行形状匹配，需要解决平移、尺度、旋转变换不变性的问 题。目前常用的形状描述方法有以下几种： _ 简单标量技术 简单标量技术是指用几何形状特征如面积、周长等来描述，主要用于区分很 好定义差别显著的图像。 一边界方向直方图法帕 首先，对图像进行边缘检测，得到图像边缘点；其次，计算每个边缘处的切 第三章c b i r 技术研究 线方向，作为该点的方向；第三，对边缘点的方向作归一化直方图作为描述形状 特征的参数。边界方向直方图法有以下特点： 利用边缘方向能获得形状的整体信息 边缘方向对图像中目标的位置不敏感 边缘方向会受到图像拉伸、旋转的影响 与方向量化数目有关。量化越精细越有助于提高匹配准确度。但这对边 缘检测提高了难度，同时会降低匹配速度。 边界方向直方图在很多检索模型中获得到了应用，但边界方向直方图一般不 具备旋转不变性，因此有一定的局限性。 _ 区域矩 矩是对图像的一种统计形式。对一个数字图像函数，o ，y ) ，如果它分段连 续且只在x y 平面上的有限个点不为零，则可证明它的各阶矩存在。f ( x ，y ) 的 q + g ) 阶矩定义为 研。x y ，o ，y ) ( 3 1 4 ) 可以证明，用。唯一的被( x ，y ) 所确定，6 2 _ ，m 。也唯一的确定了( x ，y ) 。 ( x ，y ) 的( p + 口) 阶中心矩定义为： 。t o 一；)