（生物医学工程专业论文）基于内容的医学图像检索中特征提取技术研究.pdf

西北工业大学硕士学位论文a b s t r 耐a b s t r a c tw i t ht h e 埘【p i di m p r 0 v e m c n to fi m a g c - b 弱c dc l i n 妇l 把c h i q u c l a r g ea m 咖d l so fd i g i t a li m a g e sa r cp r o d u c c dc v e r y d a y t h cm 弛a g e m c n to fm c d i c a lj n l a g cd a t a b 舔c柚dh a wt 0 喊t h o s ci m a g c si na i n i c a ld i a 印o s ep r o c e 鹃( c d p ) b e c o m 鼯姐e s p c c i a l l yc h a l l e n g ci nm e d j c a la 陀a c c i n t e n t b 丛e dh a g cr c 仃i c v a lp l a y s 柚j m p c i n 皿ti o l ci nc l i n j c t e a c h i n g ，r e s e a f c h 如dp a c s ，e t c m 勰ym e d i c a ii m a g e sd tc o n t a i nc 0 1 0 r 缸f 0 珊缅no ra 阳a d o p t e du n d c ft h el i m i t e dc o n d m o 惦t 致t i l a n ds 岫f c a t i l r 铬a r em o i m p c 衄ti nt h cm e d i c a li m a g cr c 晡e v a l ，湖p a 驿d 诵t h t h c f c a t l l l _ c so f c o l 甜o fg r a 弘h t h e n t 眩t ，w c 董咖s0 nm ei m a g c ，st c x t i l 陀缸ds h 印ef e a t l i | 髑懿t 删：t i o mf n rt c x t i i f ef b a n 玳，w ep r o p 0 孤a l 窘0 r i t h mo fg r a y - p r i m i t i v c h o c c l i n 蚰c cm a 咄t h a t咖b i n 髂t h es p a o c s t a t i s t i c a lt 懿t 眦a l g o r i t h mo fg m yl e v dc a 吣u 毗n c cm a t r i xw i mn 沁s 舡t l c t t 髓d i s t r i b u t i o no fs 哪u n d i i i gp i x e l s i k p c i i m 姐tr e 印1 t sv e r i f yt l l i sm e t h o di sm b u s t ，r c l a t i v e l yf c e b l es e s i t i v i t yt 0r o t a t i o n柚db c n 盯q u e f yp c d o 加柚c e f b ft c x t l l r cf e a t u f c ，m a l 【i n g 岫eo ft h ev a l i d i t yo fw a v e i e tc d g ed c t e c i i a n dr c l a l i v em 伽蛐td 印i c t i 叩o ft h c 暂晒o na n ds t n l 咖圮，w ep r o p 佛eas h a p ef c a t i l r e“t r a c t i o nh a s c do nw a v e l c ta n df c l a t i v em o m e n t s f i f s t ，i tt i 勰s f 0 珊st h el u m i n a n c ei m a g c sw i mw a v c l c te d 莎d c t e d i 彻t og c tm u l t i s c a l ee d g ei m a g c s ，t h c a l c l i a t e st h cs 奴r c 蜥v cm o m 如t so fc v e r ys c a l c s i m i l 州t yi s 酉v 吼b yt h c 脚e d i ad i s t a n c eb c t 、nt w oj n l a g c s n o 咖a l i z c dm o m e n tv e c h o 塔e x p c r i m 蛐tr 鹳u n sv c r i f yt l l i sm c t l l o di s 印p l i c a t i i n d 印e n d c n t 柚de 侬斌i v et os o l v ct h cp r o b l e mb r o u g h t t b yi m a g et r 龃s l a t i o n ，s c a l i n g ，t a t i o n m 啪w l l i l e ，t h ep a p c rp r o p o b l u r 珂a l g o r i t h mt oj m p 玎0 v et h ed e f c c to ft h i c kc d g c 柚do v c m b u n d a n c cd e t a i l s ne l i i i n a t e sr e d u n d a n c y出o b 证地a c c u r a t eo b j e c s h a p c 柚dr c d u c c st h eq u e f ye 玎o rt ot b el e a s td c 伊a tl a 巩w cd e v c l o pas i m p l e 懿p c r i m e n t a lm e d i c a li m a g e 卵砸e v a ls y s t e mb 舔e d彻e x 锄p l ei l n a g e 柚dc c r t i f i c a t et h ef o l l o w i n ga i g 喇t h i n k | e yw o r d sc c m t e m - b 弱ei i n a g cf e l r i c v a l ，m e d i c a li m a g e ，g m yk v e lc o o c c l i 玎c n c cm a t r j x ，w 如e l c tm u l t i s c a l ee d g ed e t c c t i 伽，r c l a t i v em o m e n t西北工业大学学位论文知识产权声明书本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业大学。保密论文待解密后适用本声明。学位论文作者签名：j 至j 墼整一指导教师签名：_ ! 1 5 竺术乡砷年弓月一7 日沙7 年3 月，p 日一一一一一一一一一一一一一一一一一一一i 一一一一上一一，一一西北工业大学学位论文原创性声明秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成果，不包含本人或他人已申请学位或其它用途使用过的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人学位论文与资料若有不实，愿意承担一切相关的法律责任。学位论文作者签名：堑数砷年寻月，7 日西北工业大学硕士学位论文第一章绪论第一章绪论近年来。伴随计算机运算和存储能力的提高，以及扫描技术、网络技术、图像压缩技术和因特网技术的迅猛发展，来自各行各业的数字化图像的数量急剧增大，从而使得图像数据库及其检索技术成为当今研究领域的热点之一f 1 】【2 】1 3 】。传统的基于文本的图像检索方法已经难以满足当前应用的需求。为此，如何从在线的数据库更有效地创建、管理和检索图像已经成为军事、气象、航空、航天以及生物医学等重大领域中待以解决的问题。如果可以找到一个直接检索图像“内容”，而无须依赖相关文字信息的方法，无疑对这些颁域的发展具有重要的意义。而基于内容的图像检索( c b i r ，c 咖t 朗t b 弱e di d l a g cr e 舡i e v a l ) 系统的根本目的就是利用图像数据库本身所存储的信息进行快速高效地检索。作为一项新兴的图像检索技术，c b m 在当代信息处理领域具有较高的研究意义和实用价值，因此逐渐成为近年来的研究热点。1 1 图像检索技术的研究意义在过去的几十年里，随着计算机科学技术的发展以及网络、通讯革命的影响，特别是i n t 啪e t 的发展和应用的普及，数字信息的数量和种类不断地膨胀。从文本、数据、可视化的图形和符号到声音、语音、图像和视频无所不在。这些信息所涉及到的领域包括学术、环境、医学、气象、交通、军事等各个方面，毫不夸张的说，现代人的生活已经离不开这些信息为其提供的服务。但是，从另一方面看，这些信息所包含的内容现阶段还没有被充分的利用。因此，如何充分、高效的利用这些信息，已经成为目前信息处理领域研究的一个重要而迫切的课题。目前，各种图像数据库( 包括各类专用图像数据库和i n t 锄e t 图库等) 中存在着大量的图像，少则几十上百，多则成千上万。这些图像数据库随着时间的推移还会不断膨胀。如何从这些海量图像数据库中快速查找出用户感兴趣的图像，已经成为制约信息获取的关键问题之一，这也是c b m 的研究目标。正是由于c b 瓜的重要性，1 9 9 5 年，由美国国家自然基金会( n s f ) 、国防部高等研究计划局( d a l 强a ) 和美国航空及太空总署( n a s a ) 共同投资2 4 万美元，支持以q l 丌e 垂em e u u n i v c 体i t y u n i v c 略i t yo fs t 柚f b 咄u n i v e 璐i t yo fm i c h i 驴等六所大学为首的，有7 5 个研究机构参与的为期4 年的数字图书馆研究计划。同时英国、法国、日本、意大利等发达国家也在这一领域相继投入了巨资进行相关的研究工作。西北工业大学硕士学位论文第一章绪论在国内，一些重点院校，如清华大学、国防科技大学、浙江大学和中科院计算机所等也开始了这方面的研究工作。但是遗憾的是，由于基于内容的图像检索仍然处于极不成熟阶段，要想达到使用水平仍然有相当远的距离，还有许多关键技术需要进一步研究。1 2 图像检索的发展1 2 1 基于文本的图像检索技术基于文本的图像检索属于传统的图像检索技术，它主要是对图像进行人工分析，对图像的物理特征、内容特征进行文本标注，建立类似于文本文献注录索引数据库，并通过检索这些数据库获得图像编号，继而利用这些编号索引实际图像。传统的关系数据库技术就可以满足这样的要求。现在的一些大型数据库系统都支持二进制大对象( b l o b ) 存储图像，但是对图像的管理仍然是通过二进制大对象和图像的关键词建立联系的方法。此时，基于文本的图像检索技术还可以使用，但是，由于直接在数据库中访问图像的操作比较复杂，因此在数据库中以二进制大对象的方式管理图像的方法没有流行起来。所以，这种采用对图像建立关键词等文本描述信息的方式已经越来越不适应图像信息检索的要求，究其原因主要是存在以下几个局限性：( 1 ) 对图像加注文本信息是由手工完成，费时费力；( 2 ) 文本描述信息是非常主观的，不同的人对同一幅图像可能有不同的理解，这样就便得文本描述信息存在二义甚至是多义性，因此当用户在查询时输入的关键词和数据库中的关键词不一致就会导致查询失败；( 3 ) 一幅图像所表达的意思是不可能用几个关键词就表达清楚的；( 4 ) 不同国家不同民族很难用同一种语言对图像加注标志，而且对图像语义理解的差异很大。为了突破基于文本图像检索技术的诸多弊端，入们转向研究图像中所包含的内容信息来作为图像的索引。1 2 2 基于内容的图像检索技术基于内容的图像检索技术的主要思想是根据图像的一些低级视觉特征，如颜色、纹理、图像对象的形状以及它们之间的空间关系等内容特征作为图像的索引，计算基准查询图像和图像数据库中图像的相似距离，按照相似度匹配进行检索。其主要目的还是要克服基于文本图像检索技术的局限性。基于内容的图像检索技术具有如下的特点：2西北工业大学硕士学位论文第一章绪论( 1 ) 直接从图像的内容中提取线索。正是由于这一特点，使得基于内容的图像检索技术突破了传统的基于关键词检索的局限，直接对图像本身进行分析并提取特征，使得检索能够更加接近目标。( 2 ) 提取特征的方法多种多样。从图像中可以提取的特征包括颜色、纹理、形状、目标轮廓等。检索是人机交互的。一般来讲，人对于目标的特征比较敏感，能够迅速分辩出目标的颜色、形状等信息，但是对于大量的对象，一方面难以记住这些特征，另一方面人工从大量数据中查找目标的效率非常低，而这正是计算机的弊端。因此，在基于内容的图像检索中，人和计算机相互分工配合进行检索。( 3 ) 基于内容的图像检索是一种近似匹配。在检索中，可以采取逐步求精的算法，每一层中间结果都是一个集合，不断减小集合的范围，直到定位到近似目标。这一点和传统数据库的精确匹配算法有明显的不同。基于内容的图像检索技术本质上是一门信息检索技术，它利用认知科学、图像处理、模式识别、计算机图形学、知识库系统、数据库管理系统、信息检索的研究成果和方法，研究新的媒体数据的表示和数据模型、有效可靠的查询处理算法、智能查询接口，以及与应用领域无关的系统结构。但是需要注意的是，基于内容的图像检索和图像理解、模式识别等的区别在于它不是去理解和识别图像的内容，而是利用这些相关学科的综合知识去实现图像信息的基于内容的快速查找。1 3 现有的c b i r 系统随着基于内容的图像检索技术的发展，各种图像检索系统相继问世。著名系统有：m m 公司的q b i c m g c 公司的v 眼工程系统等。依照系统所应用的范围可将其分为：商用系统、网络用系统和研究用系统3 类，下面分别介绍：1 、商业用系统m m 公司的q b l c ( h n p ：帕n n q b i c a l m a d 衄i b 札c o m ) 是第一个商用的基于内容的图像检索系统，是最著名的产品。它的系统结构及所用技术对c b m 技术的发展产生了深远的影响。q b l c 系统实现了基于颜色，纹理、形状的组合查找，以及文字关键字的查找。查询方式实现了基于模板图像的查找，基于调色板的查找和基于草图的查找。它既可以作为独立的软件产品使用，也可以作为i b m 公司的d b 2 数字图书馆的一个组成部分。r a g c 公司的v 瓜图像工程系统( h t t p ：伽n 棚，v i m g e c o m ) 具有独立性及附属性。它的技术核心是豫g e e n g i i l e 和在图像对象层上的操作。r a g e e n 舀n c 具有图像分析、图像比较和图像管理功能。它将查询引擎作为一个插件，它既可应用到通用的图像查询，也可以应用到特定的领域。西北工业大学硕士学位论文第一章绪论2 、网络用系统h i l a g c s u m 如t t p ：i 1 墩y a i l 啪) 可以按照分类主题进行浏览，也可以执行关键词或可视搜索。在利用关键词进行搜索时，要在页面标题、目录、文件名或指向图像文件的链接中查找所要查找的词汇。该引擎具有模糊查找功能，与关键词相似的也能查找出来。在可视搜索中，用户可以进行颜色、纹理、形状以及与用户的“示例图像”相类似的图像组合的搜索，搜索结果显示的是简图和文本。w 曲s e e k 是哥伦比亚大学开发的一种实验性系统，它采用自动探测对可视信息进行分类。其优点是：按主题分类，比较适合关键词搜索；搜索方式灵活：另外它采用了结构识别和颜色、形状等特征类型，用户可以采用各种可视属性进行搜索；自动化处理程度较高。缺点是：搜索结果没有文字说明。3 、研究用系统为了演示新技术的可行性，许多研究机构研制了大量的演示软件，主要有m r r 的p h o t l 3 b o o k 系统，哥伦比亚大学的v t s u a l s e e k 系统，美国伊利诺斯大学的m a r s 系统等。这些演示系统在应用已有的商业软件中的技术的同时，进行了新理论的应用探讨。其中，p h o 幻b o o k 系统是检索图像的交互式工具，包含三个子系统，分别提取形状、纹理和人脸特征，允许使用者根据应用的特点，选择某种特征进行查询，它的人脸识别系统己经应用于美国的警察机关。s u a l s e e k 系统作为最早的演示软件，实现了基于颜色、形状和空间位置以及文字关键字的查询，它主要为了实现基于网络的图像检索。现已在电子图书馆等领域得到了一些应用。m a r s 系统( m u l t i m e d i a a n a l y s i s 卸dr e t r i c v a ls y s t c m ) 的重点不在于寻找单个的最佳特征表示，而在于如何将图像不同的外观特征组织成有意义的检索体系，动态地适应不同的用户及应用场合。m a r s 系统是正式提出相关反馈的系统，它将相关反馈技术集成到检索的不同层次过程中，使用不同的特征和不同的相似性度量准则比较模板图像和图像库中的图像。1 4c b 佩系统在医学图像方面的应用随着国内外各大中心医院开始推广信息化建设，数字化医学影像设备，如c t m r i ，c r ，d r 等逐渐在临床工作中得到广泛应用。据有关资料统计，在我国每台影像设备每天可产生大约1 0 g 2 0 g 的数据量，为了管理由此产生的海量数据，许多医院都开始着手建设医院卫生信息系统( h i s ) 和图像归档及通讯系统( p a c s ) 甚至是医院间的远程医疗系统。为此，如何高效地进行高质量的医学图像传输、储存，以及在海量图像数据库中，根据图像特性查询检索等高技术研究4西北工业大学硕士学位论文第一章绪论己经成为当今国际上的研究热点。但是目前有关这方面研究的系统评估极少见报，而有关此类系统在i 临床应用中的描述就更少涉及。国外医学团体曾多次提出要把基于内容检索纳入医学应用，但是通常情况下并没有实现。客观的看，毕竟c b 瓜技术运用到临床实践中并非是一个简单的数据交换或是一项必需实现的诊疗功能。虽然如此，来自临床诊疗、科研教学等方面的强烈需求，促使有关应用c b m 技术来检索医学图像数据库的研究一直成为医学图像领域的热点课题。1 4 1 医学图像特点医学图像与一般图像( 如自然景观、艺术绘画等) 相比，主要有以下特点【4 l ：一多模态性造成医学图像多模态性的原因是现代医学影像设备的成像原理各不相同。根据其应用范畴，医学图像主要分为两大类：解剖图像和功能图像。解剖图像主要描述人体的生理解割结构，其来源包括x 线、c t 、m r j 及超声等。功能图像主要描述人体在不同状态下组织器官的功能活动状况，包括p e es p e c t 等。具体到临床应用，根据不同的成像参数及成像条件，每种模态下还可以产生不同表现的图像，如m r i 成像时的t 1 、t 2 成像方式。不同的图像模态反映了不同的医学信息。如c t 图像能够精确显示人体头部的解剖结构，反映出脏器的几何及空间位置信息，但不能反映功能信息；而p e t 和s p e c t ，则能够提供大量功能信息、生化信息和生理学信息，却不能反映解剖结构。一模糊性医学图像和普通图像比较，本质上具有不均匀性和模糊的特点。( 1 ) 医学图像具有灰度上的含糊性。在同一组织中c t 值会出现大幅度的变化。如骨骼中股骨、鼻窦骨骼和牙齿的密度就有很大差别；在同一个物体中c t值也不均匀，如股骨外表面和内部的骨髓的密度。另外，由于技术上的原因带来的噪声信号往往模糊了物体边缘的高频信号，以及由于人体自觉或不自觉的活动也会造成图像在一定程度上的模糊效应。( 2 ) 局部体效应。在一个边界上的体素中，常常同时包含边界和物体两种物质；图像中物体的边缘、拐角及区域间的关系都难以精确描述；一些病变组织由于浸润于周边组织，其边缘无法明确界定。( 3 ) 不确定性知识。通常，正常组织或部位没有的结构在病变情况下出现，如脏器表面的肿块，骨骼表面的骨刺，这给生物学的数学建模带来不可预测的困难。为了弥补医学图像的这些弱点，准确地分辨医学图像正常组织结构和异常病西北工业大学硕士学位论文第一章绪论变，需要对医学图像进行分割。因此在医学应用中，图像分割具有特殊的重要意义。数据异质性在不同成像设备上，医学图像的存储、尺寸、分发和显示上的差异称为医学图像的异质性。事实上，通过成像扫描设备得到的不同模态、不同方向和不同部位的图像，反映了不同设备制造商自己的内部数据格式，从而使得医学图像在外观、方向、大小、空间分辨率和灰度分辨率上各不相同。例如c r ( c o m p u t e dr a d i o 伊印h y ) 图像根据不同的图像板类型，就会有1 7 6 0 2 1 4 0 、1 6 7 0 加1 0 和2 0 0 0 2 5 1 0 等几种成像尺寸。时空关系在影像诊断中，通过图像正确判断病变位置及其周边组织的空间关系以及病程发展的时间关系对诊断和治疗计划的实施具有重要意义。客观上，成像设备、成像介质或成像参数的选择以及病交的多样性都会影响图像在空间关系的表现。主观上，影像医生对生理学、病理学和解剖学的认知水平会影响医学图像在病程时间上的判断。正是由于医学图像的这些特殊性，医学图像的检索问题始终是研究领域极富挑战性的课题。尤其是当利用基于内容的检索方法来作为辅助影像诊断的检索工具时，如何避免同类型图像整体相似性的干扰，而取得病灶区域的相似性特征，然后通过相似度比较，把所有同类病变表现的图像返回给用户，这给医学图像检索提出了更高的要求。1 4 2 基于内容的医学图像检索框架基于内容的医学图像检索属于专用检索系统，可把它看作是介于信息用户( 放射学者、医生) 和医学图像数据库( 知识库) 之间的一种信息服务系统，用户通过它可以从库中提取满足要求的医学图像数据，如图1 1 所示。基于内容的医i 。放篙：生，医学图像数据库i( 知识库)i图1 1 c b m i r 的作用6西北工业大学硕士学位论文第一章绪论将通用的基于内容的图像检索框架与医学图像相结合，得到基于内容的医学图像检索框架，如图1 2 所示。图1 - 2 基于内容的医学图像检索框架基于内容的医学图像检索框架由两部分构成：前端的用户检索和后端的医学图像数据库以及特征库的建立。后端的准备工作是前端检索的基础，前端在进行相似性比较和信息提取时，分别涉及到后端的特征库和图像数据库。从图1 - 2 中可知，前端由四个模块构成，分别为查询模块、分析描述模块、相似性比较模块和信息提取模块。后端由医学图像数据库模块、分析描述模块和医学图像特征库模块共三个模块组成。两部分中共有的是分析描述模块。查询模块的主要功能是对用户提供多样的查询手段，以支持用户根据不同应用进行各种类型的查询工作。用户提出的查询条件可以是文本描述，如患者的姓名，疾病名称等，也可以是预查询图像，或者是二者的结合。典型的图像查询方式是按示例查询( q u c r yb ye x 锄p l e ，q b e ) ，即用户给出示例图像，要求系统检索和提取图像库中相似的图像，样本图像可以由用户从系统提示样本中选择，也可以自行定义。分析描述模块的主要功能是将用户的查询要求转化为对图像内容的比较抽象的内部表达和描述，即通过对图像的分析，从而以一定的、计算机可以方便表7西北工业大学硕士学位论文第一章绪论达的数据结构建立对图像内容的描述。这个模块在前后端都需要，属于公共部分。前端对示例图像分析描述，后端对医学图像库中的每幅图像都进行分析描述，并将其提取的特征存入医学图像特征库。相似性比较模块的主要功能是在医学图像数据库中搜索所需的图像内容。因为对被查询图像( 示例图像) 建立的表达描述也已对图像数据库中的所有图像建立了，所以对查询图像的描述与数据库中图像的描述进行内容匹配和比较就可以确定它们在内容上的一致性和相似性，这个匹配的结果将传递给提取模块。提取模块的主要功能是根据相似性比较的结果在图像数据库中对感兴趣的图像定位，并在相似性比较的基础上将医学图像数据库中所有满足给定条件的图像自动地提取出来以让用户使用。如果事先对图像数据库建立了索引，在提取时可提高效率。医学图像数据库模块是医学图像的集合和组织。图像在数据库中的存在形态可以有两种：( 1 ) 完整的图像数据；( 2 ) 图像文件的路径名，系统可以通过这个路径名取得所指定的图像文件。第二种方式实际上只存储了对图像的引用，可以大大降低数据库的存储量，但安全性差一些，所以系统应为这种存储设置定时检查机构。如果图像比较大，还应为图像建立统一格式与尺寸的压缩图标，以提高检索速度。医学图像特征库模块存储的是图像库中所有图像的内容，包括颜色、纹理、形状、语义和对象空间关系等特征以及与图像相关的文本信息。该模块以分析描述模块为基础，在后端将图像分析描述的结果保存在医学图像特征库中，为比较相似性做准备。从上述的医学图像检索框架中可得出基于内容的医学图像检索的基本过程。首先对医学图像数据库中的每幅图像，进行图像分析描述，提取图像特征或目标特征向量，建立相应的医学图像特征向量库，也就是说，在建立图像数据库的同时，建立与图像数据库相连的特征库；其次在进行图像检索时，对给定的查询例图，先按照某种图像描述方法提取该例图的特征向量，然后将该例图的特征向量与特征库中的特征向量进行相似性匹配，并根据匹配结果到图像库中搜索，即可检索出所需的内容。t1 4 3 各类医学图像的c b i r 应用绝大多数的医学图像应用是围绕放射科产生的图像进行开发的，但是在其它几类i | 每床科室也有c b i r 技术的实现。多类医学图像的分类搜索方法见文献【5 l 【6 1 。文献用【8 l 【9 】介绍了基于内容的皮肤病图像的分类方法。由于病理图像的颜色和纹理信息相对容易被识别，因此c b i r 技术也常被用于检索病理图像的研发。8西北工业大学硕士学位论文第一章绪论病理学专家搜索参考病案的工作事实上也是进行图像的检索而不是查阅参考书。在文献【1 0 l 中介绍了一个用于检索肺结核病理图片的c b 瓜方法。文献1 1 l l 介绍的是组织病理学的应用。在心血管疾病应用上，c b i r 技术已经被用来发现主动脉狭窄的图像【1 2 1 。心脏m r i 的c b m 应用见于文献【廿】。为了减少假阳性患者被清理组织而造成的负面心理影响，在放射学中，乳腺照片是最经常被用来进行分类和c b m 技术研究【1 舢7 l 。胸部超声图像的c b 取应用见于文献i l 川。在医学图像c b 佩技术研发中，有关分类高分辨率c r ( 砌l c d 肺部图像的a s s e r t 项目是目前较为活跃的领域【1 例。一项研究报告显示，借助这套系统进行显著改善诊断质量。相似的研究项目见于文献【2 1 捌。推动这方面研究的主要原因是肺部疾病的诊断困难和诊断中强烈地依赖肺部纹理特性【2 3 洲。胸部照片方面的c b m 研究见于文献1 1 ”。但这项工作明显非常困难，因为胸片中存在多器官重叠，并且除了病理改变外还有很多因素会明显影响图像的视觉内容。此外还有许多文章都运用医学图像来阐明他们的算法，但极少提及临床实际应用的评估。表1 1 总结了几种应用c b 瓜技术的医学图像检索系统。表1 1 多类医学图像及应用于这些图像的c b l r 系统研究应用对象系统名称肺部h r c ra s s e 盯功能p e tf i c b d s脊柱x 光片c b m 2 ，m m s病理图像p a t 龇d c r ，p a t h m 猫t 盯，e m ，i - b r o w s e乳腺照片a p k s生物学图像b i o h a g c ，b i r n皮肤病学m 匣l d o q ，m e d s乳腺癌切片b a s s多类图像分类1 2 c ，m m a ，k m e d ，c o b r m e d g i f r 蛔a g e e n 舀n ec t 脑肿瘤图像m i m s但是这些方法所涉及的概念是面向任务的，研究方法不可传递到其它医学应用上。9西北工业大学硕士学位论文第一章绪论1 5 研究内容和工作安排现有的基于内容的检索方法对特定的应用有较强的依赖性，在不同应用背景中不同的特征提取方法对检索效果有较大影响。针对这个问题，本文对各种特征提取方法进行了分析，并围绕纹理和特征提取方法在医学图像方面展开了研究，在总结他人研究成果的基础上，提出自己的改进方法。本文主要工作和章节安排如下：第一章绪论本章主要概述了基于内容的图像检索的发展以及现有的几种国内外c b 瓜系统。特别介绍了在医学图像方面的应用及存在的问题。第二章基于内容的医学图像检索的主要技术本章主要介绍了c b m 系统目前的研究热点和研究方向，特别介绍了医学图像存档和通信标准d i c o m 3 o 。第三章基于纹理特征的医学图像检索本章主要介绍了几种目前常用的基于空间域、频域和结构的纹理特征描述符。本文利用统计特征描述符灰度共生矩阵实现了纹理图像检索，并且对医学图像纹理信息进行了分析，给出了实验结论，最后利用灰度一纹理基元共生矩阵算法对其进行了改进和结果比较，得出有用的结论和展望。第四章基于形状特征的医学图像检索本章主要介绍了几种目前常用的基于轮廓和区域的形状特征描述符。本文结合两类描述符的特点提出了多尺度模极大值和相关矩的形状特征提取方法，通过实验证明该方法的抗干扰能力强，通用性较高。最后本文给出了实验结果和检测算法的改进，总结了存在的问题和改进的方向。第五章基于内容的医学图像检索系统的实现本章从图像预处理设计、图像数据库设计和图像特征提取设计三个方面介绍了本文设计的医学图像检索系统的组成和实现的功能。第六章总结与展望本章总结了本文的研究工作，对今后需要进一步开展的研究工作提出了展望。1 6 本章小结本章介绍论文的研究背景和研究任务，并对图像检索的发展过程和研究现状进行了概述，介绍了由于医学图像自身的特点，现有的国内外的医学检索系统存在通用性问题，使得应用c b i 王己技术来检索医学图像数据库的研究成为医学图像领域的热点课题。最后对后面的章节安排作了简单介绍。1 0西北工业大学硕士学位论文第二章基于内容的医学图像检索的主要研究技术第二章基于内容的医学图像检索的主要技术2 1 前言基于内容的视觉信息检索( 包括静态图像、视频等) 从上个世纪九十年代开始，已经过十多年的发展，取得了巨大的成就，也在各个领域得到广泛应用。但作为一个新兴的、具有挑战性的课题，这方面的工作毕竟还处于起步阶段，仍然具有巨大的研究和应用空间。同时这方面的工作在经过这十多年发展后也暴露了许多闯题，所以很多入都在关注这个领域今后的发展。目前，基于内容的图像检索技术主要有以下几个研究方向。2 2 特征提取与描述基于特征的图像检索技术主要包括：基于形状特征的图像检索、基于颜色特征的图像检索、基于纹理特征的图像检索以及基于空间关系特征的图像检索。其中，利用颜色和纹理特征进行检索起步较早，取得了一定的研究成果。有关利用形状特征进行检索的技术还不成熟，存在很多问题。在第三章和第四章将分别详细介绍基于纹理和形状特征检索。2 3 图像相似度量方法基于内容的图像检索是通过计算查询( 例子图像) 和候选图像之间在视觉特征上的相似度来进行匹配，是一种近似的匹配。因此，检索的结果不是一幅单一的图像，而是一系列通过相似性程度排列的图像。由于视觉特征大都可以表示成向量的形式，常用的相似度方法都是向量空间模型( v e c t o rs p a c cm o d e l ) ，即将视觉特征看作是向量空间中的点，通过计算两个点之间的接近程度来衡量图像特征问的相似度。以下是目前常用的特征匹配方法。一m i n k o w s k y 距离。一咄| ，】，( 2 1 )m a n l i 觚t t 孤距离( r = 1 ) 和欧几里德距离( r = 2 ) 是它的特例。欧几里德距离是最简单的距离公式，也是在c b 瓜中应用较广的距离公式。可以单独用于颜色直方图、纹理、形状特征的相似性度量。当考虑了不同维之间的不同重要性时，欧几里德距离可以改进为加权欧几里德距离：1 1西北工业大学硕士学位论文第二章基于内容的医学图像检索的主要研究技术砷) 一荟坼 叫p 2 由于c b m 系统通常提取大量的特征，不同特征的重要性不同，因此加权欧几里德距离在c b 瓜系统中应用也很广泛。直方图相交直方图相交是一种度量直方图距离的方法。假设i 和q 是两个含有n 个子块的颜色直方图，则它们之间的相交距离表示为：艺曲p ，岛) ( 2 - 3 )直方图的相交是指两个直方图在每个子块中共有的像素数量。有时，该值还可以通过除以其中一个直方图中所有的像素数量来实现标准化，从而使其值属于【o ，1 】的值域范围。m a h a i a n o b i s 距离如果特征向量的各个分量间具有相关性或者具有不同的权重，可以采用马氏距离( m a h a l a n o b i sd i s t 锄嘲来计算特征之间的相似度。马氏距离的数学表达为：p m 。觑d 一口一曰) c 一1 ( 一口)( 2 4 )其中c 是特征向量的协方差矩阵。该距离标准常用来计算s a r 特征的相似度。当特征向量的各分量间没有相关性，马氏距离还可以迸一步简化，只需要计算每个分量的方差c ，。简化后的马氏距离如下：见一兰。等竽( 2 5 )对于某个图像特征，选择一神合适的相似度衡量方法是获取满意的捡索效率的重要保证。然而，更为重要和困难的是确定不同特征之间或是同一特征的不同分量之间的权重。一个合适的视觉特征相似度度量方法对检索的效果有很大的影响。近几年，基于各种不同特征的相似性匹配方法都取得了一定进步，但是要寻找性能优良的相似性度量标准，还需要不断的改进与创新。2 4 相关反馈方法目前，基于内容的图像检索中存在的一个主要问题是：现有的检索方法都是以计算机为中心，一些查询结果从计算机的角度来看是相似的，而人却认为是不西北工业大学硕士学位论文第二章基于内容的医学图像检索的主要研究技术完全相似。为解决上述矛盾，在基于内容的图像检索领域引入了相关反馈机制。相关反馈( r c l c v a n f a e d b a c k ) 原是一种在文字检索系统中使用的技术，已有3 0 多年的历史。它利用用户先前的检索结果信息进行反馈来自动调节当前查询，也可借助人机交互细化，用低级特征表达高层查询。它根据用户先前检索结果与需求相关性的反馈信息自动地调整已有的查询，使之更好地吻合用户的需求f 2 5 】。2 4 1 基于修改查询矢量或距离度量的检索在系统中每幅图像都是以一个n 维特征矢量的形式来表示所选取的特征，根据用户指明“正例”或“反例”图像，查询的特征矢量被修改，使得相关项被赋予较大的权值，而不相关的项被赋予较小的权值。通过计算所有“正例”图像在某一维特征上的相关度，如果该维特征上“正例”图像都比较相像，则给该维特征赋予较大的权值，否则就赋予较低的权值。修改查询矢量的相关反馈可以表示为：删邶唼盏仂吖畴盏d( 2 - 6 )其中q 、q 嚷示原查询矢量和修改后的矢量。d 、b 、y 为合适常量，n r表示“正例”图片i t r 的数目，n k 表示“反例”图片k 的数目。在眦s 系统中采用了此办法。这类反馈应用比较广泛。2 4 2 基于修改图像数据库点的分布的检索改变数据库中点的分布在根本上就是通过用户的反馈来改变数据库中每幅图像与当前查询的距离，使相似的点靠近查询点，不相似的点远离查询点，是通过细化查询或距离度量的方法来实现。初始时数据库中所有图像分布是均匀的，但是随着用户反馈，系统将用相关规则( 如贝叶斯准则) 来改变数据库中每个点与查询的距离，从而使数据库中点的分布得到了改变，并逐渐趋于用户的查询结果。首先通过聚类的方法来将图像库中图像分为几个大类，然后根据用户的反馈进行类的分裂和合并，随着类的不断分裂，那些符合用户感知的类就是最终得到的查询结果。2 4 3 基于人工智能学习方法的相关反馈将人工智能的学习方法应用到图像检索中可以有效地改善检索效果，该类相关反馈是基于指出哪些是与查询图像相关的，哪些是不相关的，然后将用户标记的相关信息，作为训练样本反馈给系统进行学习，使得系统性能进一步提高。基1 3西北工业大学硕士学位论文第二章基于内容的医学图像检索的主要研究技术于支持向量机的相关反馈图像检索算法是从机器学习的角度，以支持向量机( s 田为分类器，在每次反馈中对用户标记的正例和反例样本进行学习建立s v m分类器作为模型，并根据学习所得的模型进行检索。2 5 图像检索效果评价在基于内容的检索中，由于检索算法比较多，需要对各种算法的检索结果进行评判，比较算法的优劣。这就要求评价方法能够在相同的条件下找出最佳算法，从而使检索方法得到改进和提高。c b m 系统性能主要考虑两个方面：检索速度和准确度。检索速度主要取决于选取的图像特征的匹配复杂度，检索准确度主要取决于选取的图像特征的区分能力和匹配算法的有效性。根据视觉感知规律，也可以把检索准确度定义为“检索结果与视觉判断的一致度”。目前来说，常用的检索准确度评价标准主要有查全率和查准率两大评价指标。一查全率和查准率查全率用于测量系统检索相关文档的能力，查准率用于测量系统排除无关文档的能力。相关无关检索出图a ( 正确检索出的相关)b ( 检索出的无关图像)未检索出c ( 漏检的相关图像)d ( 正确排除掉的无关图像)这里我们定义：一幅图像的相关图像为它变换后的图像，如旋转，缩放，位移和镜像等。查全率和查准率定义：查全率月一蔫器誉= 熹查准率p 一检索出的相关图像检索出的所有图像a + b在针对一幅查询图像的检索结果中，与查询图像的内容不同但颜色分布碰巧相似的图像叫“近似图像”，我们称之为“假近似”，据此可以推算出系统的误判1 4西北工业大学硕士学位论文第二章基于内容的医学图像检索的主要研究技术率( f a l p o s i 由c s ，对应查准率) 。另外，与查询图像真正近似的图像而没有检索出来，这样的问题我们称之为“拒真率”问题，它和查全率相对应。2 6 医学图像存档和通信标准d i c o m3 o医学图像在进行数据通信时一般遵循医学图像存档和通信标准。目前，国外医疗设备厂商一般都以许可证方式提供符合d i c o m 标准的医疗设备，以解决不同厂商的各种医疗设备互联问题。d i c o m3 0 标准的制定使得医学图像及各种数字信息在计算机间的传送有了统一标准。在图像数据库系统内部一般采用b m p 、j p e g 等常见格式，这样做的目的是为了方便处理和显示，所以系统要有将d i c o m 格式文件转化为b m p 或j p e g等常见格式的能力，为此本文只介绍d i c o m 标准的编码和文件格式转换部分。2 6 id i c o m 标准数据结构、编码和文件格式根据面向对象的思想方法，客观对象是由若干属性及操纵这些属性的方法构成的。d i c o m 标准用数据集来表示一个信息对象实例，而一个数据集又由若干数据元素构成，性质相同的数据元素被归为一组，每个数据元素与信息对象的一个属性一一对应( 如图2 - 1 ) 。数据集、数据元素组和数据元素之间的关系对应着信息实体、属性模块和属性。d a t a s c t图2 1 数据元素结构由图2 1 可以看到，一个数据元素可以包括四个域：标签f r a g ) 、值表示( v r ，v a l u cr 印r c s c n t a t i 呻) 、值长度( v a l u ek n 百h ) 和值域( v 酊u ef i e l d ) 。其中v r 是一个可选域，用它来说明值的类型，它的出现与否与传输语法有关。当v r 出现时，称之为显式v r ，不出现时称为隐式v r 。标准第五章第6 2 节详尽定义了2 6 种v r ，西北工业大学硕士学位论文第二章基于内容的医学图像检索的主要研究技术每种类型适用的字符集，和相应于某一类型，数据元素值的长度或最大长度。在数据集中一个数据元素由标签唯一确定，它们之间是一一对应的关系。数据元素中值长度域( v 矾u ck n g t l l ) 以字节为单位表明此元素中值域的长度，其值的长度必须为偶数。值域里包含了属性的具体的值，其长度是可变的，但最大不能超过值长度域所标定的长度，并且值的长度必须为偶数字节。如不是偶数，则根据规则补空格键( 2 0 h ) 或n u u 。( h ) 。标准以文件形式封装一个服务对象对( s o p ) 实例，若干文件组成文件集( 如图2 劲。d i c o m 文件是由文件元信息和d i c o m 数据集构成。前面己经详细介绍了d l c o m 数据集，这里简述一个元信息的构成。元信息由文件头和组号为0 0 0 2 的元元素构成。文件头包括1 2 8 字节的文件前文4 字节的前缀，这个前缀的内容只能是“d i c m ”，它用来表示此文件是d i c o m 格式文件。应用程序可以使用1 2 8 字节的文件前文，也可以不使用，如不使用则填充“0 0 h ”。文件元元素使用显式v r表示，包括文件元信息版本，传输语法等内容。图2 - 2d i c o m 文件集和文件格式2 6 2d i c o m 文件的显示和格式转换由于w i n d o w s 系统仅支持位图格式图像的显示，其它格式的图像只有转化为位图格式才能在计算机中显示。人们熟知的d i b 位图由信息头、颜色表和图像数据三部分组成，如果再加上一个文件头就是b m p 格式文件。d i c o m 文件中所含的信息远多于d i b ，只要把d i c o m 相关数据元素转换成d i b 数据结构相应的部分就可以了。如d i c o m 文件数据元素( 0 0 2 8 ，0 0 1 0 ) ，( 0 0 2 8 ，0 0 1 1 ) ，( 0 0 2 8 ，0 1 0 0 ) 分别表示图像的行数、列数和每个像素所占的位数，在进行d i c o m 图像显示时把它西北工业大学硕士学位论文第二章基于内容的医学图像检索的主要研究技术们写进d m 信息头里。在显示