（计算机软件与理论专业论文）基于知识的医学图像检索.pdf

、 t i 一卜 删i j | i j 删删 y 18 0 2 611 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：胡! 整l 孚日期：五i 。年j 7 月2 5 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：胡郎导师签名： 炭落 日期：2 。l o 年j 月26 日 i 一 1v门 中一 摘要 摘要 医学成像技术的发展促进了临床医学的进步，数字医学图像在辅助诊断、教 学和生物医学研究领域发挥了日益增大的作用。与此同时，数字医学图像的数量 也与日剧增，如何从这些海量的医学图像中找到需要的图像成为一个日益迫切的 问题。但是，传统的基于关键字的图像检索方式和近年来兴起的基于内容的图像 检索方式都不能很好地满足医学图像检索的需要，因此探索新的高效的医学图像 检索方法非常必要。 本文采用根据医学图像对应的文本信息来检索图像的方式，探索基于知识的 医学图像检索方法。医学图像对应的文本有d i c o m 头部信息、医学报告、图像标 注等，在这些文本中包含了对医学图像的描述。由于这些描述是自然语言形式的 文字，比图像的低层特征更符合人的思维习惯、更贴近人对图像的理解，因此， 使用医学图像对应的文本信息检索图像往往比使用低层特征检索图像更加有效。 考虑到传统的基于关键字的文本检索方式存在着诸多问题，例如，同义词现象会 降低检索的查全率，而一词多义现象导致低的查准度等等。本文采用基于知识的 医学图像检索方法：根据医学本体从医学图像对应的文本中提取医学概念，然后 用这些概念对医学图像进行元数据标注，这样就赋予了医学图像语义内涵，使检 索从目前广泛采用的基于语法层面的关键字匹配上升到基于知识层面的概念匹 配，从而很好地解决了同义词和一词多义等问题，并可以利用概念的上下位关系 实现查询扩展，结合多语言词典实现跨语言检索。 由于在一般的医学报告和文章中，对医学概念的描述通常形式多样，采用传 统的概念提取方法往往不能准确、全面地提取出文本中的概念。针对这一问题， 本文提出了一种新的医学概念提取方法，并基于该概念提取方法对医学图像的索 引与检索以及整个检索框架的设计进行了探索性的研究工作。本文的主要贡献为： 1 针对医学图像对应文本中存在的概念描述形式多样性的问题，提出了一个 混合的医学概念提取方法。从知识理解的角度提出了医学概念提取的最大匹配模 式；根据对医学词条构成特点的分析提出了医学概念提取的最小匹配模式，并详 细探讨这两种模式各自的优点和缺陷，以及改善缺陷的方法和途径。指出将两种 模式进行融合可以实现优势互补，提升医学图像检索的效果。 2 在建立索引和进行检索时，将经典的基于词条的向量空间模型改造为基于 1 。_ _ _ _ _ _ _ _ 。一1 。_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 一 摘要 概念的概念向量空间模型，使用t f i d f 策略对概念进行加权，使用余弦相似度来 度量医学图像和查询之间的相似性。 3 为了验证本文提出的方法，在i m a g e c l e f m e d 2 0 0 9 国际竞赛的基于图像的 查询主题上进行了实验。实验结果表明融合两种概念提取模式以及在此基础上进 行查询扩展是提高医学图像检索精度的有效方法。 4 提出了一个集成上述方法的基于知识的医学图像检索通用框架，并基于该 框架实现了一个基于知识的医学图像检索原型系统。这个系统采用组件化技术开 发；具有高内聚和低耦合性、可扩展性强等特点，便于多种检索模式的融合，便 于与其他检索系统集成；还可以将多个实例系统组成一个分布式检索体系；系统 中各组件可以通过配置文件进行配置，而且配置参数可以在运行时进行调整。 关键词：基于知识的医学图像检索，最大匹配模式，最小匹配模式，融合，概念 向量空间模型 i i o 矗 p 甲o a b s t r a c t a b s t r a c t w k l et ：h ed e v e l o p m e n to fi n e d i c a li m a g i n gt e c h n o l o g yp r o m o t e sc l i i l i c a lm e d i c i r l e ， d i g i t a l m e d i c a li i i l a g e s p l a y a i l i n c r e a s i n 西yi m p o n a mr o l e i nc 伽叩u t * a i d e d d i a 鲷o s i s ，t e a c ga i l db i o m e d i c a lr e s e a r c h e s a tt h es 锄et i m e ，m em m l b e r o fd i g i t a l m e d i c a li m a g e si si n c r e a s i n gr 印i d l y ，t l l e i l ，h o wt 0g e tt h en e e d e di m a g e sf 酗mm el a r g e v o l u m eo fi m a g ei la _ t ab e c o m e sa nu r g e n tp r o b l e m h o 、v e v e r ，n e i t h e r 仃 狙i t i o n a l k e y w o r d - b a s e di m a g er e t r i e v a ln o rc l l i r e n tc o m e m - b a s e di m a g er e t r i e v a lc a n m e e tt h i s n e e dw e l l s o ，i ti sn e c e s s a 巧t oe x p l o r en e wm e m o d st oe 日e c t i v e l yi n d e xa i l dr 嘶e v e m e d i c a li m a g e s 7 1 1 1 i sd i s s e r t a t i o nf o c u s e so nt h ea p p r o a c hw h i c hr e t r i e v e sm e d i c a li m a g e sb a s e do n t h e i rc o 玎e s p o n d i n gt e x t ，a n de x p l o r e sk n o w l e d g e _ b a s e dm e d i c a li m a g er “e v a l m 砒o d s t h ec o 玎e s p o n d i n gt e x to fm e d i c a li m a g ei n c l u d e sd i c o mh e a d e r ，m e d i c a l r e p o n s ，i m a g e 锄o t a t i o n s ，e t c ，w 嫩c hc o n t a i n si n f o m l a t i o na b o u tt h em e d i c a li m a g e a st h et e x ti n f o r m a t i o ni si nn a t u r a l l a n g u a g ef o m ，t h e ya r em o r ec l o s et ou s e r ss e a r c h ha _ b i ta i l dl m m a n sp e r c e p t i o no fi m a g e h e n c e ，i ti sm o r ee f r e c t i v et or e t r i e v em e d i c a l i m a g eb a s e do nt h e i rc o l l r e s p o n d i n g t e x tt h a l lb a s e do nt h e i rl o w - l e v e lf e a ：t u r e s c o n s i d e r i n gt h a tt h e r ea r em a n yd e f e c t si nt r a d i t i o n a lk e y 、v o r d - b a s e dt e x tr e t r i e v a l ，f o r e x 锄p l e ，s y n o n y m sd e c r e a s e st h er e t r i e v a lr e c a l la n dp 0 1 y s e m y1 e a dt oa l o wp r e c i s i o n e t c ，t h i sd i s s e r t a t i o np r o p o s e sak n c l w l e i i g e - b a s e dm e d i c a li m a g er e t r i e v a l r n e t h o d b a s e do n am e d i a lo n t o l o g y ，m e d i c a lc o n c e p t sa r ee x t r a c t e d 丘o mt h ec o r r e s p o n d i n gt e x t a 1 1 dt t l e nu s e da sm e t a d a t at oa n n o t a t ei m a g e s i nt h i sw a y ，m e d i c a li i i l a g e sa r ea s s i g n e d s e m a n t i cm e a j l i n ga i l dc a l lb er e t r i e v e db yc o n c e p tm a t c h i n go nl ( i l o w l e d g e1 e v e lo t h e r t h a i lb yk e y w o r dm a t c h i n go ns y n t a xl e v e l ，s o 舭s y n o n y m sa i l dp o l y s e m yp r o b l e m s c a i lb es 0 1 v e d f u m i e 咖o r e ，k n o w l e d g e - b a s e dm e d i c a li m a g er e t r i e v a lc a i lu s et h e p a r e m s a 1 1 dc h i l d r e nr e l a t i o n so fc o n c e p t st oe x p a i l dq u e r i e s ， a 1 1 dc a i la c l l i e v e c r o s s - l a j l g u a g er e t r i e v a lb yu s i n gi n u l t i - 1 a n g u a g et h e s a 唧s e s a st h ed i v e r s i t yf o h n so fc o n c e p td e s c r i p t i o ni nr e a l 一、o r l dm e d i c a lr e p o r t sa n d a r t i c l e sa r er i f e ，m e d i c a lc o n c e p t sc a i ln o tb ee x t r a c t e da c c u r a t e l ya 1 1 dc o i n p l e t e l y 谢t l l t h et r a d i t i o n a li n f o m l a t i o ne x t r a c t i o nm e t h o d s t bs o l v et h i sp r o b l e m ，an e w m e d i c a l i i i “乏 一 垒里曼! 坠竺! 一 - - _ - - _ _ - - _ _ - _ - - _ _ _ _ 一 一 c o n c e p te x t r 蜀l c t i o nm e t l l o di sp r o p o s e d ，a n db a s e do ni t ，a i le x p l o r a t o 巧r e s e a r c ho f i n d e x i n ga i l dr e t r i e v a lm e 劬d ，a sw e ua s 仕圮d e s i g i lo fr “e v a lf a m e w o r ka r ec a 玎i e d o u t t h em a i nc o n t r i b u t i o n so ft h i sd i s s e r t a t i o na r ea sf o l l o w s ： 1 c o n s i d e r i n gt h ed i v e r s 时f o r n l so fc o n c e p td e s c r i p t i o ni nr e a l w o r l dm e d i c a l r e p o r t sa n da r t i c l e s ，am i x e dc o n c e p te x t r a c t i o nm e t 】di sp r o p o s e d t h e 龇di s c o n s i s t e do ft w 0e x t r a c t i o nm o d e l s o n ei sm a x 妣m 砷c k n gm o d e lw h i c hi s b a s e d o nk n o w l e d g e 吼d e r s t a n d i n g ，a n da i l o t l l e ri sm i i l i m 眦m a t c l l i n gm o d e l 、h i c hi s a c c o r d i n gt om ec o m p o s i t i o na i l a l y s i so fm e d i c a lt e m s t h em e r i t sa r l dd e f e c t so f t h e t v 旧m o d e l sa r ed i s c u s s e di nd e t a i l ，a s 、e ua st h ew a y st oi m p r o v et h ed e f e c t s i ti s e x p e c t e dt h a tc o m b i n i n gt h e 觚om o d e l sc a ni n l p r o v em ep e r f o m a i l c e o fm e d i c a li m a g e r e t r i e v a l 2 t ba c h i e v ek n o w l e d g e - b a s e dr e t r i e v a l ，c l a s s i c a lv e c t o rs p a c em o d e l i sr e p l a c e d b yc o n c e p tv e c t o rs p a c em o d e l c o n c 印t sa r ew e i g h t e d b y t f - i d fw e i 班i n gs 似e g y ， a 1 1 ds i m i l a r i 锣b e t w e e nq u e r i e sa n di m a g e sa r ec a l c u l a t e db yc o s i n es i m i l a r i t ) rm e a s u r e 3 t ov e r i 匆t h ep r o p o s e dm e t l l o d ，s e v e r a le x p e 订m e n t sa r ec o n d u c t e do ni m a g e b a s e dt o p i c so fi m a g e c l e f m e d 2 0 0 9 t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t 舭武x e d c o n c e p te x 仃a c t i o nm 甜1 0 dw i 也q u e r i e se x p a n s i o ni sa i le 贰c t i v e 、a yt oi i r l p r 0 v em e p r e c i s i o no fm e d i c a li m 楚er e t r i e v a l 4 ak n o w l e d g e - b a s e dm e d i c a li m a g e 劬i e v a lf h m e w o r ki sp r o p o s e d ，w 1 1 i c h i n t e g r a t et h ea f o r e m e n t i o n e dm e t h o d s a n dam e d i c a li m a g er e t r i e v a lp r o t o t ) ，p es y s t e m i sd e v e l o p e db a s e do nt h i s 觑吼e w o r k t h es y s t e mi sd e v e l o p e dw i t l lc o n l p o n e n t t e c l l l l 0 1 0 9 y ，t 0a c m e v el o wc o u p l i n g h i 曲c o h e s i o na n dl l i 曲s c a l a b i l i t y i nt h j s s v s t e m v a r i o u sr e t r i e v a lm o d e l sc a l lb ee a s i l yi n t e g r a t e d ，a 1 1 dt h es y s t e mc a l la l s ob e e a s i l yi n t e g r a t e d 、) l ，i mo t h e rr e t r i e v a ls y s t e m s e v e r a li n s t a n c e so fs y s t e mc a n a l s ob e c o m b i n e dt of o 姗ad i s t r i b u t e dr e t r i e v a ls y s t e m a 1 1c o m p o n e n t so ft h es y s t e mc a n b e e a s i l yc o n f i g u r e dw i mx m lf i l e s ，a n da 1 1c o n f i g u r a t i o np a “m l e t e r sc a nb ea 西u s t e di n n l n t j m e k e y w o r d s ：k n o w l e d g e b a u s e dm e d i c a li m a g er e t r i e v a l ，m a x i n m mm 纳c 1 1 i n gm o d e l ， m i n i m u mm a t c h i n gm o d e l ，m s i o n ，c o n c e p tv e c t o rs p a c em o d e l i v 、i 一 ，j11 k k 目录 目录 第一章引言1 1 1 课题研究的背景1 1 2 研究的目的和意义2 1 3 国内外研究现状2 1 3 1 医学图像检索原理2 1 3 2 相关研究进展6 1 3 3i m a g e c l e f m e d 国际竞赛7 1 4 本文研究的主要内容7 1 5 本文组织8 第二章相关研究与理论基础9 2 1 本体9 2 1 1 本体的定义9 2 1 2 本体的建模元语。1 0 2 1 3 构建本体的准则1 0 2 1 4 本体的分类11 2 1 5 本体的应用1 1 2 2 医学本体的介绍与选择1 2 2 2 1f m a 1 3 2 2 2r a d l e x 1 4 2 2 3i c d 。1 4 2 2 4u m l s 1 4 2 3 检索方法17 2 3 1 数据检索1 7 2 3 2 全文检索1 7 2 3 3 知识检索1 7 v 目录 2 4 检索模型18 2 4 1 布尔模型。18 2 4 2 向量空间模型1 9 2 4 3 概率模型2 0 2 4 4 统计语言模型2 0 2 5 信息抽取理论2 l 2 5 1 信息抽取简介2 1 2 5 2 信息抽取模型2 2 2 6 本章小结2 4 第三章医学概念提取2 5 3 1 医学文本特点2 5 3 1 1 医学图像描述信息。2 5 3 1 2 用户查询样例2 6 3 2 基于最大匹配模式的医学概念提取。2 6 3 2 1 最大匹配模式2 6 3 2 2m e t 州a p 简介2 6 3 2 3m e t a m a p 原理2 7 3 2 4 概念提取2 8 3 2 5 歧义问题3 0 3 2 6 方法分析3 1 3 3 基于最小匹配模式的医学概念提取3 2 3 3 1 医学文本分析3 2 3 3 2 最小匹配模式3 4 3 3 3g a t e 简介：3 5 3 3 4a n n i e 组件3 7 3 3 5 概念提取。3 7 3 3 6 歧义问题4 1 3 3 7 方法分析4 l 3 4 本章小结4 2 v i 5 2 系统设计5 9 5 2 1 系统模块5 9 5 2 2 检索模块设计6 0 5 3 界面设计与运行实例6 5 5 4 本章小结。7 0 第六章总结与展望7 1 6 1 本文的主要工作。7 1 6 2 有待继续研究的问题7 2 6 3 结束语7 2 鸢谢7 4 参考文献7 5 攻硕期间的研究工作7 9 v i i l 第一章引言 1 1 课题研究的背景 第一章引言 医学成像技术的发展促进了临床医学的进步，各类医学图像，如计算机x 线 摄影，数字x 线摄影、直接数字x 线摄影、计算机体层摄影，磁共振成像等作用 日趋明显，甚至成为医生诊断的依据【l 】。医学图像在教学、生物医学研究等领域发 挥的作用也日益增大。与此同时，医学图像的数量与日剧增。为了管理和利用这 些海量的医学图像，人们研究和开发了医学图像存储和传输系统，它将各类医学 图像数字化后，输入到计算机进行分类归档存储，并通过计算机网络快速传输， 使医学图像得到了很好的共享。 但是，仅仅实现对医学图像的存储和传输并不能有效地利用这些海量的医学 图像，而针对医学图像检索技术的研究和开发却相对滞后，远远不能满足日益增 长的应用需求，这为医学图像检索的研究提出了迫切的要求。目前，医学图像的 检索方式主要还是采用传统的图像检索方式。 传统的图像检索是基于关键字的图像检索( k e y w o r d b a s e dh 1 1 a g er e t r i e v a l ， i i r ) ，这种检索方式是手工为图像输入一系列描述图像相关信息( 如图像内容， 患者的代码、研究特征等) 的关键字，然后利用这些关键字为图像建立索引，这 样，对图像的检索实际上就变成了对文本的检索【2 】。这种方式目前在许多医院的 p a c s ( p i c t u r e 心c l l i v i n ga i l dc o m m u n i c a t i o n ss y s t e m s ) 中采用，简单易实现。但是， 由于这种方式依赖于手工标注，存在着图像标注主观性强、耗时、同义词现象导 致查全率较低、一词多义现象导致查准度较低、检索返回无关信息过多、词义间 的上下位关系、整体局部关系无法体现等缺点，这样，就不能充分利用如此大量 的图像信息，不能适应医学图像检索发展的需要。 从上世纪9 0 年代以来，基于内容图像检索( c o n t e n t b a s e di i i l a g er e t r i e v e ， c b i r ) 的研究受到了很大的关注。这种方法首先利用图像处理技术，由计算机自 动抽取图像库中图像的视觉特征( 颜色、纹理、形状、空间等) ，然后利用这些抽 取出来的视觉特征作为图像库的索引。检索时，从用户输入的检索条件( 如图片、 草图等) 中抽取相应的视觉特征，然后利用这些视觉特征检索图像库【3 】【4 j 。这种方 式具有客观性强和效率高的优点。但是，在医学领域，它们的检索效果却不理想岭j ， 电子科技大学硕士学位论文 可能的原因是它们目前使用技术还无法跨越低层特征和高层语义之间的“语义鸿 沟”【6 j 。另外，作为“人”的用户，表达信息最习惯、最自然的方式是语言文字方 式，而不是低级别的图像特征。例如用户想要检索“乳腺癌”的图像，他可能更 习惯于直接向系统请求检索“乳腺癌”，而不是向系统提供一张图像。所以，单纯 地使用基于内容的图像检索，仍然不能满足医学图像检索的需要。 传统的基于文本的图像检索和单纯基于内容的图像检索不能满足医学图像检 索的需要，迫切要求人们寻找新的图像检索方法。近年来，基于本体的图像检索 方式被提了出来。在计算机科学中，本体( o n t o l o g y ) 是对概念体系明确的、形式化 的、可共享的规范，也被称为知识本体7 】【8 】【9 】【1 0 1 。基于本体的图像检索，有时也不 严格地称为基于概念或基于知识的图像检索。由于它能克服基于文本检索和基于 内容检索的不足，日益引起人们的重视，也成为我们在医学检索领域的研究重点。 本文的研究得到国家自然科学基金( 6 0 8 7 3 1 8 5 ) 、电子科技大学青年科技基金 ( j x 0 7 4 5 ) 的资助。 1 2 研究的目的和意义 目前使用的医学图像检索系统面临的问题在于其采用的算法，要么是对图像 对应的文本信息进行语法层面上的字、词机械匹配，要么是对图像进行低层视觉 特征层面的相似度计算，缺乏对知识的表示、处理和理解能力，造成查全率和查 准度较低。解决这些问题的一个方法是在文本检索中把检索从基于语法层面的机 械匹配提升到基于知识层面的语义匹配。因此，本文的研究目的是希望使用医学 本体赋予医学图像具体的语义内涵，并在此基础上建立基于知识的检索模型，以 跨越“语义鸿沟”，提高检索的质量，并使检索过程更加人性化，为将来基于知识 的医学图像检索在临床诊断、教学和生物医学研究中的应用作出积极探索和尝试。 1 3 国内外研究现状 1 3 1 医学图像检索原理 1 3 1 1 传统的医学图像检索 目前，医学图像检索广泛采用的是传统的方式，以下简图描述了其工作原理： 2 信息( 经常为d i c o m 头部信息) 中抽取出关键词，一般来讲，关键词为图像模式和 身体部位等信息；然后用抽取得到的关键词作为医学图像的标注( 还会手工加入一 些关键词，如病人姓名、性别、年龄、诊断结果等) 并存入数据库。这样，医学图 像的检索就可以以数据检索的方式实现：当用户检索时，首先从用户界面接收关 键词，然后用关键词去检索数据库，由于关键词和医学图像具有对应的关系，这 样就实现了医学图像的检索。 目前，许多医院采用p a c s ( p i c t u r ea r c l l i v i n ga n dc o i n m u i l i c a t i o n ss y s t e m s ) 来采 集、传输、管理和查询医学图像，虽然p a c s 系统结构复杂，功能繁多，但其检索 的基本原理即为上述原理。 由于采用的是对图像标注进行语法层面上的字、词机械匹配，缺乏对知识的 表示、处理和理解能力，词义间的上下位关系、整体局部关系无法体现，同义词 现象导致了查全率较低、一词多义现象导致了查准度较低，检索返回无关信息过 多，这是传统的医学图像检索方式的瓶颈所在。 1 3 1 2 基于内容的医学图像检索 基于内容的医学图像检索建立索引抽取的是医学图像的低层视觉特征，如颜 色直方图、t a m u r a 纹理特征、形状特征等。检索时，从用户输入的检索条件( 如 图片、草图等) 中抽取相应的视觉特征，然后利用这些视觉特征和索引库中的视 觉特征进行相似度计算，将得到结果按相似度降序排序后返回给用户。以下简图 3 电子科技大学硕士学位论文 描述了其工作原理： 图1 - 2 基于内容的医学图像检索 目前，基于内容的图像检索还没有在医学上得到广泛使用，在研究领域，比 较常用的检索系统为f i r e 【1 1 】和g i f t 【1 2 1 。 基于内容的医学图像检索面临的问题是“语义鸿沟”问题。“语义鸿沟 是指 人们在判别图像的相似性时并非建立在图像低层视觉特征的相似性上，而是建立 在对图像所描述的对象或事件的语义理解的基础上。这种理解无法从图像的视觉 特征直接获得，它需要使用人们日常生活中积累的大量经验和知识来进行推理和 判断。换言之，人们是依据图像的语义信息来进行图像相似性判别的。正是由于 人对图像相似性的判别依据与计算机对相似性的判别依据之间的不同，造成了人 所理解的“语义相似”与计算机理解的“视觉相似”之间差距的产生。 另外，作为“人”的用户，表达信息最习惯、最自然的方式是语言方式，而 不是低级别的图像特征，更习惯于采用自然语言方式向系统请求检索。 这些缺陷限制了基于内容医学图像检索的应用。 1 3 1 3 基于知识的医学图像检索 基于知识的医学图像检索是在语义层次上进行检索，可以利用医学概念之间 的内在联系，发掘出那些隐含的、不明确的信息，不仅在查全率、查准度方面更 好地满足用户的要求，还有智能化、查找定位准确、进行文本挖掘等明显优势。 4 第一章引言 以下为基于知识的医学图像检索的原理框图： 图1 - 3 基于知识的医学图像检索 如图1 3 所示，基于知识的医学图像检索是在传统的医学图像检索的基础上作 了改进，加入了具有医学领域知识的本体和概念提取步骤，使检索从语法层的字 词机械匹配上升为语义层的概念匹配。其原理为：首先，在本体( o n t o l o g y ) 的参与 下从医学图像对应的文本信息( 如d i c o m 中数据、图像标注、医学报告等) 中提取 出医学概念；使用得到的概念作为医学图像的元数据标注；再选用一定的检索模 型对标注建立索引；这样，对医学图像的检索就转变为对概念的检索：当用户检 索时，首先从用户自然语言形式的查询中提取出概念；用得到的概念以一定的检 索策略去检索概念索引库，将得到的检索结果( 医学图像和对应的文本信息) 返回给 用户。 本体在基于知识的医学图像检索中所起的作用主要为两方面：一是从医学图 像对应文本和查询中提取出概念，使用概念来索引和查询，使基于关键词的传统 检索转化为基于概念的知识检索；二是本体的语义网络可以在检索中提供查询扩 展功能。 值得指出的是，图1 3 所示的为本文研究的基于知识的医学图像检索模型，这 种模型基于文本语义，充分利用了医学图像的各种文本信息( 如d i c o m 中数据、 电子科技大学硕+ 学位论文 图像标注、医学报告等) ，将提取的概念用于医学图像元数据标注，对于目前广泛 应用的p a c s ，这种模型是最接近、最容易实现的发展方向。实际上，在医学图像 检索研究领域，还有研究基于视觉语义的模型，即从医学图像中提取出低层特征， 然后使用s v m 、人工神经网络等进行机器学习，将图像的低层特征映射到本体中 的高层语义，根据语义进行检索等方法。这些方法在其论文所述实验中取得了很 好的效果，但是在h i l a g e c l e f m e d 2 0 0 9 国际竞赛中却表现平平【4 j ，可能的原因是， i m a g e c l e f m e d 2 0 0 9 竞赛的数据集大且数据更加接近于真实数据【4 j ；医学图像的固 有特性使得运用目前的技术还很难跨越“语义鸿沟”，如计算机还很难识辨出x r a y 骨折照片细微的不同之处。 1 3 2 相关研究进展 基于知识的医学图像检索相关技术还未成熟，在医学领域还未得到广泛应用， 但是，由于基于知识检索本身所具有的诸多优势，近年来，受到了广泛的关注和 研究。 在国外，l o cm a i s o n n a s s e 【1 3 】等人使用多种自然语言处理工具从医学图像对应 的医学文献中提取出词条，并将词条映射为u m l s 【1 4 j 中的概念，使用得到的概念 作为医学图像的标注，然后对标注建立基于概念的语言模型索引。检索时，以不 同方式从查询语句中提取概念进行检索，并使用伪相关反馈提高查全率和查准度。 m 纽u e lm 6 l l e r 等人基于f m a 【16 1 、r a d l e x 【1 7 】和i c d 1 0 嗍医学本体以及d i c o m 规斟1 9 】、o w l 规范【2 0 】等构建了一个具有四层结构的医学本体，使用这个本体中的 概念对医学图像进行手工标注。对标注以o w l 格式建立索引，使用s 眦l 语 言【2 1 】进行检索，并提供查询扩展功能。c a r o l i n el a c o s t e 【2 2 1 等人结合医学报告和医 学图像以提高检索效果，使用m e t a m 叩【2 3 】从医学报告中提取u m l s 中的概念，使 用s v m 将医学图像低层特征映射为u m l s 中的概念，以此建立医学图像索引。 相比较国外而言，国内在基于知识的医学图像检索相关技术方面的研究还处 在起步阶段。胡兆芹【2 4 】构建了一个心瓣膜疾病的医学本体，并使用p a l ( p r o t 6 酌 a x i o ml a i l g u a g e ) 0 2 5 j 语言进行检索。赵大一【2 6 j 等人建立了d i c o m 医学图像本体， 对医学图像进行手工标注，提出组合概念实体间的相似度比较方法。高永岗【2 7 】提 出了基于混合模型的医学图像语义标注，综合基于m i 特征选择的s v m 分类标注、 基于训练集词汇互相关性的标注改善和基于中文一体化医学语言系统( c u m l s ) 的 医学图像语义提取方法等。 6 第一章引言 1 3 3i m a g e c l e f m e d 国际竞赛 i m a g e c l e f 【2 8 1 ( i i i l a g er e t r i e v a lmc r o s sl a i l g u a g ee v a l u a t i o nf o n n 【2 9 】) 是跨语 言评估论坛在2 0 0 3 年启动的一项跨语言图像检索国际竞赛，其目标是增进图像检 索相关技术的交流，以促进其发展。i i i l a g e c l e f 每年举办一届，目前已经成为图 像检索研究领域最重要的国际竞赛。 i m a g e c l e f 由i i i l a g e c l e r i c p r 、m e d i c a lr e t r i e v a l 、p h o t oa n n o t a t i o n 和 w 越p e d i ar e 仃i e v 2 l l 四项内容组成。其中，m e d i c a lr e t r i e v a l ( i i i l a g e c l e f m e d ) 是 i m a g e c l e f 的一个重要组成部分，每年的参赛者众多，竞争尤为激烈，新方法新 技术层出不穷，检索效果节节升高，论文、科技文献大量涌现，这些都对图像检 索在医学领域的研究与应用产生了很好的推动作用。 目前，基于知识检索是i i i l a g e c l e f m e d 最热门的检索方法，基于这种方法的 医学图像检索系统取得了很好的检索效果。如2 0 0 9 年i m a g e c l e f m e d 竞赛的 t e x t u a lr l m s 部分第一名、第二名均是采用基于知识的检索方法。 1 4 本文研究的主要内容 本文主要做了以下几方面的工作： ( 1 ) 分析传统的医学图像检索和近年来兴起的基于内容的医学图像检索的特 点及存在的不足，介绍基于知识的医学图像检索。 ( 2 ) 介绍医学领域常用的四个本体f m a 、r a d l e x 、i c d 和u m l s ，其中，对 本文研究中使用的u m l s 进行较详细的调查研究。 ( 3 ) 针对医学图像对应文本中存在的概念描述形式多样性的问题，提出了一个 混合的医学概念提取方法。从知识理解的角度提出医学概念提取的最大匹配模式； 根据对医学词条构成特点的分析提出了医学概念提取的最小匹配模式，并详细探