（生物医学工程专业论文）基于内容的医学图像数据库检索技术研究.pdf

东南大学博士学位论文 本文在传统的基于向量空间模型的相关反馈技术基础上 考虑了检索结果集中图像排 列位置的影响 修改了查询优化公式 提高了相关反馈的收敛速度 研究了基于b p 网络和s v m 的优化学习相关反馈技术 在b p 网络中 先利用降维技术 选择少数 几个对表征图像分类作用显著的特征作为分类器的输入向量 克服了由于训练样本少 而图像特征维数高所带来的分类器设计困难 利用s v m 技术进行相关反馈的模型设 计 讨论了相应的核函数选择问题 有效地提高了小样本学习的精度 本文研究了基于图像语义分类的检索方法 建立了与人体解剖部位相对应的图像 语义分类模型 在泼模型中 先对图像进行固定模式的划分 使每一图像子块内包含 的人体组织相对单一 进而确定每个图像子块的语义类型 然后根据图像子块的语义 和相对位置的组合关系 利用模式匹配的方法确定整幅图像的语义类型 在算法研究的基础上 本文建立了一个基于内容及语义分类检索医学图像数据库 的原型系统 它基于三层c s 计算模型 借助图像处理 数据库技术以及网络技术 能够支持异地分布的多个用户对c t f m r i 等医学图像数据库进行检索 该系统具有良 好的用户接口界面 集成了本文讨论的各种特征提取和相关反馈算法 可对医学断层 图像按其解剖位置进行语义分类 关键词 医学图像检索 图像数据库 特征提取 相关反馈 图像语义分类 窗宽窗 位 小波变换 b p 网络 s v m i i a b s t r a c t a b s t r a c t t i t l e s t u d yo n t h et e c h n i q u eo fc o n t e n t b a s e dm e d i c a l i m a g e d a t a b a s er e t r i e v a l c a n d i d a t ed o c t o r w a n gh u i s u p e r v i s o r p r o f e s s o rl u o l i m i n n a m eo ft h e u n i v e r s i t y s o u t h e a s tu n i v e r s i t y w i t ht h ed e v e l o p m e n to fm u l t i m o d a l i t ym e d i c a li m a g i n ge q u i p m e n t s t h em e d i c a l i m a g e sh a v eb e c o m ei n d i s p e n s a b l et om o d e m c l i n i c a ld i a g n o s i sa n dm e d i c a lr e s e a r c h a g r e a tn u m b e r o f i m a g e s a r eg e n e r a t e di na h o s p i t a le v e r y d a y i tb e c o m e s a l lu r g e n t p r o b l e m t ob es o l v e dh o wt oo r g a n i z e m a n a g ea n di n d e xm e d i c a li m a g e si ns o l a r g es c a l e t h e t r a d i t i o n a li n f o r m a t i o nr e t r i e v a lt e c h n i q u e s w h i c ha r eb a s e do nt e x t c o m p a r i s o n a r cn o t s a t i s f i e dt or e t r i e v e l a r g es c a l em e d i c a li m a g ed a t a b a s e s n e wi m a g er e t r i e v a lm e t h o d s s h o u l db ee x p l o r e d i ti sav e r yp r o m i s i n gi d e at oi n t r o d u c ec o n t e n t b a s e di m a g er e t r i e v a l c b i r t e c h n i q u e i n t oi n d e x i n gm e d i c a li m a g e d a t a b a s e s s 0w es t u d i e dt h ea l g o r i t h m sa n d t e c h n i q u e so f c o n t e n t b a s e dm e d i c a li m a g er e t r i e v a li nt h et h e s i s o n eo ft h ek e y p o i n t so f t h et e c h n i q u eo fc b i ri st os e l e c ta n de x t r a c tp r o p e rf e a t u r e s t o d e s c r i b e t h e i n f o r m a t i o no f i m a g e s b a s e d o nt h e f u l l y r e v i e wo f g e n e r a l f e a t u r e e x t r a c t i o nm e t h o d s c o m b i n i n gt h ei m a g i n gm e c h a n i s ma n ds p e c i a lc h a r a c t e r so f m e d i c a li m a g e s w ef o c u s e d m a i n l y0 nt h ef e a t u r e e x t r a c t i o na l g o r i t h m ss u i t a b l ef o r m e d i c a li m a g e s m a n yf e a t u r e s s u c ha ss t a t i s t i c a lv a l u e so f g r a yl e v e l s t e x t u r ef e a t u r e s s h a p ef e a t u r e s m o m e n t sa n dt h o s ef e a t u r e sb a s e do nt h ew a v e l e ta n a l y s i s h a v eb e e n s t u d i e d d u et ot h ef a c tt h a tt h ea n a t o m i cs t r u c t u r eo fh u m a ni nt h es l i c e sm e d i c a li m a g e s a r er e l a t i v e l ys t a b l e w e a p p l i e dar e c t a n g u l a rr e g i o n ss e g m e n t a t i o nm e t h o dt o i m a g e s 1 l i 查空查堂塑主堂堡堡墨 s o m ef e a t u r e sa r et h e na b s t r a c t e df r o me a c hb l o c k w h i c hc o n t a i nb o t hg l o b a la n dl o c a l i n f o r m a t i o ni nt h ei m a g e san e wf e a t u r e se x t r a c t i o na l g o r i t h mi sp r o p o s e da sw e l l i t s p r i n c i p l ei sb a s e do nt h ev a l u eo f w i n d o wl e v e la n dw i n d o ww i d t ha c c o r d i n gt od i f f e r e n t t i s s u e s am e t h o do fc o m p u t i n gs t a t i s t i c a l g r a y v a l u e so fd i f f e r e n th u m a ni s s u e si n s u b s e c t i o ni si n t r o d u c e d w h i c hi m p r o v e st h ea c c u r a c yo f d e s c r i b i n gt h ec o n t e n to fm e d i c a l i m a g e s t od e c r e a s et h e g a pb e t w e e nh i g hl e v e lc o n c e p t si n h u m a nm i n d sa n dl o wl e v e l f e a t u r e s c o m p u t e db yc o m p u t e r s r e l e v a n c ef e e d b a c kt e c h n i q u ei sp e r f o r m e di nc b i r s y s t e m sa c c o r d i n gt ou s e r s f e e d b a c k w h i c ht r i e st oe s t a b l i s ht h el i n kb e t w e e nh i g h l e v e l c o n c e p t sa n dl o w l e v e l f e a t u r e s w ep r o p o s e dan e wf o r m u l at o g e tt h eo p t i m a lq u e r y w h i c hi sb a s e do nt h ev e c t o rs p a c em o d e la n dt h ep o s i t i o n so ft h er e t r i e v e di m a g e si nt h e r e s u l ts e ta r ec o n s i d e r e d i ta c c e l e r a t e st h e c o n v e r g e n c es p e e d r e l e v a n c ef e e d b a c k t e c h n i q u e sb a s e do no p t i m a ll e a r n i n ga l g o r i t h m sa r es t u d i e d i nt h ea p p l i c a t i o no fb p n e u r a ln e t w o r k t h ed i m e n s i o nd e c r e a s et e c h n i q u ei su s e dt og e ts o m ed i s t i n c tf e a t t t r e sf o r i m a g ed e s c r i p t i o n i tr e s o l v e dt h ep r o b l e mo ft h eb pc l a s s i f i e rd e s i g n w h i c hw a sc a u s e d b y s m a l ln u m b e ro f l e a r n i n gs a m p l e sa n dl a r g en u m b e r o fd i m e n s i o n so f f e a t u r e s a l s o t h e t e c h n i q u eo fs u p p o r tv e c t o rm a c h i n e s s v m i su s e dt od e s i g nat w o c l a s sc l a s s i f i e rt ob e u s e di nr e l e v a n c ef e e d b a c kt h ed i s t a n c e t ot h e o p t i m a ls e p a r a t i n gh y p e r p l a n e i s c o n s i d e r e da st h es i m i l a r i t yo ft h et w oi m a g e st h es e l e c t i o no ft h ek e r n e lf u n c t i o ns n i t a b l e f o rt h eu s ei nr e l e v a n c ef e e d b a c ki ss t u d i e d t h er e s u l ts h o w e dt h a tt h el e a r n i n gp r e c i s i o n h a sb e e ni n c r e a s e db yu s i n gs v m a p p r o a c h e v e nw h e n t h en u m b e ro f l e a n i n gs a m p l e si s v e r ys m a l l af r a m e w o r kf o ri m a g er e t r i e v a lb a s e do n i m a g es e m a n t i c sc l a s s i f i c a t i o nw a ss t u d i e d t h ec l a s s i f i c a t i o nm o d e l c o r r e s p o n d e n c et oh u m a n a n a t o m i cs t r u c t u r ei sp r e s e n t e d i nt h i s m o d e l t h ei m a g ei ss e g m e n t e di n t os m a l lr e c t a n g u l a rr e g i o n s f i r s t l y i ne a c hb l o c k t h e k i n d so ft i s s u e sa r ec o m p a r a t i v e l yu n i f o r m t h e n t h es e m a n t i c st y p eo ft h es u b i m a g ei s d e c i d e db a s e do nt h es e m a n t i c st y p e sa n dt h ep o s i t i o n so ft h e s u b i m a g e s t h ei m a g ei s c a t e g o r i z e di n t os e m a n t i c sc l a s s e s i n c l u d i n g h e a d c h e s t a n d a b d o m e n a b s t r a c t a p r o t o t y p es y s t e mo f m e d i c a li m a g er e 订i e v a lh a sb e e ne s t a b l i s h e d i t sb a s e do n c o n t e n t s e m a n t i c s c l a s s i f i c a t i o na n dc sm o d e lu s i n g t h et e c h n i q u e si ni m a g e p r o c e s s i n g d a t a b a s ea n dn e t w o r k t h i ss y s t e mm a ys u p p o r ct h ed e m a n d so fr e t r i e v a lc t m r ii m a g e d a t a b a s ef r o mm u l t i u s e r sw h oa r ei nd i f f e r e n tp l a c e s t h ea l g o r i t h m so ff e a t u r e se x t r a c t i o n a n dr e l e v a n c ef e e d b a c kd i s c u s s e da b o v ea r er e a l i z e di nt h i ss y s t e m t h es l i c ei m a g e sc a l l b ec l a s s i f i e di n t od i f f e r e n ts e m a n t i c sc l a s s e s a c c o r d i n g t ot h e i ra n a t o m i cl o c a t i o n s a f r i e n d l yu s e ri n t e r f a c ei sp r o v i d e da sw e l l k e y w o r d s m e d i c a li m a g e r e t r i e v a l i m a g ed a t a b a s e f e a t u r ee x t r a c t i o n r e l e v a n c e f e e d b a c k i m a g es e m a n t i c sc l a s s i f i c a t i o n w i n d o wl e v e l w i d t h w a v e l e tt r a n s f o r m b p n e u r a ln e t w o r k s v m v 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果 尽我 所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写过的研究成 果 也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意 签名 塑熏日期 垫鳗生 旦 东南大学学位论文使用授权的声明 东南大学 中国科学技术信息研究所 国家图书馆有权保留本人所送交学位论文的复印件和 电子文档 可以采用影印 缩印或其他复制手段保存论文 木人电子文档的内容和纸质论文的内 容相一致 除在保密期内的保密论文外 允许论文被查阅和借阅 可以公布 包括刊登 论文的全 部或部分内容 论文的公布 包括刊登 授权东南大学研究生院办理 签名 迢薹 导师签名 导脚一 第一章绪论 1 1 医学图像检索 第一章绪论 俗话说 眼见为实 又有谚语说 o n ep i c t u r ei sw o r t hat h o u s a n dw o r d s 研究 和统计表明 人类从客观世界接受的信息有7 0 以上来源于视觉系统 视觉系统以二 维的方式获取信息 而表征这些信息的方式就是二维图像 图像是人们相互交流和认 识世界的主要媒介 是最直观的重要信息表达形式 也是最难获取 传输 处理 实 现和存储的信息内容 在医学诊断当中 通过视觉的方式来获取病人的信息是最直接的方法 古代中医 中有 望 闻 切 问 望 就是放在第一位的 那时只能通过医生的眼睛看 随 着x 射线 超声 核磁共振等物理现象的发现和利用 医学诊断中的 望 已逐步从 人体表面深入到人体内部 在过去的三十多年中 伴随着计算机技术的蓬勃发展 医 学成像技术经历了巨大的发展 医学图像变得越来越数字化和多样化 新出现的技术 包括诊断超声 x 射线计算机断层扫描 c t 核磁共振成像 m r l l 核磁共振波谱 m r s 功能核磁共振成像 t m p d 数字血管减影 d s a 正电子发射断层扫描 p e t 和单光子发射计算机断层扫描 s p e c t 等等 虽然传统的x 射线和计算机放射线照相 c r 仍被广泛用来检查颅骨和胸部等处骨骼 但这些无格式的x 线胶片现在也可以 通过多种数字化方法 如激光胶卷扫描仪 电晶体照相机和视频照相机等转化为数字 格式以便处理和归档n 各种模态的医学影像设备大量出现 医学图像在日常的诊断和治疗中起到了越来 越重要的作用 已成为现代临床诊断和医学研究中不可缺少的工具 在发生形态学变 异的疾病 特别是占位性病变 诊断中 医学图像起着其它方法不可替代的作用 除 了用于形态学的诊断外 它还可以反映解剖结构及脏器功能 为i 临床诊断提供了更多 的有用信息 从而明显提高诊断的水平 有效地利用医学图像数据 不但可以弥补人 类记忆的不足 提高诊断的精确性 而且可以极大地促进医学研究和医学教育领域的 进步 随着医学图像数据的大量产生及其在医学领域的作用日益重要 医院影像系统 的组织重心已经从如何产生和采集图像逐渐转移到如何对图像进行后续的处理和管 理上来 1 如何有效地组织 管理和检索大规模的医学图像数据库 是当前所面临的 迫切需要解决的问题 医学图像归档与通信系统 p i c t u r ea r c h i v a la n dc o m m u n i c a t i o ns y s t e m s p a c s 是 医学图像领域出现的一个新的研究方向 它将计算机技术与网络通信技术应用于医学 领域 以 电子化 的方式在通信网络中传输 归档和显示各类医学图像 实现了无 东南火学博上学位论文 胶片方式的医学图像存储和管理 而图像检索是p a c s 系统的首要任务之一 它需要 根据医生的请求 及时地将医生所需要的图像发送给医生 如何快速地找到医生所需 的图像 即如何在医学图像数据库中进行图像检索 已成为当前研究的一个热点课题 1 2 传统的图像检索方法 传统的数据库管理软件能够很好地管理格式化的数据 以关系型数据库为基础的 医院信息管理系统 h o s p i t a l i n f o r m a t i o n s y s t e m h i s 和放射信息系统 r a d i o l o g y i n f o r m a t i o ns y s t e m r i s 利用病人的病历号 姓名 检查日期等作为关键字进行检索 得到病人的各种信息 包括各种医学影像信息 这种检索方法 不能反映出医生对图 像内容的检索需求 因而不能真正有效地利用丰富的医学影像资源 利用传统的数据库技术访问和检索图像数据库 首先需要利用相关的文字对图像 内容进行注解 通过检索注解来检索图像 是基于文本关键字的精确匹配检索 这种方法在图像数量不大和图像的内容比较单一时 不失为一种简单易行的方法 直 到今天也仍然在被广泛使用 但是 当图像的数量很大时 基于文本的图像检索存在 很多局限 一是手工对图像进行标注所需要的工作量太大 二是由于图像内容的丰富 性 文字标注难以真正表达图像的视觉内容 三是人工标记的方法带有很大的主观性 不同的人对同一幅图像的理解也不相同 这就导致对图像的标注没有一个统一的标 准 图像注解的主观性和不精确性可能导致后续检索过程的失败 另外人工标记的方 法还存在速度慢 效率低等问题 为了解决传统图像检索技术的不足 科学工作者开始探索新的图像检索方法 自 9 0 年代以来 基于内容的图像检索方法引起计算机界研究人员的广泛兴趣 1 3 基于内容的图像检索及其研究现状 1 3 1 基于内容的图像检索 基于内容的图像检索 c o n t e n t b a s e di m a g er e t r i e v a l c b i r 是一种根据图像的可 视特征对图像进行检索的方法 这种方法利用图像自身包含的视觉属性 如颜色 纹 理 形状及其空间关系等建立图像的索引 然后利用这些特征进行检索 即在数据库 中进行特征相似性匹配 区别于传统的基于关键字的检索手段 采用该方法 用户 不需要对检索的图像进行精确地表述 克服了传统检索方法中需要人工标记图像所带 来的缺陷 比较适合实际应用 同时检索过程具有很强的交互性 用户可以参与 可 以不断地根据用户的需求改变查询结果 提高查询的效率 此外还可以引入特征库和 第一章绪论 知识辅助的概念 既便于保存描述图像内容的特征 又有利于查询优化和快速匹配 该方法融合了图像处理和理解 模式识别 计算机视觉 人工智能以及多媒体人机交 互等技术 可以在更高层次上更有效地利用所存储图像的信息 目前己成为图像检索 领域的研究热点 并显露出必将成为图像检索主流方向的发展趋势 3 一个典型的c b i r 系统通常包括查询接口 相似性比较 数据库管理 结果输出 和用户反馈等几个部分 它的基本组成如图1 所示 在图像入库阶段 首先对图 像进行特征提取 得到的各特征值组成特征向量存入特征库中 图像数据库和特征库 通过特定的标识相关联 在图像检索阶段 用户可以通过预先设定各特征值进行检索 也可以输入检索样图 通过程序自动提取样图相应的特征进行检索 无论采取何种方 式 其结果总是得到一个关于图像描述的特征向量 系统将这个特征向量和特征库中 存储的特征向量相比较 并按匹配结果的相似性程度排序 将最相似的若干个特征向 量所对应的图像返回给用户 为了使检索的结果更加符合检索者的要求 c b i r 系统 一般还包括检索反馈部分 用户根据自己的需要对前次检索的结果进行评价 评价的 结果反馈给系统用以调整查询模式 使查询更加符合用户的要求 图1图像检索系统的基本组成 1 3 2 国内外c b i r 技术研究现状 在国外 基于内容的图像检索引起了众多科研人员的注意 许多公司 大学 科 研机构以至政府部门都投入了大量的人力 物力和财力开展研究 并取得了 些令人 瞩目的成果a 已有一些著名的大学研究机构和商业公司研制出了自己的c b i r 系统 有些已达到商业实用化水平 这些著名的系统包括 1 q b i c 系统4 i b m a l m a d e n 研究中心9 0 年代研制和开发的图像和影像检索系 东南大学博士学位论文 统 主要为i b m 的d b 2 大型数据库提供图像检索功能 并支持基于w e b 的图像检 索服务 是第一个商品化的c b i r 系统 系统允许使用检索样图 用户构建的草图 选择的颜色和纹理模式 目标运动等信息 对图像和视频数据库进行查询 2 b l o b w o r l d 系统 3 由加州大学b e r k e l e y 分校电子工程与计算机科学系开发 该系统的特点在于在检索过程中系统首先将检索样图中包含的物体和背景进行分割 然后用户选择自己感兴趣的图像区域 系统提取该区域的颜色 纹理 形状和位置等 特征信息进行检索 3 p h o t o b o o k 系统 m i t 的媒体实验室在1 9 9 4 年开发研制 图像在装入时按 人脸 形状或纹理特性自动分类 图像根据类别通过显著语义特征压缩编码 此外还有普林斯顿n e c 研究所的p i c h u n t e r 荷兰a m s t e r d a m 大学的 p i c t o s e e k 美国哥伦比亚大学图像及高级电视实验室的a d v e n t 3 1 等等 尽管基 于内容的图像检索原型系统已经很多 但许多系统离真正的商用还有一定的距离 近几年来 国内许多大专院校和科研机构都展开了基于内容的图像 视频和音频 检索方法研究 云南大学信息学院设计开发了基于内容的商标图像检索系统 该系统使用图像 的单元熵 系统将图像等分为若干个子单元 然后计算每个单元的s h a n o n 熵 来描 述图像的形状 用欧氏距离作为特征向量间的相似性度量 该系统的建立有助于加强 对商标的管理和保护 国防科大多媒体开发中心设计开发了一个基于内容的视频新闻节目浏览检索系 e j i j n e w s v i d e o c a r n e w s v i d e o c o n t e n t a n a l y s i s r e p r e s e n t a t i o n i t s o 该系统能 对新闻视频的内容进行自动分析 分类和管理 用户在该系统的帮助下可以快速定位 感兴趣的新闻片断 也可以快速掌握一段新闻的大意 另外 用户还可以通过关键字 检索特定内容的新闻 另外浙江大学 1 7 上海交通大学n 8 1 以及中科院计算机研究所n 9 2 等研究机构也 都开展了这方面的研究工作 并取得了一定的成果 1 4 论文的研究目的与意义 医学是重要的计算机应用领域 对医学图像的处理和检索方法的研究也同样成为 图像处理 数据库技术 模式识别等领域的研究热点 把基于内容的图像检索方法引 入到医学图像数据库中进行研究是一项非常有意义的工作 它涉及到医学和人类视觉 活动的研究领域 具有跨学科研究的特点 第一章绪论 医学图像其自身领域的特点 例如迄今大部分的医学影像设备产生的图像都为灰 度图像 它的灰度分辨率高 如c t 图像通常有2 0 0 0 多个灰度等级 而普通的灰度 图像只有2 5 6 级灰度 空间分辨率高 每个图像都有5 1 2 5 1 2 或2 5 6 2 5 6 个像素 数据量大 图像的对比度不强 不同的组织器官间没有明显的边界 而图像中感兴趣 的区域 如肿瘤 往往在整幅图像中所占的比重很小 这使得对医学图像进行自动分 割存在着很大的困难 因而难以对感兴趣的物体进行精确的形状描述 医学图像中很 大一部分是人体的断层图像 如c t m r j 等 图像之间比较相似等等 对医学图 像进行检索 不仅要考虑到图像本身的内容 而且还要涉及到与图像相关联的其他医 学信息 例如医生的诊断报告等 因此检索除了利用低级视觉特征外 还要建立与高 级语义的对应 这些都给基于内容的医学图像检索带来了新的挑战 使得与基于内容 的一般图像检索相比 在检索策略上虽然存在着很多相同的技术 但同时又需要有特 殊的方法 要结合医学领域的知识 研究适合医学图像特点的特征提取 相似性度量 及相关反馈方法 以适应医学图像自身领域的要求 国外在这方面的研究起步较早 已有的系统和研究成果包括 1 美国p u r d u e 大学研究的原型系统a s s e r t ap h y s i c i a n i n 一血e l o o p c o n t e n t b a s e dr e t r i e v a ls y s t e m 针对肺部的高分辨率c t 图像 在图像入库时由 医生交互式地指定病理区域 p b r p a t h o l o g yb e a r i n gr e g i o n s 然后根据医生对该病理 区域的知觉分类提取不同的特征 存入特征库 并且由训练样本集确定任意两个病理 类型的分类器 库中的每幅图像都被标明了疾病种类 在图像检索时 同样由医生勾 划查询图像中的病理区域 分别提取对应于不同病理分类的特征 然后由分类器确定 该病理区域中包含有哪些病理类型 从而确定疾病种类 最后从相同的疾病分类中根 据相应的特征提取相似的图像 该系统不但能够进行图像检索 而且可以起到辅助诊 断的作用 2 美国l o sa l a m o s 国家实验室的c td a t a b a s e 系统 该数据库包含了大量不 同病理症状的肺部c t 图像 系统选择纹理特征作为特征值 对每个c t 图像进行纹 理特征提取并建立特征库 查询时只将查询样图和库中图像的特征向量进行比较 就 可以快速地查找到所需要的图像 方便了医生对某些疑难病症图像的归类和分析 3 美国加州大学洛杉矶分校研究的基于知识的脑部m r j 图像检索系统 2 建 立了一个四层的模型检索脑部的肿瘤 将肿瘤几何形状及与脑组织间的空间关系等高 层语义描述转变为低层特征参数的取值范围 用关系运算符 来完成检索操 作 利用不同时间的图像组成查询图像序列 用特征参数的变化来反映检索所要求的 时间特性 系统由高层语义导出底层特征 提出了一个实现高级语义与低级特征相结 合的实用方法 东南大学博 学位论文 此外还有希腊c r e t e 大学医学信息系统实验室集成在其研制的t e l e p a c s 系统中 的针对二维放射医学图像的1 2 c i m a g ei n d e x i n gb yc o n t e n t 系统和c r a n e g i e m e l l o n 大 学研制的三维神经图像检索系统 这两个系统都是用于脑肿瘤的辅助诊断的 在国内 基于内容的医学图像检索研究起步比较晚 相关的报道尚不多见 3 近几年来 东南大学影像科学与技术实验室组织丌展了这方面的研究工作 并在c t m r i 和细胞图像的检索方面取得了一些有意义的研究成果 1 本论文工作就是该研 究课题组工作的一部分 如前所述 这是一个难度很大的研究课题 我们的研究还只 是处于起步阶段 很多有价值的研究工作还有待计算机和医学影像领域的研究者去共 同关注 随着我国国力的增强 医院信息化的水平迅速提高 相当多的医院已经具备了或 者在近几年内即将具备使用基于内容的医学图像检索系统的硬件条件 使用基于内容 的医学图像检索系统使医生可以根据病人的医学图像 x 光片 c t 扫描 m r j 等 从档案库中查出相近的若干个图像及相应的病历 回顾以往的治疗过程 选择成功的 范例 确定最佳方案 对一般医院来说 可以提高医生 尤其是年轻医生的医疗水平 缓解著名医院的就诊压力 对病人来说 可以大大节约医疗开支 得到更好的治疗 将这样的系统放在网上 可供各地的医院查询 使大量没有机会到著名医院进修的青 年医生可以有机会共享名医的经验 提高自己的医疗水平 使更多的病人能够得到更 好的医疗服务 并且利用相似查询还可以找到同类病 同样处理所得到的不同效果及 一切相关因素的影响 使医学科研人员可以在大量历史数据的基础上进行数据挖掘 以求发现疾病发生和发展的规律 由于医学图像的特点和应用上的需求 基于内容的 医学图像数据库检索技术必将具有广阔的应用前景 1 5 论文的主要工作与组织结构 课题的主要任务是在充分了解基于内容的图像检索技术与系统框架结构的基础 上 结合对医学图像成像机理和特点的理解 研究适合医学领域应用并充分反映医学 图像特点的基于内容的医学图像数据库检索技术 并初步建立原型系统框架 本文的主要研究内容包括 1 在理解c t 图像成像机理的基础上 利用c t 值与人体组织器官的对应关系 引入窗宽窗位技术 提出了基于c t 值分段统计的特征提取方法 首先对图像的灰度 信息进行c t 值归一化 然后在不同人体组织对应的c t 值范围内 分别统计面积 均值 方差等灰度统计特征a 该方法充分利用了图像中的有用信息 减少了无用信息 的干扰 在无需对组织器官进行精确分割的基础上 得到了不同组织器官的统计信息 并根据人体解剖位置相对固定的特点 对图像进行固定方式的分割 在每个子块内求 第一牵绪论 取特征 间接地反映了人体器官的解剖位置信息 f 2 1 研究了结合灰度统计特征和形状特征的分级检索机制 利用边界方向直方图 近似表征图像的形状特征 提出了先利用灰度直方图进行检索 再利用边界方向直方 躅在前次检索的结果集中进行二次检索的方法 该方法克服了灰度直方图不能有效表 达图像空间信息的缺赡 并避开图像分割这一难点同题 采用分级检索机制 还有效 地解决了检索中灰度和形状特征的权重难以确定的困难 3 研究了矩特征在医学图像检索中的应用 引入小波矩作为图像的检索特征 小波矩利用小波函数系作为矩计算的函数基 提供了图像在不同尺度下的特征信息 既包含了全局特征 也包含了局部特征 可以分辨相似图像中的细微差别 4 研究了基于小波多分辨率分析的特征提取算法 利用小波变换对图像进行塔 式或树式分解 然后对不同尺度下的图像提取其小波系数统计特征 纹理特征和利用 小波变换图像的极大模求取图像的边界方向直方图特征 利用小波分解 提取图像在 不同尺度上的特征 可以更准确地反映图像的真实内容信息 5 研究了图像检索系统中的用户相关反馈机制 在传统的基于向量空间模型的 相关反馈技术中 考虑了检索结果集中图像排列位置的影响 修改了查询优化公式 提高了相关反馈的收敛速度 研究了基于b p 网络和s v m 的优化学习相关反馈技术 在b p 网络中 先利用降维技术 选择少数几个对表征图像分类作用显著的特征作为 分类器的输入向量 克服了由于 练样本少丽瞄像特征维数高所带来的分类器设计困 难 利用s v m 技术进行相关反馈的模型设计 讨论了相应的核函数选择问题 有效 地提高了小样本学习的精度 6 研究了基于图像语义分类的检索万法 由于研究的医学图像大多为人体断层 图像 建立了与人体的解剖部位相对应的图像语义分类模型 先对图像进行固定模式 的划分 确定每个图像子块的语义类型 然后根据图像予块的语义和相对位置的组合 关系 进而确定整幅图像的语义类型 7 建立了一个基于三层客户 服务器 c l i e n t s e r v e r c s 模型的基于内容和语义 分类的医学图像检索系统框架 该框架能够支持异地分布的多个用户对医学图像数据 库进行检索 本文的组织结构如下 第 章介绍了医学图像检索的研究背景和意义 以及国内外的研究现状 第二章首先介绍了基于内容图像检索的相关研究内容和方法 一u 一g l 了一系列图像 视觉特征提取算法 讨论了相似性度量方法和相关反馈技术 然后在分析医学图像特 点的基础上 比较了基于内容的医学图像检索和一般图像检索的不同 最后介绍了基 东南大学博士学位论文 于语义的图像检索系统的研究内容和方法 第三章首先简要介绍了c t m r i 等医学图像的成像机理 然后对医学图像的特 征提取技术进行了详细讨论 探讨了灰度统计特征 纹理特征 矩特征以及在小波变 换模式下的特征提取算法 研究了引入窗口技术 对图像灰度数据进行分段统计 从 而表征不同组织特征的方法 研究了结合灰度统计特征和形状特征的分级检索机制 第四章讨论了相关反馈技术 利用相关反馈技术 通过用户的干预 可以充分利 用医生的临床经验 建立高级语义与低级视觉特征的关联 首先研究了传统的基于向 量空间模型的相关反馈技术 并考虑了返回图像在结果集中的排列位置 修改了优化 查询的公式 提高了反馈的收敛速度 然后探讨了基于优化学习和分类算法的相关反 馈技术 研究了人工神经网络和支持向量机算法在相关反馈中的应用 第五章介绍了基于语义分类的图像检索算法 首先介绍了基于语义分类的图像检 索模型 利用人体解剖结构相对稳定的特点 研究了在固定分割模式下 确定图像子 块语义类别的方法 然后研究了如何根据子块语义的组合关系来确定整幅图像的语 义 在本文中 就是确定断层图像解剖位置关系 从而得到断层图像所属的部位信息 如头部图像 胸部图像或腹部图像 第六章介绍了一个基于三层c s 计算模型的基于内容及语义分类的医学图像数 据库检索系统m i s s m e d i m a g e s e e ks y s t e m 框架 从其功能设计 总体结构和使用等 方面做了简要概述 最后提出了将基于内容的医学图像检索系统集成到医院p a c s 系 统中的构想 以期能够使p a c s 系统实现c b i r 的功能 第七章对所做的工作进行了总结 并对今后的工作和发展方向进行了展望 参考文献 w o n g stca n d t j a n d r ad a a d i g i t a ll i b r a r yf o rb i o m e d i c a li m a g i n go nt h ei n t e r n e t j i e e e c o m m u n i c a t i o n m a g a z i n e 1 9 9 9 3 7 1 8 4 9 i 2 w o n gst ca n dh u a n ghkd e s i g nm e t h o d sa n da r c h i t e c t u r a li s s u e so fi n t e g r a t e dm e d i c a l i m a g ed a t a b a s es y s t e m s j c o m p u t e r i z e dm e d i c a li m a g i n ga n d g r a p h i c s 1 9 9 6 2 0 4 2 8 5 2 9 9 3 c h a n g sk p i c t o r i a ld a t a b a s e s y s t e m l j i e e ec o m p u t e r 1 9 8 1 3 0 1 1 1 3 3 1 4 c h a n g ska ni n t e l l i g e n ti m a g ed a t a b a s e l j i e e et r a n s o ns o f t w a r ee n g i n e e r i n g 1 9 8 8 1 4 6 8 l 一6 8 8 5 庄越挺 潘云鹤 基于内容的图像检索综述 j 模式识别与人工智能 i 9 9 9 1 2 2 1 7 0 17 7 6 黄祥林 沈兰荪基于内容的图像检索技术研究 j 电子学报 2 0 0 2 3 0 7 1 0 6 5 1 0 7 1 8 第一章绪论 7 唐立军 段立鹃 等 基于内容的图像检索系统 j 计算机应用研究 2 0 0 i 7 4 1 4 5 8 f t i c k n e rm s a w h n e yh q u e r yb yi m a g ea n dv i d e oc o n t e n t t h eq b i cs y s t e m j i e e e c o m p u t e r 19 9 5 2 8 9 2 3 3 2 9 b e l o n g i es c s o nc g r e e n s p a nh e ta 1 c o l o r a