（生物医学工程专业论文）基于内容的医学图像检索技术研究.pdf

哈尔滨t 平擘大学硕十学付论文 a b s t r a c t am a s so fm e d i c a li m a g ed a t aa r eg e n e r a t e de v e r y d a yi nt h ec l i n i cw h e nt h e m e d i c a ld i g i t a li m a g ee q u i p m e n t ss u c ha sc t , m r j a n dp e t - c ta r eu s e di nt h e c l i n i cw o r k sm o r ea n dm o r g h o w e v e r , i tb e c o m e sas i g n i f i c a n tp r o b l e mw h i c h c r i e sf o rs o l v e dt h a th o wt om a n a g et h i sl a r g en u m b e ro f d a t aa n dt h e na p p l yt h e m t ot h ec l i n i c i nt h ep r o c e s so fd i a g n o s e s t h et r a d i t i o n a la r c h i v em a n a g e m e n t s y s t e m sa d o p ti m a g ed a t a b a s ew i t hs i m p l el a b e l b a s e do re v e l lt h ee n t i r em a n u a l w a yt oa d m i n i s t e rt h ei m a g ed a t a , w h i c hi sg r a d u a l l yu n a b l et om e e tt h en e e d so f s e a r c h e sw i t ht h ee u s m i cm e d i c a li m a g ed a t a b a s ea n di sa f f e c t i n gt h ef u n c t i o no f t h ei m a g eu s e di nt h ed i a g n o s e ss e v e r e l y t h u s ，t h et e c h n i q u eo fc o n t e n t b a s e d m e d i c a li m a g er e t r i e v a le m e r g e sa st h et i m e sr e q u i r e c o n t e n t - - b a s e dm e d i c a li m a g er e t r i e v a li st h ea p p l i c a t i o no fc o n t e n t b a s e d i m a g er e t r i e v a li nt h ef i e l do ft h em e d i c i n e t h eg o a lo ft h i sp a p e ri st oo r g a n i z e t h ei m a g er e t r i e v a lw i t ht h em e d i c a li m a g e sa n dp r o v i d eac o n v e n i e n c ea n d p r e c i s ew a yt os e a r c ht h ei m a g ef o rt h ep h y s i c i a n sa n dt h ea s s i s t a n ts u g g e s t i o nt o t h ed i a g n o s e s b a s e do nt h et e c h n i q u eo ft h ec o n t e n t - b a s e di m a g er e t r i e v a la n dp r i n c i p l eo f t h em e d i c a li m a g ea n df r o mt h ed e m a n d so fc l i n i cd i a g n o s e s ，a ne x p e r i m e n t s y s t e m o fc o n t e n t b a s e dm e d i c a l i m a g e r e t r i e v a li s d e v e l o p e d a f t e rt h e r e q u i r e m e n ta n dt h ea p p l i c a t i o no ft e c h n i q u e o fc b i ru s e di nm e d i c a la r e a n a l y z e d f r o mt h ee x a m p l eo fi n t r a c r a n i a lh e m o r r h a g e ，t h es e a r c hm e t h o d so f m a s si n t r a c r a n i a lc ti m a g e sb a s e do nl o c a lc o l o ra n ds p a t i a lf e a t u r e s ，s h a p e f e a t u r eo ff o u r i e rd e s c r i p t o r s ，r e g i o no fi n t e r e s t ，c o m b i n a t i o nf e a t u r e sa r ea l l a c h i e v e d t h er e s u l t si n d i c a t e dt h a tt h es e a r c hm e t h o db a s e do nl o c a lc o l o ra n ds p a t i a l f e a t u r e sh a ss h o w ne x c e l l e n tp r e c i s i o nw h e nt h eg r a yl e v e lo ft h eo r g a na n dt h e p a t h o l o g i c a lp a r ti nt h ei m a g e sd i f f e r sf r o me a c ho t h e r a tt h es a m et i m e ，t h e s e a r c hm e t h o db a s e do ns h a p ef e a t u r eo ff o u r i e rd e s c r i p t o r sh a sp r e f e r a b l e 哈尔滨工稃大学硕士学位论文 i n f l e x i b i l i t yo f t r a n s l a t i o na n ds c a l ea n dr o t a t i o n i nt h em e t h o db a s e do nr e g i o no f i n t e r e s t t h ef o c u sd i s t r i b u t i o ni n f o r m a t i o no ft h er e g i o no fi n t e r e s ti nt h em e d i c a l i m a g ec a nb er e f l e c te x a c t l yb yu s i n gt h ef e a t u r ev e c t o ro ft h ec u m u l a t i o n h i s t o g r a ms ot l l a tt h ep r e c i s e n e s s ，r o b u s t n e s s ，a l l s i d e d n e s s ，a n de f f i c i e n c yo ft h e s e a r c hm e t h o da g ei m p r o v e d k e y w o r d s ：c o n t e n t b a s e dm e d i c a li m a g er e t r i e v a l ；l o c a lc o l o ra n ds p a t i a l f e a t u r e s ；f o u r i e rd e s c r i p t o r s ；r e g i o no f i n t e r e s t 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用己在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ：玺遂 日期护7 年；月汐日 哈尔滨t 稃大学硕十学位论文 第1 章绪论 1 1 课题的背景及研究意义 随着计算机以及通信技术的发展，多媒体信息量急剧增长。图像信息被 广泛应用于各个领域，如通信技术、宇宙探索、遥感技术、生物医学、工业 生产、气象预报、军事技术等各个方面，同传统的文字信息相比较，图像具 有信息量大、内容难以准确描述的特点。传统的多媒体数据库对检索方法的 处理比较简单，有的仅通过多媒体的外部属性和简单的文字描述进行检索， 还脱离不了文本、数值和关键词的检索范畴1 1 1 ，对照片等图像、图形信息则 只有浏览或查看功能，缺乏对多媒体本质特征的描述。由于通过传统的文字 方法来检索图像信息具有主观性强、效率低等缺点，为了能够有效地对大量 的图像进行管理和检索，一种利用图像本身的内容特征进行检索的技术 c b i r ( c o n t e n t - b a s e di m a g er e t r i e v a l ) 发展了起来【2 】。 所谓基于内容的图像检索【3 i ，就是从图像数据中提取出特定的信息线索， 然后根据这些线索从大量的存储在数据库中的图像中进行查找，检索出具有 相似特征的图像数据。它区别于传统的检索手段，融合了图像理解技术，通 过将图像数据转化成抽象的数据表示，不仅缩小了数据的存储空间，也使图 像的自动分类得以实现，以图像的抽象表示为依据进行图像检索，不仅提高 了系统的运行速度，也提高了检索的鲁棒性，从而可以提供更有效的检索手 段并实现自动化检索。 基于内容的图像检索技术的发展，也给医学事业带来了很大的发展契机 1 4 。信息检索与基于内容的医学图像检索的关系如图1 1 所示。 图1 1 信息检索与基于内容的医学图像检索的关系 哈尔滨下秤大学硕十学付论文 随着医学影像诊断技术的不断发展，近年来可供l 临床、教学和研究使用 的医学图像数量正在迅速膨胀，据统计，2 0 0 2 年日内瓦医科大学( h u g ) 的放 射学部每天产生的图像都在1 2 0 0 0 幅以上嗍。 在众多的图像中，医学工作者和相关科研人员如何快速、准确地找到所 需要的图像成为急待解决的问题。传统的方法是基于关键字的检索，例如根 据病人的姓名、患者标识号、疾病名称或图像的文字描述等的查询，而且这 也是目前在应用领域中主要采用的检索方式。但是由于医学图像具有极强的 复杂性，与一般图像相比，具有灰度分辨率高、空间分辨率高、图像相似性 大、所含信息量大、颜色类型少等特征，所以，实体的颜色、纹理、形状、 空间关系以及语义信息很难用文字描述，传统的基于关键字的医学图像检索 便显现出不足之处，基于内容的医学图像检索c b m i r ( c o n t e n t b a s e dm e d i c a l i m a g er e t r i e v e ) 技术就是在这种情况下产生的。 基于内容的医学图像检索在临床、教学和科研中都将发挥重要的作用。 在临床诊断中，基于内容的医学图像检索方式提供了根据图像内容进行信息 检索的方式。基于内容的医学图像检索的应用不仅给医学图像数据库的管理 工作减轻了负担，也是实现基于图像的推理过程，进而实现疾病智能诊断的 前提，因而对医学诊断技术的进步具有举足轻重的作用。对于无经验的实习 医生或经验少的医师，基于内容的医学图像检索的结果能给他们的诊断提供 辅助的建议。教学中，教师可从大型的医学图像数据库或知识库中搜索感兴 趣的病例展示给学生，这些病例不仅可以根据示例图像查询，而且还可以选 择视觉相似的不同疾病的病例来区分各种疾病诊断的关键点，以此提高教学 质量。科研同样可以从图像检索中受益，因为有更多的病例供研究人员选择， 而且将视觉直接应用到医学研究中，有可能找到病例的视觉特征、诊断或文 本描述间的新关系。 由此可见，c b i r 技术在医学领域的应用前景非常广泛。但是在实际的 应用过程中仍存在一些问题。医学领域对c b i r 技术的需求是迫切的，很多 图像检索系统在实现时也都是采用的医学图像来进行算法演示，但是很少有 人真正的根据医学图像的特点及专科要求来进行图像分析。许多文章中都指 出了医学图像的特殊性决定了一般化的图像检索系统不适用于医学领域，但 是并没有提出医学图像检索都有哪些具体要求。实际上文中所指出的现象存 2 哈尔滨t 稃大学硕+ 学何论文 在于任何领域的图像检索系统中( 如商标检索，人脸识别等) ，每一个领域都 会对图像检索有特殊的要求。同理，对于一个系统来说，具有的领域知识越 多，其通用性就会越差。性能指标是检验一个图像检索系统实用性的重要指 标，医学领域的图像检索结果的性能分析不能离开对诊断效果的分析，但是 现有的医学图像系统没有针对临床意义对检索性能进行评价。基于内容的图 像检索的特点是基于相似性的匹配，而非精确匹配，医学图像库本来就存在 许多相似性图像，要想从图像库中检索出具有相同病理特征的相似医学图像 难度更大，不仅需要一般的图像学特征，而且还需要将这些特征与医学需要 相结合，将人工智能技术与图像技术相结合，建立附加的医学知识库，在知 识库的导引下进行符合医学常规的内容检索。 从以上的分析中可见，c b i r 技术与医学应用的真正意义上的融合还有 很长一段路要走，基于内容的医学图像检索应用范围广、所涉及的技术比较 多，是国内外计算机和医学领域研究的热点问题之一，其中有许多关键技术 有待于进一步解决。 1 2 论文的主要研究内容与结构安排 本文的主要研究目标是将基于内容的图像检索技术应用于医学领域，为 基于内容的医学图像检索中的一些关键技术提供解决方案，为医学影像学学 者和相关科研人员提供便捷准确的检索图像的手段，并为其诊断提供辅助的 建议，使基于内容的图像检索技术在医学领域中朝着实用化的阶段发展。 本文在分析国内外基于内容的图像检索技术研究现状和发展趋势基础 上，结合医学图像的特点，着重研究了基于局部颜色空间特征的检索方法、 基于傅立叶描述符的形状特征提取算法、基于感兴趣区域特征的检索方法。 具体结构安排如下： 第l 章，首先描述了课题的意义和背景，阐述了研究基于内容的医学图 像检索关键技术的必要性和重要性，其次介绍了本文的主要研究内容及章节 安排。 第2 章，详细分析了国内外基于内容的图像检索技术研究现状与发展方 向，系统介绍了基于内容的图像检索技术的体系结构、图像特征的提取和表 哈尔滨丁稃大学硕十学何论文 达方法、相似性度量方法、检索性能评价方法、基于内容的图像检索过程。 以上内容为研究基于内容的图像检索在医学领域中的应用奠定了理论基础。 第3 章，具体分析了c t 医学图像的成像原理，根据实验需要重点介绍 了颅脑c t 图像的医学特点并给出了颅内出血c t 图像诊断结果，介绍了医学 图像的d i c o m 标准，分析了基于内容的图像检索技术在医学图像中的需求 现状和应用前景。 第4 章，给出了几种有效的基于内容的医学图像检索算法。根据医学图 像中器官与病灶区域灰度值与形状的差异，给出了基于局部颜色空间特征的 检索算法和基于傅立叶描述符的形状特征检索算法。在l 晦床影像诊断过程中， 医生一般只关注有利于疾病诊断的感兴趣区域r o i ( r e g i o no f i n t e r e s t ) ，因此 本文给出了基于感兴趣区域特征的检索算法。最后给出了以上介绍的所有算 法的实验结果及分析。 第5 章，针对医学图像的特点实现了一个基于内容的医学图像检索系统， 通过实际需要确定了系统功能并阐述了若干关键功能模块的实现，主要包括 系统结构框架、主界面设计、示例图像选择设置、检索参数设罨、检索结果 浏览、数据管理等。 4 哈尔滨t 稃大学硕士学佗论文 第2 章基于内容的图像检索技术 2 1 基于内容图像检索的体系结构 基于内容的图像检索( c b i r ) 系统都有比较一致的基本工作框架，一般由 两个子系统构成：数据库生成子系统和数据库查询子系统f 6 j 。在这个基本工 作框架下，为完成检索任务还需要有一些功能模块，在每个功能模块里，需 要采用一系列技术来完成相应的任务。一般可把基于内容的图像信息检索系 统看作是介于信息用户和( 图像) 数据库之问的一种信息服务系统。用户通 过它可按自然的方式从库中提取满足所需内容的图像数据，其系统结构框图 如图2 1 所示。 用户 图像集合 0 f 。 l 用户查挲接口l 厂 t 、 ( 输入模块1( 查询处理模块) 气 彳 1 特篓擎】降叫 k i f ，v 、 【 i 雠u f 。 图2 1c b i r 的系统结构图 ( 1 ) 用户查询接口是系统的用户界面，用户使用查询接口来组织自己 的查询要求，用户可以用整幅图像、特定对象以及各种特征的组合等形式进 行查询，系统检索所得到的图像也是通过这个接口返回给用户。 哈尔滨r 稃大学硕士学位论文 ( 2 ) 查询处理模块将用户查询接口送来的查询请求( 目标图像) 通过特 征提取模块转换为用特征描述的待查特征，然后调用匹配模块计算特征库的 每个特征与待查特征的相似程度，从中挑出相似的若干图像，并按相似程度 由大到小排列返回给用户所需要的图像。 ( 3 ) 输入模块将图像集合存入图像库，同时，它调用特征提取模块对 每幅图像进行处理，并将得到的特征信息存入特征库。 ( 4 ) 特征提取模块负责处理工作，它具体实现基于内容的图像检索系 统中支持的各种特征的提取算法，从而能够从图像中提取相应的特征信息。 它与输入模块共同作用，生成完整的图像数据库信息。 ( 5 ) 匹配模块与查询处理模块是实现基于内容的图像检索系统检索功 能的核心部件，它计算目标图像与查询图像之间的特征相似程度，完成各种 特征的匹配算法。 ( 6 ) 图像库和特征库形成图像数据库，有时还需要知识库。图像库为 数字化的图像信息；特征库为图像的内容特征和客观特征；知识库包含专门 和通用知识，以利于查询优化和快速匹配。 2 2 基于内容图像检索的分类 2 2 1 颜色特征的提取与表达 颜色特征是在图像检索中应用最早且最为广泛的视觉特征之一川，这是 因为颜色具有一定的稳定性，其对大小、方向都不敏感1 3 】。同时，在许多情 况下，颜色是描述一幅图像最简便而有效的特征。对利用颜色特征进行图像 检索时要解决三个关键问题：首先，由于存在许多不同的颜色色彩空间，对 不同的具体应用，需要选择适合的颜色色彩空间来描述图像颜色特征；其次， 需要采用一定的量化方法将颜色特征表达为向量的形式，只有图像色彩特征 表示为向量形式后，才能进行相似度比较；最后，还要定义一种相似度( 距离) 标准用来衡量不同图像之白j 在颜色上的相似性。 图像颜色特征的提取与匹配方法有多种，主要有颜色直方图( c o l o r h i s t o g r a m ) 、颜色集( c o l o rs e t s ) 、颜色矩( c o l o rm o m e n t s ) 、颜色聚合向量( c o l o r c o h e r e l l c e v e c t o r ) 、颜色相关图( c o l o r c o r r e l o g r a m ) 等。 6 哈尔滨l ：稃大学硕十学 奇论文 ( 1 ) 颜色直方图 s w a m 和b a l l a d 率先用颜色直方图来表示图像特征，并作为图像检索的 索引。由于图像中的物体往往和颜色有一定的对应关系，因此颜色可以作为 识别物体的有效特征。颜色直方图的主要优点是不随物体平移、旋转、视点 的变化而变化，和图像的大小也无关。颜色直方图可以看作一维矢量，直方 图之间的相似性用l l 或者l 2 距离度量。s w a i n 提出了颜色直方图相交的方 法来度量相似性，以抑制图像中背景的影响。 颜色直方图1 9 l 是根据图像中每个像素出现在色彩空间的概率统计而成， 一般采用r g b ( r e d g r e e nb l u e ) - - - - 个通道的联合分布的统计计算全局颜色直 方图。为了充分表达人类的视觉感知特点，颜色直方图的统计也可以在其它 色彩空间进行( 比如h s v ( h u es a t u r a t i o n v a l u e ) 颜色空间) 。由于一般原始图像 中像素所代表的颜色种类庞大，用r g b 颜色空间表示，每个像素的颜色值可 最多用三个字节表示，故最多拥有2 2 4 = 1 6 7 7 7 2 1 6 种颜色表示，因此在为了减 少计算量和特征的存储空间，统计直方图之前一般要进行颜色量化。n i b l a c k 在q b i c 系统中对r g b 三个通道之间进行1 6 级量化，得到4 0 9 6 维的直方图； s m i t h 在h s v 空间种进行量化，最后得到1 6 6 维直方图。一般地，直方图维 数越高，特征计算和相似性计算的代价较高，所以一般实用系统的颜色直方 图特征维数不超过5 1 2 。 颜色直方图也存在很多不足之处。图像的颜色特征对光照非常敏感，因 此会反映在直方图上，使得同一物体在不同光照条件下得到的图像的颜色直 方图完全不同，从而对检索造成误差。同时，颜色直方图失去颜色的空间信 息，可能两幅颜色非常相近的直方图图像其内容可能毫无相似之处，针对这 些问题，f u n t 将颜色常量( c o l o rc o n s t a n c y ) 引入直方图的统计，采用比值直方 图代替颜色直方图，取得较好的效果。f e v e r s 对光照问题作了进一步研究， 导入一些与视点、光照等条件无关的不变量，即白光条件下，不光滑物体的 度量c ( r ，g ，b ) 不随视点、物体表面方向、光照方向和光照强度的改变而改变， 如公式( 2 1 ) 所示： a f 群钟髟 c ( r ，g ，曰) =赢贮1 州同卅 7 ( 2 1 ) 哈尔滨t 程大学硕士学付论文 因此，凳、一罢、熹和墨2 箬都是不变量。f e v e r s 利用这些不 ggr + g + bb 2 。一 一一 变量计算直方图，归一化后用直方图相交计算相似性，在试验中取得了很高 的成功率。 由于直方图仅仅统计每个像素的颜色概率，丢失了颜色的空间信息。为 了描述颜色的空间特征，s w a i n 提出了后向投影( b a c kp r o j e c t i o n ) 方法，对彩 色图像中已知位置的未知对象的色彩进行标识，这样就保留了色彩的部分空 间信息。 ( 2 ) 颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色 信息。采用累加直方图和局部累加直方图等方法，虽然有一些改善，但效果 仍然有限。有必要研究新的方法来提取空间局部颜色信息，以便在大规模图 像库中进行更精细的颜色特征匹配与索引。s m i t h 和c h a n g 等人提出的颜色 集( c o l o rs e t s ) e m l 便是这样一种方法。 事实上，颜色集是对颜色直方图的一种近似。在该方法中，首先将图像 从r g b 颜色空间转化成视觉均衡的颜色空间( 如h s v 空间) ，并将颜色空间 量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区 域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的 颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的 空间关系( 包括区域的分离、包含和交等操作，每种对应于不同的评分) 。因 为颜色集表达为二进制的特征向量，可经构造二分查找树来加快检索速度， 这对于大规模的图像集合十分有利。 ( 3 ) 颜色矩 为了克服颜色直方图的颜色量化效应，s t f i c k c r 和o r e n g o 等人提出了以 颜色矩( c o l o rm o m e n t s ) e ”怍为图像的特征进行颜色特征提取与匹配的方法。他 们认为任何颜色分布都可以用它的矩来描述，采用h s v 颜色空间，分别统计 一每种色彩分量的一阶、二阶和三阶矩，得到图像的九个矩特征，并采用加 权的欧氏距离来度量两幅图像之间的相似性。 这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表 示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一 8 哈尔滨t 稃大学硕十学付论文 阶矩( m e a n ) 、二阶矩( v a r i a n c e ) 和阶矩( s k e w n e s s ) 就足以表达图像的颜色分 布。与颜色直方图相比，该方法的另一个好处在于：它无需对颜色特征进行 向量化。颜色的三个低次矩的数学表达形式如公式( 2 2 ) 所示： 驴专喜岛 q = 二1 荟n ( 功训2 弘 ( 2 - 2 ) = 砖善( 岛训萨 公式( 2 2 ) 中，成是图像中第，个像素的第i 个颜色分量。因此，图像 的颜色矩一共只需要9 个分量( 3 个颜色分量，每个分量上3 个低阶矩) ，与 其它的颜色特征相比是非常简洁的。在实际应用中，为克服低次矩较弱的分 辨能力，颜色矩通常与其它特征分析方法结合起来使用( 譬如，小波分析) ， 而且一般是在其它特征分析方法之前使用，起到过滤缩小范围的作用。 除了上面三个低次矩以外，在数学上可以证明，正交矩作为一种特征的 矩，具有优越的性能。因此，己有一些研究者结合正交矩和小波对颜色特征 进行提取和匹配，也取得了较好的效果。 ( 4 ) 颜色聚合向量 p a s s 和z a b i h 等人提出用直方图细化技术作为图像的索引，采用图像的 颜色聚合向量c c v ( c o l o rc o h e r e n c ev e c t o r ) t 1 2 1 对传统的全局颜色直方图作细致 分类，以描述颜色的空间分布特征。其核心思想是根据图像中相近的颜色像 素所占连续区域的面积大于给定的阀值，则该区域中的像素为聚合像素，反 之为不聚合像素，然后统计图像中每种颜色的这两种类型的像素所占比例， 形成颜色聚合矢量，每种颜色的聚合像素和非聚合像素之和就是该颜色在图 像中所占百分比，即传统的颜色直方图。由于包含了颜色分布的空间信息， 对需要比较物体的空间位置的图像，颜色聚合向量能比颜色直方图达到更好 的检索效果。 ( 5 ) 颜色相关图 9 哈尔滨i ：稃大学硕十学位论文 颜色聚合向量c c v 方法虽然对色彩空间中像素的特性作了分类，但是仍 存在缺陷。为了克服这个缺陷，h u a n g 等提出颜色相关图( c o l o r c o r r e l o g r a m ) 的方法。颜色相关图不但刻画了某一颜色的像素数量占整个图像的比例，还 反映了不同颜色对之间的空间相关性。 假设，表示整张图像的全部像素，l 表示颜色为c ( o 的所有像素，则颜 色相关图可以表达为公式( 2 3 ) 的形式： 携= p r p 2 厶( f ) l b p 2 j _ 纠 n e ，p 2 9 l ( 2 3 ) 其中，f ，- ， l ，2 ，n ，k l ，2 ，d ，i p l 一见i 表示像素p l 和晚之间 的距离。如果考虑到任何颜色之间的相关性，颜色相关图会变得非常的复杂 和庞大( 空间复杂度为o ( n 2 d ) ) 。一种简化的变种是颜色自动相关图( c o l o r a u t o c o r r e l o g r a m ) ，它仅仅考察具有相同颜色的像素间的空间关系，因此空间 复杂度降到o ( n d ) 。实验表明，颜色相关图比颜色直方图和颜色聚合向量具 有更高的检索效率，尤其是对于那些查询空间关系一致的图像。 综上所述，c b i r 的颜色分析和索引技术是目前研究的最多，效果也最 明显的方法。颜色特征抓住了图像的主要视觉内容，特征提取简单方便，检 索效果也比较好。但是仅用颜色不能充分表达图像的视觉内容，结合其他特 征进行综合检索是目前的努力方向。总之，颜色检索方法的精度仍有待进一 步提高。 2 2 2 纹理特征的提取与表达 纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特 征。它是所有物体表面共有的内在特征，例如，云彩、树木等都有各自的纹 理特征。纹理特征包含了物体表面组织排列的重要信息以及它们与周围环境 的联系。正因为如此，纹理特征在基于内容的图像检索中得到了广泛的应用， 用户可以通过提交包含有某种纹理的图像来查找含有相似纹理的其它图像。 由于纹理特征在模式识别和计算机视觉等领域具有重要意义，对纹理的 分析研究在过去的3 0 年中取得了重大的成果，如t a m u r a 纹理特征、自回归 1 0 哈尔滨| 稃大宁硕十学位论文 纹理模型、方向性特征、小波变换和共生矩阵等形式。对纹理图像的描述常 借助纹理的统计特性或结构特性进行，基于空域的性质可转换到频域中进行 研究，所以纹理特征描述方法大致可以分为四类：统计法、结构法、模型法 和频谱法。 ( 1 ) 统计法主要通过图像中灰度级分布的随机属性来描述纹理特征， 适用于分析木纹、沙地、草坪等细致而不规则的物体。最简单的统计法是借 助于灰度直方图的矩，但这种方法没有利用像素相对位置的空间信息。为了 利用这些信息，h a r a l i c k 等人提出了用共生矩阵( c o o c c u l t e n c em a t r i x1 来表 示纹理特征。t a m u r a 等人基于人类视觉的心理学研究后提出了6 个不同的 描述纹理特征的分量，对应于心理学角度上纹理特征的6 种属性，分别是： 粗糙度( c o a r s e n e s s ) 、对比度( c o n t r a s t ) 、方向度( d i r e e t i o n a l i t y ) 、线性度 ( l i n e l i k e n e s s ) 、规则度( r e g u l a r i t y ) 和粗略度( r o u g h n e s s ) ，其中前三个分量对 于基于内容的图像检索尤其重要。t a m a r a 纹理和共生矩阵表示的主要区别在 于：前者的所有纹理属性都是视觉意义上的，而后者的某些纹理属性不具有 视觉意义( 如信息熵) 。这一特点使得t a r n a r a 纹理表示在图像检索中使用得较 多，q b i c 和m a r s 都进一步证明了这种表示方法。 ( 2 ) 结构法结构方法主要按规则的纹理结构，采用句法分析方法识别。 其适用于像布料的印刷图案或砖瓦等纹理及其排列比较规则的图案，根据纹 理基元及其排列关系来描述纹理的结构及特征、特征与特征间的关系。 c a d u c e i 曾提出一个使用直线段、开放多边形和封闭多边形作为纹理基元的 纹理模型，其排列规则由一种图状语法结构定义。l u 和f u 提出用一种树型 语法结构表示纹理，他们将纹理按照9 x 9 的窗口进行分割，每个分解单元的 空间结构表示为一棵树。因为实际的纹理大都是无规则的，因此结构法受到 很大的限制。 ( 3 ) 模型法利用一些成熟的图像模型来描述纹理，如基于统计学的马 尔可夫( m a r k o v ) 随机场、子回归模型，以及在此基础上产生的多尺度子回归 模型( m u f t i r e s o l u t i o ns i m u l t a n e o u sa u t o r e g r e s s i v e ，m r s a ) 【1 4 j 等。m r s a 区分不 同纹理模式的能力较强，但同时计算开销也较大。上述模型的共同特点是利 用少量的参数表征纹理。 ( 4 ) 频谱法借助于频谱特性来描述纹理特征。进入9 0 年代后，小波 哈尔滨r 稃大学硕十学位论文 变换在各个领域得到广泛应用，学者们开始用小波研究纹理的表示。s m i t h 和c h a n g 用小波子带的统计信息( 均值和方差) 作为特征描述。这个方法在1 1 2 张图像的b r o d a t z 纹理图库检索中精度超过了9 0 。为了进一步得到中间频 率子带的特征，c h a n g 和k u o 用树结构小波进一步提供了分类精度。他们不 仅将小波分解后的低频部分作进一步的小波分解，而且对高频部分也作小波 分解，并形成树状结构。c r o s s 等用小波变换结合k l 扩展和k o h o n e n 映射进 行纹理分析。t h y a g a r a j a n 等人将小波变换和共生矩阵结合起来表示纹理也取 得了很好的效果。m a n j u n a t h 使用g a b o r 变换获得图像的纹理特征。g a b o r 函 数是一种经过正弦函数调制过的高斯函数，如公式( 2 4 ) 所示： 咖，= 去唧h 妄+ 驴硼 4 ， m a n j u n a t h 用g a b o r 函数和图像卷积后得到变换域上的系数集合，用系 数的均值和方差作为纹理特征。g a b o r 滤波器实际上是一个同心圆形的二维 带通滤波器，心理学实验表明这种滤波机制和视网膜细胞对纹理的响应机制 相类似。目前的实验证明，基于g a b o r 小波变换的纹理检索方法效果最好。 但是g a b o r 滤波器的设计依赖于具体的图像，精确结果需要大量不同尺寸和 方向的滤波器从而使计算量增大。g a b o r 滤波器组的非正交性意味着经滤波 后的图像中有兀余信息，给滤波器的设计带来困难。 由于每种纹理描述方法的适用场合不同，因此上述纹理描述方法也常结 合使用，如对宏纹理( m a r c o t e x t u r e ) 图像中纹理的描述就需要结合统计和结 构两类方法i t s l 。 由于纹理特征没有明确的定义，以及本身的局部特性和复杂性，目前还 没有一个精确的较好的特征描述方法。人对纹理的视觉特征的认识也非常主 观，因此，如何定义纹理特征之间的相似性度量也是一个难题，而目前的特 征描述方法没有一个能对各种典型的样图查询都达到良好的检索效果。所以 纹理特征的检索仍然需要进一步的研究。 1 2 哈尔滨t 稃大学硕十学位论文 2 2 3 形状特征的提取与表达 和颜色、纹理一样，形状特征在基于内容的图像检索系统中也得到广泛 的应用，并且和颜色、纹理相比，形状特征显得更为直观，而且便于交互， 原因在于： ( i ) 对一般用户来说，纹理显得太专业，难以理解，因此在图像检索 过程中难以准确描述，使之符合人们的要求； ( 2 ) 颜色虽然也很直观，但基于直方图等颜色特征的检索需要和用户 对颜色的直观理解之间还存在一定距离； ( 3 ) 一般的图像，很少是单颜色或单纹理的，所以用颜色或纹理进行 描述时，往往需要分区域，这就必然要求颜色或纹理特征与形状特征相结合： 所以形状特征在图像检索过程中显得十分必要； ( 4 ) 通过简单的人机交互作图，可以很方便地指定相应的形状特征， 所以形状特征不但易于理解和精确描述，而且便于用户掌握。 传统的描述形状特征的方法是用f r e e m a n 链码、曲线、f o u r i e r 描述子、 二次曲线及b 样条曲线等来描述平面曲线。h o u g h 变换是最经典的方法。对 于更广泛的变形匹配问题，则需要与变形模型的研究相结合。出于对算法时 间和空间的复杂性的考虑，形状的表达和匹配往往用更简单的方法，如：形状 参数面积、周长、长短轴比等，对于复杂的图形，还有孔洞数及各目标问的 几何关系等。 目前基于形状特征的检索方法主要有两种，分别是基于边缘和基于区域 的方法。图像边缘利用到物体的外边界，而图像区域特征则关系到整个形状 区域。 ( 1 ) 基于边缘的形状特征表示方法 基于边缘的形状特征提取是在边缘检测的基础上，用面积、周长、偏心 率、角点、链码、兴趣点和傅里叶描述等特征来描述物体的形状，适用于图 像边缘较为清晰且容易获取的图像。文献 1 6 】首先对图像进行了高斯平滑， 接着使用经典的兴趣点检测算法发现兴趣点，然后用兴趣点的测度值作为图 像特征进行匹配。文献【1 7 】提出将图像边缘上的角点作为特征点，然后使用 d e l a u n a y 三角形进行划分，记录三角形的形状特征来描述图像。这种方法由 哈尔滨下稃人学硕十宁忙论文 于是基于边缘上的一些特殊点，因此对噪声和点位置的变化较为敏感。文献 【1 8 】采用边缘方向直方图来刻画形状特征，具有简单、平移不变性等优点， 但同时也存在不具备尺度和旋转不变性等缺点。 ( 2 ) 基于区域的形状特征表示方法 基于区域的形状特征提取的主要思路是通过图像分割技术提取图像中感 兴趣的物体，依靠区域内像素的颜色分布信息提取图像特征，适合于区域能 够较为准确地分割出来和区域内颜色分布较为均匀的图像。文献0 9 应用变 形模板技术，把用户提供的形状看作模板，与图像库中的形状进行匹配。由 于是直接比较两个形状，因此具有较高的精度，但同时计算量也较大。文献 f 2 0 1 提出了一种弹性匹配算法，首先确定感兴趣区域，在这些区域中采用爬 山优化算法获取图像边缘，并用这些边缘代表物体形状。这种方法的优点是 对图像边缘进行筛选，缺点是需要人工干预。 在利用形状特征进行图像检索时要注意下列问题： 首先，形状常与目标联系在一起，有一定的语义含义，因而形状特征可 以看作是比颜色和纹理要高层一些的特征。但是对形状的表达比对颜色和纹 理的表达从本质上要复杂得多。要获得有关目标的形状参数，常要先对图像 进行分割，所以形状特征的提取会受图像分割效果的影响。需要注意的是， 在没有有关应用领域的知识时，自动的分割方法很难将相应的目标准确地提 取出来。 其次，目标形状的描述是一个非常复杂的问题，事实上至今还没有找到 形状的确切数学定义。 最后，从不同视角获取的图像中目标形状可能会有很大差别，为准确进 行形状匹配，需要解决平移、尺度、旋转变换不变性的问题。 所以，虽然从感觉上形状特征更宜于基于内容的图像检索，但考虑到其 复杂性，其应用范围不如颜色特征那样广泛。 基于形状的检索更多地用于当用户粗略地画出一个轮廓进行检索的情 况。基于形状的检索主要是要寻找那些对平移、缩放、旋转都不变的几何特 征。基于形状的图像检索有着广泛的应用，例如对陶瓷工艺图像库的检索、 指纹图像的检索、商标和徽标的检索【2 l “】以及医学图像，如肺、瘤的检索 等。 1 4 哈尔滨下稃大学硕十学位论文 2 2 4 空间关系的提取与表达 颜色、纹理和形状等反映的都是图像的整体特征，而无法体现图像中所 包含的对象或物体。事实上，图像中对象所在的位置和对象之间的空间关系 同样是图像检索中非常重要的特征。例如，蓝色的天空和蔚蓝的海洋的颜色 直方图是非常接近而难以辨别的，但如果在检索需求中指明是“处于图像上 半部分的蓝色区域”，则返回的检索结果就应该是天空，而不是海洋。由此可 见，包含空间关系的图像特征可以弥补其它图像特征不能确定物体空间关系 的不足。 提取图像空问关系特征可以有两种方法：一是首先对图像进行自动分割， 划分出图像中所包含的对象或颜色区域，然后根据这些区域对图像作索引； 另一种方法则简单的将图像均匀划分为若干规则子块，对每个图像子块提取 特征建立索引。 ( 1 ) 基于图像分割的方法 基于图像分割的方法中的图像空间关系特征主要包括二维符号串、空i 日j 四叉树和符号图像。 匹兹堡大学的c h a n g 提出来用二维符号串( 2 d s t i n g ) 的方法，其基本思想 是将图像沿x 轴和y 轴方向进行投影，然后按二维子串匹配进行图像空间关 系的检索。该方法比较简单，但缺点在于仅利用对象质心并不足以表达对象 的空间位置关系，而且描述的空间关系太简单，实际图像中的空间关系要复 杂的多。 符号图像( s y m b o l i ci m a g e ) 方法是基于图像中全部有意义的对象己经被 预先分割出来的假设，将每个对象用质心坐标和一个符号名字代表，从而构 成整幅图像的索引。这种方法假设所有对象都可以通过一定的特征被精确的 识别出来，因而只需要关注如何匹配对象的空间关系即可。然而，对象并非 总是由某些确定特征构成的。此外，除了少数特殊应用外，图像自动分割对 大多数应用来说是相当困难的。下面介绍一些常用的图像分割算法。 l y b a n o n 等用基于形态学的操作进行自动图像分割。他们用各种类型的 图像来测试算法效果，包括光学天文学、红外线的海洋图和磁力图等。这种 模拟方法在处理以上科技图像时具有良好的效果，但处理一般图像的效果还 哈尔溟t 秤_ 人学硕十学伸论文 有待进一步证实。“等提出了基于模糊熵的分割算法，这种方法是以这样的 事实为前提的，即熵的局部最大值对应于图像上各个区域之自j 的不确定性， 它对于那些直方图上没有明显起伏的图像是非常有效的。 所有以上提到的算法都是自动的，其主要优点时可以从大量的图像中提 取边界而不占用用户的时间和精力。然而，对于通用领域内没有经过预处理 的图像，这种自动的分割技术效果就不太好。通常，算法所划分的仅仅是区 域而不是对象。如果想在图像检索中获得高层语义上的对象，就需要人工的 辅助。s a m a d a n i 和h a n 提出计算机辅助下的边界提取法，将用户手工输入和 计算机图像边界生成算法结合起来。d a n e e l s 等提出了一种有关有效轮廓的更 完善的方法。该方法首先在用户使用的基础上，用贪婪法获得快速初始收