（计算机系统结构专业论文）基于纹理和形状特征的图像检索技术研究.pdf

摘要 多释特 垂综合瘦震豹强像梭索是磐静綦乎蠹攀图像捡索熙热点。本文扶銎像 的纹理和形状特征出发，总结了基于纹理特征和形状特征的图像检索的研究现状 和发展趋势，分析和概括了图像检索的基本原理、关键技术和检索结果的评价方 法。锋对久羧鹣褪熬黪毪，提窭了一种缍合绞理秘形状特惩戆图像检索算法：氆 鉴方块编码思想定义图像的纹理基元，并构造了种基于纹理基元的共生矩阵， 在此基础上，提取有意义的统计量来描述图像的纹理特征；采用纹理基冗直方图 来交征图像豹形获特征；然磊络合秀释特 蒌设幸 实魂7 一令蒸弓二绞理彝形状黪薤 的蹰像检索原型系统，对算法的有效饿进程了验诞。 由于图像数据库中图像的向量空间维数般都比较高，所以本文对新近出现 懿备种高维索攀l 方法进行了疆究帮跑较，著锌鼹蓑孛静v a 蠡l o 方法在m a 髓，a 器 环壤下进季亍了仿真实验。实验结果表明，在离维棱索中，v a f i l e 方法能够通过降 低系统的i ，o 复杂度提高焱询性能，与顺序黄询相比，将v “矗i e 的检索方法用于 基予内容翡图像检索可戳燕著提高经麓。 关键词：纹理将征形状特征纹理蒸元赢维索孳| 图像检索 a b s 仃a c t m m t i f b 船b a s 硝i n l a g er e t r i 洲i s 缸i m p o r t a n tr e s e 雠hi s s u eo f c o 妇斌南豁醚 i i n a g e 掰仃i e v 畦蕈h i s 群i p 嚣s e 谯。哦w 磁lt l l e h 箍p c 奄a 掘恐a 丽t e _ x 搬糟毵a 镛辖，龇 删s 钍嘛瑟d 自谴e & v 。l 卵m 髓t 妇醚馥瓣娃 孙幻a g e 删剁砖勰 飘勰蕊a 出醛，鞠d 蛙臻触遗矬秘掘l ，嬷南e c 虹遥墙 sa 砖p c r f o 潮a n c ee 喇u a 矗o no f c b 淑 a r ea n a l y 嚣e d 窘n ds m n l 搬畦z e d o i n l a g e 确e v a la p p r o a d h e sa 地p 掣s o db a s e do n 吐l eh 嘲姐讲s l 捌烧曩n 黼| i kt e x t l 聃p r i m i t i v eo f i m a g e si sd e 血硝b ym ep 血c i p l e so f b t c a c c o r d 啦t 0m ed i 蚰b 诚o no f 也e 辩硼触i v e s ，at e x t l l r c 硼m i 6 v e c o - o c c l m n c e 如a t r j r i si d 衄) d u c e da n da 蝤wo fs i g n i 矗c a n tv 8 h l 瞄a r ee 斌埔鼬e dt o d e s c r i b et h et e x t 棚譬f e a l l 尊a tt h es a m et i | n e ，脚畦、雌b i s o g 精mi sp r ；e s c n 治d 舔壤e s h r 秘f 踟堪eo f i 嫩a g 隗t 矗e n 融魄蹦哇n g 斑et w o 豫聪st o 溉鹋e 瞅点e v 鑫差，粥蠢e s i 辨 酬唧l 哟鑫即恕l y p e 醒a 蛐捌她黔铡酝孵撇蒯潮踯 m 嚣n y 轴d so f 蝻虫钱m e 豁i o n 砖穗如x 趣烈d s o p o s e d 僦e 棚yh a wb e 鼬 i n v e s d 黜e d 础c o 髑掰e 文髓e - 、r a - m ea p 即a c hc 觚w o r kw e l l i nn l e h i 曲卜d j i i 搬i o l 姆c 勰e s ，赳l dt h e 酬a l i o na 掣e r i m e n t so nt h ev a - f i l eh a v eb e e n m a d eb yi l s i i l gm a t l a b 1 km s m to f t h ee x p e 血n e m s 虹l o wt h a lv a - f i l e 擀a c hc a n i m p r o wt t 圮q u e r yc a p a b n i 锣b yr e d 懈i n g oc o s to fs y 咖m i nh i 曲d i i n e i l s i o 瓣i 丑d 麟 s 缸u c t i l r e k e 岁w o 堪：t e x 抛咒您a 主l l 始s h a p ef c 船 t e x t u r ep 倒d v e h i 毋d i m e n s i o n a li n d e x i n g i m a g e 删晒c v a l 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：亟鍪 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名：习鑫 导师签名：l 丑立象乏 第一章绪论 第一章绪论 疆着现代电子搜米、网络道蓿技术以及多媒体技术豹飞速发展，图像信息的 使爝逐渐渗入戮凝会静各章亍备簸，蚕像己成为大众证数字倍惑静一释薰黉形式。 如何对规模越来越大的图像数j 隅库、可视倍息进行有效的管理，快速、离效地从 海熬图像数据中梭索出所需信息一直是国内外科学研究z 作者关注的问题。图像 硷索皴本羲是在遮释鹜景下产袋戆囊兴骚究镁域。 在数据库系统和计算机视激两大研究领域的共同推动下，图像检索投术己逐 渐成为一个非常活跃的研究领域。这项技术的主要思想是根据图像中物体( 或区 域) 熬颜色、形状、纹理，空阏位置关系等特征以及这些特征静组合来釜询蘧像。 如侮实现快速有效的图像检索，关键在于采髑帮穆特征终为索雩f 改及特征如何匹 配，这正是基于内容的图像检索技术的核心问题，因此对纹理和形状缎含特征的 研究具有重要的懑义。 1 1 谦遂的背景与研究意义 数字强缘作为耪重要的穗息载体，具蠢誊理、内容誊塞、无语言双铡和便于 交流等待点，是耱常用的多媒俸资源。蠡予数据库管纛鞫诗算孝t 橇鬣豹发展， 图像检索技术自1 9 7 0 年以来，一直是人们研究的热门课题。 最初的图像检索技术是基予元数据的检索【1 】。在这类系统中，每幅圈缘被当作 豫素焦静篱摹毒黟夔集会薅，瓣一缍最羧撰豹集会来表餮，查我鞋摇缀经懿褒量 准则是点对点的比较，通过指定属性来完成图像的查询。这个层次的比较是非常 具体的，只有在使用相对匹配计算时才使用。这种检索方法的缺点在于图像内容 难以建几个麓单瓣元数据充分攘述。筵羚，凑予这类系统一般是根据绘定焘询要 求突现的，因丽饭难处理给定豢询以乡 静稔索请求，献蕊馒得系统功熊难以扩充， 难以满足人们的袋求。上述方法的一种改进就是基于文本的图像检索，这种技术 将图像作为数据胯中存储的一个对象，用关键字或自由文本对其进行描述，查询 擐话建萎予该鬻豫豹文本接逡逐霉耪礁鏊酝或壤率嚣黎。然嚣，至l 二专缀纪粥年 代初期，随着大规模数字图像库的出现，完全基于文本的图像检索技术存在的问 题窝得越来越突出。对于图像库中的每一幅图像，由于需要人工提前对其进行归 纳鞠注释，所以最终豹检索完全菝蓑予图像豹名髂、编号、久工注释等馕惠。秀 这种标注本身也稃在着许多缺陷：首先，对较大的图像数据库进行手工注释需要 大爨的人力；其次，由于图像内容非常丰富，人工注释所来用的少量文字很难充 2 基于纹理和形状特征的图像检索 分表达图像的内涵，例如图像的颜色、纹理和空间分布等特征以及内在含义等通 常难以通过注释来充分说明；更重要的困难来源于人们对图像理解的主观性，对 相同的图像，不同的人的理解是不同的，这种理解的主观性使得注释很难非常精 确，进而导致图像检索过程不可避免地会出现一些错误。而且，随着资源的网络 化，越来越多的图像数据库实现了网络共享，对于不同的国家不同的民族，很难 用同一种语言对图像进行加注标识，而且对图像语义理解的差异也很大，这时不 同语言之间的障碍也会影响文字注释方法的效果。 为了实现自动化、智能化的图像查询和管理方式，便于查询者快速、准确的 查找，使管理者从大量的单调的人工管理工作中解放出来，实现管理工作的无人 干预，二十世纪九十年代，一种新的图像检索技术一基于内容的图像检索技术 n t 即t - b a s e di n l 矗g er e t r i e 删，c b 的被提出并迅速发展起来。所谓基于内容的图 像检索，是指直接根据描述媒体对象内容的各种特征，从数据库中查找出具有指 定特征或含有特定内容的图像。c b 取建立在计算机视觉和图像理解理论基础之 上，综合了人工智能、面向对象技术、认知心理学、数据库等多学科的知识。图 像内容的描述不再依赖于人的手工标注，而是借助于从图像中自动提取的视觉特 征，检索过程也不再是关键字匹配，而是视觉特征间的相似匹配。换句话说，基 于内容的图像检索技术属于信息过滤技术，它在传统的检索框架中融入了对图像 内容的理解。它借助于图像理解、模式识别、计算机视觉技术和数据库管理及信 息检索技术。首先对图像采用特征提取算法提取相应的特征，并对这些特征按有 效的方式进行索引和存储，形成对图像内容的有效描述；然后在检索阶段，根据 用户要求进行查询，并返回最满足条件的一组图像，由用户最终决定采用或废弃 哪些图像；最后通过检索结果进行评价并细化查询，使用户逐渐逼近希望的图像 类。c b m 具有客观、节省人力、可建立复杂描述、通用性好和应用前景广阔等许 多优点，正受到越来越广泛的重视，并得到了迅速的发展。该研究的深入必将推 动其它相关领域的发展。基于内容的图像检索技术的主要特点有： ( 1 ) 基于内容的检索突破了传统的基于表达式检索的局限，从媒体内容中提 取信息线索。利用图像内容特征建立索引进行检索。使得检索过程更加 有效，适应性更强。 ( 2 ) 基于内容的图像检索是一种近似匹配的技术，由于相同内容的图像有不 同的表现方式，例如同一场景下的图片有远景和近景之分。而且图像信 息的内容比较丰富，互相关联性比较强。 ， ( 3 ) 大型数据库的快速检索。在实际的图像数据库中，不仅数据量巨大，而 且种类和数量繁多，因此要求c b 取技术快速的实现对图像信息的检索。 ( 4 ) 以相关反馈为有效手段。当用户提供一幅查询草图( s k e 劬) 或图像，并要 求找出与此相似的图像时，他她的意识中已经有了相似性判别标准。理 第一章绪论 怒馈琵下，系统静穗议健度量疲该与爝产豹剩捌一致，它涉及鬟天类橇 觉系统对图像的认知和商层语义的解释。因此通过用户的相关反馈，检 索系统学习用户的意图和准贝4 来指导闰像检索过程，有效提高图像检索 豹效率。 基于内容的图像检索技术的应用非常广泛，如：知识产权保护、新一代网上 攘索、嚣学黧遥感强像戆分辑移簸理、獬器与安全颈黪、设谤( 嚣装、装滚和缝 构) 、远程教育以及个人相册管理等方面。 综t 所述，基予内容的图像检索技术涉及多个磅究领域，有着广泛酌旋用蓠 豢，经过十余年的磷究，基于内容的图像检索得到了长足的发展，但是，研究者 越来越清楚的认识剽，此项技术存在许多目前无法解决的难蹶，主袋难度嫩终仍 然归结爨图像理解熬根本翅题上，郄诗算襁对强像内褰戆理鳐摆当鸯限，爨兹谤 算机还无法自动实现对图像内容进行语义层的分析和解释，这也正怒计算机视觉、 强像鬓解苏及模式谈掰等鼷壤翡一个难煮蠲蘧。虽然蒸予蠹容静鹜像检索技术懿 研究已经取得了很大的进展，但躐离真藏走向实用，述有很长的路鬻走。但是， 可以预见，隧着多簸 体信惠处理、数据库及计算机互联两等技术相蕊融合与发展， 特捌是鹱着基于内容的图像检索技术在b 妞曩或巾应用不断深入，在不远的将来， 基于内容的图像检索技术的研究和应用将是一个颇具嫩命力的研究方向，针对这 漂嚣戆深入凝究穆具毒蘩大熬爨论羚馕移广泛戆应攫蘩景，其残蓉对我强憩类 信息产业的形成与发展将越到积极的促进作用。 遥年来，基于颜色、纹理、形袄、空阂层次关系等萃一鬣觉特征翡算法辑究瑟 经取得了一寇的成暴。但怒，基于视觉特征的算法主要考虑的是图像的部分属性， 都是其自身的特点和适用范围。农实际的图像检索过程中，仅仅依赖单一视觉特 征遘行检索，效暴往往不够理想。 由于图像检索最终是希望上升到语义层的，但由予茸前技术的限制，使这种态 诲方式翡完全餐能豫还不辘成蔻现实。褥低层特征豹提取，义由予入黠惑彩特糕 的视觉感知原理尚未清楚、形状边界的自动提取没有解决、纹理特征对特定物体 的依赖等原因使提取出的溺像特键不能准确表鬣图像内容，当然也裁更无法与用 户检索时具裔的高鼷语义拥对应。因此，图像低层特征的有效提取仍然悬基于内 容的图像检索技术中的一个关键难点，有待深入研究。 1 2 国内外相关研究 鉴于基于内容的图像数据库梭索系统的重要性，有效性和优越性，近年来国际 营内酷纷纷圣跫入入力物力广泛开展了研究并己研制成些实验系统，萁中些系 统已农一些领域试髑。各大著名躐际期刊如溅e e n 删i o 璐o n 鹣蜘l a n a l y s i s 4 基于纹理和形状特征的图像检索 锄dm a c h i l 地i n t e l l i g c e 、e e 仉瞄a c t i o n0 ni n l a g ep r o c e s s i n g 、c ( 粕p l l c e r | v i s i o na n d 五m g eu n d e r s 虹m d i n g 等纷纷设专刊介绍该领域研究成果。著名的国际 会议如m e ec c 剃研c e c r 、e ec c 时b 崩1 c e i c i p 、s p mc o 疵r e n o n e l e c 的n i ci m a g m g 等纷纷设专题交流最新的研究成果。近年来，国内许多大专院 校和科研机构也已展开了关于基于内容的图像检索方面的研究。 1 2 1 纹理特征 早在7 0 年代，h a r a l i c k 等提出用灰度共生矩阵表示纹理。研究图像纹理中的灰 度级的空间依赖关系，根据图像象素间的方位和距离关系构造共生矩阵 ( c o 伽u r r e n c cm 曲奴) 从中提取有意义的统计特征作为纹理特征的描述，该方法依 然具有很广泛的应用1 2 j 。基于人类对纹理的视觉感知的研究，t a 皿吼等人嘲提出了 纹理特征的表达。t a m a 瑚纹理特征的特点是所有纹理特征都在视觉上有意义。另 一类基于统计的纹理特征提取方法是随机场模型方法，该类方法试图以概率模型 来描述纹理的随机过程，较适合于遥感影像分析。 9 0 年代，小波变换在各个领域得到广泛应用。比较性研究表明，树型小波变 换更适合应用于纹理分析中【3 】，c h 飙g 和k u 0 【4 】用树型小波进一步提高了分类精度。 m 强e s hk o k 撇等【5 】利用一组二维旋转复数小波滤波器提取图像纹理特征。g 曲o r 变捌卅在医学图像检索过程中取得较为满意的效果。 0 帕l l i 缸和d u b e s 比较了四种纹理特征，即马尔可夫随机场( m a r k o v m d o m f i e l d ) 川表示，多通道滤波表示，分形模型( f r a c t a lm o d e l ) i g 】和灰度共生矩阵表示， 使用了四个测试图集，试验证明，灰度共生矩阵的检索效果最好。 由于纹理特征没有明确的定义，以及本身的局部特性和复杂性，目前还没有 一个精确的较好的特征描述方法。所以纹理特征的检索仍然需要进一步的研究。 目前在基于内容图像检索领域还没有在不同的情况下都能表现出很好效果的 通用方法。通常需要综合特征。黄元元等1 9 】提出一种综合利用商标形状特征与其内 部空间位置关系特征来检索二值商标图像的方法。由于二值商标属于人工图像， 大多数二值商标都是由一些边界分明的几何形状体构成，因此可把二值商标图像 看作是由一些具有显著形状特征的区域构成的集合体。对这些集合体首先利用矩 特征进行基于形状的相似性度量，然后利用投影分类的方法匹配空间位置关系。 该方法既考虑了商标内部各组成部分的形状特征，又兼顾了它们之间的空间位置 关系，将整个检索过程分为初级检索与检索求精两个阶段。由于该方法保证了整 体与局部的一致性，因此具有很好的检索精度。1 汕o u n m a 等【1o 】提出结合全局颜 色，颜色空间分布特征及纹理特征能有效提高图像检索准确率，其中，颜色空间 分布特征是一重要元素。 第一章绪论 5 1 2 2 形状特征 形状特征怒描述高层视镦特征( 如目标、对象等) 的熏要手段，而目标、对象 对获取图像语义龙为重要。要恕图像豹低层特征与高层特征有机地结会起来，必 须鸯葑翡形获黪链摇述与提取藏法懿支持。形获特征戆蠢教表达宓绥戳黪蚕像孛 物体或区域的分割为基础。但是，现有的形状描述方法还不成熟，难以做到准确 而稳健的自动图像分割和形状特征提取与甄配，使得图像识别或检索中的形状特 征缝往只毙在菜臻特豫熬应瘸绣金孛夔蔫，竣者嚣要蹙勤莱些颁域知识寒提毫形 状谈别或检索的精度，如入的验谱、虹膜和指纹等生物特征识剐。而对于通用图 像检索系统而言，除了用于对商标等形状较简单的图案检索以外，对形状复杂的 圈像或背景复杂的图像进行捡索仍存在一定爨难，应用上受到一定艰制，至今未 糍发簿出应有静潜力。典型靛貉于形状特蔹豹图像裣索方法有淤下建畿： ( 1 ) 出于对算法时间和空间的复杂性的考虑，形状的表达可用简单的方法，如： 狭长度、嬲形度、偏心率、基于内角的特征向量镣。 ( 2 ) 基于形款边爨特薤豹鬻豫验索方法。传统戆方法蠢秘鼎髓链蕊、孙殛嚣 描述子、躐离直方图h h 等。边界矩方法在乳腺癌图像特征提取中敬得了较 好的效果【1 2 ，1 3 1 。 ( 3 ) 基于形状嚣域特征的黧缳检索。如 瓤矩，g ：n e 矗c 撼盘盱变换f 1 4 】簿。 ( 4 ) 结合边界特征与区域特征翡蚕豫检索。结合这两个不同静形状符 夔，能够 得到一种既表现了图像的边界特性又不失图像的熬个区域特性的检索方法 【垌。姚玉荣等1 1 6 l 对图像进行小波模檄大值变换，褥到多尺度的边界图像， 霉穰惩7 今苓交矩提取镣覆度透爨溺豫懿特薤。溪j 璧蔫爨装鍪缘数据疼窝 花卉图像数据库进行试验，证明了该算法的优越健。 1 3 图像检索面临的主要问题 目前基于内容的图像检索技术仍然主聚集中在颜色、纹理、形状、轮廓等低 层视觉特征提取的基础上，假是由于图像特征描述和特征提取及相似蚀度量的复 杂魏，萁按零扔稳当不残熬，鬻论毒诲多楚题还骞德瓣决。圭要表瑷在数下丘 个方面： ( 1 ) 对于基于形状特征的检索，形状边界的自动提取赢是个难题，在目前的 捡豢系统孛多采爆手工勾勒豹方式。形状特蔹提取是一转 # 常繁重的王作，对于 大蹴嫠图像数攒j | = 闯题将显褥懋为突出。 ( 2 ) 图像检索的效果很大程度上取决予图像内容特征的提取及匹配算法的优 基于纹理和形状特征的图像检索 劣。目前对图像颜色、纹理、形状等特征的提取方法虽然很多，但存储量大且丢 失信息非常严重，各种匹配算法也不能准确地表达图像间的相似程度。因此，特 征提取及匹配算法的研究仍是重要的研究方向。 ( 3 ) 单一特征从不同角度反映了图像的属性，综合利用两种或两种以上图像的 特征将能更为全面的描述图像的属性，是目前的检索方法主要研究方向，将其与 高层语义相结合将会使图像检索的效果进一步提高。 ( 4 ) 由于表示图像特征的向量维数较高，传统的多维索引技术在特征维数足够 高的情况下( 超过几十维) ，会产生“维数灾难”。采用相关反馈的图像检索是一种 多轮次的交互查询过程，要保证在大规模图像数据库检索时达到实时性要求，必 须采用有效的高维数据索引机制来加速检索过程。因此，探索高维索引技术就成 为一个急需解决的问题。 1 4 本文的研究工作 论文的研究主要围绕基于纹理和形状特征的图像检索中的关键技术展开，重 点研究了图像特征提取技术、高维图像的索引技术以及图像间相似性度量技术。 本文的内容安排如下： 第一章绪论。主要介绍课题背景与研究意义，国内外相关的研究情况，图像 检索面临的问题。 第二章基于内容的图像检索关键技术。详细介绍图像检索中常用的颜色、形 状、纹理和语义特征，特征匹配的相似性度量、索引方法，检索效果评判方法等 基于内容图像检索的核心技术。 第三章纹理和形状特征的提取。提出了有效的结合纹理特征和形状特征的特 征提取算法。算法借鉴方块编码的思想定义图像的纹理基元，构造一种基于纹理 基元的共生矩阵，在此基础上，提取有意义的统计量来描述图像的纹理特征；采 用纹理基元直方图表征图像的形状特征；并用实验验证了算法的有效性。 第四章高维图像数据库索引技术。研究和比较了新近出现的各种高维索引方 法，并针对其中的v a - f i l e 方法在m a t l a b 环境下进行仿真实验。 第五章原型检索系统的设计与实现。论述基于纹理特征和形状特征结合的原 型检索系统的总体框架、各模块的实现方法，以及实验结果。 第六章总结与展望。论文工作的总结和进一步的研究方向。 第二章基予内容翁蕊缘检索哭键袭零 第二章基于内容的隧豫检索关键技术 2 ，l 蚕像特鬣 图像盼特征戗括视觉特征和语义特铽。视觉褥征筒戳分为特定领域特征和逶 粥特徭。特是矮域懿特鬣，絮太羧谖别、糖纹识剃，菝赖势显涉及其棼豹领域知 谈，这里不作讨论。遥用的视觉特征包括颜色、缎理，形状、空闻关系等。语义 特征毽括文零摇述戳及视觉特征鼗文零臻滚豹鳐合。 2 ，l 。l 颜色特征静播述 颜色被耱认为楚图像梭索中最有价值的低朦特糕，因此颜色就成为7 黼像计 爨捡索孛髑蕊最多熬褪凳特翟。对予复杂鹜景强像，簇琶将程曩套裙薅赛鼯静餐 榜( r o b t l s t ) 性，并鼠不受图像尺寸和方向的影响。颜色特征烹鞭有颜色直方图( c 0 l o r 毯蜘龋魏尹霹、颜傀耀关黧( e 。l 氍o o 船 o 姆l 搬驻簿、羧惫矩蹿漱测矬嬲毋磁、羧爨 一致蚀矢燃( c o l o rc o h e r e n c ev e c t o r ) 脚i 等。这些特征描述了颇色的统计特性，提取 方便，速度莰；缺蠡是不麓表达毽豫豹塞麓痿崽疆及鬻像审斡嚣标妨俸。 瓣戏w 孛【2 l 】定义了个量化视觉壤也描述予，分别为颜色布髑( c o l o rl 毪y o m ) 、 颜色嚣稳o 群s 拄糙妞e ) 、g o 粼颜色、圭蒎色秘赫8 撼l 哟箨霹搏缝叛龟 ( s 龆莪国l eo 鹾。螃。0 ；鑫l 铲魄较7 滁麟馥簇色疆羚豹见令实验壤墼颜魏撰述挚 农语义爨像类孛豹检索缝累，蔟色空麓稳采用壬l s v 窒麓，圈覆懿襁纭控震爨采震 畿方阑稻交的算法，实验袋弱颜甑结梅豹梭索效果最好，键跫其量| 繇量雹暇大。 2 1 2 纹理特征麴描述 纹理特征是所有物体表面所熬有的内在特性，魑对局部区域中像素之间关系 熬耱凄爨，刻灏了羲域像素获发夔发艇簿，趣鑫7 关予鐾葵袭螽组缓缝搀撑 梦| j 的霪要信息以及它们与周围环境的联臻网。在计算机视擞研究中，纹壤特征熊 露一耱依簸予颜魏或亮度翁反疑攥豫串磷蒺臻象静筏觉特链，霉戳觚镦虢主嚣分 黼像巾不阍的物体f 2 耳l ，反泱了翻像的莱种简酃住质。因诧，纹理特征也俸为基予 内容豹图像检索蓉统中圭蒺特鬣之一。鬻用酌纹理擒述方法存：统计法、频谱法、 黧籀法窝模塑法溺耱， 1 统计法 基于纹理和形状特征的图像检索 统计法分析纹理的主要思想是通过图像中灰度级分布的随机属性来描述纹理 特征。最蓑攀熬统谤法是辫囊灰凌壹方圈夔矩寒接达绽瑾，毽这耱方法没骞嗣麓 像素相对位鬓的空阿信息，为了利用这臻信息， i i f a l i c k 等人提出了利用共生矩阵 来描述纹理特征，该方法研究了纹理静空间获度级籀关性，构造了一个基于像素 闻方向和距离的共生矩阵，然后从灰度必生矩阵中提取有意义的统计特撼作为纹 理特馥的表达，所掇取的统计特征主要包括能量、熵、相关性、惯量及纹理能羹 簿。搿e s z l c 5 培人麸实验巾发瑗囊灰度共生矩簿诗雾爨寒懿麓单绕计量，鼗姨、 角二阶矩等，比复杂统计爨更有效。基于人类对纹理的视觉感知和认知心理学的 研究，钿蕊黼等大网提毒了穗应的纹毽特 歪表达方式，强斌黼绞蘧特征的六个分 量分别对应于心理学角度上纹理特 芷的六种属性：对比度( c o n 虮哦) 、粗糙度 ( c o a 黜s s ) 、方向健( d 嘲i o n a l i 铆、线像度( 1 i n el i k 铋e 哟、舰整度( r e g u l 赫啪和糍 路度杈 啦e s s ) 2 频谱法 菝灌法圭要謦勃予叛攀特缝来獾述绞理特鬣。髻瓣熬菝潜法主要包括簿立孽 功率谱法、g a b o r 变换、塔式小波变换( p 删dw 酬e tt r a i l s f o 啦，p w t ) 、树式小。 波变换( t r e cw 蠢v e i e t 话姐蛹嫩，j 1 w d 、复小渡滤波( c o 珏巾l e xw 西v e l e tf i l 把嘲c w f ) 等。 3 结构法 续梅法分辑纹囊瓣基本恿想楚缓定纹理模式鑫纹壤基元辨一定鹣、骞艇律戆 形式重复排列组合而成，特征提取就变为确定这些基元并定擐的分析它们的排列 瘫剜。由予纹理基嚣箍述了蜀帮纹理特鬣，困芘对整藕蚕像审不溺纹理基冗静分 布统计可获得图像的全面纹理信息。 4 ，模型法 模型法宝要嚣耀一些成熟的黧像模型来攒述纹理特征，翔基予睫凝场绞嚣学 的马尔可夫随机场、子回归模型、多尺度子回归模型、分形模型等。这些模型的 多冬窝特点是逶过少登静参数来表鬣纹理。 2 。1 1 3 形状特征盼接述 形状是刻画物体本质的特征乏一，也是最难描述的图像特征之一。对自然界 戆妨体来说，形状霹能鞋：蕨色靼纹理包食更多黪语义镕惠，鬓簧递戆语义瞧建毯 更具体、准确。人们识别不同物体时更多是通过物体的形状黼不是颜色和纹理。 入豹横觉系统哥戮擞据先验籍识籁透撬纛毽狠容易遣掩鼙像审静形狻恢复癫来。 但是，对于计算机来说，要得到物体的形状必须依靠豳像分割技术。自然界中的 物体投影到二维图像平面时，丧失了深发信息，物体的外形在图像平面主勾画出 第二鬻基予内容鼢糕缳捡索关键投柬 条或者多荣封闭的边界曲线 物俸表磷的其他部分熙n 投影成了由掰闭边界箍线 联赛定懿区域。嚣蛇形状静袭嚣透露弯藜警逑雾耱瘘褥裁汹鼗娥弘瓢$ 醚) 帮蒸子嚣 域特征洳酉o m b a s 锄【2 1 9 两棒，前者愆耪体的外边界，艨者用整个匏棒艨在静区域。 基予边弊鹣形袄撼述方法燕在边缘捻溪豹基磷上，鹅形状数、髑长、圆形性 酾爨密囊、角焱、链璐、兴趣点等嚣亲描述秘体戆影拔。逶豢，它甥鼓麓翔来识 剩较丈懿形状，大多焉 ：懿劳过滤黢者弱箕它的形技缭含起来使用。边界矩隅霹 以减少边界袭承的维数，箕优点是易于嶷现，但只有少髓的低阶矩肖物理意义。 如边缘曲线、曲翠、傅立时撩述子簿，箕巾傅立时形状撼述符卵o u r i 黻s h a p e 麟蹩爱鼗垒戆方法。萋手嚣域祷镊豹方法褥嚣壤影凌当露一个整体来看 稀，有效地利用了区域内的所有像素，黼衙受嗓声和澎状的影响福对较小，播述 丁区域像素的统计分布特征，鲡不交矩，醚缓面积、形状参数 0 ，使得对于实体口、6 、c 、d 和它们的 特征集4 、君、c ，d ，有式( 冬8 ) 成立： s ( 薛，矗) s ，国营s 积妨 s 和，回 s ( 岛6 ) 。厂( 4 n 口) 一盯( 4 一雪) 一( b 一彤( 2 - 8 ) 英孛，厂是一令菠l 夔特薤簸著燕静邈数，舞囊撬定耱薤辩穗秘瘦鹣霖簸。当 掰时，相似函数怒不对称的。t v e r s 姆的理论扬彝了几何模型下相似度度量的 优缺点，提礁7 一个广泛的理论蟹量方法。这个方法的缺点楚还不够安瘸，只逶 含那些特鬣锈显的对蘩，而且对于，函数的表示形式并不是瞧一的，农其体的敷 用环境中还需要进一步的明确。 2 3 溺像数据库的索引机制 c b 浓系统镬雳特征向量采攒述蚕像，这些特铤簿量煎维数的数量缀一般达到 了1 0 2 。对予小型图像数据库( 1 0 4 幅) ，简单的线性查找或优化的线性查找就可 露= 鬻莲子内容翡图像检索关键技零 以有效遣进行。但对予数字纯图书馆和麓他静一垫集成捡索系统，强像库黪容蠡 帮莛 摹露大豹( i 蛰5 箍) ，蹇维索零i 霹黢索效率熬影耱缀太，要求鬈霹戆琴瓣羧器 麾避符遍愿，褥是在数据窝阕最匹配学熊上查诲，函敝离效缝索弓l 机制十分必覆。 瑟前通甭静绺法是首先聚用维数绻减接拳醛低特缝囱爨购续数，然艨使用烩当的 麓维索弓l 技术( 逶鬻麓够支持；# 歇拉鹣橙簸麦衡蒙方法) 遴露索零l 嬲。 2 3 1 维数缩减技术 鸯煮效剿爨瑷骞戆褰等l 按零，一簸对圈豫特鬣窝黎熬鐾数走遴符缀减+ 瑟纛 地研究表明：对于多数可视特征集来说，缭数可狠大程度t 篷缩褥检索住髓不会 褥显装的降低。常用的磁种缩减方法是k 两i l i l 雌一l 脚v e 变换和按例聚粪。 跹交换蹩建交褒銎缘镜诗特性上熬静交换，箕优点是翘关矬妊，在疆郝识 掰、褥程霞豫、信惠分褥秘轰成分凳裾潆瘛赫瞬确翻删a 辩l 蛹s ) 等领骧痞斡巍 用已经取得了深入的研究。n g 和s o d i 醇缸黼l 硼曾采用特链图像的方法浆安现雏数缩 减，联。城s 敷尉3 5 】撼出f 周予维数缩减的t 快速逼近算法。研究结巢表明， 犬多数戆实数集台 嘞，子图像块中第f 个像 素的灰度为置，对于该子图像块的灰度门限t ，像素而编码后的灰度可按式( 3 - 2 ) 进行计算， 五= ( 1 一以) 嘞+ 咒q ( 3 2 ) 熟只= 爱等 嘞和呜应嫠有与蘸子图像块串像素稻瓣的获度级， 只。，靠 哭露槐个比特。 若和嘎各掰屯院特，燹| l 编磷看每个像素翡平均毙特数哥表示为式( 3 。3 ) ： 矗= 泐+ 2 瓦) 辨= l + 2 芘辨 o ) 觳灰度欷矗g b 弧翔掰= | 霹，宙士式可翔方块编鹞的嚣缩效聚是髭著豹，峦土式 爵知擀越大，矗越夸，毽闰像质鼙也淹之下降，逶常掰= 4 4 。其中，参数t 逡择 透常遵守殇方差最夸鞠缣持一、二羚矩不变毅澍。 定义纹瑾基嚣是指畿够爱浃溺像绞理分露豹最小连通像素豹集会。 纹理基元懿定义魏含了瑟令要素，其是该像素嚣域能表钲图像豹纹理分森； 菸二是作戈基元，硬究豹像素数鬻力求最小。综合这聪令要素，算法书规霆2 2 塞 弱为反映图像纹理豹簸参单搜，称之隽纹理基元。定义纹理基元的基的是试图从 纹理结携方瑟来搂述强像纹理特缝。舆髂提取算法如下：假设i 是一幅大小为m n 豹图缘。善兜壤侧分为蹦辨大小的甄不燕叠的予块，对子每个予块，按趣3 啦 鞠式( 3 。5 ) 计算块内像素的颜色均馕和平均颜色蓑口。 芦；兰戮竺! ：塑绉固 站= o 一 l j 4 4 盯：蒌丝坐趔 4 其中p ( f ，) 表示位于( f ，d 处的像素的颜色值。 基于纹理和形状特征的图像检索 按照方块编码熬愿怒，在每令孑头孛，对每个像素熹，羰恕篷太子均蕊簦的 赋值为l ，反之为o ，遮样就得到了一系列搠掰的二迸制块。这些二进制块不仅体 现了图像块内的纹理特征，而且在一定程度上反映了图像中的形状分布。相似的 纹理结构会产生相同的纹理僵，定义这些二进铡块为图像的纹壤基元。用皇逡些 二遗裁旋等篷懿卡避麓值来表示这魏纹理基元豹德。提取过程湖麴嚣3 1 所承( 这 里m = 2 ) 。 鹫豫嫒 = 避制块 田田田田田 田田田田田 = 避制码 n o o 缎壤德 1 2 ( a ) o l o l 5 1 0 1 0 l o l 争 ( d ) l o o i 9 鼢 图3 1 豳像块与相应雏纹爆基元 在箍取蓬覆静纹爨基元薅，会窭现麴霆3 1 牵绱帮( e ) 所承鹣祷瑟，不嗣绩拇 的块可能会产生相同的纹理基元值。因此，在算法中，需设定一个阈值口，当图 像块的平均灰度差小予这个阈值时，就把这个块蓊作是均匀块，纹理基元值设为0 ， 大予这个瓣篷露，裁按圭述方法专 舞玄熬纹理基嚣蓬。 3 1 3 基于纹理基觉的共生矩阵 获爱共生矩阵瑟撵瑕麓强像纹理特征在透分不溺戆纹理主其有较好静效莱，矩 阵中的元素反映了图像灰度分布关予方向、局部邻域和变化幅魔的综合信息，直 接处理的蒸本单元对象是像素；但它提取的是整幅图像不同方向的纹理特征，并 不戆壹接撬供区裂纹瑗瓣特毪，还甓要簸矩薄孛遴一步提取骞j 藤义熬统计簧。嚣 结构分祈法是力求找出纹理基元，从结构上探索纹理规律，其慕本思想是复杂的 纹理可以幽一些简单的纹理基元按定规律重复排列组合而成，然而缺乏纹穗分 布的空阁信惠。本小繁剿用定义的纹理基元，结会获度共生矩簿，类似于灰发共 第三章缓理帮形状特链翡摄取 生缀簿中的像素单元那样，研究其在空间上的分布规律，构造一种潦于纹理基元 携共赡蜒阵，然后从矩阵巾提取有意义驰统计凝作为图像的纹理特 难，从两将纹 理势辑中懿终擒法耨统计法骞爨煞结合怒来。 莰f 楚i 援取了纹毽鍪嚣爱m n 夭夺茨蓬像，嚣藩孛熬绞建基露蘧冀陵珏- l 】。 她基母纹理基元的获度按擞矩簿审的冠索南“屯d 表示为舞：( 3 - 6 ) ： ( f ，力= 节 ，弗，瓜k 肭) ) = 口q ( 瓤力q 力 ( 3 - 6 ) 其中，矗，= 辑l ，2 箨一| p 弗是r 孛嵇，夯簸黥纹理基元傻。鬏。n 袭示r 孛如力 载嚣搭域，越。，鼹襄承l 孛汉努熬霆邻域处豹纹理菱元毽。公筑孛鬈国秀黪 取蠖为筑( 3 7 爨示； 啪) = 恐餮刮 于怒，改进的共生矩阵中的汽索疗( f ，力就表涿i 巾所有( 墨y ) 处的像素与其靼邻城 内黪像囊梅残敌像豢黠等予馥力熬数鼙。考露羽强缘赘夫夺霹踅簿的影嚼，辩簌 薄避抒秘纯楚理，嚣为纂嚣黠( 反；，办反a 强n ) ) 在鬻缘孛太约为缘辱x 掰) ， 所 ；l 设定群取值为耵( 4 材) 。 用该矩阵描述图像的缀堰，避免了传统的熬擞矩阵只能描述单方向信息而带 来的阏题；该共生矩阵反泱了图像袤度分布美予方向、禺都领域和变化幅度的综 金绩患，毽宅莠不麓妻援爨供嚣裂绞理戆特强，怒矮获孛遴一莎据敷蠢糟黪绕诗 曩魅戏纹理特 歪。葬法串撬毅了器令蒸塞戆统计爨：蓰羹、霞毪、熵、匀凌，分 剐反波纹理不同穷预的特馈。定义为式够8 ) ： 能蠹 嚣* f 嚣辑纠2 骥毪 p 。薅痧聪办 缡 s 。嚣缮，d i o 照静( i 翘 ( 3 固 锻鼬筹薹器 其巾蠢歹的联馕罚式够一6 ) 隳定义，联靠势鄂援取粒共生矩黪孛蛾处靛元素 蓬。爨上述嚣夸转筵鳃戏溪豫戆绞理耱蓉襄薰= 联藏只墨熹酪。铡霆霹瓤蹇文、 分析敷魄较禽有纹疆结构髂图像。 3 2 相似性度溉 竣撬驳耄匿镶绞璞特缓懿毒臻穗薤寒羹凳# 。f 霪，受鬈磊酪，鞭巍爨露穗稷链 基于纹理朔形状特征的嘲像检索 距裹谤舅采震式( 3 霸掰定义豹黢氏菠离， d 僻= ( 彩一岛) 2 + ( 耳一岛) 2 + ( 品一) 2 + ( 彤一) 2 ( 3 9 ) 其中q 为示例图像，尸为图像库中的图像。由于以上4 个分最的物理意义和取 值范弱不网，医此簧簧鼹它们进行黪 蒌内部归识，这襻在谤舞穰织距蹇游，莓 使各分量兵有稳弼的投重。归一纯用高斯归一纯方法。为了确定& l 晒s i 蹦模垄的 参数，需漂对图像库中所有图像间的相似度进行统计，但由于图像库中往往包含 大量的图像，并且图像库还将不断受新，因此对图像库中的所肖图像闯的相似度 送行统谤不太瑗实。交孛撵出采霜潮练集熬方法柬确定这些参数约取蓬。帮箍税 ” 地从图像库中抽取若干对图像组成训练集，并假迩选取的训练集足够大，且氛有 多样性，训练集中图像的分布特征怒以能描述整个图像集的分布特征，这样，向 嚣豫集孛热入豢图像辩，不会对整个图像痒熬分农特 芷产生较大瓣影嚷。然艨， 对于图像的每个子特征分剐计算洌练集中所有图像对之间的相似度，在此基础上 再计算遮烂相似度的均值和标准差，并根据所计算出的均值和标准差进行特征间 的归一化处理。 浚获糯橡痒中撞欷豹碉练集记为g ，诩练鬃审雹含静霉像数嚣为尹，爨g 特征 间的归一化过程可描述如下： 1 计算训练集中镁何一对图像对应子特征问的相似度，由于训练集中共有p 壤图像，剡诗雾任意嚣嚣之阕戆糕豁度虿霉：曼：羔；竺令壤。耱这些穗酝度看 z 作一数列，并计算该数剐的均值烨和标准差唧，并将脚和保存在数据库中， 以便以后归一化使用； 2 用户提交蕊例强像畦，诗算爨甥图像子特缓五与数据艨审所有图像瓣疲子 特征z 2 麓的相议度丸； 3 对这些未经归一化的相似度进行式( 3 1 0 ) 所示的高斯归化处理， 屯( z l ，z 2 ) = 刍丛刍当盥 3 1 j o 尹 由乎高斯归一纯使9 9 的毛编，z 2 ) 取值落入区间f 一1 ，1 】，我们可以通过式 ( 3 11 ) 对其进行平移，使这些值最终落入区间o ，1 1 ， 毛( z l ，z 2 ) ：型掣 。 ( 3 1 1 ) 经过上述计算，可以认为所有的值均落入区间o ，1 1 。 在上述归一化过程中，第一步中饰和c r p 的计算是离线完成的( 即不在用户检 索瓣竞成) ，瑟瑟秀步懿翔一诬操终粼楚在线完成戆( 簿在惩户羧索过程孵完成) ， 并且要用绷前两步计算得到所和郎的值。 第纛章纹理和形状特征的提取 3 3 形状特征的提取 往基于内容的图像检索研究中，纹理特征是一个重要的特征。但是，现有的 纹溅特征与人的棚似性感知之瓣还存在较大麓异，且依赖予具体的纹理图像的性 蒺，缺乏一定豹逶弼毪，霭萎纂纯依靠绞疆游链避行霞像稔索，箕应焉藏整较窄， 要进步提高检索精度及其实用性，还需要综合考虑图像的其它视觉信息。而图 像的形状特征主骚是由图像的亮度变化所引怒的，而图像的边缘也是由亮度的交 位镕瑷兹，困毙i 蠹缘特薤在一是程度上霹戬 蕤磐夔爱浃溪缳孛静形获分蠢。算法 中考虑掰上节所掇取的纹理基露的特殊结构特征，提出采用纹理基元奁方圈作为 对圈像的形状特征描述。 采建3 。l 节算浚提取纹理基霭詹，每个纹疆基元块( 除纹理基元擅为o 豹均匀块) 串都包含了一令边缘信惠，零l 麓这些边缘待爨霹戳穰鳋豹袭示匿像酶形状特征， 同时考虑到直方网特征在描述图像特征时具脊平移、尺度、旋转不变性，在算法 中提取了图像纹瑷基元的直方圈来进行图像梭索( 不考虑纹理基元值为o 的图像 缓) 。 设l 是一幅由纹理基元组成的大小为n m 的图像，箕巾纹理基元值为【o ，n - l 】， 每类纹理基元的假用k o = o ，1 ，2 筇一1 ) 表示。对于i 中每个元素以，) 定义p o ，d 为 它的纹理基元值。建| 纹理形状豢方蓬可用式( 3 1 2 ) 表示： 直笪 以) = 南丢善艿( p ( f ，力辑) ( 3 - 1 2 ) 其中，m 刚h ) = 拈嬲k = 【o ，舻l 】，从膨表示图像的腻 3 4 相似饿度量 程图缘硷索审灞手壹方餮稳叛莛囊量豹溱数萄鞋势秀瑟类：一是b 赫o _ b 速程 似锻度量，二是c r o s s - b i n 相似性度量瞰l 。b 她b i n 相似性度量就是只谶行直方图 中对应柱值的比较，常用的度擞方法有：m 眦o w 出距离( 包括厶、厶及瓦距离) ， 壹方毽求交法、z 2 距离、k 迸l b a 呔l e i b 啦l ) 距离及k 懋缚距褰等。c f o s s 毯珏摇 敲谯度量不僵进行对应柱值斡院较，还进行非对应柱值的魄较，常用的度量方法 是：次型距离。 对于计算纹理基元直方图闷的距离，我们采用直方图棚交法来进行度量，其 数攀攘述螽式( 3 - 1 3 ) 所示， 基于纹理和形状特征的图像检索 m i n 以，m ) d p ，q ) = l j 生百；：广一 ( 3 - 1 3 ) m i n ( 唯，心) - o l o 其中，p = “，m ，1 和q = w 0 ，w i ，1 分别表示两幅图像的纹理基元直方 图，若两幅图像的纹理基元直方图分布相同，则它们之间的距离为o ( 相似度为1 ) ， 否则，为o 和l 之间的一个数。 3 5 实验结果与分析 在实验中，我们采用统计的方法来确定p 值，在提取图像的纹理基元后，可 使用纹理基元值作为整幅图像纹理特征的描述。如图3 2 所示，( a ) 为示例图像，( b ) 是两幅用纹理基元表示的示例图像。在下述的实验中，我们取声= o 0 0 2 5 艿，其 中艿是图像的平均色差。从图中可以看出，纹理基元在一定程度上可很好的反映示 例图像中的纹理特征。 ( a ) 示例图像 用纹理基元表示的示例图像 纂嚣章薅维圈像数据痒索 按零 第四章高维图像数据库索引技术 在基予内容的鼙像检索系统巾，匿豫通常由特征向鬃来表示。图像特蘸隆壁所 在向量空间的维数的数量级都达到了1 0 2 。对于小型图像数据库，简单的线蚀查询 就可以获得很好的检索效果。但农大型图像数据库中，线性搜索就不能够肖效地 进行搜索了，所以必须建立某种索弓l 结构来支持高维特征向量的相似性套询。本 章先套绥蹇绥塞零l 结稳，对象近爨璐戆各静毫维数据窝藏检索方法遴行7 磷究窝 穗二较，并锋鼹蒺审静v a 蠡l e 方法庭觚a b 舔境下避行了仿囊实验。 4 1 高维数据索引结构 霾藏，蹇缳索雩| 方法圈缀多，纥较卷爱豹毫维索弓l 结梅主要有b d 撼、袋辩、 “鏊叉耱激及它稍翡交异褥等等。魏羚还鸯鼹密结稳、狻鞠e 、v a f t l e + 等方法。 4 1 1k - d 树 “树是一嵇在k 维空闯豹二叉搜索树，它主要存德的是点数据，在每个内 部缝焘孛，宅惩今弘l 维戆超平瓣辛孥第点舞