（生物医学工程专业论文）基于内容的医学图像检索系统研究及框架设计.pdf

东 南 大 学 学 位 论 文 独 创 性 声 明 本人声明 所呈交的学位论文是我个人在导 师指导下进行的研究工作及取得 的州究成果。 尽我所知， 除了 文中 特别加以 标注和致谢的地方外， 论文中不 包含 终 他人已 经发 表或撰写过的 研究 成果， 也不包含为获得东南大学或其它教育 机构 的学位或证书而使用过的材料。 与 我一同 工作的同 志对本研究所做的 任何贡献均 已在论文中作了明确的说明并表示了谢意。 二、 才一 、 研 究 生 签 名 ，序丰 玉 乞 塑 梦 期 ， r v 3 r- 东 南 大 学 学 位 论 文 使 用 授 权 声 明 尔 南大学、中国 科学技术信息研究所、 国家图 书馆有权保留 本人 所送交学位 沦 文 的复 印 件 和电 子 文 档 ， 可 以 采 用影 印 、 缩印 或 其 他 复 制 手 段 保 存 论 文: 本人 电子 文档的内容和纸质论文的内 容相一致。 除 在保密期内的保密论文外， 允许论 义 被0 阅 和借阅， 可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包 1 lli f il 登)授 权东南大学研究生院办理。 侧!了乙、训 乌 主 迪 导 、多丈 一日 期 : iv 第一章绪论 第一章绪论 一图 胜千言谚语 o n e p i c t u r e is w o r t h a t h o u s a n d w o r d s， an e n g l is h p r o v e r b i 言 近儿年来，计算机多媒体技术的发展突 飞 猛进， 大容量高速存储系统不断出现。多媒体 f r ! 系 统超 越了传统的数据库系统， 将各 种非文本数据， 如数 字化的声 音、 图像和视频等集 成1 系统之中， 用计算机进行存取、 处理和使用， 并通过计算机网 络传输， 使现代社会拥有 以让 任何时候都无法比拟的信息资源。 然而，如果 没有对这 些数 据的白 动和有效的描述. 人 ，走 的信息 将淹没在数据 库中， 无法在需要时 被检索出 来。 因 此， 如何构建多媒体信息数据 咋，i i 对 其进行灵活、 有效地管理和检索， 是 近年来信息 技术中 新出现的 一个迫切需要解决 d u u r有挑战性的研究领域. i 像是山观测系统通过各种形式和 手段从客 观世界 获得， 可以直接或间 接作用于人眼并 进而伙 , i -. k 知觉的实体。 众所周知， 图 像作为一种重要的信息载体， 具 有形象直观、内容半 ,6 ,- -, v i 点，它是人类从客观世界获得信息的土要来源，也是人类认知世界的里要功能手段。 毕f 内容的图像检索研究一直是多媒 体数据库的一 个重要方向。 z图像检索的背景和应用 传统的图像检索技术是基于 关键字的精确匹配检索， 用相关的文字对图像进行说明和注 f 检索线索是与标识相匹配的关键字， 根据关键词 提问和查找所需要的图像。 简而言之， 即 愉人又 键字， 月 传统的数据检索方法输出图像。 应该说这种方法是比较直接和有效的， 井 日1:1 i1 c i 前也仍在使用。 但在大型的图像数 据库中 进行复杂图 像检索时有很多局限， 一是不 能i i1 7 几 人 嫩数据 ( 因为 手动产生标引需要大量的人力) ， 二是文字标引难以 真正表达图像的 .d . 如!1 r ， 二是人 厂 标记的方法带有较大的主观性， 不同 的人对于同 一张图 像的 理解也不相 j二 四足速) 2 1 1 . 效率 低和卉 询范围 过于狭窄等等。在i n t e r n e t 上， 现有的大多 数图像搜索 , ; i 擎所采川i ij 都是此种方式， 如i n f o s e e k和y a h o o 的i m a g e s u r f e r , l y c o s 的p i c t u r e 同时检索过程具有 很强的交互 性， 用户可以参与。 此外还可以引 人 特1 111 库和 知识 辅助的概念， 既便于保存描述图像内容的 特征， 又 有利于 查询优化和快速匹 配 1 .钟卜 p f 询 过程融合了传统的图像处理、 模式识别、 计算机视觉技术以 及多媒体 人机交互 比术 目 前已 成为图 像检索领域的 研究热点， 并 显露出必 将成为图 像检索的 主流方法的发展 趋件 i i i . 训了 l 1 见 状 内国外， 特别是在美国， 基于内 容的图像 检索引起了多交叉学 科研究人员的注意。 为了 取得领先地位，许多公司、 大学、 科研机构以至政 府部门 都投入了 大最 人力、 物力开展了 研 i i l ,川 相继取得了 一些成果， 使一 些相关技术得到迅 速发展。如美国的n a s a , i b m公司、 . . j 伦比亚人 学、 麻省 理 i _ 学院等， 己 开发出水平较高的实用性 产品， 其中 一些已 经投放市场。 ,i l 名 的图 像检索系统包括， 别 : q b ic系统 -i b m a l m a d e n 研究中心研究开发的，是基于内 容检索系统的 典型代 k. 也是 第一个 商品 化的c b i r系统。 q b i c系 统允许使用例子图 像、 用户构建的草图和图 ii i ii 、 选 择的 颜 色 和 纹理 模 式、 镜头 和目 标 运 动 和 其 他图 形 信 息 等， 对 大 型 图 像 和 视 频 数据 库 进初, i t i l1 o在它的新系统中 ， 基于 文本的 关键 字查 询与基于内客的相似性查询结合在一起。 亡 的系 统框架和技术对后来的图 像检索系 统有很 大的影响。 z . p h o to b o o k系统一 一一 mi t的媒体实验室在 1 9 9 4 年开发研制的。图像在装入时按人脸、 爪 状: 1兑 纹理 特性自 动分类，图 像根据类别 通过显 著语义 特征压 缩编码。 ; . b io b w o r l d 系统 由加州人学b e r k e l e y 分校的电子一 l 程与计算机科学系开发。 该系 c ih i 特点在于在 检索过程中系 统首先 将检索样图中包含的物体和背景进行分vi, 然后用户选 择自已 感兴趣的图 像区域， 系统提取该区域( 物体或背景) 的颜色、 纹理、 形状和位置等 特 w信i i 进 丁 检索。 - 4 . v is u a s e e k 系 统一 美国哥 伦比亚 大学图 像和高级电 视实验室开发的。 它实 现了 互联 网! 的” 基于内 作 1钩图 像舰频检索系统， 提供了一套工具供人们在w e b 上搜索和检索图像 和 洲 心钡 此外还有许多 类 似的系统，例如加利福尼亚 火学 s anta b a r b a r a分校的 n e t r a , p u r d u e ) 学的a s s e r t , 伊利诺依大学的m a r s 、 华盛顿大学的f i d s , 波士顿大学的i m a g e r o v e r ,卜 耐1 叩f 隆尸;“ 的 n f o m e d i a , 斯坦福大学的w i s e , l o s a l a m o s国家 实验室的c a n d i d ,普 林 !j , + 6 ! n ix lil f 究) ) f 的p i c h u n t e r , s u r r e y 大学的s q u i d . m i c h ig a n 大学和m i t y k4体实验室开 7 . 的v i r a g e 系 统、 e x c a l i b u r 技术公司的r e t r ie v a l w a r e 以 及a tt r a s o ft公司的i m a g e f i n d e r 系 从 _ ，.价 尽竹图 像华于 内容检索的原型系统已 经很多。 但许 多系 统离真正的商用还有一定距 要思ti f f 第一章结论 j q, 有的c 川r系 统主要是 从图像中 分析抽取底层视觉特征 ( 例如图像的颜色、 形状、纹 i ll , (l if 关 系等) 来建立图 像的 特征矢量， 表征图 像的内 容信息，以 实现基于内 容的 检索。 内 底层的视觉特征上， 特征的 提取主要 采用计算机视觉和数字图 像处理技术， 而图 像相似性 的li t. 配一上 要利用模式识别技术。 1 i 诸多 底层特征中， 颜色特征无疑是图 像中最重要的视觉感知特征， 已 广泛应用于图像 扮 奈ja 色直方图 则是 最常用的 颜色特征表达方法。 其核心思想是: 在一定的颜色空问中对 图像各 种颜色出 现的 频数进行统计， 计算各 颜色等级上具有该颜色的像素在整幅图 像中所.片 的比例 利用颜色直方图进行检索的方 法有许多， 如直方图相交法、比 例直方图 法、参考颜 色农法、 聚类法、累加直方图法。其它颜色索引方法包括中心矩法和颜色相关图 法等等。 li d, 丁 图像内 物体形 状的 检索， 也是基于内容检索当中一个最具挑战性的问题， 因为寻找 两含人 眼感知特性的形 状特征不是一 件简 单的 _ 1 . 作。 首要的困 难是要将不同 物体从图像中分 i 9 出来， 这是计算机视觉的难题之一， 至今没有很好解决。目 前， 人们提出了许多基于不变 性刊fit 换的方法 坟理特征是图 像中一个重 要而难以 描述的 特性， 至今还没有为众人公认的定义， 一般使 川均匀l 1 、 对比 度和方向 等来描述。 提取纹 理特征的常用 方法包括基于 传统数学 模型的共生 i ; n 4 i 1 ; . k - l 变换法、 纹理分析法，基于视 觉模型的多 分辨率 法、 g a b o r 滤波器，结合小波 分 析和分形理论的分形布朗运动模型也可应用于 纹理的分析。 ,. (i ll 关系 特征可以分为两类: 一类方法首先对图 像进行自 动分割， 划分出 其中所含的对 .承 或i3 1ii 色ix 域， 然后根据这些区 域对图 像索引 ; 另一 类方 法则简单 地将图 像均匀划分若干规 则臼欠 ，对1 4 - 个 图像子块提取特征建立索引. 毕犷 内n ia图像检索技术的日 益成熟不仅将创造出巨大的社会价值， 而且将会影响和改 变入 们的 ! 二 活方式。 因为 它与数 据库技 术相结 合， 可以方便地实现海量多媒体数据的存储和 补i ll! ;， ，w e b 搜索引擎技术相结合， 可以 用来检索互联网上中半富的多媒体资源。在可预 q , i 的将来， ? l j 屯 内容的图像检索技术将逐步在很多领域中得到 厂泛 应用， 包括多 媒体数据库、 : ;i i s i曰又 保护、 数字图1 3 馆、 远程医疗、 天气预报、 交互电视、网 络多媒体搜索引 擎、 艺术 收藏和1 .i lij 物馆管理、 遥感和地球资 源管理、 军事指挥系统以 及建筑、 产品 和时装设计等等。 3论文的研究目的与意义 ( 13 1 1 1 在ir 学图像数据库中的应用与挑战 e . 学图像在 临床中的重 要性是不言而喻的， 它是 现代临床诊 断与医学 研究中不 可缺少的 卜 1 6 ( i 发生形态学变异的疾病 ( 特别是.片 位性病变) 诊断中， 医学图 像起着其它 方法不可 i : 代的作 用。 除了 川于 形态学的诊断外， 它同时还可以反映解 剖结 构及脏器功能， 为临床诊 断提供j 更多 的有用信息。从而明 显提高诊断的水 平。 庄 过去的儿十年中， 伴随着高灵敏度传感器， 高分 辨率显示设各， 大容量存储设各以 及 东南大学硕士学位论义 x浅、 红外、 超声、 同 位素、 电 子显微镜、 核磁共振、 激光等医学成像技术的出现， 在诊断、 治l 以及研究方面产生了 大量的医学图 像数据。 除了 采集、 显示、 存储、 处理、 交换、 传输 外 如何高 效、 迅速地管 理和充 分利 用这些急 剧增加的 数据是当 前所面临的 迫切需 要解决的 问 l jll 1,于 是建立医学图像数据库的问 题亦提到日 程上来。 医学图 像因为 其 数据的 庞大 和对精 度的高 要求， 使其建库具有更大的复杂性， 并 且要求 检绘 速度快.杳 询准确率高， 特征存 储空间 小。 因 而 把基于内 容的图 像检索 方法 ( c b i r ) 弓 入 9 l1 1 l 学图像数据库中 进行研究是一项非常有意义的工作。国外已 有的系统包括: ) 、s k e tc h d a t a b a s e、 美 国n o g o y a 大 学) 利 用 从 心 脏x 射 线 获 取 的 图 像 库中 提 取出 来 的抽象草图 ( s k e t c h ) 部分， 来实现相似查询。由于 两幅图 像的相似度变为利用它们草图的 相似度，从 而人大减少了 要处理的数据。 2 , c t d a t a b a s e 系 统( 美国l o s a la m o s国 家实 验室) 该 数据库包含了大量不同 病理症 状的 肺部c t 图 像。系 统选择纹理 特征作为 特征值， 对侮个c t图 像进行纹 理特征提取并进 行建库. 杏询时只要对待杏询图像和库中图 像特征量进行比较， 就可以 快速地查找到所需要 的图像，方便了医生对某些疑难病症图 像的归类和分析。 3 、分布式医学图像管理系统 ( 美国夏威夷大学) 该系统在基于文本信息检索的基础上 引入了 基于图 像内容的汽 询方法。 建库时综合运用图像分割和神经网络技术提取图像特征， 然后按讼义 数据模t l 进行特征量的 存储，以 减少存储空间，提高查询速度. 此外， 还有希腊c r e t e 大学医学信息系统实验室集成在其研制的t e l e p a c s 系统中的 针 维放射医学图像的1 2 c ( i m a g e i n d e x i n g b y c o n t e n t ) 系 统和c a r n e g i e - m e l l o n 大学研制 % 1 r.1 d l经图 像检索系统。 这两个系 统都是 用于 脑肿 瘤的 辅助诊断的 圈 。 一门j占刊 冲孟曰日 在 国内， 1 1 于内容检索的图像数据库研究和开发工作也方兴米艾， 但在医学图 像领域的 卜 训! 起步比 较晚， 相关的 报道尚 不多见 4 1 0 1 ， 所以 迄 今为止大多 数 还是采 取人一 描 述法， 利 川1 l f8 同、 句子或者表达式等进行检索。 理想的图 像查询应该是既涉及自 动提取的关键词， i i i 授低层的基于内容的检索。 对于医学图像检索， 不仅要考虑到图像本身的内容， 而且还 涉及到与图 像相关联的其他医学信息， 例如医生诊断报告的文本等。 随着图 像处理技术和数 据作枝术的不断发展， 医学信息检索技术和高级语义检索技术必然要在基于内容的医学图像 检索 . 起到举足轻重的作用， 这正是今后发展的必然方向， 也是医学图像数据库走向真正) 泛1 r 川的必由 之路。 由 于医学图像的 特点和应用上的需求， 基于图 像内 容查询在医学领域应 飞i, 向,l f )阔的应用前景。 . 4本文的主要任务 课题的主要任务是对己 有的c b i r设计的相关技术进行综合 研究， 比较各种方法的优劣 和 i i 性， 在此基础上， 将其应用于 我们自 己的医 学图 像检索系 统， 构 建起一个初步的 框架 体系 七 体包括: 第一章绪论 进行图像预处理，选择有效的特征. 在服务 器上建 立医学图 像数 据库，存 放图 像和特征。 设 计基于c / s 模型的检 索系 统 初步建立图像检索相似特征匹配算法。 不同特征权重值的分配和相关反馈机制的建立。 川(2)川川川 . 5文章的组织 卞文的土要内容安排如 卜 : 第1 章介绍了 基于内奔检索的技术背景， 指出了 本课题的 研究价值。 第2 章介绍了基于 内 容图像检索的相关研究内容和方法， 总结了 一系列图 像视觉 特征的 提取、 表达和索引方法， 讨沦了 图像平 盯 以 度衡最方法和相关反愤技术。 第3 章讨论了 医学图像c b i r的难点以及一些 料创 支 术 。 第4 章 给出 了 白 行 研 究开 发的 基 子内 容 的 医 学图 像 检 索 系 统m i s s 的 实 现细 节 和 i l l 能介 绍。 第5 章对系 统进行了 分析和评估， 提出了 一些改进的 方法。 最后， 第6 章中总结 j 系 统设 计方面的 _作，井对这一 领域的米来方向做出展望。 东南大 学硕 : 学位论文 第二章基于内 容检索的相关研究 近年来， 随着多 媒体技术和计算机网 络的飞速发展， 全世界的数字图 像的容量正以 惊人 的it ! !, 增长 。 每天都 会产生容量相当 于 数t 字 节的图 像。 然而这些包含了 大 量有 用的信息的 数丫图像处丁一种无序散乱的状态， 无法被 有效地访问和利用。 这就要求有一种能够快速而 j . d i 确地杏 找图 像的技术， 也就是所谓的图 像检索技术。自 从2 0 世纪7 0 年代以 来， 在数据 p ; 系 统和计算机视觉两大 研究领域的共同 推动下， 图 像检索技术已 逐渐成为一个非常活跃的 j 了 l . aj 域。 旱1 j 的图像检索技术是一种基于文本的图像检索 ( t e x t - b a s e d i m a g e r e t r i e v a l ) ，它 将图像作为 数据库中 存储的一个对象， 用关键字或自由 文本对其进行描述。 查询操作是对图 像的义 本描述进行精确匹配， 这就要求用户对文本特征的描述具有一定的准确性和规范性。 不i u 认 ，文本标注在描述高 层的、 抽象的 语义概念时， 有其简单、 清楚的 优点。 然而， 完 个? t 7 一 文本的图 像检索技术存在着许多问 题。 lil 先， 现有的 计算机视觉和模式识别技术仍无法自 动对图 像进行标引， 必须依赖人_ c 完 成， 人1 标引不但费时费力， 而且往往是不准确或不完整的。 因为人类视觉具有很大的土观 性， 不可避免 地会带来偏差。 也就是说， 不同的 人对同 一幅图像有不同的理解方法， 这种主 观呷 解的井异将导致图 像检索中的失配错误。 此外， 文本方式不足以 或不能够客观地描述图 像中所包含的丰富的视觉特征 ( 颜色或纹理等7 a 列了9 0 年代初，随着火量数字图 像的出 现，上述的问 题变得越来越突出。为克服这些 6 d 题.a i - i) ,j 客的in像检索技术 ( c o n t e n t - b a s e d i m a g e r e t r i e v a l ) 应运而生。区别于原 仃求 统中对图像进行人 _ 标引的做法， 基于内 容的 检索技术自 动提取颜色、 纹理、 形状等量 化 特i d 来表示图 像的 视 觉内 容， 井 达到自 动索引的目 的。 这样， 由 计 算机 提取的 低级的 视觉 特征代替了 高级的，基于文本的人_ l 标引. 应该认识到，基于内 容的图像检索系统具有与传统基于文本的检索系统完全不同的构 架两 光， 由于图 像依赖其视觉特征而非文本描述进行索引， 查询将根据图像视觉特征的相 似棍.进行。 用户通过选择具有代表性的一幅或多幅例子图 像来构造查询， 然后由系统查找与 例j 图 像 在 视 觉 内 容 上 比 较 相 似 的 图 像 ， 按 相 似 度 大 小 排 列 返 回 给 用 户 。 这 就 是 所 谓 的 按 例 杏阳阳别 像检索 ( q u e r y b y e x a m p l e ) .另 外， 基 于内 容的 检索系统一般通过可视化界面 和 川户进行颂繁的交互，以 便于 用户能够方便地构造查询、 评估检索结果和改进检索结果。 个典n j. 的c 田r 系统的 体系结构如图2 . 1 所示。 图 像数据库保存了 原始图像用于显示。 图( i t ( , 觉特征库是系统的 核心、包含了从图像提取的用于计算相似度并进行内容检索的特 自 文 术标记库里糙关 键字和其它一些文本描述。 多维索引用来获得快速检索和对数据库进 t 帅 展 古 询界 面通常为图 形化界面， 从 用户收集相关信息， 返回检索结果。 查询处理单元 将川) ， 的杏询 翻译ir k 内部形式再将其提交给 d b m s 。为了在低级与高级特征间建立联系， 还 第二章基于内容检索的相关研究 t) 以允许用户与搜索引擎以交互的方式进行通信。 特征提取 图2 . 1一个图 像检索系统结构 鱿关键部分包括: i) 选抒、 提取和索引能够充分表达图 像的 视觉特征。 2 )处理基于相似度的图像检索。 ; l )处理用户对检索结果的相关反馈， 改善检索结果。 6 .这 一 章中 ， 我 们将 土要 讨 论有 关 基于内 容的 图 像 检索方 面的 一 些 相 关问 题和 方法。 第 ! 5 中给出了一系列图像视觉特征的提取、 表达和索引方法。 第2 节中讨论了图像相似度衡量 为 法和其它检索相关技术。 在第4 节中， 我们介绍了图像检索中相关反馈的机制和途径。 2 . 1 图像特征的选择与提取 图像特征的 提取和表达是基于内容的图 像检索的基础。 就广义而言， 特征既可包括文本 7 n 1 的 ( 如关键字、 注解等) ， 也可包括视觉 特征 如颜色、 纹理、形状等)。 通过特征提取 就把原始的图像 ( 卜 结构化数据) 与高度抽象的图像特征 结构化数据) 联系起来了。 特征 提取i ij 以是白 动的， 也可以 有人 干预。 目 前从一般的图 像中自 动提取出关键字还不可能办 列 而要人 干预。 而视觉特征比语义特征易于自 动提取， 但能否实现白 动提取与图像的复 活程)i1有关， 图像越复杂， 就需要人1 干预。 当图 像插入到数据库中 或在查询处理中都可实 叩p 饰i . e li 取二 由丁 基于 文本的图 像特征提取在数据库系统和信息 检索等领域中己 有深入的研 究、一 浅 们工要考虑图像视觉特征的提取和表达。 山. 人 们-a 知 卜 的卞观性， 许多图像特征通常可以 从不同 角度加以 描述， 对于 给定特征 东南大学硕士学位论文 少 不存在一个所谓的最优的表示方式。 我们感兴 趣的主要是那些对图像检索比 较有效的特征 和相应的表达方法。 引入 特征后，图 像的 检索间题 就可以 形式化地 表示为: 任 给一个 检索图 像尸， 得到其 特( ii一 向ip - f=只 ， 凡， ， 二 、 只 ， ) ， 其中界 为 图 像 的 第i 个 特 征; 根 据f 检索 索引 库， 得 到与 i i; u i 离最小的 特征向 量f ， ，则 所对应的图 像库中的 那幅图 像尸即 为与p最相似的检索结 灿 去 2 . 1 . 1颜色特征的提取 颇色是一种重要的视觉信息属性， 在图 像索引与检索中是一种很有用的 特征。 相对于其 它特征， rm 色特征非常稳定， 对于 旋转、 平移、 尺度变化甚至各种形变都不敏感， 并且颜色 特川计 算简单，因此， 成为现有检索系统中应用最广泛的特征。 而向图像检索的颜色特征的 表达涉及到若干问 题。 首先， 我们需要选择合适的颜色空间 来 挑述颜色 特征; 其欢， 我们要采用一定的量化方法将颜色特征表达为向量的形式:最后， 还要定义 一种相似度 ( 距离) 标准用来衡量图像之间 在颜色上的相似性。 j ) i! 色i f. j ! w . jw i 色直 方图 是在 许多图 像检索系统中 被广泛采用的 颜色 特征。 它所描述的 是不同色彩在 ?411i 图像中所i ii 的比 例， 而并不关心每种色彩所处的空间位置， 即无法描述图像中的对象或 物体、颜色直方图特别适于描述那些难以 进行自 动分iira 的图像。 创 1 色直方图 可以 在不同的颜色空间 和坐标系下定义. 最常用的 颜色空间是 r g b 颜色空间， 原囚在于人 部分的数字图 像都是用这种颜色空间表达的。然而，r g b 空间结构并不符合人们 对颜色相似性的土观判断。因此， 有人提出了 基于h s v 空间、l u v 空间 和l a b 空间的颜色直方 ii i . ! f 中h s v 空间的二个分量色彩 ( h u e )、饱和度 ( s a t u r a t i o n ) 和明度值 ( v a l u e )与人 眼对颇色的土观认识相对比 较符合。 i- 算 颜色直方图需要将颜色空间划分成若千个小的 颜色区间， 每个小区间成为直方图的 个等级。 这个过程称为 颜色量化 c o l o r q u a n t i z a t i o n ) 。 然后， 通过计算颜色落在每个 小 卜间内的像索数举可以 得到颜色直方图。 颜色量化有许多方法， 最常用的是将颜色空间的 i4 个分 i: 均匀地进行划分。 此外，还可以 采用向量量化、 聚类方法或者神经网络方法。 i ii ! 色区间数日 和颜色量化方法要视具体的应用和效率而定。 一般来说， 颜色区间的数目 越衫 对 颜色的分 辨能力 就越强。 然而， 过多区间 的 数目 不但会增加计算 量， 也不 利于在人 j 1,i) 图像库中建立 索引。 另一种有效减少直方图区间数目 的办 法是只选取那些像素数日 较多的 1 1) 州: 构造图像特征， 因 为这些区间内的颜色能够反映图像中的 土色分布。 实验证明这种方 i a 1 1 会降低iv l 色直方图的检索效果。 事实上， 由 于忽略了 那些数值较小的区间， 颜色直方 第_章基于内 容检索的相关研究 图对噪声的敏感程度降低了， 有时反而使检索效果更好. 颜色直方图能较好地表征图像颜色的频率分布， 但同时丢失了空间位置信息。 所以有人 捉出了 采用基于图 像分割的直方图检索方法: 一种是将一幅图 像分 成多个子区域， 分别计算 汀个i x 域的颜色 直方图。 子区域分得越多， 空间 信息就越丰富， 但随之而来的问 题就是需要 r多 的存储空间和更大的计算量， 所以 划分个数应适当。 另一种是对图像中所包含对象的边 界 进i 川 il 取， 然后对每个对象内 部的颜色进行直方图统计， 以减少图像中不相关信息的干扰。 !领色1 3 i. 另一种非常简单而有效的颜色特征是由s t r i c k e r和o r e n g o 所提出的颜色矩 ( c o l o r m o m e n t s ) . . . i因为图像中的 1m色分布均可以 用它的矩来表示。 此外，由于颜色分布信息主 要耳中在 低阶矩中，因此仅采用颜色的一阶矩 ( m e a n )、二阶矩 ( v a r i a n c e )和三阶矩 ( s k e w n e s s ) 就 足以 表 达 图 像 的 颜 色 分 布。 颜 色 的 三 个 低 次 矩 在 数 学 上 表 达 为: n ， 一 1 n- y- p .n ;_, ( 2 . 1 ) ( 2 . 2 ) 、，.月leez 丫少 群 一 几甲 艺问 1一n 2万万lesk毛 一- b it ,i i p 是 w 1 像 中 第 ，/ 个 像 素 的 第i 个 颜 色 分 最 因 此 ， 图 像 的 颜 色 矩 一 共 只 需 要 9 个 分 量( 3 个 i u i 巴 分 员， 每个 分 量上3 个 低阶矩)， 与其他的 颜色特征相比 是 非常简洁的。 在实际应用 ， 为 避兔低次矩较弱的分 辨能力， 颜色矩常和其它特征结合使用， 而且一般在使用其它特征 i n 起5 一ij 过滤缩小范围的作用。 闭 ! 色集 为支 持人 规 模图 像库中的 快速查 找， s m i t h 和 c h a n g 提出了 用颜色集( c o l o r s e t s ) 作为 刊颇色直 方图 的一种近似“ 彗 ， 。 他们首先将r g b 颜色空间 转化成视觉均衡的 颜色空间 ( 如h s v 丫间 ) 卜 或， 烤弓 % 的分.以 i 认 勺 .1查 并将颜色空间量化成若干个区间。 然后， 他们用色彩白 动分割技术将图像分为若干 i ii 个ix 域用薰化颜色空间的某个颜色分量来索引。 从而将图 像表达一个二进制的颜色 在图像匹配中， 比 较不同图像颜色集之间的距离 和色彩区 域的空间关系 ( 包括区域 包含、 交等， 饵种对应于不同得评分) 。 因为颜色集表达为二进制的特征向量， 可 分杏找树来加快检索速度， 这对于大规模的图像集合十分有利。 顿色% ii 合向却 钊双 0 ;i色!1 .方图 和ij a 色 矩无 法表 达图 像色彩的 空间 位置的 缺点， p a s s i提出了图 像的 颜 东南大学硕 - 学位论文 色聚 合 向 斌 c c v ( c o l o r c o h e r e n c e v e c t o r ) 。 它 是 颜 色直 方图 的 一种 演 变， 其核 心思 想 是 将k i 7 - : a . 方图 每一个区间的 像素进行分为 两部分: 如果 该区间内 的某 些像 素所占 据的 连续区 v ih f 积 人 于 给 定 的 ge l 值 ， 则 该 区 域 内 的 像 素 作 为 聚 合 像 素 ， 否 则 作 为 非 聚 合 像 素 . 假 设 a ; 1 p分别 代表直方图的第i 个区间中 聚 合像素 和非 聚合 像素的 数量， 图 像的 颜色聚 合向 量可 以 衍左 为 。 而 就是l , 图 像的li l 色 直方图。 由 于 包含了 颜色分 布的空间 信息 颜色 聚合向 量相比 颜色 直方图 以 以达到更好的检索效果。 i n ( 色相关图 i ii! 色 相关图( c o l o r c o r r e l o g r a m ) 是图 像 颜色 分 布的 另 一 种 表 达 方 式11 1 。 这 种 特征不 1 ! l a l iin i 了某一种颜色的像素数量占 整个图 像的比例， 还反映了不同颜色对之间的空间相关 性 实验表明， 颜色相关图比 颜色直方图和颜色聚合向 量具有更高的检索效率， 特别是查询 rf li 关系一 致的图 像。 假 a i 表 示 v 张 图 像 的 全 部 像 素 ， 几。 则 表 示 颜 色 为 c ( i ) 的 所 有 像 紊 。 颜 色 相 关 图 可 以人达为: p r p l . 人 m p a dk。 ， 。 (，。 ， ， ， 一 ， x 1一 ; (2 . 4 ) k 中 ， ， 。 比2 , ， n , k e ( 1 , 2 ，一 叭 卜 1 一 p i 表 示 像 素 p : 和 p z 之 间 的 距 离 颇色相关图 可以 看作是 一张用颜色对 索引的 表， 其中 的 第k 个分量表示颜色 x j c v) 的 像素和颜色为c ( i ) 的像素 之间 的距离小于k 的 概率。 如果考虑到 任何颜色 之间的 相 玲 州 h 布 1 1 ， 颜色相关图会变得非常复杂和庞大( 空间复杂度为0 ( n d ) ) 。 一种简化的 变种是颜色自 i 图 ( c o l o r a u t o - c o r r e l o g r a m )， 它仅仅考察具有相同颜色的像素间的空间关系，因 问复杂度降到0 ( n d ) 。 1 . 2纹理特征的提取 jll，1 坟理特征是一种不依赖t in 色或亮度的反映图像中 局部组织规律变化的 视觉特征。 它可 川来对图 像中的空间 信息进行一定程度的定最描述， 或是 对局部区域中像素之间关系的进行 度 ! i t 因为如此 纹理特征在基于内容的图 像检索中得到了 广泛的 应用， 用户可以通过提 之 包含 有某种纹理的图像 来卉找含有相似纹理的其它图像。 叹理特征对模式识别和计算机视觉等 领域的重要意义， 目 前纹理分析的方法基本可以分 第二章 纂于内容 检索的相关研究 为 统计 法结构法、模型法和空间法/ 频率域联合分析法四 类。基于统计的方法是对图 像中 的1 7 ; 色强度的空间分布信息进行统计， 包括共生矩阵法、 l a w s 纹理能量法等: 基于结构的 方 法将爪点放在分析纹理基元之间的相互关系和排列规则上; 基于模型的方法假设纹理按某种 类n u 分布， 如m a r k o v 随机场模型、 分形模型等; 基于空间/ 频率域联合分析法主要包括g a b o r 变换沙和小波变换法等。h 面是一些在基于内容的图像检索中所常用的纹理特征，主要有 d i i纹理特征、白 同归 纹理模型、 方向性 特征、 小 波变换 和共生矩阵等形式. i ll m 川 ，-a 纹理 特征 从人 类对纹理视觉感知的心理学研究角度出 发， t a m u r a 等人于1 9 7 8 年提出了 纹理特征的 丧 达 、 ， 。 t a m u r a 纹理特征的 六个分量对应于心理学角度上纹理特征的六种属性， 分别是粗糙 j 锗 (。s e n e s s ) . 寸 比度( c o n t r a s t ) 、 方向度( d i r e c t i o n a l i t y ) , 线像度( l i n e l i k e n e s s ) , 规a r.度 ( r e g u l a r i t y ) 和 粗略 度 ( r o u g h n e s s ) 。 其中， 前二个分量尤 其重要。 这些纹理 特 征t都具 有直观的视觉意义， 而且相互独立儿乎没有兀余信息， 算法的效率也比 较高， 因 而 户图像检索中非常具有吸引力，在许多图 像检索系统中得到了 应用。 自回归纹理模型 七 世纪8 0 午代，随机场模型开始用于纹理的分类和识别。这方面m a r k o v 随机场 ( m r f ) 1 :,; n ; a 取得了 很大的成v j o c o h e n 采用 g a u s s i a n m a r k o v 随机场模型 ( g m r f )， 对9 种自 然纹 iii i 的识 别 达 到了 9 9 8 .至1 0 0 % 的 正 确率 。自 回 归 纹 理 模型( s i m u l t a n e o u s a u t o - r e g r e s s i v e m d c l , 或s a r ) 也 是m r f 模刑的一种应用实例。 在s a r 模型中， 每个像素的强度被描述成随机 变 .卜 i. 丁 以 通过与其相邻的 像素 来描述。 定义合适的s a r 模型需要确定相邻像索集合的范围。然而，固定大小的相邻像素集合范 围龙法很好地表达各种纹理特征。为此，有人提出过多分辨率的自回归纹理模型 t m m i t i - r (, s o l u t i o n s a r 或 m r s a r ) ， 能 够在多个不同的 相邻像素集合范围 下计算 纹理 特 hh l 妇u k i n” ， 中 给出了 m r s a r 纹理特征和其他纹理特征对于图 像检索的性能对比。 实验结果 1u m r 5 a r 纹理 特征能够较好地识别出图 像中 各 种纹理 特征， 缺点 是计算开销也较大。 小刀 芝 变换 小波变换 ( w a v e l e t t r a n s f o r m ) 也是一种常用的纹理分析和分类方法。 维小波变换的计算需要进行递归 地过滤和采样。 在每个层次上， 二维的信号被分解为 四个j二 波段， 根据颇率 特征分别 称为 l l , l h , h l 和 h h 。 有两种类型的小 波变换可以 用于 纹理 分 9 r , 其 , h 是 金 字 塔结 构 的 小 波 变 换( p y r a m i d - s t r u c t u r e d w a v e l e t t r a n s f o r m 或 p w t ) 和 树结构的小波变换 ( t r e e - s t r u c t u r e d w a v e l e t t r a n s f o r m 或t w t ) 。 p w t递归地分解l l 波段。 们毯刊 那些主要信息包含在中 频段范围内的 纹理特征， 仅仅分解低频的l l 波段是不够的。 囚此， 附 被 提出 来克 服上述的问 题。 t w t 区别于 p w t 的 主要之处 在于它除了 递归分 解l l 波段 外， 还会分解其它的川、 h l 和阳等波段。 东南大学硕士学位论文 小波变换表示的纹理 特征可以用 每个波段的 侮个分解层次 上能量分布的均值和标准方 旅. 例如二层的分解， p w t 表达为3 x 4 x 2 的 特征向 量。 t w t 的特征向 量取决于每个子波段是 分解7j 式 一 般来说， 由 p w t 所得的 特征是由 t w t 所得 特征的 一 个子 集。 此外， 根据在文献l 1 引 1.)沂 作的性能对比， 不同的小波变换在对纹理分析方面没有很显著的差别。 4, f i _ : 纹理特征 除了 上述的 t a m u r a 特征、 s a r 模型 和小 波变 换等纹 理 特征 之外， 还有许多 其它的 纹理特 i i l . i怕7 0 年代 h a r a l i c k 等研究 人员 就 提出 了 用共生 矩阵( c o - o c c u r r e n c e m a t r i x ) 表示 纹wilt!.特征的方法。 该方 法对从数学角度研究了图像中灰度级的空间依赖关系。 他首先根据像 素问的方向 和距离构造一个共生矩阵， 然后从矩阵中 提取有意义的统计量作为纹理表示， 其 缺点汽 : 于 矩阵很大且含 有大量的冗余信息。 许多其他研究人员 沿着这个方向 提出了 扩展的 方 案 g o t i i e b 和 k r e y s z i g 研 究 了 h a r a l i c k 提出 的 统 计 特 征， 在 实 验中 得出 结 论: 能 量、 相 关 性、 对比 度和 摘是 最有效的 特征121 ” 。 g n b o r 滤波法c n 能够最大 程度地减少空间和频率的不确定性，同时还能够检测出图像中 不h ij ) 向 和角度_ l 的 边缘 和线条。 因 此可以 根据滤波输出 结 果来描 述图 像特征。 此外， 小波变换与共生矩阵等其它技术结合进行纹理分析也取得了不错的效果。 尽管随 w义们不少人 提出了 纹理的特征集， 但目 前还没有一个统一的标准来精确地表示纹理的特 补 ， 川 为人对纹理的视觉特征的认识非常主观。 2 . 1 . 3形状特征的提取 物体和区域的形状是图像的又一个重要的特征。 许多物体具有不同的 颜色， 但其形状却 地 4 . i ih ， 利用形状来检索可以 提高 检索的 准确性和效率。 但不同 于颜色或纹理等底层特征， 形状特征的表达必须以 对图 像中 物体或区 域的分制作为基础。 然而当前的技术要做到准确而 1 林的自 动图像分$ f 9 还十分困难。 另一方面， 由于人们对物体形状的平移、 旋转和缩放士观 _ 不太敏感， 合适的形状 特征必须满足对平移、 旋转和缩放无关， 这对形状相似度的计算也 日 j 难度 ) i % 状通常被认为是一条封闭的轮廓曲 线所包围的区域， 所以 对形状的描述涉及到对轮廓 山界的描述以及对这个 边界 所包围区 域的 描述。 日 前的基于 形状检索方法也大多围绕着这两 个 勺 洲 建立 ic i像 索引 形状的区域特征关系到整个形状区域， 可采用儿何学和拓扑学的方法描述。 如面积、 圆 p ;_ . 连通r i 、 环形性、 偏心率、 主轴方向等表示， 以 及图 像分析中 经典的矩不变量、 对称性 竹竹、形 状的轮廓特征只用到物体的 外边界， 其描述土要有:f r e e m a n 链码、直线段描述、 打条 拟合曲 线、 傅立叶描述子以 及有限参数曲 线等等。 此外还包括一系列局部特征， 如: 圆 弧、 角点、 .季 石 曲率点等描述形状的方法。 这两类形状特征的最典型方法分别是傅立叶描述子 第二章基于内容检索的相关研究 和 ) j 不变举 搏众叶， 乡 状描述子 傅l 叶形状描述子 ( f o u r i e r s h a p e d e s c r i p t o r s )的基 本思想是用物体边界的 傅立叶 y: 换们为 其 形 状 描 述。 假 设 一 个 二维 物 体的 轮 廓 是由 一 系 列 坐 标 为 x , , , ) 的 像素 组 成， 其 ， 1 1 0簇 s - n - 1 而n 是 轮廓上 像素的总 数。 从这些边界点的 坐标中 可以推导出二种称作边 in illl 1 ， 的形 状表达， 分别是边长 距离( c u r v a t u r e d i s t a n c e ) 、 质心距离( c e n t r o i d d i s t a n c e ) l i 权坐标函数 ( c o m p l e x c o o r d i n a t e s f u n c t i o n )。 i1 l y i- ) 的 距 离 ， 如 下 所 示 : k ( i) = v (x ， 一 x i- ,) 2 + (y ， 一 y i- i ) 2 (2 . 5 ) 质心跟离定 义为 从物体边界点到物体中心 ( x , ， y , )的距离，如下所示: r ( i) = v (x , 一 x j + (y ， 一 y j (2 . 6 ) 粗 坐标函数是用复 数所表示的 像素 坐标: z ( i) = ( x ， 一 x ) + i g 一 y j (2 . 7 ) 对这些边界函数的傅立叶变换会产生一系列复数系数。 这 些系数在频率上表示了物体形 状，! n, 低频分址表示形 状的宏 观属性， 高 频分 最表达了 形状的细节信息。 形状描述子可以 从 这些变换参数中得出。 为了 保持三种模型傅立叶描 述子的旋 转不 变性， 我们需 要对参数取 模iii i 省去了相 位信息。而位移不变性是基于轮廓的形状表示所固有的 特点。 对丁 )贡