（计算机应用技术专业论文）多特征合成的图像检索系统的设计与实现.pdf

中文摘要 随着i n t e m e t 上数字图像的种类和数量的飞速增长，寻求高效的基于内容的 图像检索技术成为目前主要的研究方向之一。人是现代信息社会的主体，有关人 的图像是现代商业和日常生活中最常用的图像种类之一，广泛的存在于各大图像 库中。本文将人脸检测技术引入基于内容的图像检索领域，构建了一个多特征合 成的图像检索系统。 在特征选择方面，本文采用领域相关视觉特征与通用视觉特征相结合的方 法。其中领域相关视觉特征专用于人的图像的检索，提高人的图像的检索率。 在系统设计方面，在传统的c b i r 系统结构的基础上引入图像筛选，先利用 肤色信息将人的图像与非人的图像分类，然后只对那些满足筛选条件的图像进行 图像匹配过程中的相似度计算。实验结果表明该设计方法可以有效减少人的图像 参与匹配的计算时间，提高检索速度。 在特征提取阶段，首先采用一种基于肤色检测和分块面部特征验证的方法， 提取肤色特征及人脸特征。将肤色特征作为图像的筛选特征；人脸检测过程检测 到的人脸个数、面积百分比作为领域相关特征人脸特征，然后以区域为粒度 分别提取区域的通用视觉特征，包括颜色、形状、纹理及空间特征。所有这些特 征都具有缩放、旋转、平移不变性的特点，因此该系统可以较准确的检索出经过 缩放、平移及旋转变换的图像。 在特征匹配阶段，先采用分类加权的方法对以区域为粒度的通用视觉特征进 行组合来计算区域相似度，然后使用一种整合区域匹配方法来计算图像间的相似 度。如果被检图像是人的图像，则人脸特征参与相似度计算。最后按相似度大小 排序返回查询结果，完成图像检索。实验结果证明本系统具有良好的检索性能， 且对人的图像的检索具有较快的速度和较高的检索率。 关键词：基于内容的图像检索图像筛选人脸检测特征提取图像匹配 a b s t r a c t d u et ot h eh u g ei n c r e a s ei nt h ea m o u n t 锄dk i n d so fd i g i t a li m a g e sa v a i l a b l ei n t h e i n t e m e te r a ”，m a k i n ge 塌c i e n tc o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) h a s b e c o m eo n eo ft h em a j o re n d e a v o r s h u m a nb e i n g sa r et h em a i nb o d yo fm o d e m i n f o 曲a t i o ns o c i e t y ，s ot h ei m a g e so ft h e ma r et h em o s tc o m m o n l yu s e d 巧p e so f i m a g e si nt h em o d e mb u s i n e s sa n dd a i l yl i f e ，a n dw i d e l ye x i s t e di nm a n yh u g ei m a g e d a t a b a s e s t h i sp a p e rc o n s t m c t e da nj m a g er e 仃i e v a ls y s t e mb a s e d o nf e a t u r e s y n t h e s i s ，u s i n gf a c ed e t e c t i o nt e c h n o l o g yw h i c hi s 印p l i e dt oc o n t e n t - b a s e di m a g e r 七t r i e v a lf i e l d t h eg e n e r a lc h a r a c t e r i s t i c sa n dd o m a i nr e l a t e dc h a r a c t e r i s t i c sa r ec o m b i n e di nt h e f e a t u r es e l e c t i o n a n dt h ed o m a i nr e l a t e dc h a m c t e r is t i c sa r ed e d i c a t e dt ot h er e t r i e v a l o fh u m a ni m a g e s ，i m p r o v i n gt h ei m a g er e t r i e v a lr a t e i nt h es y s t e md e s i g n ，i m a g e6 l t e r i n gi sa p p l i e db a s e do nt h et r a d i t i o n a ls t r u c t u r e o ft h ec b i rs y s t e m t h eh u m a ni m a g e sa n du n h u m a ni m a g e sa r ec a t e g o r i z e db yt h e s k i nf b a t u r en r s t l y ，a n dt h e no n l yt h o s ew h i c hm e e tt h ec o n d i t i o n sf o rf i l t e r i n g s e l e c t i o nt op a r t i c i p a t ei nt h ep r o c e s so fi m a g es i m i l a r i t yc a l c u l a t i o n t h er e s u l t ss h o w t h a tt h ed e s i g nm e t h o dc a nr e d u c et h et i m eo fs i m i l a r i t yc a l c u i a t i o no ft h eh u m a n i m a g e sa n dg r e a t l yi m p r o v et h es p e e do fr e 仃i e v a l i nf e a t u r ee x t r a c t i o np h a s e ，am e t h o db a s e do ns k i nd e t e c t i o na n dc e l l - d i v i d e d v e r i f y i n gi su s e dt oe x t r a c ts k i nf i e a t u r ea n df a c ef e a t u r e s t h es k i n f b a t u r ei sa s 行l t e r i n gf e a t u r e ，f a c en u m b e r ，s i z ep e r c e n t a g eo f t h ef a c e ，g a i n e di nt h ef a c ed e t e c t i o n p r o c e s s ，a r et a k e na st h ef a c ef e a t u r e s g e n e r a lc h a r a c t e r i s t i c sa r ee x t r a c t e db a s e do n t h er e g i o ni n c l u d i n gc o l o rf e a t u r e s ，s h a p ef e a t u r e s ，t e x tf e a t u r e sa n ds p a t i a lf e a t u r e s a 1 lo ft h e s ec h a r a c t e r i s t i c sh a v et h ef e a t u r e so fz o o m ，r o t a t i o n ，t r a n s l a t i o ni n v a r i a n t ， t h e r e f 0 r et h es y s t e mc a ns e a r c ht h ei m a g e st h r o u g hz o o m i n g ，p a n i n ga n dr o t a t i n g m o r ea c c u r a t e l y i nf e a t u r em a t c h i n gp h a s e ，w ec o m b i n et h eg e n e r a lv i s i o nf 色a t u r et o g e t h e rt o c a l c u l a t et h er e g i o ns i m i l a r i t y 衔s t l y a ni n t e g r a t e d 南g i o nm a t c ：h i n ga i g o r i t h mi su s e d t oc a l c u l a t et h ei m a g es i m i l a r i t ys e c o n d l y i ft h er e t r i e v e di m a g ei si m a g eo fh u m a n b e i n g ，t h ef a c ef e a t u r e sp a t i c i p a t ei nt h ec o n c u l a t i o no fs i m i l a r i t y f i n a l l yr c t u mt h e r c t r i e v a lr e s u l t ss o n e da c c o r d i n gt ot h ei m a g es i m i l a r i t ) ，t h ef i n a lr e s u l t si n d i c a t et h a t t h ee f r e c t i v e n e s so fo u rr e t r i e v a ls y s t e m ，a n dp r o v e dt h a to u rs y s t e ms e a r c h e si m a g e s o fh u m a nb ei n g sm o r er a p i d i ya n da c c u r a t e l y k e yw o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ，i m a g ef i l t e r i n g ，f a c ed e t e c t i o n ， f e a t u r ee x t r a c t i o n ，i m a g em a t c h i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得叁盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文储签名：栽毗絮 签字r 其i j ：妇各年石月厂日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。 特授权玉：盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：试赢辇 导师签名：舻新季 签字日期：知。猝万月石日 签字日期： ) 扩年月同 第一章绪论 第一章绪论 1 1 图像检索的背景和研究意义 近年来，随着计算机技术、网络技术和多媒体技术的发展，数字信息的数量 和种类正以惊人的速度增长。从文本、数据、可视化的图形和符号到声音、语音、 图像和视频等等。这些信息几乎涉及到了各个领域：学术、环境、医学、气象、 地理、交通、民用、军事。如何充分、高效的使用这海量的多媒体信息数据 成了人们关注的问题。而图像又作为多媒体数据的一种重要形式，在信息获取和 处理方面尤为重要，因此图像检索成为目前信息处理领域研究的一个重要而迫切 的课题。 作为信息处理领域的一个新的重要研究内容，图像检索的目标是从图像数据 库中快速的提取出与查询图像相关的图像或图像序列。 从技术的发展来看，图像检索技术大体经历了两个发展阶段：基于文本的图 像检索阶段和基于内容的图像检索阶段。 基于文本的图像检索( t e x t u a l - b a s e di m a g er e t r i e v a l ，简称t b i r ) 技术的历史 可以追溯到2 0 世纪7 0 年代末期，它主要是对图像进行人工分析，对图像的物理 特征、内容特征进行文本注录或标引，建立类似于文本文献注录索引数据库，并 通过检索这些数据库获得图像编号，继而利用这些编号索引实际图像。但是随着 图像来源的日益广泛和图像数量的急剧增加，用手工对图像注释显的费时费力， 并且注释具有极大的主观性和不确定性，这种主观理解的差异将导致图像检索中 的失配错误，不能满足人们对日益膨胀的图像数据的查询需求。 9 0 年代初期，随着大规模数字图像库的出现，上述问题变的更加尖锐。为了 克服这些问题，基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，简称c b i r ) 技术应运而生。其主要思想是根据图像的一些低级视觉特征，如颜色、纹理、图 像对象的形状以及它们之间的空间关系等内容特征作为图像的索引，计算基准查 询图像和图像数据库中图像的距离，按照相似度大小进行检索。该技术突破了传 统的基于关键词检索的局限，提取图像的颜色、形状、纹理等视觉特征进行相似 性匹配检索，并且采用参数调整、聚类分析、概率学习和神经网络等方法通过人 机交互来使检索结果更接近用户需求。 基于内容的图像检索是一种实用性很强的技术，有着广泛的应用前景，涉及 第一章绪论 到社会和生活的许多方面： 1 数字图书馆。数字图书馆是对传统图书馆的根本性变革，它将所有有用的 多媒体信息资源用数字的形式进行表示，根本目标是为数字多媒体信息的收集、 存储和组织提供一个快速有效的方式，从而人们可以通过网络用基于内容的方式 来处理和检索这些信息。n e t r a 就是加里福利亚大学a d l ( a l e x a n d 仃i ad 西t a l l b r a 哆亚里山大数字图书馆) 项目中，为图像检索开发的一个c b l r 原型系统。 2 医疗。基于内容的图像检索可用于医疗诊断和决策支持。如c r e t e 大学的 二维放射图像检索系统和c a m e g i e m e h o n 大学的三维神经图像检索系统等，就 在这方面进行了尝试。 3 w e b 应用及电子商务。现在互联网已成为在线图像的最大载体，实现w e b 图像的快速索引和检索一直都是研究者们努力的方向。电子商务是近几年兴起的 热门话题，电子商务的重要内容之一网上购物都是以数字图像的形式向用户 展现商品，因此如何在成千上万的商品图像中找到用户所需商品是基于内容的图 像检索的重要应用之一。 4 犯罪预防。人脸图像和指纹图像是图像检索领域特有的信息类型，在犯罪 率和反恐形式还比较严峻的今天，面部图像、指纹图像的检索显得更重要。 除了上述应用外，基于内容的图像检索还可以用于许多其它方面，如：图像 过滤( 过滤网上不健康的图片、视频等) ；知识产权保护；服装设计、室内装潢； 家庭娱乐；教育培训等。 基于内容的图像检索技术本质上是一门信息检索技术，它利用认知科学、图 像处理、模式识别、计算机视觉、知识库系统、数据库管理系统、信息检索的研 究成果和方法，研究新的媒体数据的表示和数据模型、有效可靠的查询处理算法、 智能查询接口，以及与应用领域无关的系统结构。但是由于基于内容的图像检索 区别于图像理解和模式识别等，计算机视觉特征支持的低级特征不能去理解和识 别图像的内容，未能与人们倾向使用的高级概念接轨，还存在一定的差距。因 此，研究一种新的高效完善的图像检索技术，一方面有望在图像检索技术的理论 与方法上取得一定的突破，有利于计算机视觉、模式识别、人工智能、图像处理、 数据库等研究的进一步发展；另一方面有助于提高图像检索系统的实用性、拓展 其应用范围。因此基于内容的图像检索技术的研究具有重大的理论意义和应用价 值。 1 2 国内外研究现状 自从1 9 9 2 年基于内容的图像检索正式“冠名以来，由于其涉及领域之广 第一章绪论 泛，迅速成为研究的热点。各大杂志如i e e e1 r a n s o np a m i 、i e e e1 h n s o n i m a g ep r o c e s s i n g 、i e e e1 f r a n s o nm u i t i m e d i a 、i e e et r a n s o nc s v t 、c o m p u t e r s i o na n di m a g eu n d e r s t a n d i n g 、p a t t e mr e c o g ni t i o n 、j o u m a lo fe l e c t r o n i ci m a g i n g 等纷纷设专刊介绍该检索领域的研究的最新成果；著名的国际会议如：i e e e c o n f b r e n c eo fc v p r 、i e e ec o n f e r e n c eo fi c m e 、i e e ec o n f e r e n c eo fi c i p 、a c m c o n f e r e n c eo f m u l t i m e d i a 等都设立专题交流最新的研究成果。目前该领域的研究 已经取得很大的进展，已有大量相关理论研究和技术应用论文发表。世界各国的 相关研究人员沿着基于内容的图像检索这个研究方向，已经开发出许多带有商业 性质或者研究性质的c b i r 系统。 v i r a g e l 2 j 是由v i r a g e 公司开发的基于内容的图像检索引擎，同q b i c 系统 一样，它也支持基于色彩、颜色布局、纹理和结构等视觉特征的图像检索。同时， j e q 等人还进一步提出了图像管理的一个开放式框架，将视觉特征分为通用特 征( 如颜色、纹理和形状) 和领域相关特征( 如人脸特征、指纹特征等) 两类， 开发者可以往框架中添加领域相关的特征处理模块，开启了领域相关特征在 c b i r 技术中的应用。通用特征用于描述所有图像的共有特征，与图像的具体类 型和内容无关，主要包括颜色、纹理、空间信息和形状等；领域相关特征则建立 在对所描述的图像内容的某些先验知识( 或假设) 的基础上，与具体的应用紧密 相关。 p h o t o b o o k 【3 】是美国麻省理工学院的多媒体实验室所开发的用于图像查询和 浏览的交互工具。它的特别之处是根据目标类别划分数据库，3 个基本目标是： 人脸、形状和纹理，然后根据数据库划分子系统，由三个子系统组成，分别负责 提取形状、纹理、面部特征。因此，用户可以在这三个子系统中分别进行基于形 状、基于纹理和基于面部特征的图像检索。 在p h o t o b o o k 的最新版本f o u r e y e s 【4 j 中，p i c a r d 等人提出了把用户加入到 图像注释和检索过程中的思想。同时由于人的感知是主观的，他们又提出了“模 型集合”来结合人的因素。实验结果表明，这种方法对于交互式图像注释来说比 较有效。 m a r s 【5 ，6 1 ( m u l t i m e d i aa n a l y s i sa n dr e 仃i e v a ls y s t e m ) 是美国i l l i n o i s 大学开发 的。它与其它系统在研究范围和技术上都有不同，它是计算机视觉、数据库管理 和信息检索( i r ) 多个领域交叉的结果。其主要目的不在于找到单一的最佳特征表 达，而是如何把不同的视觉特征组织成为一个可以动态适应于不同应用和不同用 户的有意义的检索机制。m a r s 在图像检索中形式化的提出了相关反馈 ( r e l e v a n c ef e e d b a c k ) 结构，并在检索中不同层次上结合了该技术，包括矢量优 化，自动匹配工具选择和自动特征适应。m a r s 在科研方面的主要特点包括数据 第一章绪论 库管理系统d b m s 和信息检索计算i r 的结合( 如何进行分级的精确匹配) ，索引 和检索技术的融合( 即检索算法如何发挥底层索引结构的优点) ，以及计算机和人 的融合( 相关反馈技术) 。m a r s 系统的重点并不在于找到所谓的“最好”的图像 特征，而在于根据实际的应用环境和用户需要在检索框架中动态的组合调整各种 不同的图像特征。m a r s 在图像检索领域正式提出了相关反馈的体系结构。相关 反馈的技术在各个层次上融合到检索的过程中，包括查询向量的优化，相似度算 法的自动选择，以及图像特征权重的调整。 s u a lr e t r i e v a lw a r e 【7 8 j 是由c o n v e r a 制作的基于内容的图像检索系统。在同 类图像检索系统中，s u a lr e t r i e v a l 毗鹏的知名度也许独占鳌头。目前该系统已 经标引了2 8 0 0 0 多幅图像。该系统提供6 个方面的检索参数，包括颜色、形状、 纹理、亮度结构、图像尺寸结构和颜色结构，并且对每个参数都可以根据需要选 择参与相似度计算的权重，共设定了6 个等级，取值范围为0 5 ，其中0 表示最 低，5 表示最高。 i k o n a 【刿是以法国国家计算机科学和自动化研究所i n r j a ( i n s t i t u tn a t i o n a ld e r e c h e r c h ee nl n f o m a t i q u ee te na u t o m 撕q u e ) 为基地，由多国科学家和研究人员参 加研制开发的基于内容的图像检索系统，该系统共两大类数据库，用户可以根据 查询需要选择数据库，一类是面部图像数据库，利用人的面部特征采用基于内容 的图像检索方法准确的描述人的面部特点，完成人脸面部图像检索，另一类是相 对于面部图像的通用图像库。但是由于i k o n a 略去了用户自由选择决定检索条件 和检索结果之间相似度的参数( 如颜色、形状) 取值，系统自动运行，方便了非 专业用户的使用，但是i k o n a 具体根据哪些特征参与匹配度计算及检索结果之间 的相似度大小都无从知晓。 i r m a l l u l ( c o n t e n t - b a s e di m a g er e t r i e v a l i nm e d i c a la p p l i c a t i o n ) 是由德国研究 基金会开发的。它引入领域相关特征生物特征进行查询，最近研究又应用电脑网 格技术引入动态虚拟生物特征。目前系统已经初步建立，在2 0 ，0 0 0 幅医学图像 与1 3 5 ，0 0 0 幅非医学图像的图像数据库上测试运行。 在国内，研究者们更集中于基于图像语义检索系统的研究。高永英、章毓晋 等】，设计和实现了一个基于目标高级语义特征的检索系统。石跃祥1 12 j 等从图 像固有属性、图像对象和人为意识三方面就图像语义的模型作了一些探讨性研 究，为进一步研究图像语义的描述莫定了基础。 张磊、林福宗等【1 3 】将支持向量机运用到图像检索的相关反馈过程中，将相关 图像标记后作为训练样本由s v m 进行训练，然后用s v m 分类面对图像库的图像分 类，从而可以有效地检索出更多的相关图像。 第一章绪论 1 3 本文的研究工作 1 3 1 主要研究内容 本文主要研究包含人的图像的图像数据库检索问题。具体研究内容包括以下 下几个方面： 1 引入肤色特征作为图像的筛选特征，以领域相关特征人脸特征与以区域为 粒度的通用视觉特征综合进行图像相似度计算。由于检索系统对速度非常敏感， 因此首先需要选择合适的肤色模型，以及人脸特征提取方法。本系统采用一种基 于肤色检测和分块面部特征验证的方法提取肤色区域及人脸区域，将是否存在肤 色区域作为图像的筛选条件，将检测到的人脸个数、面积百分比作为人脸特征进 行图像相似度计算。 2 为了实现在区域的粒度上进行图像检索，首先需要对图像进行分割。本系 统采用一种融合颜色和空间信息的彩色图像分割方法来完成图像分割。考虑到图 像检索是一种近似匹配，对分割结果的精确性要求不是很高，因此在分割前弱化 图像细节，分割时加大区域合并的力度，同时在合并完成后，遍历区域和它邻区 域的关系，合并内部闭合区域，这样符合人类视觉分割特点，减少分割区域，提 高了图像检索的响应速度。 3 对图像的各个区域提取特征，并且将提取出来的各个特征存放到特征数据 库中，以便匹配时使用。提取的特征包含9 个颜色特征、5 1 个纹理特征、6 个形状 特征和3 个空间特征以及1 个区域权重特征。 4 将综合特征分别采用e x t r e m i s mn o 咖a l i z a t i o n 归一化法标准化到一个值域 中，然后采用对数距离法、相关距离、欧氏距离、街区距离等方法来计算区域间 的距离，最后采用整合的区域匹配方法完成图像间的相似度计算。 1 3 2 本文的组织结构 本文的组织结构安排如下：第二章，介绍系统总体框架结构及图像预处理， 包括预处理前颜色空间的选择与图像分割。图像分割部分介绍了图像分割的常用 方法和本系统所使用的图像分割方法，并给出了一些分割结果。第三章介绍了本 系统所使用的通用特征和领域相关特征的提取方法，并介绍了图像特征数据库的 组织方式和使用方式。第四章介绍了本系统所使用的图像匹配方法。第五章首先 介绍了本系统使用的测试图像库，然后给出了一些实验结果并进行了相关分析， 最后以图表的形式给出了系统中各类图像的检索率。第六章总结了本论文所做的 工作，并指出待解决的问题和一些尚需要进一步研究的内容。 第二章系统框架及图像预处理 2 1 系统框架 第二章系统框架及图像预处理 为了便于对本系统算法以及系统结构更容易理解和把握，这里先简要的介绍 整个系统的框架结构，如图2 1 所示： 图2 1 系统框架 本系统由三个子系统构成，分别是：特征数据库生成子系统、图像筛选子系 统和查询子系统。 特征数据库生成子系统一般在系统空闲时预先生成，其主要功能是预先对图 像进行各种有效的处理来提取图像特征，包括图像筛选特征( 肤色特征) 、领域相 第二章系统框架及图像预处理 关视觉特征和通用视觉特征；图像预处理是指图像分割，采用一种融合颜色和空 间信息的彩色图像分割算法来实现图像分割。之后按区域分别提取区域特征 颜色、形状、纹理和空间特征，并将提取出来的特征存入特征数据库中。 图像筛选子系统的主要功能是按特征数据库中的筛选特征将数据库中满足 条件的图像筛选出来进行匹配计算。 查询子系统的主要功能是提取被查询图像的特征并和数据库中的图像特征 进行匹配处理，以此计算出图像之间的相似度，最后按相似度大小将查询结果返 回给用户。 2 2 颜色空间选择 颜色通常用三个相对独立的属性来描述，三个独立变量综合作用，自然就构 成一个空间坐标，这就是颜色空间。而颜色可以由不同的角度，用三个一组的不 同属性加以描述，就产生了不同的颜色空间。但被描述的颜色对象本身是客观的， 不同颜色空间只是从不同的角度去衡量同一个对象。 颜色空间按照基本结构可以分成两大类，基色颜色空间和色、亮分离颜色空 间。前者的典型是r g b ，还包括c m y 、c m y k 、c i ex y z 等。后者包括 y c c y u v 、l a b 以及一批“色相类颜色空间”，如：h i s 、h s v 及l h s v 等。c i e x y z 是定义一切颜色空间的基准，它既属于基色颜色空间，也属于色、亮分离 颜色空间，是贯穿两者的枢纽。本节对本系统所用到的颜色空间进行简单的介绍。 2 2 1r g b 颜色空间 基于r g b 三基色的颜色表示称为r g b 颜色模型。 r g b 颜色空间可以用图2 2 所示的r g b 直角坐标定义的单位立方体来说明。 图2 2r g b 颜色空间 第二章系统框架及图像预处理 r g b 适合用来进行显示，广泛用于视频监视器显示和彩色摄像机中。但是 由于其各分量之间有高的相关性。而且，在r g b 空间一个颜色值的测量并不代 表颜色的变化，因此，不能在此空间中比较两个颜色的相似性。在本系统中该颜 色空间只用于读取和显示。 2 2 2c i e 颜色空间 由于使用r g b 颜色空间生成颜色时，用于产生颜色的三基色比例系数会出 现负值，使用起来十分不便；同时，不同研究者所用的三基色和标准白色不同， 使得研究结果很难比较。因此，1 9 3 1 年国际照明委员会c i e 规定了一种新的颜 色表示系统，定义为c i e x y z 颜色模型【1 4 】，具体从r g b 到x y z 的线性转换公 式表示为： 罴撼旧怵2 mo 0 5 6 55 5 9 4 3j ib j 由此可以导出一系列的c i e 颜色空间，比如，c i e l a b ，c i e l u v 等。 c i e 颜色空间能够更独立的控制颜色和灰度信息，并且比r g b 三基色要简 单。在颜色空间中基于几何学的分离可以进行直接的颜色比较。这种模型对于测 量小的颜色差别尤其有效。因此本系统选择在c i e l u v 空间中比较两个颜色的相 似性。从c l e x y z 到c i e l u v 的转换公式为： 其中： ，f11 6 ( y k ) 一1 6 当y k o 0 0 8 8 5 6 l2 1 9 0 3 3 ( y k ) 当y k o 0 0 8 8 5 6 “= 1 3 l ( “一) 公式( 2 2 ) 1 ，= 1 3 l ( v 一v o ) 4x x + 1 5 】，+ 3 z 9 】， 彳+ 1 5 】，+ 3 z “= 志 小赢 公式( 2 3 ) 9 o o 8 0 o 6 0 0 7 0 o 2 l 0 ，。l = 、j x y z ，。l 第二章系统框架及图像预赴理 其中x o ，y o ，z 0 表示对应的参考白色， c i b l i l v 模型中比较强调对红色的表示 表示的比较粗糙。 2 2 3h s i 颜色空间 x 旷母5 0 4 7 ，y 0 _ 1 0 0 ，z 0 - 1 0 88 8 。 即对红色变化比较敏感，但对蓝色 人的视觉系统在灰度和饱和度不同的情况下，能够很容易的区分各种不同的 色调。h s l ( h u e - s a n l m t i o n - i n k n s i t y ) 颜色空间用色调h ，饱和度s ，亮度i 表示颜 色，最符合人类的视觉表示，是图像处理中常用的一种颜色空间。其中色调是指 颜色刺激的主波长。用角度表示。一般定义纯红色( r g b ：2 5 5 ，0 ，0 ) 的色调 角度为0 ，灰色系列的色调角未定义。色调的定义域是：h 【0 ，3 6 0 】。饱和度 相当于颜色刺激的纯度，即通常所说的颜色的深浅。灰色的饱和度定义为0 ，因 此饱和度是一个与亮度正交的量，r g b 向量在亮度正交方向的投影归一化， 就得到r g b 向量的饱和度。亮度是指颜色刺激的强弱程度。h s i 颜色模型可以 用图2 3 来插述。 亮度 兰嘣 图2 3h s i 颜色空间 从r g b 空间到h s l 空间的转换公式如公式( 2 4 n 叫潞 抽，：塑! 里! 盟 j 自，：l 一业竖! ：旦 h f 第二章系统框架及图像预处理 其中，如果饱和度为0 ，那么色调h 是没有意义的，当灰度i n t 为0 时，饱 和度是没有意义的。灰度图像的饱和度都为0 。 由于h i s 颜色空间不但与人类的视觉感知非常接近，而且色调值比较稳定， 使用物体的色调特征就可以识别不同颜色的物体，且对一定范围内光照的变化不 太敏感，所以本系统中的肤色模型就是基于该颜色空间的。 2 3 图像分割 在图像检索之前对图像进行分割，其目的是为了克服针对图像全局特征进行 检索的缺点。该方法称为基于区域的图像检索，它以区域为问题的出发点，将整 幅图像作为对象，对其内容特征进行描述，是针对局部特征的，因此需要对图像 进行分割。 图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标的技术和 过程。这里的特征可以是灰度、颜色、纹理等，目标可以对应单个区域，也可以 对应多个区域。 图像分割是由图像处理进到图像分析的关键步骤，也是一种基本的计算机视 觉技术。传统的分割方法【l5 j 有阈值化方法、边缘检测、基于区域的方法等。近年 来，研究人员不断改进原有方法并将其它学科的新理论和新方法引入图像分割， 提出了许多新的分割方法，如：基于模糊理论的图像分割技术、基于小波分析和 变换的图像分割技术、基于神经网络的图像分割技术、基于遗传算法、粗糙集理 论的图像分割技术等。这些方法在特定图像分割方面取得了较好的应用效果，如 基于模糊理论的图像分割方法广泛使用于医学分析中。 本文根据图像检索系统中分割的目的选用一种融合颜色和空间信息的彩色 图像分割算法【16 | ，并且在其基础上进行了修改，实验结果表明修改后的分割结果 更符合人类视觉生理的对图像的分割。 2 3 1 本系统使用的分割算法 由于不同的使用者进行图像分割的目的不同，对分割结果的评价也就会有所 不同，所以目前还没有一个判断分割是否成功的标准。在基于区域的图像检索系 统中，图像分割的目的是为了在区域的粒度上完成对图像的检索，这要求特征一 致的像素尽量被划分到同一个区域中，分割区域尽量满足人类视觉生理的分割特 点。同时，由于在进行图像匹配时首先要计算区域间的距离，而图像库中的图像 数目可能非常庞大，这就要求每一幅图像被分割形成的区域数目要尽可能少些， 以减少匹配时的计算量，提高系统响应速度，这一点在图像检索系统中具有非常 第二章系统框架及图像预处理 重要的意义。另外，在图像匹配时采用了整合区域匹配的方法，对图像分割的不 精确性也有较强的鲁棒性。 本系统算法在一种融合颜色和空间信息的彩色图像分割算法的基础上，根据 系统的实际分割目的，做了些修改。修改主要体现在分割前的图像平滑处理阶段。 1 分割前处理图像平滑 平滑的目的可以分为2 类。一类是模糊，目的是在提取较大的目标前去除太 小的细节或将目标内的小间断连接起来；另一类是消除噪声。本系统算法在分割 前首先对图像进行平滑就是源于其第一个目的。 在图像的小邻域( 3 木3 ) 中，将每个中心像素的灰度值与邻域内9 个像素灰度 值的均值求差，如果小于一定的阈值，就用邻域像素均值取代中心像素值，即均 值滤波的方法，因为均值滤波可以在消除噪声的同时将图像中的一些细节模糊 掉；否则就对该像素点使用中值滤波。这样做的目的是在模糊细节的同时突出轮 廓。因为人的视觉对物体的划分往往是从轮廓开始，然后才会注意其内部细节， 而对于一些微小的细节变化常常不敏感。在此基础上分割恰好符合人类视觉特 点，避免了图像的过分割，减少了分割区域，为后续按区域匹配奠定了基础。 2 初始分割 在初始分割阶段，首先计算图像的平均颜色粗糙度，然后参照d e n g 【1 7 确定 颜色种类的方法确定一幅图像颜色量化的数目。颜色量化的数目确定后，采用 v q ( 矢量量化) 【l8 】的方法对像素在颜色空间内进行划分，完成颜色量化。 之后，采用区域生长算法来发现像素之间的空间连通性。与其它区域生长算 法不同的一点是：初始分割时在确定了种子区域后，对于不在种子区域内的像素 直接将其生长到与其邻接并且颜色最为相近的种子区域中，不再进行增量式增 长。 因为对于图像检索来说，图像某一方面的细节对图像检索的影响不大，在 分割效果大致相同的情况下，区域数量的增加会使检索耗时增加。 3 区域合并 经过初始分割后，各个区域间仍然存在许多相似性，需要对初始分割得到的 区域进行合并。算法采用了一个分级的区域合并方法来进行合并，即每次都是合 并图像中距离最相近的两个区域，形成一个新的区域，新区域和其它区域的邻接 关系和距离也随之调整。 区域合并的一个重要标准是区域距离度量，距离度量方法直接决定了区域合 并的结果和最终的分割结果。融合了颜色、边缘和邻接关系的两个区域的距离定 义为： 口7 = ( d ，。) p ( 口，9 ) 9 ，i 公式( 2 5 ) 其中皿，。、口，8 、，分别代表两个区域的颜色距离、边缘距离和邻接关系。 第二章系统框架瘦图像预魁理 然而经过实验1 ”发现，使用边缘信息时，在视觉上相近的区域可能会由于 边缘的存在而被分成许多个小区域，致使图像分割的比较零散，大大增加了区域 的数量，从而导致检索时的计算量成倍增加。因此确定区域距离时只考虑颜色相 似性和空间上的邻接关系，不再考虑边缘信息。重新定义后的区域距离为： 岛= ( d ，) 9 + ( 岛。) 2 公式( 2 6 ) 在区域合并过程中，为了可以在图像信息损失和区域数据之间按照需要进行 权衡，通过实验分析图像分割结果，设定了一个确定区域合并停止点的函数t ， 当t 达到最小时停止合并。 ，= 口+ + 卢+ 毛 公式( 2 7 ) 其中j l 表示当图像内的区域合并到硒个时的颜色散度，k 为合并过程中剩 余的区域数目k 与总区域数目k 比值。用户可以根据分割目的的不同选择不同 的a 和b 的值，以便在图像信息损失和区域数目之间寻找平衡点。本系统中。设 为1 ，b 设为15 。 由于计算颜色散度比较耗时，因此在每次合并后就算颜色散度是不明智的， 实验”中通过对c o 叫图像库中的l 0 幅图像的进行实验分析，得出只有当待合 并的区域数目减少到1 6 个时才开始计算颜色散度。本系统算法使用该结论。 2 3 2 结果分析 图2 _ 4 给出部分分割结果 a ) 原图像 b ) 原算法分割技果图c ) 本系统算法分割效果图 图图图 a ) 原图像 b ) 原算法分割效果图c ) 奉系统算法分割教果目 第二章系统框架及图像预处理 ttt a ) 原圈像”原算法分割效果图c ) 本系统算法分割效果图 9 翮圜 a ) 原图像b ) 原算法分割效果图c ) 本系统算法分割效果图 图 4 几个图像的分割效果图 在图2 - 4 所示第一行图像中，b ) 图是采用原分割算法得到的，图像被分成了 5 个区域，c 阍是采用本系统修改的算法得到的，图像被分成了3 个区域。从这 两幅分割效果图可以看出，”图中对细节划分的比较清楚，c ) 图忽略了背景的微 小变化，符合人类视觉分割特点。从分割得到的区域数目来看，采用原算法所得 昀区域数目是采用本系统算法所得区域数目的16 倍，因此，在进行特征匹配时， 即使是在假定图像特征数据库中区域数目相同的情况下，前者进行区域对间距离 计算的次数也将是后者的1 6 倍，因而增加了检索用时，但是检索结果却相当。 通过对比可以发现，本系统算法在保证分割效果的基础上减少了分割得到的 区域数目，从而可以大大降低毗后在进行区域匹配时的工作量，提高检索的实时 性。 第三章视觉特征提取与特征数据库 第三章视觉特征提取与特征数据库 图像特征的提取和表达是c b i r 技术的基础，匹配是其关键。恰当图像特征 的选取、有效的特征提取方法以及准确的特征匹配算法是高效c b i r 系统的必要 条件。本章主要介绍图像特征的选取和特征提取方法。 3 1 图像筛选特征 在图像检索过程中，赋予恰当的索引是必须的，然而，目前在计算机视觉和 图像理解领域还没有一种算法可以准确地理解和表达所有种类图像的内容。一种 可行的方法就是将图像库中的图像划分为不同的种类和领域，然后根据不同的种 类采用各自合适的检索方法【l 9 i 。 为了提高人的图像的检索速度，本系统首先引入筛选特征对图像库中的图像 进行一级分类，只有那些满足筛选条件的图像参与图像匹配过程中的相似度计 算，这样就可以减少人的图像的匹配计算时间，提高检索速度。 首先，图像检索是一个近似匹配的过程，选择合适的筛选特征是至关重要的。 在数理统计中定义了两类错误，一类是在h o 为真的情况下而拒绝h o ，这是第一 类错误，称之为“弃真”；另一类是在h o 不真的情况下而接受h o ，称之为“取 伪”，是第二类错误。这两类错误都是无法避免的。既然无法避免这两类错误， 自然希望犯这两类错误的概率都尽可能的小。而事实上，当数据库中图像容量固 定的时候，犯这两类错误的概率是不能同时小的。因此根据两类错误对图像检索 结果影响的重要程度来看，我们选择尽量避免第一类错误的发生，这就是筛选特 征选择的基本准则。 由于人脸检测技术还存在一定的误检与漏检的问题，所以按照以上特征选择 的准则，在图像筛选时使用人脸特征作为筛选特征是不合适的。而肤色作为人脸 的重要信息，且不依赖于面部的细节特征，对于旋转、表情等变化情况都能适用， 具有相对的稳定性，并且和大多数背景物体的颜色相区别。目前已经有许多较成 熟的肤色模型来描述肤色特征，可以尽可能的避免第一类错误的发生，因此本系 统中选取肤色特征作为筛选特征对图像库中的图像进行分类。 肤色特征主要由肤色模型来描述。肤色模型主要有直方图模型、高斯模型和 混合高斯模型【2 0 川、三维投影模型【2 2 等。本系统采用一种在h s i 颜色空间的自 第三章视觉特征提取与特征数据库 定义肤色模型进行肤色分类，该模型可以与类肤色区域更好的区分，并能很好的 适应光照变化，对于强光、暗光等图像有很好的处理结果，对种类繁多的图像库 有一定的鲁棒性。 但是由于图像库中的图像比较复杂，图像的背景也千变万化，因此在进行肤 色分类后，还需要进行些简单的处理，去掉那些根本不可能包含人脸的区域。如 面积小于规定