（计算机软件与理论专业论文）基于视觉感知的彩色图像检索方法研究.pdf

摘要 随着多媒体技术的快速发展与互联网技术的日益普及，我们拥有越来越多的数字图 像数据，图像数据的种类和数量也在与日俱增，无论是军用还是民用设备，每天都会产 生相当数量的数字图像，这些数字图像包含了大量有用信息。为了能够从浩瀚的图像数 据库中快速、准确地找到用户所需内容，基于内容的图像检索( c o n t e n tb a s e di m a g e r e t r i e v a l ，c b i r ) 技术得到了广泛关注，并已成为国际学术界研究的一个热点。 本论文围绕基于内容图像检索中的一些关键技术，进行了深入的研究，主要内容包 括： ( 1 ) 为了进一步提高基于颜色直方图的图像检索系统工作效率，以人眼视觉感知 特性为基础，结合局部图像相关性，提出了一种基于视觉权值的分块颜色直方图图像检 索新方法。该方法首先对图像进行分块处理，并计算出图像子块的颜色直方图；然后结 合反映局部区域变化的像素点颜色复杂度，计算出图像子块的视觉权值；最后利用视觉 权值对子块颜色直方图进行加权处理，并根据加权颜色直方图进行图像检索。该算法能 够准确和高效地查找出用户所需内容的彩色图像，并且具有较好的查准率和查全率。 ( 2 ) 以多尺度空间理论为基础，结合局部图像相关特性，提出一种基于感兴趣区颜 色直方图的彩色图像检索算法。该算法首先利用多尺度h a r r i s 检测算子从原始彩色图像 中提取稳定的感兴趣点；然后根据特征尺度自适应确定视觉重要的感兴趣区；最后构造 感兴趣区颜色直方图并进行图像检索。该算法具有较好的查准率和查全率。特别地，该 算法对光照、锐化、模糊等噪声攻击均具有较好的鲁棒性。 关键词：基于内容图像检索，颜色复杂度，分块，感兴趣区 基于视觉感知的彩色图像检索方法研究 a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i at e c h n o l o g y , t h ea p p l i c a t i o no fi n t e r n e ta n d t h er a p i di n c r e m e n to fm u l t i m e d i ad a t a b a s e ，w eh a v em o r ea n dm o r ed i g i t a li m a g e s a g r e a td e a lo fd i l g i t a li m a g e sw o u l db em a d ee v e r y d a yw h i c hi n c l u d em a n yu s e f u l i n f o r m a t i o nr e g a r d l e s so ff o rp u b l i co rf o rm i l i t a r y i no r d e rt om a n a g ea n dr e t r i e v e t h o s ei n f o r m a t i o n ，t h ec b i r ( c o n t e n t b a s e di m a g er e t r i e v a l ) h a se m e r g e dt ob eo n e o ft h eh o tr e s e a r c ha r e a si nd i g i t a li m a g ed o m a i n i nt h i sd i s s e r t a t i o n ，l o t so fe x p l o r a t o r yr e s e a r c hw o r kh a sb e e nd o n ea r o u n ds o m e k e yt e c h n i q u e so fc b i r t h em a i nc o n t r i b u t i o n so ft h i sd i s s e r t a t i o na r es u m m a r i z e d a sf o l l o w s ： ( 1 ) a c c o r d i n gt ot h eh u m a nv i s u a ls y s t e m ( h v s ) ，ac o l o rb l o c k - h i s t o g r a mi m a g e r e t r i e v a lb a s e do i lv i s u a lw e i g h ti s p r o p o s e di nt h i sp a p e r f i r s t l y , t h ei m a g ei s s p l i t t e di n t ob l o c k sa n dt h ec o l o rb l o c kh i s t o g r a m sa l ef o r m e d s e c o n d l y , t h ec o l o r c o m p l e x i t ym e a s u r e ( c c m ) o fp i x e l sa l ec a l c u l a t e dw h i c hr e f l e c t i n gt h ei m a g el o c a l v a r i a t i o n ，a n dt h ev i s u a lw e i g h t sf o rs u b b l o c ki m a g e sa r ec a l c u l a t e d f i n a l l y , a l lc o l o r b l o c kh i s t o g r a m sa r ew e i g h t e db yt h ev i s u a lw e i g h t ，a n dt h es i m i l a r i t yb e t w e e nc o l o r i m a g e s i s c o m p u t e db yu s i n g t h e w e i g h t e d c o l o r h i s t o g r a m e x p e r i m e n t a l e x p e r i m e n t s ，i n c l u d i n gc o m p a r i s o n sw i t hs t a t e - o f - t h e - a r t s ，s h o wt h ee f f e c t i v e n e s so f o u ra l g o r i t h mi ni m p r o v i n gt h er e t r i e v a lp e r f o r m a n c e ( 2 ) a c c o r d i n gt ot h en o i s ea t t a c kc h a r a c t e r i s t i c ，an e wr o b u s tc o l o ri m a g er e t r i e v a l b a s e do nm u l t i - s c a l ef e a t u r ei s p r o p o s e d f i r s t l y , t h eh a r r i s - l a p l a c e d e t e c t o ri s u t i l i z e dt oe x t r a c t e df e a t u r ep o i n t s ，w h i c hc a ns u r v i v eav a r i e t yo fa t t a c k s t h e n ，t h e l o c a lf e a t u r er e g i o n s ( d i s k s ) a l ea s c e r t a i n e da d a p t i v e l ya c c o r d i n gt ot h ef e a t u r es c a l e t h e o r y a n dw ec a ng e tal o c a la r e ab a s e do nf e a t u r ep o i n t ，a n dt h e nt h ei m a g ef e a t u r e c a nb ea t t r a c t e di nt h el o c a la r e a e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e di m a g e r e t r i e v a li sm o r ea c c u r a t ea n de f f i c i e n ti n r e t r i e v i n gt h eu s e r - i n t e r e s t e di m a g e s e s p e c i a l l y , i tc a nr e t r i e v et h en o i s ei m a g ee f f e c t i v e l y k e yw o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ，c o l o rc o m p l e x i t ym e a s u r e ，b l o c k ， f e a t u r er e g i o n s 基于视觉感知的彩色图像检索方法研究 学位论文独创性声明 本人承诺：所呈交的学位论文是本人在导师指导下所取得的研究成果。 论文中除特别加以标注和致谢的地方外，不包含他人和其他机构已经撰写或 发表过的研究成果，其他同志的研究成果对本人的启示和所提供的帮助，均 已在论文中做了明确的声明并表示谢意。 学位论文作者签名： 学位论文版权的使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规 定，及学校有权保留并向国家有关部门或机构送交复印件或磁盘，允许论文 被查阅和借阅。本文授权辽宁师范大学，可以将学位论文的全部或部分内容 编入有关数据库并进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后使用本授权书。 学位论文作者签名：峭 指导教师签名： 签名日期： 刎铆砂 洲( 7 年妇矽 基于视觉感知的彩色图像检索方法研究 1 绪论 随着多媒体技术和互联网技术的快速发展，多媒体信息的数量也在急剧增 加，数字图像是这些多媒体信息中的主要数据。面对这样的海量数据，人们希 望能够快速高效地获取自己所需要的图像数据信息。如何有效地组织、管理和 检索大规模的图像数据成为迫切需要解决的问题。基于内容的图像检索技术 ( c o n t e n tb a s e di m a g er e t r i e v a l ，简称c b i r ) 正是在这样的背景下应运而生的， 并成为当前计算机视觉、图像数据库与数据挖掘等领域最为活跃的研究热点之 一，也取得了一定的研究成果。研究该项技术既有深远的意义，也面临着巨大 的挑战。 1 1 研究背景和意义 随着多媒体技术、计算机技术、通信技术以及互联网技术的高速发展，信 息数量和信息媒体种类在不断增加，各种各样的信息被人们更多的接触。每天， 无论是军用还是民用领域都会产生十亿比特的图像视频数据。这些图像视频数 据中包含大量的信息。在如此之多的信息中，人们很容易就迷失方向，所以如 何从中发现有用的信息是一个严峻的问题，对多媒体数据进行高效的管理、存 取、检索已经成为一种比较迫切的需求。所以面对大量的各式各样的图像数据 库，对图像数据库的管理工作成了一个迫在眉睫的研究课题，图像检索技术就 是其中的核心技术之一。 所谓的图像检索技术，就是从图像库中查找用户所需要的图像的这样一门 技术。传统的基于文本的图像检索技术( t e x t b a s e di m a g er e t r i e v a l ) 是将图像作为 数据库中存储的一个对象，然后利用人工对其进行人工标注，在系统检索时， 使用标注以后得到的关键字进行匹配，这种做法本身存在着许多缺陷：首先， 每一幅图像都需要人工进行注释，因此标注较大的图像数据库就需要大量的人 力。其次，图像内容非常丰富，人工注释所采用的少量文字很难充分表达图像 的内涵。更为重要的是，人们对于一幅图像的理解有着强烈的主观性，所以在 其注释的过程中完全可能出现理解上的偏差，这就直接导致了在检索的过程中 不可避免的出现错误。随着大规模数据库的出现，上述问题变得越来越尖锐， 为了克服基于文本的图像检索技术带来的困难，上世纪9 0 年代早期提出基于内 容图像检索技术( c o n t e n tb a s e di m a g er e t r i e v a l ，简称c b i r ) ，所谓的基于内容 图像检索技术，是指直接根据描述媒体对象内容的各种特征，从数据库中查找 出具有指定特征或含有特定内容的图像。基于内容图像检索技术是建立在计算 基于视觉感知的彩色图像检索方法研究 机视觉和图像理解理论基础之上，其综合了人工智能、面向对象技术、认知心 理学、数据库等多学科的知识【2 卅。它突破了传统的基于文本检索的局限，从媒 体内容中提取信息线索，实现了自动化、智能化图像检索和管理方式，便于快 速、准确的查找。c b i r 与传统的基于文本的检索方法相比，克服了人工描述的各 种缺点，减少了工作量，适用于现在大规模的图像数据的检索。这项新技术具有客 观、节省人力、可建立复杂描述、通用性好和应用前景广阔等许多优点，正受 到了越来越广泛的重视，并得到了迅速的发展，c b i r 已经代替了基于文本的图 像检索成了图像检索技术的重心1 5 】。 1 2 国内外研究和发展现状 图像特征的提取与表达是基于内容的图像检索技术基础，所以在基于内容 的图像检索技术研究过程中，如何有效以及准确的提取特征是国内外研究的主 要内掣倒。图像的主要特征有颜色、纹理、形状。其中颜色是最重要、最直观的 特征。颜色直方图( c o l o rh i s t o g r a m ) 更是成为图像检索系统应用最为广泛的颜 色特征。但是，大量的实验结果证明，传统的颜色直方图存在许多问题，其中 包括特征维数高、检索效率低、丢失颜色的位置信息等i 7 ，剐。 为了解决传统颜色直方图检索技术所存在的问题，许多研究人员进行了大 量的细致的工作。最为简单的将颜色信息与空间信息结合的方法是局部直方图 法【训，即首先把图像分成若干子块，提取每一块的直方图特征，然后再计算其相 似度。该方法还可以扩展到其他的颜色统计特征，例如主颜色和颜色矩等。但 是该方法的主要缺点是对于旋转以及图像本身的尺度比较敏感，如果图像经过 旋转或者图像本身的尺度有变化，检索效果不理想。k e 利用像素的8 个邻域方 向的颜色向量角来辨识图像的边界点，在像素和该像素对应的最大颜色向量角构 成的颜色对张成的空间下，统计位于边界上的像素个数构成颜色邻域2 维直方图 作为图像的颜色特征【加】。p a s s 等人提出了全局颜色直方图的改进( h i s t o g r a m r e f i n e m e n t ) 方、法【1 1 j ，将每个颜色量化阶对应的像素数目按照一些指定的规则拆分 成若干类别，不属于同一类别的像素尽管在全局直方图中属于同一个颜色量化阶， 彼此间也不具有一致性，但该方法计算较为复杂，时间复杂度较高。z h a n g 用 p w h i 1 2j 方法对图像进行基于颜色特征的检索，对检索结果以g a b o r 子波在不同的 方向角和尺度的组合下对应的模值序列的均值和方差作为纹理特征进行二次检 索和排列，得到融合了颜色和纹理特征的检索结果【1 3 】。h e 等人【1 4 】提出用最大边 缘子空间来缩短底层特征与高层语义之间的鸿沟。j i a nc h e n g 等用s v m 进行颜色 特征和纹理特征的提取与样本的选择，但到目前为止，s v m 的效果不是非常很 2 基于视觉感知的彩色图像检索方法研究 令人满意【1 引。w a n gjq 等人提出对多个单一特征相似度的加权求和，求和结果为 特征的融合相似度1 1 引，但不足之处在于：简单的加权融合方式仅仅实现了代数几 何意义上的合并，未能真正完全的利用和发掘特征间存在的相互关系，并且权重 值不容易确定，权重值的选择对检索结果影响也比较大。e a u q u e u r 等f 1 7 1 8 】首先将 图像进行分割，然后利用分割以后的结果进行特征提取，由于分割本身不精确， 故难以得到理想的结果【1 9 1 。王熠等【2 0 】提出了广义颜色直方图方案，但其相似度 计算模型不合理，直接影响着检索系统的检索结果。e d i z 掣2 1 j 采用了距离角度直 方图方法，统计每一种颜色在特定距离和角度内的颜色直方图。j e o n g 掣2 2 】采纳 g a u s s i a n 向量量化( g m v q ) 技术提取颜色直方图，但g a u s s i a n 量化计算复杂、 耗时巨大。王向阳等团j 以图像位平面原理为基础，提出了一种基于位平面综合 特征的彩色图像检索方案，该方案减少了直方图维数，故降低了空间与时间复 杂度。s t 6 t t i n g e r 等 2 4 】提出了基于感兴趣点的彩色图像检索技术，但其所采纳的 感兴趣点提取方法不够不够稳定，且忽略了局部图像相关特性，故影响了检索 效果。h a l a w a n i 等【冽首先提取出图像的感兴趣点，然后选择合适的非线性核函数， 最后计算感兴趣点的邻域特征并进行相似度比较，但其检索效果严重依赖于核 函数，即算法稳定性比较差。“等1 2 6 】提出了一种基于分块颜色直方图的图像检 索方案，其首先将整幅图像分成若干子块，并为每个子块指定权值，然后分别 统计子块颜色特征，同时结合权值计算相似度并进行图像检索。由于该方案考 虑了颜色空间分布特性，故检索性能得到了改善，但其存在如下不足：( 1 ) 所采 纳的中心区域( 子块) 最重要假设与实际图像不相符合；( 2 ) 确定子块权值时仅 仅考虑了到图像中心的距离，未能充分重视局部图像相关特性，降低了系统工 作性能。 随着技术上的不断成熟，从上个世纪九十年代中期开始，到目前为止，已 经建立起来了基于内容图像检索系统的基本框架，目前已经有许多商用的基于 内容的图像检索系统问世，下面介绍几个比较典型的系统【2 7 j ： 1 v i s u a l s e e k t f ：i w e b s e e k ! 冽 v i s u a l s e e k 是一款基于视觉特征的检索工具，由美国的哥伦比亚大学开发。 该搜索引擎还有一个面向网络的姊妹搜索引擎。v i s u a l s e e k 所采用的视觉特征 是利用了颜色集和小波变换的纹理特征。为了加快检索速度，v i s u a l s e e k 还采 用了二进制树的索引算法。 2 p h o t o b o o k 2 9 】 p h o t o b o o k 是由m i tm e d i al a b 开发的图像浏览与检索的交互工具，用于图像 3 基丁视觉感知的彩色图像检索方法研究 的检索和浏览。该系统由三个部分组成，每个部分分别提取形状、纹理以及面 部特征，用户也可以分别用三个特征进行图像检索。在p h o t o b o o k 的最新版本 f o u r e y e s 中，用户还可以对数字图像进行标注，这一提出建立在没有一种单独的 特征可以最好的对图像建模，而且人的理解又是主观的这样的一种观测之上。 实验结果表明该方法比较有效。 3 q b i c 3 0 l q b i c 是由i b m 开发的第一个商品化的基于内容的图像检索系统，其系统框 架和技术对后来的图像检索系统具有深远的影响。q b i c 系统提供了多种的查询 方式，包括基于样图、草图的查询、用户选择颜色和纹理的模式的查询等。q b i c 也是少数考虑了高位特征索引的系统之一。 4 v i r a g e 3 1 】 v i r a g e 是由v i r a g e 公司开发的基于内容的图像检索引擎。v i r a g e 不但支持 基于颜色、颜色布局、纹理和结构的可视化查询，而且支持由上述四个原子查 询的任意组合。用户可以根据需要调整各个特征的权值。 5 r e t r i e v a l w a r e r e h i e v a l w a r e 是由e x c a l i b u r 技术公司开发，主要用于基于内容的图像检索系 统。r e t r i e v a l w a r e 的重点在于将神经网络用于图像检索中。在比较新的版本中提 供了基于6 种图像属性的检索，分别是颜色、形状、纹理、颜色结构、亮度结构 和纵横比。它也支持这些特征的组合，允许用户调整每种特征的权重。 1 3 本文的研究内容及章节安排 本文的研究内容主要围绕着基于内容图像检索中的一些关键技术展开的， 比较系统的研究了特征提取技术，这个问题一直是人们广泛研究的热点以及难 点，同样也是需要技术攻关的重点。本文组织如下： 第一章对基于内容的图像检索技术的时代背景以及国内外的研究现状进行 了介绍，并简要的概括了基于内容图像检索技术的特点以及其优点。 第二章介绍了本文的基础理论部分，包括反映人的视觉敏感度视觉权值的 计算和感兴趣点的提取以及特征尺度的计算。 第三章提出了一种反映人的视觉敏感度的加权颜色直方图图像检索新算 法。该算法为每一个像素点定义一个c c m ( c o l o rc o m p l e x i t ym e a s u r e 颜色复杂 度) ，并通过每个像素点的c c m 值计算出每个像素点的权值，再利用每个像素点所 特有的权值构造出加权颜色直方图，从而进行图像检索。该算法能够准确的和 高效地检索出用户所需的彩色图像。 4 基于视觉感知的彩色图像检索方法研究 第四章以多尺度空间理论为基础，结合局部图像相关特性，提出一种基于 感兴趣区颜色直方图的彩色图像检索算法。该算法构造感兴趣区颜色直方图并 进行图像检索。该该算法对光照、锐化、模糊等噪声攻击均具有较好的鲁棒性。 在第五章中，对全文工作进行了总结和展望。 5 基于视觉感知的彩色图像检索方法研究 2 基础理论 2 1 像素点颜色复杂度与视觉权值的计算 通常情况下，我们需要在一定的颜色空间中计算图像像素点的颜色复杂度 和视觉权值【6 3 2 1 ，在本算法中，我们选取了比较符合人类视觉特性的c i e l a b 颜 色空间。通过该颜色空间，我们能够利用它更好的反应人眼的视觉特性，使我 们提取出的颜色特征能够更好的反应人眼观察事物的真实情况，为此，我们需 要给出距离计算公式如下： e ( c ( i ，n c o ，y ) ) 一一k ) 2 + o 一日矽) 2 + 一) 2 ) ( 1 ) d ( c a ，n c o ，y ) ) ，1 - e x p 一生虹坳】 y 其中，a 是常量( 一般情况下其值取1 4 ) ，公式( 1 ) 用来计算在c i e l a b 颜色空间中 两点的欧式距离，公式( 2 ) 用来计算像素点间距离。 在计算图像像素点的颜色复杂度和视觉权值的过程中，需要构造每个像素 点的局部临近区域q ，构造临近区域的方法在图像处理中有许多方法，在本算 法中，选取如图1 所示的8 个像素点为邻近区域q 。 在得到像素点( f ，) 的相关邻近区域q 后，我们可以利用如下公式计算出该邻近 在公式( 3 ) 中，代表着我们所构造的局部临近区 域q 所含的像素点个数，c ( x ，y ) 代表着像素点的 颜色值，通过以上计算以后，我们就可以根据公 式( 4 ) 计算出像素点o ，) 的颜色复杂度( c o l o r c o m p l e x i t ym e a s u r e ，c c m ) 值。 娟，n | 髓g 。( 1 l c ( x ，讣一c ( ，j ) i i ) d x d y ) l y e q ( i ，n 6 ( i 一1 ，j - 1 ) 0 - 1 ，j )( i - i j + 1 ) g j l g j )q j + 1 ) ( “l ，j - 1 )( i + l ，j )( i + l ，j + 1 ) 图1 像素点的局部邻近区域 基于视觉感知的彩色图像检索方法研究 其中，颜色复杂度( 伊a ，) ) 是与人眼视觉系统相关的像素点o ，j ) 的颜色复杂度， g 。代表着高斯权值，c ( i ，) 代表着区域q 的颜色平均值。 进一步，可将颜色复杂度( c c m ) 计算公式改写为 删一，量，、g 口( | 功嘲l i ) 撕卜，薹g 小e x p 卜堂掣趔】( 5 )了j g j ，) ，e - 一 利用所得到的颜色复杂度( c c m ) ，我们可以按照如下公式计算出每个像 素点的视觉权值【9 】，即 w。，歹，=wc驴g，。pr南，仃， 其中，i 代表整个图像区域，且有 p ( x , c r ) 妇e x p ( 一争 ( 7 这里，k 是常量，变量仃即为颜色复杂度( c c m ) 值。 我们在具体的应用过程中，需要把像素点的视觉权值归一化到【0 , 1 】区间，所 以像素点( f ，j ) 的视觉权值w o ，歹) 可表示为 吲c 删r 丽c p ( i , j ) 川妇唧卜专r 两c p ( i , j ) ， 2 2 彩色图像的感兴趣点提取 感兴趣点提取是图像处理与分析领域的关键技术之一。目前，图像处理与分 析领域普遍采用两种算法提取图像感兴趣点【3 3 l ：m e x i c a nh a t 小波法和h a r r i s 算 子，其中，m e x i c a nh a t 小波法可以抵御较强的噪声攻击，但其对仿射变换非常 敏感；而h a r r i s 算子可以较好地抵抗旋转、平移等仿射变换，但其对缩放变换 等却很敏感。本文将以h a r r i s 角点检测算子为基础，结合多尺度空间理论，给 出一种全新的多尺度h a r r i s 彩色图像感兴趣点检测算子，其能够通过尺度空间 7 基于视觉感知的彩色图像检索方法研究 搜索等措施提取出稳定性好且分布均匀的彩色图像感兴趣点。 2 2 1 多尺度h a r r i s 算子 为了获得h a r r i s 算子的尺度空间表示，需首先定义多尺度h a r r i s 算子。多尺 度h a r r i s 算子是以自相关矩阵( a u t o c o r r e l a t i o nm a t r i x ) 为基础的【3 4 1 ，其能够利 用自相关矩阵特征值估计特征强度，并通过阈值法选取出稳定的图像感兴趣点。 自相关矩阵m 定义如下： 雌脚小移g ，奉 爱墨；三l x l y 川( x , y , 6 。d ，】 三o ，y ，6 d ) 一g ( x ，y ，6 d ) 幸，( 1 0 ) g ( x , y , 6 v ，一矗e x p ( 等) 似， 其中，6 ，表示积分尺度；表示微分尺度；g 表示高斯函数；l 。表示计算函数 在a 方向上的偏导数；表示卷积操作；，表示数字图像，其与高斯函数做卷 积( 即低通滤波) 之目的在于去除噪声干扰。 不难看出，对于给定的6 ，和，可以确定出像素点o ，y ) 的特征强度 尺g ，y ) ： r ( x ，y ) 一d e t ( m g ，y ，6 ，6 d ) ) 一k t r 2 ( 2 m b ，y ，6 ，6 。) )( 1 2 ) 这里，d e t ( ) 表示矩阵的行列式；a ( ) 表示矩阵的迹；k 为常数( 通常取0 0 4 1 3 4 1 ) 。 这样，当像素点o ，y ) 的特征强度r o ，) ，) 大于某个特定阈值r 且该像素点为邻域 内极值点时，便可认为该像素点为图像感兴趣点。 然而，上述多尺度h a r r i s 算子并未考虑颜色信息( 注意公式( 1 0 ) ) ，故只适合 于求取灰度图像的感兴趣点。也就是说，为了计算彩色图像像素点的特征强度， 必须结合颜色信息修改公式( 1 0 ) 。为此，我们选取更加符合人眼视觉感知特性的 y c b c r 颜色空间，并结合数字图像相关理论( 亮度y 比色差c b 、c r 更重要等) ， 按照6 y ：2 c b ：2 c r 的比例修改公式( 1 0 ) ，即 l ( x ，y ，6 d ) 一去 6 g ，) ，6 d ) y + 2 a ( x ，y ，6 d ) c b + 2 6 ( x ，y ，6 d ) 宰c ， ( 1 3 ) 由公式( 9 ) ，( 1 3 ) ，( 1 1 ) ，( 1 2 ) 知，对于给定的6 ，和6 d ，可以确定出彩色图像像素 点o ，y ) 的特征强度n ( x ，y ) ，即当彩色图像像素点 ，y ) 的特征强度尺x ，y ) 大于 8 基于视觉感知的彩色图像检索方法研究 某个特定阈值丁且该像素点为邻域内极值点时，便可认为该像素点为彩色图像感 兴趣点。 2 2 2 特征尺度与感兴趣点提取 本文所述的特征尺度( f e a t u r es c a l e ) ，是指在某一特定尺度搜索范围内，函 数极值点所对应的尺度。对于数字图像而言，其特征尺度反映了图像局部特征 与操作算子间的最大相似程度。若操作算子确定，则特征尺度仅仅取决于图像 的局部特性，而相对独立于数字图像尺寸。可见，在特征尺度下所提取的图像 感兴趣点具有较好的缩放不变性。本文将结合l o g ( l a p l a c i a n o f - g a u s s i a n s ) 算 子和颜色信息确定特征尺度。l o g 算子的定义如下： 蝇川，) 6 7 降掣+ 鼍严卜一口 c 6 c ，) ( 1 4 ) 上d g - 击( 6 d g y + 2 d g 。+ 2 三o g c ，) 0 5 ) 其中，厂0 ，y ) 表示待检测函数( 即彩色图像) 。对于给定的彩色图像像素点及尺 度搜索范围，l o g 算子局部极值所对应的尺度即为特征尺度。而基于特征尺度 的多尺度h a r r i s 彩色图像感兴趣点提取过程可描述如下： 首先，给定尺度空间6 j ”) t1 4 ”6 0 ，6 分= 0 7 6 j “( n = l ，2 1 5 ) 和阈值t ( 本 文选取为1 0 0 0 1 3 4 ) ，利用多尺度h a r r i s 算子计算出侯选的彩色图像感兴趣点( 其 中，6 。表示初始尺度，本文选取为1 2 1 3 4 ) 。 然后，对于每个候选彩色图像感兴趣点，采用迭代法搜索出最终的图像感 兴趣点和特征尺度。具体步骤如下： ( 1 ) 设p 。为候选彩色图像感兴趣点，检验该点的l o g 算子是否能在整个尺 度搜索范围内获得局部极值，如果不能获得极值，则舍弃该点。尺度搜索范围 限定为6 ；“1 ) - t 6 ，其中t = 0 7 ，1 4 。 ( 2 ) 对于l o g 算子能获得极值的彩色图像感兴趣点p 。，在该点的邻域内搜 索特征强度尺最大的感兴趣点p m ，若仇+ ，存在则舍弃p 。 ( 3 ) 重复步骤( 1 ) 到( 2 ) ，直到6 j “1 = 6 j 或p m p 。为止。 3 基于视觉权值的分块颜色直方图图像检索算法 本文以人眼视觉感知特性为基础，结合局部图像相关性，提出了一种基于 9 基于视觉感知的彩色图像检索方法研究 视觉权值的分块颜色直方图图像检索新方法。该方法首先对图像进行分块处理， 并计算出图像子块的颜色直方图；然后结合反映局部区域变化的像素点颜色复 杂度，计算出图像子块的视觉权值；最后利用视觉权值对子块颜色直方图进行 加权处理，并根据加权颜色直方图进行图像检索。 3 1 彩色图像的预处理 为了节省计算时间以及防止存储空间的迅速膨胀，我们可以对真彩色图像 进行预处理。本文将将尺、g 、口三个颜色分量合并成一维分量l ，用其作为 颜色特征进行特征提取。 l 一0 3 r + 0 5 9 g + 0 1 1 8 ( 1 6 ) 3 2 图像子块颜色直方图的提取 将一维特征颜色分量l 平均划分成m 刀个图像子块b ( f1 1 ，2 ，m x n ) ，同 时计算出每个图像子块的颜色直方图并作为该子块的颜色特征 ( f l 2 ，m ，1 ) = o )( 1 7 ) 其中，日o ) 表示第f 图像子块e 的归一化颜色直方图。 将所有图像子块的特征向量只合并在一起，即可得到原始图像的综合颜色 特征向量p p 一( b ，p 2 ，己。) ( 1 8 ) 3 3 图像子块视觉权值的提取 根据像素点的颜色复杂度及视觉权值计算方法( 参见第2 1 节) ，统计出图 像子块b k ( k l 2 , - - , m x n ) 内像素点的视觉权值和，并将其作为图像子块吼的 视觉权值睨 w k w ( i ，_ )( 1 9 ) ( i 7 暑巩 其中，哌表示图像子块b 的视觉权值，w ( i ，) 表示像素点( f 歹) 的视觉权值。 3 4 图像的相似性计算 本文将采用直方图相交距离计算示例图像q 与数据库图像，之间归一化特 征的相似程度。显然，当示例图像q 与数据库图像，的直方图相交距离s 一1 时， 两幅图像相似；当s ；0 时，两幅图像不相似。相似度的计算公式如下( 特征已 经过归一化) 。 1 0 基于视觉感知的彩色图像检索方法研究 s i m ( q ，) = w k s i m ( q x ，i 譬) ( 2 0 ) f = i 其中，暇为示例图像相应图像子块吼( k = 1 ，2 ，m 刀) 的视觉权值，s i z ( q k k ) 为示例图像q 与数据库图像，相应图像子块的直方图相交。 为了更好的计算相似度，我们将将示例图像q 与数据库图像，的总体相似度 定义为平均相似度s ( q ，) ，即 s ( q ，) ；盟粤攀塑( 2 1 ) 二 3 5 仿真实验与结论 以下给出了基于视觉权值的分块颜色直方图图像检索实验结果，并与传统 颜色直方图检索方法、文献 2 6 1 方法进行了对比。我们选用了s i m p l i c i t y 系统使 用的测试集作为图像库，该库有1 0 类图像，如表1 所示，共计1 0 0 0 幅图像。 表1 测试图像库包含的图像语义类 c l a s s 1234567891 0 n o s e m a n th o r sf l o wd i n ob u i l d e l e pp e o p b e a c s c e n b u sd i s h i cee rs a u r m g h a n tl eh e r y 同时，图像子块数目选取为m 刀一3 x 3 。另外，为了更加准确的评价本算 法的性能，本文还计算了查准率( p r e c i s i o n ) 和查全率( r e c a l l ) 。其中 查全率丝室型塑塑羞图堡塑旦，查准率丝室型箜塑苤图堡墼旦 一一。 所有相关图像数目 + 。 己检索出的图像数目 3 5 1 基于视觉权值的分块颜色直方图性能测试 图2 、图3 和图4 分别给出了传统颜色直方图、分块颜色直方图陋j 和本文颜色 直方图的工作性能对比。不难看出：( 1 ) 对于内容相似的图像来说，本文加权 分块颜色直方图能够更好地反映出图像内容的相似性，工作性能好于传统颜色 直方图、分块颜色直方图【2 6 1 ，参见图2 ；( 2 ) 对于内容不同的图像来说，本文加 权分块颜色直方图能够很好地刻画出图像内容的差异性，工作性能好于传统颜 色直方图、分块颜色直方图【2 6 1 ，参见图3 和图4 。 基丁视觉感知的彩色酎像检索方法研宄 墨囵糊幽 ( a 、目像i j j 一。一 ( b ) 目博2 ( c 】图像1 的传统颜乜直方幽 ( d ) 图像2 的传统颜色赢方目 ( e ) 图像1 的付块颜色直方圈( 女献2 6 )( d 幽像2 白勺分块颜色“方目( 女# 2 6 幢) 剀像l 的加枉丹珧颜色直方幽 、一 ，一+ ，7 、- 。一、f 一一 23455t891 0 目* 女 f a l 两种方镕白勺平均率对 1 5 * # g 基于视觉感知的彩色图像检索方法研究 i ” ”7 ” 一 。 、一， = = j 一7 l 。 一一一二、二。 i2356 瞰类别 ( b ) 两种方法的平均查全率对比 图6 两种方法的平均检索性能对比 4 基于感兴趣区的彩色图像检索算法 4 1 视觉重要的感兴趣区构造 所谓图像感兴趣区，是指以图像感兴趣点为标识，从彩色图像中分割出的 一部分子图像，由于这些子图像反映了彩色图像最重要的语义信息，故可以从 感兴趣区中提取视觉特征并用于图像检索，而且具有较好的鲁棒性。b a s 等【3 3 】 采用了d t ( d e l a u n a yt e s s e l l a t i o n ) 三角网格形式的感兴趣区( 即每个感兴趣区 由三个感兴趣点确定) ，该方法所确定的感兴趣区对剪切等攻击异常敏感( 特别 是纹理图像) 。t o n e 等【3 3 j 采用了圆盘( d i s k ) 形感兴趣区( 即每个感兴趣区仅由 一个感兴趣点确定) ，其抗攻击能力得到了很大改善，但该方法并未考虑图像自 身的局部特性，而是采纳了固定尺寸的感兴趣区，故严重影响了抗缩放能力。 由于特征尺度仅取决于图像局部特性，且其大小随图像局部特性改变而改 变，因而我们完全可以选取一部分特征强度较大的感兴趣点作为感兴趣区的圆 心，并将这些感兴趣点所对应的特征尺度倍数作为半径，从载体图像中自适应 地分割出圆形的感兴趣区( 即“圆片”) 而圆片半径大小定义为： 猊一7 r o u n d ( 6 )( 2 2 ) 这里，观表示感兴趣区半径；6 表示当前图像感兴趣点的特征尺度；，d “，z d ) 表 示对6 四舍五入；f 为自适应常数( 正整数) ，用于调节倪的大小( 即感兴趣区 尺寸) 矾的上界为载体图像尺寸的一半( 假设当前感兴趣点位于图像的中心， 该上界仅仅是理论上的，一般取不到) ，其下界为r o u n d ( 6 ) ( 当z 一1 时) 。因此， 1 6 i 9 8 t 6 5 t 3 2 l 0 o 0 o 0 0 0 0 o o * 州俐四n 中 基于视觉感知的彩色削像检索方法研究 m 的理论取值范围是： r o “删拈1 ；筑；m i n ( m , n )f 2 3 ) 2 其中，m 和_ v 分别表示原始载体图像的长和宽。 显然本文所给出的基于特征尺度的感兴趣区确定方法，能够比较好地提 取出图像的特征区域。另外，为了保持感兴趣区的独立性，必须使得所有感兴 趣区不能重叠。为此，我们选择含有感兴趣点数目较多的圆片作为感兴趣区， 因为这样区域属于纹理区，不仅包含有更多的局部图像语义信息，而且具有更 好的鲁棒性。图7 给出了彩色图像b u s 和h o r s e 的感兴趣区提取结果。不难看出， 本文算法可以有效提取出彩色图像的感兴趣区。 f a l 彩色目像b m 耋蒋 叠谴“篙 m ) 彩色捌像h o t s c s 忙) 彩色目像b u s 的感* 趣e( d ) 彩色目像h “s 的瞄* 趣e 目，彩色酎像b u s 、h 蹲* 趣e 42 感兴趣区的颜色直方图构造 在彩色图像的几个特征之中，颜色是最重要的特征，也是人类视觉的重要特 性之- o 利用图像做特征有许多优点，特别是其对于图像具有旋转不变性，所 以许多检索系统都采用颜色作为图像的基本特征。其巾，颜色直方图又以其计 算简单等优点被广泛使用。我们所说的颜色直方图，就是统计各种不同的颜色 基丁视觉感知的彩色图像检索方洼研究 在图像中所占的比例，其函数表达式如下： h ( 女) = 等耻= q l ，l d( 2 4 ) v 在公式( 2 4 ) 中，k 是特征取值，e 代表着提取的特征的可取值个数，n 。代表着图 像中具有特征值为k 的像素个数，v 足图像像素的总数。 很清楚，颜色直方图无法记录像素点的位置信息，对于图像中具体的物体 也无法给出比较精确的描述。| 璺| 8 给出了两幅内容完全不同图像的颜色直方图 ( 形状很相似) 注：已量化处理 f a l 彩色图像h o r w s fli一li一一 ( c ) 彩色图像h 一的颜色岜方图 ( d ) 彩色图像b u s 的颜色直方圈 目8 # 色图悼h o r s e s 、b u s 的颜色直方圈( 自容小蚓但直方图柙似) 为了有效解决上述传统颜色直方图无法描述颜色空间分布、抵抗噪声能力 较差( 参见图1 1 ) 等问题，以下给出一种新的图像内容刻画与表示方法感兴 趣区颜色直方图。感兴趣区颜色直方图的构造过程如下： ( 1 ) 颜色空间转换将彩色图像从r g b 空间转换到更加符合人眼视觉感知特 性的y c b c r 颜色空问。 ( 2 ) 彩色图像的感兴趣点提取利用多尺度h a r r i s 榆测算子从彩色图像巾提取 出感兴趣点( 见第22 1 竹) 基于视觉感知的彩色图像检索方法研究 ( 3 ) 彩色图像的感兴趣区构造以彩色图像感兴趣点为中心，利用基于特征 尺度的感兴趣区构造方法( 见第2 2 2 节) 对彩色图像进行分割，以得到一系列 局部感兴趣区。 ( 4 ) 感兴趣区的颜色量化处理我们在进行实际的检索过程中时，很少利用 真彩色直接进行检索，因为其计算时间较长并且存储空间巨大。为了解决这个 问题，通过进一步的研究，我们发现大部分的颜色值主要集中在若干主要色彩 种，所以我们可以将颜色进行有效的量化而又不影响系统的检索效果。本文将 结合m p e g 一7 的视觉内容描述标准，将真彩色颜色值量化成2 5 种颜色【3 5 】，以 便于检索系统对图像进行检索 ( 5 ) 感兴趣区颜色直方图构造本文所构造的感兴趣区颜色直方图，不仅充 分考虑了颜色空间分布，而