（计算机应用技术专业论文）新闻图片库中基于综合特征的图象检索技术应用研究.pdf

摘要 在使用新闻图片库的过程中，经常遇到图片入库前查重和查找一组相似图片等涉及图 片相似性判断的操作。图片相似性判断需要结合人对图片的视觉感知信息，如图片的色彩、 构图等等。然而，这些视觉感知特征难以用文字描述。而且，文字描述受主观因素影响很 大，加工者和查询者的不同描述造成了检索矛盾。针对文字关键词检索方式造成相似图片 检索效率低、效果差的问题，我们开发了一个基于图象综合特征的检索系统，实现了在新 闻图片库中客观地进行相似图片检索。目前，较成熟的基于内容的图象检索技术主要集中 在图象的颜色、纹理等低层特征上，并已获得了颜色直方图、对比度、粗糙度、方向性等 许多高效的特征描述符。本系统结合新闻照片的构图特点将图片分割成权重不同的四个区 域，综合使用h i s 颜色模型下的颜色直方图以及m p e g - - 7 标准推荐的颜色布局描述符 ( c l d ) 和边缘直方图描述符( e h d ) ，分别对图象进行相应的特征提取和归一化处理。 同时提出了采用相关反馈方法，根据用户对检索结果的相关性评价，客观地获取照片新闻 主体的文字描述，使检索结果更接近用户目标。通过在含有1 0 0 0 幅照片的图象库上测试 表明。本系统具有较好的检索效果。 关键词：新闻图片库、图象检索、综合特征、相关反馈 a b s t r a c t s e a r c h i n g ag r o u po fs i m i l a r p h o t o s f r o mt h ed a t a b a s e o rc h e c k i n g p h o t o s r e p e a t e d b e f o r e p u t l i n g i n t ot h ed a t a b a s ea r ec o m m o n l yu s e di nt h en e w sp h o t o d a t a b a s es y s t e m t h ei u d g m e n to ft h ep h o t o ss i m i l a r i t yh e a v i l yd e p e n d so nh u m a n s v i s u a lr e c o g n i t i o n so np h o t o sf e a t u r es u c ha sc o l o ra n d s t r u c t u r e h o w e v e r , t h e s ev i s u a i r e c o g n i t i o n sa r eh a r dt ob el i t e r a r i l yd e s c r i b e d m o r e o v er ，i i t e r a t u r ed e s c r i p t i o no fp h o t o s i s w i d e l yd i f f e r e n t ；n d i v i d u a l l y w h i c h l i k e l y c a u s e s b i gd i s a g r e e m e n tb yd i f f e r e n t i n d i v i d u a l s d e s c n p t i o n t h e r e f o r e 。ai m a g es e a r c h i n gs y s t e mb a s e do nt h ei m a g e s v a r i o u sf e a t u r e si sd e v e l o p e dt oe l i m i n a t et h ep r o b l e m so fi o w e f f i c i e n c ya n du n s a t i s f i e d r e s u l tc a u s e d b yk e y w o r d s b a s e da p p r o a c h e s 。l t b r i n g st h e f u n c t i o no fs e a r c h i n g o b j e c t i v e l yw 附、r e i a t e dp h o t o s i i o d a y ，t h em a t u r ec b l rt e c h n o l o g ym a i n l yb a s e so n u n d e r l y i n gf e a t u r es u c ha sc o l o r ，t e x t u r e ，a n dm a n ye f f e c t i v ef e a t u r ed e s c r i p t o r sh a v e b e e ng o t t e n ，s u c ha sc o l o rh i s t o g r a m ，c o n t r a s t ，c o a m e n e s s 。d i r e c t i o n a l i t y t h ec o l o r h i s t o g r a mo fh i sm o d e la n dc l d e h di nm p e g - 7s t a n d a r da r ea p p l i e dt of o u ra r e a s w i t hd i f f e r e n tw e i g h tt od e s c r i b et h ec o n t e n to ft h ei m a g e s a c c o r d i n gt ou s e r sr e l e v a n t v a l u a t i o nt os e a r c h i n gr e s u l t w es u g g e s tu s i n gr e l e v a n c ef e e d b a c kt 0g e tk e y w o r d so f n e w so b j e c to b j e c t i v e l ya n dm a k et h e s e a r c h i n gr e s u l tc l o s et ou s e r sn e e d t h es y s t e m s h o w s v e r yg o o dr e s u l tb a s e do nt h et e s tf r o map h o t od a t a b a s ew i t h10 0 0n e w sp h o t o s k e y w o r d s ：n e w sp h o t o d a t a b a s e ，i m a g er e t r i e v a l ，v a r i o u sf e a t u r e r e l e v a n c ef e e d b a c k 郑重声明 本人的学位论文是在导师指导下独立撰写并完成的，学位论文没有剽窃、 抄袭、造假等违反学术道德、学术规范和侵权行为，本人愿意承担由此而产 生的法律后果和法律责任，特此郑重声明。 学位论文作者( 签名) ：跏 2 0 0 4 年5 月1 6 日 一引言 新闻照片作为新闻事件的真实记载，它所具有的具像性、独特性、多元性往往是任何 文字所无法替代的具有很高的保存价值。作为重要的历史资料，新闻照片一旦被毁坏就 很难再修复，因此，如何长期保存和充分利用新闻图片成为一个非常重要的课题。为此， 近几年来全国各家报业集团纷纷建立起自己的新闻图片数据库检索系统，主要是收集、熬 理、保存、标引在新闻采访过程中拍摄的各种新闻照片( 包括系统建立前的历史照片) ， 以及从其他新闻机构获取的有价值的新闻照片并提供后期的查询和再利用能力。 图1 新闻图片数据库检索系统示意图 l 现有系统使用的检索方法 目前，各报社新闻图片数据库的数据收集工作通常由专人( 注解员) 负责手l 对每 一幅照片进行相应的文字信息处理，完成各个关键字的文字标引工作。一般的，图片丈字 信息项包括摄影者、摄影时间、摄影地点、图片说明、图片分类等，同时为使图片按照档 案管理的要求得到规范管理，还要登记图片号、底片号、案卷号、页码等。如图2 所示。 图2 图片信息入库界面 瘁中图片的查询方式通常是采用文字关键字匹配检索。使用者可通过摄影者、摄影时 间、摄影地点、图片说明中的任意词等检索条件或这些条件的组合来检索所需的图片。如 图3 所示。 图3 图片检索界面 2文字检索方式造成的功能缺陷 随着数码相机的普及，需要处理和保存的新闻照片数量越来越多，图片系统需要更大 的存储空间，更高的检索效率和更加准确的检索结果，才能更好的满足图片处理人员和查 询使用者的实际需要。 现有图片查询系统所提供的根据文字关键词检索的方式在实际操作过程中，无法很好 的满足下面几个方面的使用需要： ( 1 ) 同一新闻主题的新闻照片如果出现相同或相似的情况，有可能只需要保存其中部分 照片，因此，每一张照片在入库之前都需要对库中已有照片进行检索，由注解员根据检索 结果对照片进行比对判断后作出是否“入库”的决定，即完成“查重”处理。这样既能避 免照片的冗余，达到节省存储空间的目的，又能保证新闻照片资料的完整性和可用性。 目前，图片资料系统中主要使用的检索方法还是基于文本方式的关键词、主体词精确 匹配或概率匹配。采用这种方式产生的检索结果集通常都比较大，照片数量多，人工进行 比对查重处理的效率低下，而且，选择关键词、主题词时人的主观因素比较大，这种不同 人的主观差异可能导致检索中的失配错误，从而产生“漏查”的现象。 ( 2 ) 图片在后期再利用过程中，通常需要在一组相似的图片中进行比较和挑选。由于对 新闻图片的文字描述信息并不能表达图片本身的构图、色彩等相关内容，因此通过文字关 键词检索方式是无法直接将一组相似的新闻图片检索出来并排列到一起，使用者要分析、 比较、挑选这些相似新闻图片十分不便，效率普遍比较低。 ( 3 ) 使用者如果对一张新闻照片的情况不是很了解，要在新闻图片数据库中快速查找， 以获取与之相关的摄影者、摄影时问等各种相关文字信息。但是使用文字关键词的检索方 式进行查询，更多的时候是依靠自己的理解和猜测输入各种关键词内容，而且要从较大范 围的图片结果集中进行人工搜寻，效率低下甚至无法找到。 基于图象内容的检索技术已经成为当前的研究“热点”，不少研究成果在众多领域得 到应用并产生一定的效果。本文对基于综合特征的图象检索技术在新闻图片库中的应用方 法和效果进行研究，期望能较好的解决新闻图片库中现有检索方法在使用过程中暴露的上 述缺陷。 二基于内容的图像检索技术的发展状况 l 基于内容图象检索技术的提嫩 基于内容的图像数据检索是由于图像信息的飞速膨胀而得到关注并被提出来的。 随着科学技术的进步发展和推广应用，已经能够运用各种手段大量地采集和产生备种 类型的多媒体信息数据。尤其是近年来，随着需求的增长，工艺技术的进步，以各种方式 获取的图像信息的数量得到了飞速增加。例如美国加州旧金山医院多年前已将医学x 光图 3 片数字化。每幅图是2 0 0 0 x 2 0 0 0 象素，每个象素的灰度需1 6 b i t ，所以每幅图需要8 m b 来 存储。考虑每天需做约1 0 0 0 片，而一般x 光图片需保存7 年，这样一来每年这类图像数 据的数量都将在1 0 ”b 的量级。 从信息加工的角度来说，为解决上述信息膨胀问题不仅要具有大量存储和快速传输 图像信息的技术，还要具有能对图像信息进行自动查询和选择的技术，这样才能使人类只 接受或快速地获取需要的信息而不至于淹没在图像的汪洋大海之中。通过建立各种图像数 据库，借助计算机对图像信息进行有效的管理，并为了进一步的利用进行识别和理解，晟 终实现臼动的查询检索是对付信息膨胀的有效办法。 但是图像信息捡索是复杂的，因为与图像相联系的信息类别非常多： ( 1 ) 与图像内容不宣接相关但有某种联系的数据( 也常称为内容无关的元数据) ，如格 式、作者名、日期、所有权等。 ( 2 ) 与图像内容相关的视觉信息的数据，分两层： 底层特征的数据，如颜色、纹理、形状、空间联系等，以及它们的组合( 也常称为 与内容相关的元数据) 。一般来说，这种数据与感觉因素有关。 商层内容语义的数据，这种数据也常称为内容描述元数据。它关心图像实体和客观 世界实体的关系，或者与视觉符号和场景相联系的时间事件、感受和意图的联系。 传统的图像信息检索系统常常是使用文字标识符，也就是根据上述的与图像内容不直 接相关的格式、作者名等联系数据进行检索。为实现检索，先给图像加上一个对其描述的 文字标引，然后在索引时对标引进行检索，这样一来对图像的检索就变成了基于标签的查 询了。这种方法虽然简单，但有几个根本的问题影响对图像信息的有效使用。 ( 1 ) 图象内容丰富很难用文字完全表达，尽管诸如图片的日期、关键字等都可以提供有 用的索引线索，但是都不能完全抓取图像的视觉信息。事实上，图象内容带给人的信息是 多方面的，所以没有人是仅借助标引来回忆场景的，用户需要能访问图象的内容，如颜色、 纹理、目标形状、分布位置等； ( 2 ) 文字描述是一种特定的抽象，如果描述的标准改变，则标引也得重新制作才能适应 新查询得要求： ( 3 ) 文字标引目前绝大部分是靠观察者选出来加工上去的，因此受主观因素影响很大， 不同的观察者或同一观察者在不同条件下对同一幅图象可能给出不同的描述，因此不够客 观，从而造成检索矛盾。 上述问题就造成了传统方法在很多情况下不能满足实际应用的需要。为了解决这些问 题，需要全面地、般性地、客观地来提取图像内容，并根据这些内容进行检索，才能有 效的获取需要的图像信息。因此，基于内容的图像检索( c o n t e n t - - b a s e di m a g er e t r ie v a l ， c b i r ) 也就成为了图像检索技术中的新热点。 2 典型的图象检索系统 最常用的基于内容检索是借助一些视觉特征柬进行的。这里特征可以是图像的匦面特 征，也可以是图像的主题对象特征，具体来说可以是场景或物体的颜色、表面纹理、特定 日标的几何形状、几个物体在空间的相互位置关系等。对图像内容的提取可在建立图像数 据库时进行。在图像归档时，对输入先进行分析，提取图像或目标的特征向量。在将输入 图象存入数据库的同时将其相应的特征向量也存入与图象数据库相连的特征库中。在图像 查询时，对给定的查询图，也先进行分析并提取其特征向量。通过将该特征向量与特征库 中的特征向量进行匹配并根据匹配结果到图象库中搜索就可提取出所需要的图象来。用户 进一步可浏览输出的查询结果，选择所需的图象，或根据结果提出意见修改查询。图4 给 出了一个基于特征对图象进行归档和查询的原理框图。 喇簟归蕊 图4 图象归档和检索流程图 鉴于基于内容的图象检索的重要性、有效性和优越性，国际上已投入了大量人力物力 对此进行研究，许多研究者己研制开发了许多试验系统，并已在一些领域试用。如i b m 公 司研制开发的基于图象内容查询的q b i c ( q u e r yb yi m a g ec o n t e n t ) 通用系统、美国哥伦 比亚大学的全自动图象查询系统v is u ms e e k 、美国国家图书馆的基于w e b 的医学信息提 取系统w e bm i r s 等已投入运用，而国内一些单位也积极研究了一些如指纹识别、人脸识 别等基于内容的查询检索系统，并在公安( 如刑侦) 、保安( 如个人身份验证、指纹锁) 等多个领域得到了应用“】。 其中，q b i c 是一个著名的图象检索系统，已在一些场合试用。例如旧金山的艺术博 物馆中采用了q b i c 以帮助查询艺术图片，加州大学d a v i s 分校的艺术和艺术历史系利用 q b i c 让学生和公众了解教师的信息。q b i c 允许用户给出希望查询的图象或目标的形状、 颜色或纹理等特征，然后系统以此为例可以从大型在线图象数据库中搜索、测览和提取出 库中满足条件的图象。在q b i c 中，建立数据库有三个步骤：采集图象，制作缩微图，加 入文字信息。用户可有选择地用手工或半自动方法指定图象中的目标或区域。当采用手工 方法时主要是勾画边界，而使用半自动方法则可仅勾画一个范围，系统在这个范围内确定 边界。图象库建立后要计算特征，特征可以是彩色特征、纹理特征、形状特征、草图特征 等”1 。q b i c 中的彩色特征主要有彩色直方图和平均值等：纹理特征主要有粗燥度、对比度 5 和方向性等：形状特征主要有目标的面积、各阶矩、圆形性、离心率和主轴方向等；草图 特征也可称为边缘图特征，如边界各点的切线方向等。查询时可对整幅图片进行，也可对 图片中目标进行。在用彩色特征查询时q b i c 允许用户指定各种颜色的百分比。在用纹理 特征查询时q b i c 允许用户从给定纹理库中选取有代表性的纹理图案。在用形状特征套询 时q b i c 允许用户指定一个已有目标，也允许用户勾画草图来表示形状。而对草图特征， q b i c 允许用户只画出主要边缘的位置和走向。用户既可以使用以上任一个特征，也可利用 它们的组合。 三基于图象特征的检索技术 根据上述基于内容的图象查询检索系统的工作原理和流程，可以知道基于特征的图象 检索有三个关键： ( 1 ) 要选取恰当的图象特征； ( 2 ) 要采用有效的特征提取方法； ( 3 ) 要有准确的特征匹配算法。 l 与图像内容相关特征的提取层次 图象特征是图象视觉效果的量化表示，好的特征能较好的表达人对图象的视觉感受。 特征比较则是计算两幅图象间的相似程度，好的比较算法能更好地模拟人对于两幅不同图 象感受的差异程度。图象特征可以分为以下三个层次m ：层次一，原始特征，如颜色、纹 理、形状：层次二，逻辑特征，如各种图象中的目标对象；层次三，抽象特征，如发生在 同一场景的图象。一般地，层次一又称为低层特征，层次二和层次三又称为高层特征或语 义特征。 目前基于内容查询的技术主要集中在图象低层特征上，其特征提取方法和匹配技术已 经比较丰富和成熟。对图象语义特征的提取也在研究，但在目前还没有一种完整的基于语 义的图象内容描述方案来支持实际的检索过程，而且，图象数据库在语义特征层次上的检 索通常会有先验知识的约束，也就是需要相关领域知识库的支持”1 。 2颜色特征 颜色是图象的一种重要视觉性质，最早在基于内容的图象检索中得到应用。颜色特征 定义比较明确，抽取也相对容易，所以在图象检索中得到广泛的重视和研究，已经提出了 很多算法m 。 要利用颜色特征检索图象，需要确定以下两点： ( 1 ) 能表达图象彩色信息的特征； ( 2 ) 用以计算两个图象特征问相似度的相似测度 2 1 统计直方图 对颜色特征的表达方法有许多种，如简单直方图法、累积直方图法、局部累积直方图 法、颜色布局法等。因为彩色图象的数据量很大，所以各种方法共同的一点都是要用较有 效和紧凑的方式来表达彩色信息。其中，最基本的表达方法是简单直方图法，其它方法都 是对此方法的改进。 简单直方图法是借助图象色彩灰度的统计直方图( 般简称直方图) 来描述图象的颜 色特征。统计直方图实际上是一个1 一d 的离散函数，即有 h 取) 一号t - 呱。一l 上式中k 代表图象的色彩灰度取值，l 是色彩灰度可取值的个数，n k 是图象中具有色彩灰 度值为k 的象素的个数，n 是图象象素的总数。个示例如图5 ，其中有8 个直方条( b i n ) ， 对应图象中8 种灰度象素数在总象素数中的比例。 o 3 0 2 01 0 图5 直方图示例 对彩色图象，可对三个分量( 如r g b 颜色模型的r 、g 、b 分量) 分别做直方图。 2 2 简单宜方图匹配方法 ( 1 ) 直方图相交法 令h 。( k ) 和h 。( k ) 分别为查询图象q 和数据库图象d 的特征统计直方图，则两图象 之间的匹配值p ( q ，d ) 可借助直方图相交来计算”，即 ( 2 ) 直方图匹配法 窿方图问的距离可使用一般的欧氏距离函数m ；( q ，d ) 来衡量： 其中 m e ( q ，d ) - j 毫慨o ) 一胁o ) 】2 ， 也可以使用加权距离函数m l ( q ，d ) 来衡量 肘w ( q ，d ) 一 i。z1。n1。i,v。h。q。(。i)。-。h。d。(。i。)。 f 心( i ) 当心( i ) ，h d ( i ) 0 。 i 1当h 。( i ) 或 1 q ( i ) = o ( 3 ) 距离法 为了减少计算量，可借助直方图的均值来粗略地表达颜色信息。如图象用r 、g 、b 这 三个分量表示时，用于匹配的特征向量是由r 、g 、b 这三个分量的均值组成的，即有： ，一凶肛p 】r 此时查询图象q 和数据库图象d 之间的匹配值为 p ( q ，d ) 。托两亍压石网 ( 4 ) 中心矩法 对直方图来说，均值是其零阶矩，更高阶的矩也可用于匹配。对一幅灰度级数为l 的 图象，其直方图为h ( i ) ，则该图象的前三阶中心矩分别为： m 。三专日“) l 角“ 叫珈m m t f 瞄州】 对彩色图象，设用m ，。，m 。，m ，。分别表示查询图象q 的三个分量r 、g 、b 的卣方 图的i ( i s e l e c t p i c t u r e ( h d c & h d c o l d ，( o l e _ h a n d l e * ) & h o i d b i t m a p ) 2 t p p i c t u r e 一 g e t h a n d l e ( ( o l e h a n d l e * ) & h b it m a p ) ： ( 6 ) 调用c r e a t e b i t m a p l n f o s t r u c t 函数构造b m p 文件信息头 p b i t m a p i n f op b i = c r e a t e b i t m a p i n f o s t r u c t ( h b i t m a p ) ： ( 7 ) 在硬盘上创建b m p 文件 c r e a t e b m p f i l e ( 1 p s z b m p f i l e ，p b i ，h b i t m a p ，h d c ) ： ( 8 ) 删除内存中冗余信息 p p i c t u r e 一 s e l e c t p i c t u r e ( h d c o l d ，n u l l ，n u l l ) ： ：s e l e c t o b j e c t ( h d e h o l d b i t m a p ) ： ：d e l e t e d c ( h d e ) ： 2 1 2 色彩位数转换 我们以2 4 位真彩色图像转为8 位图像为例。 由于真彩色转8 位图像的算法已经有人进行优化，我们通过调用动态链接库借用了这 个优化算法咖1 。以下是算法的详细介绍 ( 1 ) 加载位图文件 b i t m a p f i l e h e a d e rb f ： b i t m a p i n f o * b i n f o i n 。 b i n f o o u t ： ( m o j 建两个信息头，打开2 4 位位图文件并将其读入内存 c f i l ef i l e ： i f ( ! f i l e o p e n ( s t r ，c f i l e ：m o d e r e a d ，n u l l ) ) r e t u r n ： b i n f o i n = ( b i t 姒p i n f o 幻m a l l o c ( s i z e o f ( b i t m a p i n f o h e a d e r ) + 2 5 6 * s i z e o f ( r g b q u a d ) + 1 0 ) ： b i n f o o u t = ( b i t m a p i n f o ) m a l l o c ( s i z e o f ( b i t m a p i n f o h e a d e r ) + 2 5 6 * s i z e o f ( r g b q u a d ) + l o ) ： f i l e r e a d ( & b f ，s i z e o f ( b i t m a p f i l e l i e a d e r ) ) ： f i l e r e a d ( b i n f o i n ，s i z e o f ( b i t m a p i n f o h e a d e r ) ) ： ( 3 ) 得到真彩色位图的格式 i n tn l i n e = ( ( b i n f o i n 一 b m i h e a d e r b i w i d t h b i n f o i n 一 b m i h e a d e r b i b i t c o u n t + 3 1 ) 8 ) 4 * 4 ： i n t n s i z e = n l i n e * ( b i n f o i n 一 b m i h e a d e r b i h e i g h t ) ： i n t n l i n e 8 = ( ( b i n f o i n 一 b m i h e a d e r b i w i d t h * 8 + 3 1 ) 8 ) 4 * 4 i n tn s iz e 8 = n l i n e 8 * ( b i n f o i n 一 b m i h e a d e r b i h e i g h t ) ： u n s i g n e dc h a r * p d a t a ，* p d a t a 8 ： ( 4 ) 为源数据开辟缓冲区 2 2 p d a t a = ( u n s i g n e dc h a r ) m m l o c ( n s i z e + n l j t i e + 1 0 ) ： ( 5 ) 为目标数据开辟缓冲区 p d a t a 8 = ( u n s i g n e dc h a r ) m a l l o c ( n s i z e 8 + l o ) ： f i l e r e a d ( p d a t a ，n s i z e ) ： f i l e c l o s e ( ) ： ( 6 ) 调用动态链接库函数，找到需要的函数 h i n s t a n c eh i n s t l i b ： m y p r o cp r o c a d d ： h i n s t l i b = l o a d l i b r a r y ( d e m c o l o r d l l ”) ： if ( h i n s t l i bi - n u l l ) f p r o c a d d = ( m y p r o c ) g e t p r o c a d d r e s s ( h i n s t l i b ，r g b 2 2 5 6 h i q u a li t y ) ： if ( p r o c a d d ! = n u l l ) ( 7 ) 如果找到该函数则调用此函数进行格式转化 【 p r o c h d d ( b i n f o i n p d a t a ，b i n f o o u t p d a t a 8 ) ： f r e e l i b r a r y ( h i n s t l i b ) ： ( 8 ) 将得到的数据写入文件 i f ( f i l e o p e n ( t e m p b m p ，c f i l e ：m o d e c r e a t e i c f i l e ：m o d e w r i t e n u l l ) ) b f b f o f f b i t s = b f b f o f f b i t s + 1 0 2 4 ： b f b f s i z e = b f b f o f f b i t s + n s i z e 8 ： f i l e w r i t e ( b f ，s i z e o f ( b i t 撇p f i l e h e a d e r ) ) ： f il e w r i t e ( b i n f o o u t ，s i z e o f ( b i t m a p i n f o h e a d e r ) + s i z e o f ( r g b q u a d ) * 2 5 6 ) f i l e w r i t e ( p d a t a 8 ，n s i z e 8 ) ： f i l e c l o s e ( ) ： f r e e ( b i n f o i n ) ： f r e e ( b i n f o o u t ) ： f r e e ( p d a t a ) ： f r e e ( p d a t a 8 ) ： h b i t l i a p h b i t m a p = ( h b i t m a p ) l o a d l m a g e ( n u l l ，”t e m p b m p i m a g e _ b i t m a p ，0 ，0 l r _ l o a d f r 嘣f i l e l r _ c r e a t e d i b s e c t i o n ) ： 2 3 ( 9 ) 删除内存冗余数据 i f ( h b i t m a d ：= n u l l ) r e t u r n ： b it m a p d e l e t e o b j e c t0 ： b it m a p a t t a c h ( h b it m a p ) ： b i t m a p g e t o b j e c t ( s i z e o f ( b i t m a p ) ，& b m ) b s h o w = t r u e ： 【n v a l i d a t e 0 ： 2 2 颜色全局直方图 数码相机拍摄照片都是采用r g b 颜色模型，然而面向硬设备的颜色模型与人的视觉感 知有一定距离，例如给定一个颜色，人很难判定其中的r 、g 、b 分量，这时使用面向视觉 感知的颜色模型比较方便。本系统使用面向彩色处理时最常用的h i s 模型。 ( 1 ) h i s 模型 h i s 模型中h 表示色调，s 表示饱和度，i 表示密度( 对应亮度或灰度) 。人区分颜色 就常用3 种基本特性量：亮度、色调和饱和度。亮度与物体的反射率成正比，如果无彩色 就只有亮度1 个维量的变化。对彩色来说，颜色中掺入白色越多就越明亮，掺入黑色越多 亮度就越小。色调是与混合光谱中主要光波长相联系的。饱和度与一定色调的纯度有关， 纯光谱色是完全饱和的，随着白光的加入饱和度逐步减少。色调和饱和度合起来称为色度。 所以颜色可用亮度和色度共同表示。 h i s 模型有两个重要的特点。首先亮度分量与色度分量是分开的，1 分量与图象的彩 色信息无关。其次是h 和s 分量与人感受彩色的方式密切相连。这些特点使得h i s 模型非 常适合基于人的视觉系统对彩色感知特性进行处理分析”。在h i s 模型中，h 分量对彩色 描述的能力相对来说最与人的视觉接近，区分力也比较强。在许多应用中当将彩色图象由 r g b 空间转换到h i s 空间进行检索时，可仅利用h 分量而将检索缩d , nl d 空间，从而简 化运算，加快计算速度。1 。 ( 2 ) r g b 模型转换到h i s 模型 对任何3 个归一化 0 ，1 范围内的r 、g 、b 值，其对应的h i s 模型中的h 、s 、1 分爨 可由下面的公式计算： h = a r c c o 。一：坚三堡! ! 丝：皇! r ，g 或r ，b ( 1 ) 2 4 ( r g ) 2 + ( r b x g b ) h 叫。堡三呈! 圭丝三皇!肛g 2 4 ( r g ) 2 + ( r b x g b ) s = l 一南gb m i n ( 啪，鳓 慷+ + j 、 i = ( r + g + b ) 3 对s 的计算也可用式 s = m a x ( r ，g b ) - - m i n ( r g ，b ) h o 虹 自 ，一i 二 o h 一2 坩 刭 鼍l h 。1 2 0 i ， 黑，= 0 图l lh i s 模型的坐标系统 注意由式( 1 ) 算出的h 在 0 0 ，3 6 0 。 之间，为使h 在 0 1 之间，再令h = h 3 6 0 。 进行转换。另外当s = 0 时，对应无色，这时h 没有意义，可定义h 为0 。另外当i o 或 i = i 时，讨论s 也没有意义。 在式( 1 ) 中，对h 的计算既要用的三角函数又要用到求平方根，为减少计算量可用 下列公式： 如果b = m i n ( r ，g ，b ) ，则 h 。z 尘生i = ； r + g 一2 b 如果r = r a i n ( r ，g ，b ) ，则 h 。星二墨。三 r + g 一2 b3 如果g = m i n ( r ，g ，b ) ，则 h 。墨二g 三 r + g 一2 口 3 ( 3 ) 获取h 分量的统计直方图 为了保证不同尺寸的图象之间具有可比性壹方图中每个直方条( b in ) 表示的是不 同h 值的象素在图象总象素数中的比例。 图1 2 例图 图1 3 h 分量直方图( 6 4 维粗略图) ( 4 ) 相似度计算 采用欧式距离函数e ( q ，d ) 来衡量： e 值越小，相似度越高。 2 3 c l d 描述符 c l d 描述了图象局部颜色的特征，和图象全局颜色特征构成互补关系。 2 3 1 提取流程 图1 4c l d 描述符提取流程 如图1 4 所示，c l d 描述符的提取步骤为： ( 1 ) 将图象按照前面叙述方法进行区域分割； ( 2 ) 将图象从r g b 空间映射到y c r c b 空间映射公式为： y = o 2 9 9 r + 0 5 8 7 g + o 1 1 4 b c b = 一0 1 6 9 r 一0 3 3 l g + 0 5 0 0 b c r = 0 5 0 0 xr 一0 4 1 9 x g 一0 0 8 1 b ( 3 ) 将予区域图象分为6 4 块( 每块尺寸为( w 8 ) ( h 8 ) ，其中w 为子区域的宽度， h 为子区域的高度) ，计算每一块中所有象素各颜色分量的平均值，并以此作为该块的代表 颜色( 主颜色) ，这样子区域就形成三个颜色分量各自的8 8 矩阵，矩阵中每个分量代表 一个颜色值。 ( 4 ) 对8 x 8 的矩阵进行o c t 变换，得到o c t 系数矩阵。 离散余弦变换( o c t ) 是一种可分离的变换，是国际静止图象压缩标准j p e g 的基础“。 其基本思路是用可逆的线性变换将图象映射成l 组变换系数，然后将这些系数量化和编码。 在这个过程中，可将图象中的大部分信息集中到少数系数上，这样将其它系数较粗地量化 或完成忽略掉只会产生很少的失真。因此，一般在检索中可以利用部分o c t 系数作为特征 向量。 ( 5 ) 对d c t 系数矩阵进行之字形( z i g z a g ) 扫描并进行非均匀量化，就得到o c t 系数。 ( 6 ) 对y 、c r 、c b 三个分量分别从o c t 系数中取出4 个低频分量，共同构成该子区域的 具有1 2 个参数的颜色布局描述符c l d ( 如果还要更高的精度，可以使用1 8 个参数) 。 ( 7 ) 对新闻图片的l 号至4 号区域按照( 2 ) ( 6 ) 的步骤。分别进行c l d 系数提取，构成一 个4 8 维的全图颜色布局描述符。如表2 所示。 区 yc rc b 域l234l234i23l l0 9 6 3 90 8 5 7 70 8 0 7 30 8 0 4 30 9 1 0 80 6 6 3 9 03 1 8 8 0 6 0 4 909 0 1 70 6 6 3 30 3 2 0 10 5 9 8 i 20 8 8 6 60 8 4 5 l0 7 9 9 40 7 4 9 90 9 1 0 50 6 6 3 403 1 9 50 6 0 4 l09 0 2 30 6 6 4 00 3 1 9 205 9 9 0 30 8 8 1 01 0 6 2 60 9 9 2 50 9 4 5 60 9 0 4 90 6 6 3 l03 1 4 10 6 0 0 00 ，9 0 7 60 6 6 4 l0 3 1 9 j06 0 2 9 40 8 9 9 70 8 8 2 2o 8 4 0 30 7 7 8 909 1 5 80 6 6 3 l 03 0 7 8 06 0 7 4 08 9 5 8 0 6 6 3 80 3 3 1 80 5 9 4 8 表2 全图c l d 系数( 低频) 2 3 2 相似度计算 国际标准m p e g 一7 中建议的颜色布局描述符在匹配时使用欧式距离公式1 ： 也咖厣而+ 厣雨j 可+ 厣丽j 可 其中，各w 为权重，y i ，c ri ，c b i 分别为各分量的第i 个c l d 系数。 结合本系统的图象区域分割，实际运用的相似度计算公式，即欧式距离公式为 e ( o ，d ) - w p ，( q ，d ) + - 矿：p ：( q ，d ) + w , p 3 ( q ，d ) + w p 。( q ，d ) 其中，w 。w ：，w 3 ，眠分别为1 4 号区域的权值，且。+ w ：+ 帆+ w = 1 ：p 。( q ，d ) ，r ( q d ) ，p a ( q ，d ) ，p 。( q ，d ) 分别为l 4 号区域的相似度计算值。 3 纹理特征的提取 边缘直方图描述符表达了5 种类型的边缘子图象，这5 种边缘子图象分别对应0 。，4 5 。，9 0 。，1 3 5 。边缘和无方向边缘，因此也可称为边缘类型直方图。 3 1 转换灰度图 在进行纹理特征提取前，通常将图象转换为灰度图。本系统是将前面产生的8 b i t 的 b m p 图象转换为灰度图使用。 每个象紊的灰度值可以根据r g b 颜色分量按下列公式计算得到： g r a y = 0 2 9 9 r + 0 5 8 7 x g + 0 1 1 4 x b 3 2 生成边缘囊方图 ( 1 ) 将图象按前述方法进行区域分割，为了减少向量的维数，将1 ，2 ，3 号区域合并进 行边缘提取。 ( 2 ) 将子区域划分为4 4 共1 6 个子图象，每个子图象又分解成一系列图象块，每个图 象块包含4 个子块，参见图1 5 。 海 ：| ， 滞 一 一斗“， 一 i 。1 ：一 ! 】j 、 、 阿象 子嘲象子阿象 削象块 4 个子块 图1 5 图象的分解 ( 3 ) 对每个子图象分别用图1 6 表示的m p e g 一7 建议的5 种边缘检测算子( 依次分别检 测0 。，4 5 。，9 0 。，1 3 5 。边缘和无方向边缘) 检测是否有5 种对应边缘类型。 田圈口圈圈 d ) l 图1 6 5 种边缘检测算予 检测算法是：将予图象分割成固定数量的小块，在每个小块上进行2x2 宏块的方向 检测。给定2 x 2 的宏块b 和阈值t ，分别使用5 种算子，对宏块的相应位置进行乘加运算， 得到5 个方向上的显著值0 0 ：，0 ，0 。，0 5 ，若满足 m a x ( 0 i ，0 ：，吼，0 ，0 5 ) t 则判定方向为i - - - - a r g ( m a x ( 0 。) ) ，i = 1 ，2 ，3 ，4 ，5 ( 4 ) 分别统计备子图象的边缘直方图，该直方图包括5 个直方条( b i n ) ；同样，为了归 一化i 到 o ，1 之间，每个直方条表示的也是该方向的数量在予图象的方向总数量的比例。 ( 5 ) 分别将2 个区域各自的1 6 个子图象的直方条综合起来，就得到2 个各自包括8 0 个 图1 7 例图 山删, i l 则扎1 1 1 i i b 心l i j 也【。沮。l | | l 帆l m i 。i 3 3 相似度计算 图1 8 边缘直方图 设两幅图象q 和d ，进行边缘直方图统计后分别得到长度为8 0 维的直方图数组 q m 8 0 ，q 8 0 t d - ” 8 0 ，d - 8 0 。图象分割成的2 个区域的权值分别为w 。w 。( w 。h - w - 1 ) ，则相似度计算公式为： 妇，d ) 。厣砾瓣+ 厣雨丽面 4 综合特征的相似性计算： 仅基于一种特征的方法只能表达图象的部分属性，由于对图象内容的描述比较片面， 缺少足够的区分信息，在图象有较大变换( 如尺寸或方向) 的场合常不髓取得理想的检索 效果，为此人们研究了综合利用颜色、纹理、形状和空间关系等特征，全面描述图象内容 的检索方法，称之为综合特征检索。 本系统对新闻照片提取了三种特征描述： ( 1 ) 颜色直方图：描述了图象的整体色彩的性质。 ( 2 ) 颜色布局描述符：实际上是结合了颜色特征的特点和空间关系的特点。 一3 0