（计算机应用技术专业论文）基于图像语义和内容的半自动标注系统.pdf

浙江大学硕士学位论文 摘要 摘要 近十多年来，随着数字技术的迅速发展，每天都有来自不管军用还是民用数 以亿计的新的图片产生。为了有效地利用这些信息，我们就不得不找到一种可以 有效浏览、搜索及索引这些图像的管理组织方式。一般的图像检索可以分为两类： 一类是基于语义的，一类是基于内容的。一个基于语义的图像检索，即用户可以 通过一些图像附加的诸如标题、关键字或者描述符的文本信息，利用文本匹配的 方法得到想要的图像。例如用户键入关键字“房子”，系统返回所有标注有“房 子”的图像。然而由于传统的标注方法一般是人为对图像进行文字标注，其效率 相当低。另一个是基于内容的图像检索，即用户可以通过一些图像内在的诸如颜 色、纹理或者形状等的特征信息，利用特征向量匹配的方法得到想要的图像。例 如用户给与系统一座房子的轮廓图，系统返回所有与该图特征向量较为近似的图 像。然而由于现有技术的局限，一个基于内容的搜索有时很难为用户找到他真正 想要的图像。 在本次的毕业论文中，我们将提出一种新的半自动图像标注框架。有这样的 一个用户场景：用户输入关键字查询想要找的图像，系统根据基于语义的方式返 回搜索结果。用户对当前显示的搜索结果根据自己的信息需求给出他们是否相关 的判断反馈给系统。系统对反馈得到的图像做基于内容的搜索，并将结果图像与 其对应的标注作相应的调整。这就是一个基于图像语义和内容的半自动标注系统 的简要流程。通过这样的一个搜索反馈的循环过程，数据库中图像标注的覆盖 率和准确率都将会逐步地得到提高。这样的一个算法，与基于语义的搜索相比， 效率更高，与基于内容的搜索相比，精度更高。此外，我们还将此算法实际地应 用到了本次毕业设计的作品i m a g ea n n o t a t i o n1 0 中，并得到一个较为满意的试 验结果。 关键字：图像标注，图像检索，相关反馈，基于内容的图像搜索，基于语义的图 像检索 浙江大学硕士学位论文a b s t r a c t a b s t r a c t r e c e n ty e a r sh a v e 剐o e nar a p i di n c r e a s eo ft h es i z eo fd i g i t mi m a g ec o h e c d o n s e v e r y d a y , b o t hm i l i t a r y a n dc i v i l i a n e q u i p m e n tg e n e r a t e sg i g a b y t e so fi m a g e s h o w e v e r , w ec a nn o ta c c e s st oo rm a k eu s eo ft h ei n f o r m a t i o nu n l e s si ti so r g a n i z e d s oa st oa l l o we f f i c i e n tb r o w s i n g ，s e a r c h i n ga n dr e t r i e v a l g e n e r a l l y , t h e r ea r et w o k i n d so fi m a g er e t r i e v a l ：s e m a n t i c - b a s e da n dc o n t e n t - b a s e d s e m a n t i c b a s e di m a g e r e t r i e v a lu s e st h ea d d i t i o n a li n f o r m a t i o no fa ni m a g es u c ha sr i f l e , k e y w o r d sa n ds o m e d e s c r i p t o r st or e p r e s e n ta n di n d e xt h ei m a g ea n du s e r sc a nu s es o m et e x t - b a s e d a p p r o a c ht os e a r c ht h ei m a g e st h e yw a n t f o ra ne x a m p l e ，au s e rf i r s tt y p o si na k e y w o r d1 嚏o u s e ，t h e ns y s t e mr e t u r n sa l lt h ei m a g e sa n n o t a t e d 谢t hr o u s e h o w e v e r , a sm o s ts e m a n t i c - b a s e di m a g er e t r i e v a ls y s t e m sr e q u i r em a n u a la n n o t a t i o no f i m a g e s ， o b v i o u s l yt h i sk i n do fs y s t e mi sn o te f f i c i e n t c o n t e n t - b a s e di m a g er e t r i e v a lu s e st h e i n t e r n a li n f o r m a t i o no fa ni m a g es u c ha sc o l o r , t e x t u r ea n ds h a p et or e p r e s e n ta n d i n d e xt h ei m a g ea n du s e r sc a n 峨f f 枷l n ef e a t u r ev e c t o rc o m p a r i s o nm e t h o d st os e a r c h t h ei m a g e st h e yw a n t f o ra ne x a m p l e ，au s e rf i r s tp r o v i d e sas k e t c ho fh o u s ea n d s y s t e mr e t r r n sa l lt h ei m a g e st h a th a v es i m i l a rf e a t u r ev e c t o r sw i t ht h i si m a g e h o w e v e r , a st h el i m i t a t i o no ft h er e c e n tc o n t e n t - b a s e dt e c h n o l o g y , t h i sk i n do fs y s t e m s t i l lc a nn o te a s i l yg i v eu s e r sa na c c u r a t er e s u l t i nt h i st h e s i s ，w ew i l lp r o p o s ean o v e ls e m i a u t o m a t i ci m a g ea n n o t a t i o n f r a m e w o r k h e r ei sau s e rs c e n a r i o ：au s e rf i r s tt y p e si nk e y w o r d so ft h ei m a g eh e w a n t s ，s y s t e mt h e nu s e st h es e m a n t i c - b a s ea p p r o a c ht ol t r r na nt h ei m a g e sm a t c h i n g t h i sk e y w o r d a c c o r d i n gt oh i sr e q u i r e m e n t s ，t h i su s e rg i v e ss o m ef e e d b a c kt ot h e s y s t e mt os h o ww h i c hi m a g e sh et h i n k sa r er e l e v a n tt ot h ei m a g eh ew a n t s t ot h e s e i m a g e s ，s y s t e md o e ss o m ec o n t e n t - b a s e dr e t r i e v a lt of m dm o r er e l e v a n ti m a g e s f o r e a c hr e l e v a n ti m a g e ，s y s t e mw i l lr e w e i g h ti t sc o r r e s p o n d i n ga n n o t a t i o ni n f o r m a t i o n t h i sd e s c r i b e sab r i e fp r o g r e s so fas e m i a u t o m a t i ci m a g ea n n o t a t i o ns y s t e m t h e c o v e r a g ea n dq u a l i t yo fi m a g ea n n o t a t i o ni ns u c has y s t e mi si m p r o v e dp r o g r e s s i v e l y n 浙江大学硕士学位论文 a b s t r a c t a st h ec y c l eo fs e a r c ha n df e e d b a c ki n c r e a s e d t h es t r a t e g yo fs e m i - a u t o m a t i ci m a g e a n n o t a t i o ni sb e t t e rt h a ns e m a n t i c - b a s e di m a g er e t r i e v a li nt e r m so fe f f i c i e n c ya n d b e t t e rt h a nc o n t e n t - b a s e di m a g er e t r i e v a li nt e r m so fa c c u r a c y w eh a v eu s e dt h i s s t r a t e g yi no u ri m a g e a n n o t a t i o n1 0s y s t e ma n dg o tas a t i s f a c t o r yr e s u l t k e y w o r d s ：i m a g ea n n o t a t i o n , i m a g er e t r i e v a l , r e l e v a n c ef e e d b a c k , c o n t e n t - b a s e i m a g es e a r c h s e m a n t i c - b a s e di m a g es e a r c h 浙江大学硕士学位论文图目录 图目录 图2 1 基于内容的图像检索系统图。l l 图2 2 具有相同的灰度直方图的两张图像。1 3 图3 1 语义网络2 5 图4 1i m a g ea n n o t a t i o n l 0 主界面3l 图4 2 左图为该图全屏幻灯片放映的效果右图为该图全屏并放大的效果3 3 图4 3 图像属性对话框3 3 图4 4 图像的右键弹出菜单。3 3 图4 5 属性对话框3 5 图4 6i m a g ea n n o t a t i o n l 0 系统架构3 6 图4 7 经归一化处理后的图像4 4 图4 8 经灰度值化后的图像4 4 图4 9 经模糊化后的图像。4 5 图4 1 0 经连同组件计算后的图像4 6 图g 11 经归一化后的图像4 9 图4 1 2 经灰度值后的图像4 9 图g 1 3 用方向为0 的三个g a b o r 滤波核做卷积后的图像5 0 图4 1 4 用方向为t 【4 的三个g a b o r 滤波核做卷积后的图像5 0 图4 1 5 用方向为t c 2 的三个g a b o r 滤波核做卷积后的图像5 0 图4 1 6 用方向为3 n 4 的三个g a b o r 滤波核做卷积后的图像5 0 图4 1 7 点击弹出菜单”f i n ds i m i l a rb yc o l o r 5 7 图4 18 f i n ds i m i l a rb yc o l o r 的查询结果一5 7 图4 1 9 点击弹出菜单f i n ds i m i l a rb yt e x t u r e 。5 8 图4 2 0 f i n ds i m i l a rb yt e x t u r e 的查询结果5 8 图4 21 搜索c a r t m a n “s o u t hp a r k “ w h i t eb a c k g r o u n d ”。5 9 图4 2 2 基于颜色的图像搜索结果5 9 图4 2 3 相关反馈的图像标注结果5 9 图4 2 4 搜索 t o w e rp i s a g r a s ss k y 6 0 图4 2 5 基于语义及颜色的图像搜索结果6 0 m 浙江大学硕士学位论文 图目录 图4 2 6 相关反馈的图像标注结果。6 0 图4 2 7 测试目标图像一马克杯6 2 图4 2 8 测试目标图像= 大脑c t 医学图像6 3 图4 2 9 测试目标图像三埃菲尔铁塔夜景图“ 图4 3 0 测试目标图像四杉树树叶图6 5 图4 3 l 测试目标图像五紫葡萄6 6 图4 3 2 测试目标图像六椰树图6 7 图4 3 3 测试目标图像七番茄图。6 8 图4 3 4 平均时间图表6 9 图4 3 5 平均查准率7 0 图4 3 6 平均查全率7 l 图4 3 7 被标注图像个数7 2 图4 3 8 被标注图像的查准度7 3 i v 浙江大学硕士学位论文 表目录 表目录 表2 1 各相似度算法性能指标1 7 表4 1 图像灰度值4 5 表4 2 连同组件图4 5 表4 3 连同组件颜色表4 6 表4 4 颜色一致性表4 6 表4 5 测试结果一6 2 表4 6 测试结果二6 3 表4 7 测试结果三。：“ 表4 8 测试结果四6 5 表4 9 测试结果五。6 6 表4 1 0 测试结果六6 7 表4 11 测试结果七6 8 v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得逝江盘鲎或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。 学位论文作者签名：了布矽分 签字日期： - ，苫年石月 日 学位论文版权使用授权书 本学位论文作者完全了解澎姿态堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：j 愦 签字日期：加x 年，月夕日 导师签名： 钐 签字日期：) 衍年万恩 日 ? 击 浙江大学硕士学位论文 第1 章绪论 1 1 论文背景 第1 章绪论 近十多年来，随着计算机网络的技术迅速发展，普及应用以及数据存储代价 的大幅度下滑，多媒体数据库的使用变得越来越普遍。以图像，音乐，视频形式 展现的多媒体信息无论在商业还是娱乐中都显现出了日益重要的作用。如何对如 此大量的数据进行有效管理、组织，并从中搜索出用户所需要就成为非常重要的 问题。对于多媒体数据，尤其是图像数据的浏览，搜索以及索引技术的研究已经 有了很长时间的历史。如今，有关图像数据库和视觉信息搜索的话题已经变成了 研究领域中最为活跃的一部分。 一个典型的图像搜索过程通常由一个初始查洵和其后的一串相关反馈构成， 通过这些反馈，用户对检索得到的内容做出评价。一个用户查询首先向系统提供 了一组对于想要图像的描述。对于一个被标注了关键字的图像数据库来说，这些 描述可以是一组关键字查询。对于一个被抽取了诸如全局亮度，像素点颜色百分 比等量化特征向量的图像数据库来说，这些描述可以是一张案例图像。前一种的 方式被称作为基于语义的图像搜索，后一种被称作为基于内容的图像搜索。对于 一个基于语义的图像搜索系统，我们一般可通过人为标注或者机器标注的方法给 数据库中的图像进行标注。前一种的人为标注精确度高，但效率低：后一种的机 器标注效率高，但精确度低。对于个基于内容的图像搜索系统，用户一般很难 去定义这些描述，同时计算机程序也很难理解这些描述。此外，即使用户提供了 一个比较不错的初始查询，如何让之后的反馈信息作用于系统也是一个很大的问 题。 使用了人工标注的基于语义的图像搜索，使用了机器标注的基于语义的图像 搜索以及基于内容的图像搜索这三种方式，各有利弊。在本篇论文中，我们将会 提出一种结合了上述三者优点的基于语义和内容的半自动图像标注索引系统。与 人工标注的搜索相比，它更有效，与机器标注的搜索相比，它更精准，与基于内 容的搜索相比，它的交互方式更为友好。 1 浙江大学硕士学位论文第l 章绪论 1 2 图像搜索 一般而言，图像搜索按照搜索目的可以分为三大类。第一类目标搜索( t a r g e t s e a r c h ) 或者单一目标搜索( s i m p l y , t a r g e t s e a r c h ) ，即假设用户在图像库中寻找 某特定的目标图像，无论搜索得到的图像与用户想要的那张图像多么相近，他 都不会停止查询直到得到那张真正的目标图像为止，例如想要检验一个特定的商 标在先前是否已注册过了；第二类是类别搜索( c a t e g o r ys e a r c h ) ，即假设用户 在图像库中寻找和查询图像相似的一类图像，例如说可以在 s u n s e t ”，”b i r d ”的 目录中找到对应想要的近似图像；第三类是开放性终端搜索( o p e n e n d e d s e a r c h ) ，即假设用户在搜索之初，对他们想要找的东西仅有一个模糊的概念， 例如一个室内设计师可以一开始心里有一个自己的模式，但当他看了从设计数据 库中搜索得到的图片时，他的想法慢慢改变，最后得到了一张与当初想法完全不 同的图片。一个半自动的图像标注系统可以应用于上述的所有类别中。 对于大部分的实验性和商业性图像搜索系统来说，最开始都需要有一个明确 的查询。用户们必须对于心中想要查询的图片给与一定的描述。大多数比较传统 和通用的图像搜索索引算法是利用将一系列表示图像语义的标题、关键字或者描 述性语言赋值给图像，即图像标注或者图像语义信息，以使得用户可以对数据库 中的图像作基于文本的搜索。传统图像搜索方式是利用人工对图像进行标注，这 种做法会有很多的缺陷，首先人为标注过程将是一个大量消耗人力，物力与时间 的过程；其二，每个不同的人对于图像语义的主观信息都有不同的理解，标注结 果也是大相径庭，有时很难简单地用人类语言来精准地表达出图像的主观语义信 息。为了弥补基于文本搜索的这些缺点，人们又提出另一种搜索方法，基于图像 内容的搜索( c o n t e n t b a s e di m a g er e t r i e v a lc b i r ) 。 在基于图像内容的搜索中，系统可以通过识别数据库中图像的视觉内容，例 如图像的形状，颜色和纹理，来搜索得到图片。在这样的个系统中，更低级别， 更主观化的图片描述信息被机器自动的抽取出来，被用于索引工具或者是识别特 征值。近年来，随着图像搜索领域的逐步兴起，该领域已经涌现出了越来越多优 秀的或用于商务应用或用于科研研究的图像搜索系统1 1 l 。 p i c h u n t e r 2 】是美国普林斯顿大学n e c 公司研究所研制开发的一款基于贝耶 2 浙江大学硕士学位论文 第l 章绪论 斯反馈的图像搜索管理软件。系统中使用了图像的颜色直方图，颜色空间分布向 量和一个隐含着的图像标注作为特征向量。用户首先从显示界面中选择一张与目 标图像较为相似的图像，点击。g o ，激发下一次的搜索迭代。系统根据该图像做 基于内容的图像搜索，返回结果，并根据贝耶斯概率对返回图像的特征向量作一 定的修改，然后返回前至一步，准备下一次的迭代。 q b i c l 3 1 是i b m 公司位于加州的阿尔马登研究中心研制开发的一款基于图像 内容的搜索管理软件。在新的图像文件注册进数据库时，该图像的颜色、形状及 纹理特征向量将被自动抽取并保存下来。用户可以使用一张案例图像，或者自己 构造的草图、轮廓图，或者从交互界面上选择颜色、纹理模式来进行查询。 s q u i d l 4 1 是英国萨里大学的视觉，声音与信号处理中心发布的一款基于图像 形状的搜索管理软件。图像的边界轮廓通过三个全局的形状参数( e c c e n t r i c i t y , c i r c u l a r i t ya n da s p e c tr a t i oo f t h ec u r v a t u r es a c a l es p a c ei m a g e ) 被抽取出来。用户 在使用时，只需选择一个轮廓线就可以查询得到一组具有与其相似轮廓的图像。 v i s u a l s e e k l 5 1 是哥伦比亚大学图像与电视实验室发布的一款针对图像数据库， 基于图像内容的图像搜索管理软件。在新的图像加入数据库时，每一张图像都被 自动的切分为具有相同主导色的各个区域。每个区域中的特征信息和空间信息都 被存储下来用于之后的查询。每个查询都包含了对每个相似区域排列方式相似度 比较的查询。 w e b s e e k 【6 是哥伦比亚大学图像与电视实验室发布的另一款针对因特网上图 像的搜索软件。它是通过一组基于文本及颜色的查询对来自因特网网上的图像进 行查询的系统。用户首先从已有的目录中选择一个标题。得到的结果图像可以在 整个目录中做基于颜色的查询，也可以对于某一选定项对结果图像作基于颜色相 似度从高至低的排序。同时，用户在迭代下一次查询之前，还可以人为的修改图 像或者视频的颜色直方图。 然而现如今那么多的基于内容的图像搜索系统，却依旧不能很好地满足用户 的信息需求，这主要归因于如下几点：首先，由于当前图像理解技术的局限，建 立从图像的底层视觉特征到高层语义特征的映射还很困难；其次，由于用户界面 的限制以及对图像库的不熟悉，用户很难给出能准确反映信息需求的查询；最后， 由于人类视觉感知的主观性，对于同一幅图像不同的人或者同一个人在不同的时 3 浙江大学硕士学位论文 第l 章绪论 间都可能有不同的认知，因此借助于离线的学习很难适应这些不同的需求。 基于这样的个应用背景下，本文后面将会借鉴2 0 世纪9 0 年代中期，在文 本搜索领域提出的相关反馈技术的思想方法1 7 l ，将其引入到基于内容图像检索领 域，提出一个结合了上述基于文本的图像搜索与基于内容的图像搜索的一种半自 动相关反馈的图像标注方法，以期可以综合二者优势，得到更为高效更为精准的 图像搜索结果。 1 3 图像标注 图像标注li m a g ea n n o t a t i o n ) 就是将一系列表示图像语义的标题、关键字 标注给数字图片的过程。 正如第一节提到的那样，图像标注在图像搜索领域，特别是对于图像搜索有 着相当重要的应用。我们可以通过基于文本的关键字对被那些被标注了的图片进 行搜索，相较之下，搜索那些存在于大型数据库中没有被标注的图片则显得相当 的困难。这是由于至今为止，许多基于图像分析技术的搜索还十分不成熟，无法 得到一个较为精准的结果。因此使用基于文本关键字的图像搜索仍然是大势所趋。 现行的图片标注算法中，主要可分为两大类，一种是人为标注，一种是机器 自动标注。 1 3 1 人为标注 人为标注，是现在许多的图像数据库系统最为常用的方式。就是说，让用户 在上传、注册或者浏览图片的过程中，键入一些具有代表性的关键字。 s h n e i d e r m a n 和k a n g 在2 0 0 0 年的时候发明了一套可以直接标注照片中人物 名的系统l 羽。他通过让用户简单的在一个人名的下拉框中选择的方式，来对图片 进行标注。虽然这个方法减少了繁复的打字工作，但他却仍然是需要一个人为“拖 拽”和“下拉”的操作。另外，对于下拉框的名单也有诸多的限制。我们可以看 到，即使是改进过的人为图像标注的方法仍然需要大量的人力和时间，因此我们 渴望可以找到一种可以自动的图片标注系统。 4 浙江大学硕士学位论文第1 章绪论 s h e n 在2 0 0 0 年的时候发明了一种抽取图像所在网页上下文关键字的自动 图像索引的方法1 9 】。s r i h a r i 在2 0 0 0 年的时候表述了一个用于图片检索的系统， 在这个系统中【1 伽，它从图片所镶嵌的邮件上下文中抽取关键字，并对图像进行标 注。当有合适和相关的上下文存在于图片附近时，尽管它的准确度并没有人为标 注的那么高，但看上去仍是相当奏效。然而事实上很多时候，例如在我们的家庭 相册中，我们并没有一个这样可以被用于自动标注抽取上下文的环境。 o n o 在1 9 9 6 年的时候曾经尝试过使用图像识别的方式来为图像选择适当的 描述性关键字( 所使用的关键字都是事先设定好的) 【1 1 l 。但是，由于他们的实验 对象仅限于数量有限的关键字和图片模型，因此我们无法预知它对大规模图像模 型应用时的效果。另外，由于图像识别技术并不十分可靠，它仍然需要后期的人 为的对这些自动产生的关键字进行确认。 从上面的例子中，我们可以看到尽管人为标注在精准度方面被认为是最优的 方法，但是考虑到它所耗费的大量人力和时间，以及在标注过程中，由于关键字 一经标注便很难改变，用户的错标和漏标，便会造成长时间的错误搜索，人们正 试图在寻求一些改变来得到比人为标注更为有效的结果。 1 3 2 机器标注 机器自动标注，是一个让计算机系统自动的将一系列表示图像语义的标题、 关键字标注给数字图片的过程。这种方法也可以被认为是对数据库中的图像进行 大规模分类的方法，即将这些图片按照词汇表中的单词给予不同的分类。典型的 过程，是先分析图片、抽取特征向量，然后使用机器学习的方法来对这些图像进 行训练，然后尝试用训练好的模型对新的图片进行自动标注。 e l is a b e r 在1 9 9 6 年的时候提出了一种利用颜色分类模型自动将图像分为n 个不同的预设类，并将图像赋予与该类对应的预先定义标注的方法【1 劲。他首先使 用一个二维高斯函数对属于每一类的色品组件的条件分布进行建模。然后利用图 像的自适应阈值，做一连串的二值假设测试，来决定每一个像素点是否属于某一 特定类。如果某一像素点被发现是属于多个类的，就需要使用一个m a p 原则来 解决这种歧异性。 浙江大学硕士学位论文 第1 章绪论 j j e o n 在2 0 0 3 年的时候提出了一个新的基于训练的自动图像标注系统。 文章假设图像中的各个区域可以使用一组词汇来进行描述，这些词汇使用聚类的 方式从图像中生成1 1 3 】。给定一组已经被标注了的训练集生成一个新的概率模型， 利用该概率模型来预测一组描述值属于某一特定图像的概率值并根据该概率之 的高低对图像进行标注。通过这样的一个概率模型，就可以帮助图像自动地获得 对应的标注值。 c l a u d i oc u s a n o 在2 0 0 3 年的时候提出了一种革新的图像标注工具，它可以 将图像中的各个区域自动的分为一个预先设定好的七个类( 天空，皮肤，蔬菜， 雪，水，大地和建筑物) 1 1 4 1 。图像中的每个点首先使用s v m 对其进行对的分类， 并将该像素点分配给其中一个目录中。使用s v m 方法的原因是它不需要任何的 对于图像特征的概率分布模型假设，并且实际的应用中也有很好的精度。 r o n gj i n 在2 0 0 4 年的时候为自动图像标注提出了一个连贯性的语言模型u 5 】。 使用这个模型，在为图像作自动标注的同时，将词与词间的关联度考虑入其中。 这个新方法具有两点优势：其一它可以自动的决定标注图像的长度从而来提高检 索的准确率；其二它可以使用在线学习的方式从而减少了训练时标注样本的个数。 机器标注方法与第一节中提到的基于图片内容的搜索技术相比，它使得用户 的使用查询变得更加的简洁易懂。对于一个基于图片内容的搜索方法来说，它通 常需要用户通过一些图片的颜色和纹理信息来得进行查询，而这些图像特征可能 并不是用户所真正关注的。与人为标注的技术相比，它虽然在效率上提高了很多， 但单凭图像的视觉信息，其标注结果的精准度却远不及人为标注。 1 3 3 半自动标注 7 使用了基于图像内容搜索的方式，虽然可以通过基于图像内在各种属性，诸 如颜色，纹理和形状的描述来进行工作，使图像数据库中的索引过程自动化。但 是，目前的基于图像内容技术，无论是搜索还是索引技术其精度仍然有限。它的 瓶颈在于底层的视觉特征与高层的语义特征之间的衔接缺口。这一瓶颈的根源在 于这样的一个事实，即：视觉特征值相似性的度量，例如颜色直方图，未必与图 像在人类定义上的语义相匹配。更为糟糕的是，对于同一幅图像，不同的人往往 6 浙江大学硕士学位论文第l 章绪论 会有不同的语义解释，甚至同一个人对同一幅图像在不同的时间也会有不同的理 解。为了解决这一瓶颈，在i m a g ea n n o t a t i o n l 0 这个系统中，我们将要使用交互 式反馈技术，它是一个基于图像语义及内容的半自动图片标注系统1 1 6 1 1 7 l ，其中 心思想是将人类理解的主观性融入图像搜索过程并且给用户以评价检索结果的 机会，在用户评估的基础上再进一步改进索引过程。它结合了自动化标注的高效 率以及人为标注的高精准度。这个方法是通过用户在检验搜索结果时的反馈来创 建新的标注或精化已有的标注。这个方法同时结合了基于文本的关键字搜索与基 于内容的图像搜索技术。当用户得到图像搜索结果之后，他将向系统指出那些图 像与搜索的关键字具有较大相干性的图片，这样系统便会自动地更新所有反馈图 片与关键字之间的联系。随着搜索反馈过程的不断重复，越来越多的图片将通 过这样的一个传递的过程被标注到，同时标注结果也变得越来越精准。最后，数 据库中所有的图片都会拥有一系列与其相关的关键字。 这样一个半自动的图像标注方法，对于人为标注来说更为高效，对于自动标 注来说更为精准。 1 4 本文工作及论文结构 本次毕业设计主要完成了一下四方面的工作： 实现了图像特征向量的抽取，包括有： 颜色一致度向量( c o l o rc o h e r e n c ev e c t o r c c v ) 的抽取算法 g a b o r 滤波器向量( g a b o rf i l t e rf e a t u r e ) 的抽取算法 实现了图片特征向量相似度的计算方法，包括有： 卡方检验算法( c h i s q u a r e ) j d 分离算法( j e f f e r y d i v e r g e ) 欧几里德距离( e u c l i d e a n ) 实现了基于图像语义及内容的半自动相关反馈的图像标注系统 实现了集图像管理，搜索以及标注为一体的图像管理系统 论文内容组织结构如下： 7 浙江大学硕士学位论文 第l 章绪论 第一章：本章中，我们将从图像搜索技术在当今世界所扮演的重要角色 说起，进而引出提高搜索技术方法之一的图像标注技术。在介绍图像搜 索技术时，我们将谈到它的当前发展现状，以及几种较为主流的方法和 各个方法间的利弊比较。在介绍图像标注技术时，我们将向你展示过去 的十几年间在该方面所做的几个较为里程碑的学术或者试验成果以及它 们各自存在的缺陷，从而最后引出本文的重点，一个基于图像语义和内 容的半自动相关反馈系统。 第二章：本章中，我们将着重向你介绍基于内容的图像搜索。文章从基 于内容搜索的发展历史过程开始，让读者首先对基于图像内容的搜索技 术有一个概要的了解，之后将深入并且详细地介绍几种图像内容特征向 量的抽取方法以及相关的一些比较典型的特征向量相似度比较算法。 第三章：本章中，我们将着重向你介绍基于图像语义和内容的半自动相 关反馈标注系统。在章节的一开始，我们将首先从现在几个较为主流的 相关反馈交互过程，用户相关反馈判断度量方式以及反馈中的用户模式 进行介绍，在章节的结束部分，我们将向你提出在i m a g ea n n o t a t i o n l 0 系统中所使用到的基于图像语义和内容的半自动相关反馈系统的框架及 其流程。 第四章：本章中，我们将会向你深入浅出地全面介绍一下本次毕业设计 的作品i m a g ea n n o t a t i o n l 0 的各个方面。首先是它的具体实现的功能； 其次是它实现功能背后的系统框架，总流程；而后我们将分各个不同的 模块逐一向你展示出它们的实现过程；最后我们将会有一个系统演示， 向你展示我们的试验结果。 1 5 本章小结 本章中，我们首先介绍了图像搜索技术在当今世界所扮演的重要角色，然后 介绍了提高搜索技术方法之一的图像标注技术。在介绍图像搜索技术时，我们将 谈到它的当前发展现状，以及几种较为主流的方法和各个方法间的利弊比较，之 8 浙江大学硕士学位论文 第1 章绪论 后是在图像搜索方面近几年来由各个大学研究机构所作的几个较为优秀的软件 系统介绍。在介绍图像标注技术时，我们分人为标注、机器标注和半自动标注三 部分分别向你介绍了它们各自的概念、应用、研究以及它们各自存在的缺陷，从 而最后引出本文的重点，一个基于图像语义和内容的半自动相关反馈系统。 9 浙江大学硕士学位论文第2 章基于内容的图像搜索 第2 章基于内容的图像搜索 在本章节中，我们将首先介绍一些关于基于内容的图像搜索的相关概况。在 2 1 节中，将首先回顾一下近年来图像搜索的发展历史。之后的2 2 节中我们将 详细的向你介绍两个在i m a g ea n n o t a t i o n1 0 中使用的图像内容特征向量的抽取 方法，在之后的2 3 节中，我们将介绍三个在系统中所使用的图像特征向量相似 性的计算方法。 2 1 引言 基于图像内容的搜索是一种根据用户兴趣，使用图像的视觉信息将图像从大 规模的图像数据库中搜索得到图片的技术。自从九十年代开始，它一直是一个饱 受关注并高速发展的研究领域。在最近的十几年间，该领域的在理论研究和实践 系统都有了许多丰硕的成果。 有关基于图像内容搜索的相关工作最早可以追溯到七十年代早期。在1 9 7 9 的图片应用系统的数据库技术的大会在佛罗伦萨召开i 堋。从那以后，图像数据库 管理系统技术吸引了越来越多的研究者们的目光。但是，大多数早期对图像数据 技术的研究都是建立在文本搜索而非视觉特征之上的。换句话说，在传统的数据 库管理系统中，图像都是被事先被标注的，然后通过基于语义的搜索来进行查询。 通过文本描述，数据库中的图片可以由语义层来管理，然后使用标准的布尔运算 来对图片进行浏览，从而简化了操作。 到了九十年代，随着英特网以及许多新数字技术的兴起，被用作为科学研究， 教育，医药，工业，以及其它系统应用的图像大规模增长，使得我们很难再用原 来基于语义的方法来管理数据库。如何更快更好的展现这些视觉信息成为了一个 难题。到了1 9 9 2 年，美国的国家科学基金会组织了一次关于视觉信息管理系统 的大会l 圳。在大会上，他们为图像数据库的管理提出了一条新的路线，他们认为 一个更有效并且更直观的索引和表达方式应该是来自于图像本身的内在性质。这 1 0 浙江大学硕士学位论文 第2 章基于内容的图像搜索 个领域之后逐渐吸引了越来越多来自于计算机视觉，数据库管理，信息检索等更 多领域越来越多的专家学者们。从那时起，对于基于图像内容检索的研究有了飞 快的发展。从1 9 9 7 年起，关于图像视觉信息的抽取，组织，索引的论文数量都 有大幅度的增长。同时，在许多大学，政府组织，医院或者公司中我们也都可以 找到大量的用于学术研究或者商务应用的图像管理系统。 图2 1 基于内容的图像检索系统图 基于内容的图像索引技术，它使用了诸如颜色、形状、纹理等这些图像的视 觉信息来表达或者索引一张图像。在一个比较典型的基于内容的图像索引系统中 ( 如图2 - 1 所示) ： 一张图片的视觉信息首先以多维的特征向量的方式被抽去，然后被放在 专门的特征向量数据库中 用户如果想要搜索一张图片，则需要给检索系统提供一张轮廓图或是一 张案例图 系统将这些轮廓或者案例图转变为相应的特征向量，然后计算得到案例 图片与计算机图片特征向量的相似度，并将近似的图片按照相似度的高 低排序返回给用户 用户为系统提供反馈信息，系统使用这些相关反馈信息进一步的精华系 统中图像的标注，来产生更能表达图像视觉及语义信息，更为有意义的 搜索结果 1 1 浙江大学硕士学位论文第2 章基于内容的图像搜索 在下面的小节中，就将着重对上述流程中的特征向量抽以及比较算法，作详 细而深入的陈述。 2 2 图像内容特征向量的抽取 图像特征的提取与表达是基于内容的图像检索技术的基础。从广义上讲，图 像的特征包括基于语义的特征( 如关键字、注释等) 和基于视觉的特征( 如颜色、 纹理、形状、对象表面等) 两类 2 0 1 。 视觉特征，即图像内容特征，又可分为通用的视觉特征和领域相关的视觉特 征两种。前者用于描述所有图像所拥有的共同特征，与图像的具体类型或内容无 关，主要包括颜色、纹理和形状；后者则建立在对所描述图像内容的某些先验知 识( 或假设) 的基础上，与具体的应用密切相关，例如人的面部特征或指纹特征 等。由于领域相关的图像特征主要属于模式识别的研究范围，并涉及许多专业的 领域知识，所以在我们的此次i m a g ea n n o t a t i o n l 0 系统中，将主要关注通用的视 觉特征。 对于某些特定的图像特征，通常又有很多种不同的表达方式。由于人们主观 认识上的千差万别，对于某个特征比概念不存在一个所谓的最佳表达方式。事实 上，图像特征的不同表达方式从各个不同的角度刻画了该特征的某些性质。在下 面的小节中，我们将对在i m a g ea n n o t a t i o n1 0 中所使用到的图像颜色、纹理特 征作进一步的详细介绍。 2 2 1 颜色一致性向量( c o l o rc o h e r e n c ev e c t o r ) 2 0 1 颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往 和图像中所包含的物体或场景十分相关。此外，与其它的视觉特征相比，颜色特 征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。 颜色一致性向量是一种颜色特征向量的抽取方式，与传统颜色向量不同的是， 它还同时存储了图片中每种颜色像素的一致性信息，是图像灰度直方图的一种变 1 2 浙江大学硕士学位论文 第2 章基于内容的图像搜索 种。 在大部分的基于图像内容的索引系统中，灰度直方图的方法【2 1 - - 直有着相当 广泛的应用。它所描述的是不同灰度值在整幅图像中所占的比例。但是，灰度直 方图也有着许多的局限性。首先一个灰度直方图只可以表达一张图片的颜色信息， 而无法表达它的空间信息。其次，灰度直方图对于图片整体亮度的改变十分的敏 感。所以在i m a g ea n n o t a i o n1 0 系统中，我们将选用颜色一致性向量来比较各个 图片中颜色的相似度，因为它不但继承了灰度直方图的原有优势，更关注到了每 种色彩所在的空间位置信息。 直观的来说，我们可以把颜色的一致度定义为决定像素点是属于哪一组颜色 的相似区域。我们将这样的区域称为颜色一致性区域，并且认为这些区域是可以