（计算机软件与理论专业论文）基于图像分割和支持向量机的半自动图像标记系统的研究.pdf

山东大学硕士学位论文 摘要 随着高分辨率的数字相机成为大众普遍使用的设备，高质量数字图像更加 丰富多样，数量成指数级增长，急切需要有效检索大规模图像集合的方法。 尽管需求迫切，但是基于内容的图像检索( c b i r ：c o n t e n t b a s e di m a g e r e t r i e v a l ) 技术的仍不成熟，大多数已有的c b i r 系统仅能支持基于低级图像特 征的检索。大多数非专业用户很难理解低级可视化特征所描述的含义，无法直 观准确表达查询意图。现有的基于关键字的图像检索吸取了文本检索的优势， 但缺乏对图像语义和特征统一描述的能力，难以准确建立关键字和图像间的关 联。图像检索本身是希望能够在已有的广大数据库中查找所希望含有的图像信 息，但是鉴于当前数据的飞速增长和已处理数据的匮乏，数据库本身的建设并 不完整。而且用户更倾向于对于未知图像信息的获取，所以通过已有数据对未 知数据进行预测判断的方法在现阶段更加实用。 图像标记就是一种使普通用户能够轻松的使用关键字来表达他们查询目标 的方法。通过使用已有的数据对待查询数据进行分析标注，从而准确表达查询 数据所蕴含的信息，满足了广泛的用户需求。图像标记工具的性能很大程度上 依赖两个相互关联的问题：( 1 ) 合适的表示图像内容和自动特征提取的框架；( 2 ) 有效的训练图像分类器和选择特征子集的算法。 本文介绍了一种基于分割和支持向量机的半自动图像标记方法。标记对象 采用家庭拍摄的自然风景类图像。方法采用图像分割技术并通过提取图像可视 化描述特征来表示的景物特征，从而解决第一个问题。第二个问题通过采用支 持向量机对特征数据进行学习训练得到各种自然景物的类别模型，并根据用户 的相关反馈优化模型来解决。 据此方法实现的系统对于自然风景类图像有较好的标记结果。图像的标记 过程集成了基于关键字和图像内容的分类方法，并借助用户反馈积极的改进图 像标记精度。用户提交图像得到关键字标记，提供相关反馈。反馈的正例结果 添加到查询集中丰富数据，反例结果经过修正加入实际所属类别并更新类别模 型。系统通过不断的查询反馈改进数据训练模型达到提高标记精度的效果。从 标记效率上比较，半自动图像标记的策略要好于纯手工标记方案；从标记精确 山东大学硕士学位论文 度上比较，它要好于全自动标记方法。通过反馈后的学习能得到较高的标记精 确度，并且能覆盖越来越多的图像种类。 标记之前描述了数据学习的准备过程，用户把标记看作重要的准备过程从 而在图像检索中使用。用户通过支持相关反馈的系统接口进行学习也会指导用 户改进系统。我们相信类似的方法也可以被用到其他类型多媒体对象的标记和 管理。 关键字：图像标记；图像分割；支持向量机；相关反馈 i i 山东大学硕士学位论文 a b s t r a c t a sh i g h r e s o l u t i o nd i g i t a lc a m e r a sb e c o m em o r ea f f o r d a b l ea n dw i d e s p r e a dt o t h ep e o p l e ，h i g h q u a l i t yd i g i t a li m a g e sb e c o m ee v e rr i c h e ra n dm o r em u l t i p l e w i t h t h ee x p o n e n t i a lg r o w t ho nh i g h - q u a l i t yd i g i t a li m a g e s ，t h e r ei sa nu r g e n tn e e dt o s u p p o r tm o r ee f f e c t i v ei m a g e r e t r i e v a lo v e rl a r g e s c a l ea r c h i v e s h o w e v e r , c o n t e n t - b a s e di m a g er e t r i e v a l ( c a m ) i ss t i l l i m m a t u r ea n dm o s t e x i s t i n gc b i rs y s t e m sc a no n l ys u p p o r tf e a t u r e b a s e di m a g er e t r i e v a l f o rm o s t n a i v eu s e r s ，i ti sv e r yh a r df o rt h e mt os p e c i f yt h e i rq u e r yc o n c e p t sb yu s i n gm e l o 、1 e v e lv i s u a lf e a t u r e sd i r e c t l y a n dt h ee x i s t i n gi m a g er e t r i e v a lt e c h n i q u eb a s e d o nk e y w o r df u s e st h ev i r t u eo ft e x t u a lr e t r i e v a l ，b u ti tc o u l d n td e s c r i b et h es e m a n t i c a n dc h a r a c t e rt o g e t h e rt ob u i l dt h er e l a t i o nb e t w e e nk e y w o r da n di m a g e i m a g e r e t r i e v a la i n l ss e a r c h i n gk n o w ni m a g ei n f o r m a t i o ni nl a r g ed a t a b a s e ，b u tt h er a p i d i n c r e a s eo fi m a g ea n ds m a l lc o l l e c t i o no fk n o w ni m a g em a k e st h ed a t a b a s e i n c o m p l e t e u s e r sp r e f e rt og e t i n f o r m a t i o nf r o mu n k n o w ni m a g e ，s op r e d i c t i o no f u n k n o w ni m a g ea c c o r d i n gt or u l eo fe x i s t i n gd a t ai sm o r ep r a c t i c a la tp r e s e n t i m a g ea n n o r a t i o nm a k e su s e r se x p l a i nt h e i rq u e r yw i t hk e y w o r de a s i l y a n d a n a l v z et h eq u e r yf r o mt h ek n o w nd a t a s ot h en a i v eu s e r sc a ns p e c i f yt h e i rq u e r y c o n c e p t se a s i l yb yu s i n gt h er e l e v a n tk e y w o r d s ，t h ep e r f o r m a n c eo fi m a g e a n n o t a t i o nl a r g e l yd e p e n d so nt w oi n t e r r e l a t e di s s u e s ：( 1 ) s u i t a b l ef r a m e w o r k sf o r i m a g ec o n t e n tr e p r e s e n t a t i o n a n da u t o m a t i cf e a t u r ee x t r a c t i o n ；( 2 ) e f f e c t i v e a l g o r i t h m sf o ri m a g ec l a s s i f i e rt r a i n i n ga n df e a t u r es u b s e ts e l e c t i o n an o v e la p p r o a c ht os e m i a u t o m a t i c a l l ya n dp r o g r e s s i v e l ya n n o t a t i n gt m a g e s 、7 v i mk e y w o r d si sp r e s e n t e di nt h i sp a p e r t h i sp l a nb ys p e c i f y i n gt h eu s i n gi m a g e s e g m e n t a t i o na n dm p e g 7 i nd e s c r i b i n gf e a t u r e so fl a n d s c a p e ，t h i sp l a ns p e c i f i e st h e v i s u a ld e s c r i p t o r s s c h e m et os o l v et h ef i r s ti s s u e t h e nt r a i nf e a t u r e st oc a t e g o r y m o d e l su s i n gs v m ( s u p p o r tv e c t o rm a c h i n e ) ，a n do p t i m i z em o d e l sb yr e l e v a n t f e e d b a c k ，s ot h es e c o n di s s u e i ss o l v e d 一疝 山东大学硕士学位论文 t h es y s t e mi m p l e m e n t e dw i t ht h i sm e t h o dh a ss a t i s f i e da n n o t a t i o nr e s u l t s t h e p r o g r e s s i v e a n n o t a t i o n p r o c e s s i se m b e d d e di nt h ec o u r s eo fi n t e g r a t e d k e y w o r d b a s e d a n dc o n t e n t - b a s e di m a g er e t r i e v a l i ti m p r o v e sa c c u r a c yo f a n n o t a t i o nb yl a s e rf e e d b a c k w h e nu s e r ss u b m i taq u e r ya n dr e c e i v ek e y w o r d a n n o t a t i o n 。t h e nt h e yp r o v i d er e l e v a n c ef e e d b a c k t h ea n n o t a t e dr e s u l t sw h i c h r e c e i v ep o s i t i v ef e e d b a c ka rea u t o m a t i c a l l ya d d e dt ot h ei m a g es e ta n df a c i l i t a t e k e y w o r d b a s e di m a g er e t r i e v a li nt h ef u t u r e t h er e s u l t sw i t hn e g a t i v ef e e d b a c ka r e p i c k e di n t oc o r r e c tc a t e g o r i e st ou p d a t es y s t e m t h ec o v e r a g ea n dq u a l i t yo fi m a g e a n n o t a t i o ni ns u c had a t a b a s es y s t e mi si m p r o v e dp r o g r e s s i v e l ya st h ec y c l eo f s e a r c ha n df e e d b a c ki n c r e a s e s t h es t r a t e g yo fs e m i a u t o m a t i ci m a g ea n n o t a t i o ni sb e t t e rt h a nm a n u a l a n n o t a t i o ni nt e r m so fe f f i c i e n c ya n db e t t e rt h a na u t o m a t i ca n n o t a t i o ni nt e r m so f a c c u r a c y ap e r f o r m a n c es t u d yi sp r e s e n t e dw h i c hs h o w st h a th i l g ha n n o t a t i o n c o v e r a g ec a nb ea c h i e v e dw i t ht h i sa p p r o a c h ，a n dap r e l i m i n a r yl a s e rs t u d yi s d e s c r i b e ds h o w i n gt h a tu s e r sv i e wa n n o t a t i o n sa si m p o r t a n ta n dw i l ll i k e l yu s et h e m i ni m a g er e t r i e v a l 。t h eu s e rs t u d ya l s os u g g e s t e du s e ri n t e r f a c ee n h a n c e m e n t s n e e d e dt os u p p o r tr e l e v a n c ef e e d b a c k w eb e l i e v et h a ts i m i l a ra p p r o a c h e sc o u l da l s o b ea p p l i e dt oa n n o t a t i n ga n dm a n a g i n go t h e rf o r m so fm u l t i m e d i ao b je c t s k e y w o r d s ：i m a g ea n n o t a t i o n ；i m a g es e g m e n t a t i o n ；s v m ；r e l e v a n t f e e d b a c k i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：? 彰夕参日期：丝墨：垒：兰_ 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意 学校保留或向国家有关部门或机构送交论文的复印件和电子版，允 许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他 复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：、：曼兰堑盗导师签名： 血氅日 山东大学硕士学位论文 第一章绪论 1 1 课题的背景及研究意义 随着数字技术的不断发展，数字多媒体信息资源大量膨胀。无论是普通网 络用户，还是相关领域的专业人士，如何能够有效的管理和利用这些蕴含了丰 富信息的多媒体数据促成了一种广泛的需求。这些亟待解决的问题也是众多科 学家研究的重点【l 】。 文本信息检索带动了谷歌，百度等公司的出现和高速发展，而雅虎，微软， 搜狐等公司的加入更使人们看到了信息获取和管理对于社会发展的重要性。而 图像，视频等多媒体介质所蕴含的信息远远大于纯文本的描述，所以如何有效 并快速的利用这些多媒体数据将会为社会带来更大进步，从而为人们生活带来 更多的便利2 】【3 1 。但是同时由于多媒体数据的种类繁多，蕴含的数据又多种多 样，十分复杂，这使得管理和利用它们变得更加困难和富有挑战性。伴随着基 于内容的图像检索技术和基于关键字的图像查询技术的发展，融合了内容和文 本的图像标记技术开始出现在各种实验性的应用中。 图像( 或者通用的说法，多媒体对象) 标记技术是用一些关键字为图像( 或 者多媒体对象) 进行标注，这些标注能够反映图像的语义内容。标记一开始用 于图像数据库的管理，特别是为未来进行大规模的图像检索所提供必要的数据 准备。被标记的图像通常能使用基于关键字的查找找到，而在大量的图像数据 中找到没有标记的图像则非常难，而对未标记的查询图像就更无法得知其所蕴 含的数据信息了。因为基于图像( 通常称作基于图像内容的图像检索) 分析技术 的使用不是非常精确和健壮【4 】，基于关键字的图像查找更符合用户的使用习惯， 量化查找阳1 提出用户更喜欢基于他们标记的文本来找到照片。所以融合了基于 内容和关键字的图像标记技术不可避免的成为当前关注的技术。这也是一种在 未来利用计算机辅助工作的实用可行的方法。 1 2 图像标记技术现状 研究开始阶段，大多数图像数据库系统采用手工标注的方法【6 】。当图像被载 山东大学硕士学位论文 入注册浏览的时候，用户输入一些描述性的关键字。因为关键字表示的语义是 基于人们对于图像内容的观察所做的决定，从准确性方面考虑，图像内容的手工 标注被认为是最好的方法。但它却是费力耗时及其枯燥的。除此之外，手工标注 也会使用户在长时间的标注活动中很容易忘记他们所使用的描述关键字，这会引 入检索误差。研究人员已经开发了很多技术来改进手工标注的过程。文献【7 】开 发了一种直接标记的方法，是以关注如何用人名标记照片中的人物。使用这种方 法，用户能够简单的从手工输入的名字列表中选择一个名字然后拖放到需要标注 的图像上面。尽管他省去了大量的键盘输入工作，这仍然是一个包含了大量拖曳 和放置动作的手工操作方法。除此之外，名字列表存在很多的限制，特别是因为 名字标记列表会变得越来越长。即使改进了更加符合用户交互的人性化界面，这 些操作仍然需要较长的时间。因为用户通常不太情愿花费大量的时间来做手工标 记图像这种乏味的工作，所以一些能够提高工作效率的技术，如自动标记图像的 技术就成为了一种可行的方法。 最近研究人员使用了上下文联系来自动索引图像。由于一些图像嵌入到文章 中，所以他们附近的文字成为了相关信息。文献【8 l 使用了网页文本中丰富的上下 文信息，用来描述同一页中的相关图像。文献【9 】从间接文本中提取命名实例( 比 如，人物，地点，事物) 来自动索引图像。文献【l0 】描述了一个系统a r i a ( a g e n ta n d r e t r i e v a li n t e g r a t i o na g e n t ) ，能够把图像检索和使用集成起来。这个系统在邮件 中使用文字来索引图像，这些图像被嵌入到邮件信息中。当文本或者可使用的上 下文能够获取的时候，这个是一个合理的解决方案，即使原文上下文精确度不如 手工索引那么高。更重要的是，在很多应用比如家庭相册中，如果任何间接文本 用来自动索引这将会更小。文献【1 1 1 借鉴了图像识别技术，为每张图像自动选择合 适的描述性关键字( 包含于预定义集中) 。尽管如此，他们只是用有限的关键字 和图像模型来测试他们的系统。因此还不清楚扩展到更广泛的图像模型和概念的 范围中是否还具备通用性。因为图像识别技术不完全可靠，人们仍然必须对自动 产生的关键字进行确认。 1 3 图像标记的相关实现 图像标记技术的发展带动很多实验性应用的出现，很多研究机构或公司开发了 2 山东大学硕士学位论文 相关的系统推动这项技术的发展。而检索的目标图像往往含有单一对象或者只是 完成标记技术中的一部分实现。 1 ) i b mm a r v e l ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a le n g i n e ) 系统采用了学 习技术对媒体信息进行整理和分析。 # 埔 m m i - 哪。“+ 誓曩_ _ 鼬一。_ ，_ a m i t sj8 m * i a m m l ： 。 图卜1 黼l 示意图 m a r v e l 有两部分组成：多媒体分析引擎和多媒体搜索引擎。 多媒体分析引擎使用机器学习技术，对来自音频，语音和可视化内容 进行自动提取，并对内容中的语义概念进行建模。它能自动的把标签分配 给新的媒体数据来减少手工标注的工作量和改进搜索，并通过使用语义关 系的本体组织语义概念来改进检测性能。 多媒体检索引擎则集成了很多搜索技术( 语音，文本，元数据，音视 频特征等等) 构建了基于语义的多媒体搜索。他也把用于视频检索的基于 内容，基于模型和基于文本的搜索技术集合了起来。 2 ) m - o n t o m a t - a n n o t i z e r 是一个把多媒体低级特征信息和本体联系起来用于 标记的系统【1 2 1 。这个标记系统包含了为多媒体内容实现自动标记所做的前 期准备工作，即知识获取这个步骤。 此工具是为实现最终的标记自动化其中的一步，为了构建各种图像类 别的数据模型准备足够的图像元数据。其作用是从图像和视频中提取可视 化描述子并且存储他们作为所谓的本体类可视化原型【”l ( 1 4 1 。 离孽- 麟 一孽囊。i一一嗣一霍一阑一 一爨纛熏 一曩量重塑一 山东大学硕士学位论文 其局限性在于它一种启发式的数据库信息产生器，无法完全自动化， 但是它完成了分割，并能够对图像分割部分进行描述子信息的提取。 图1 - 2m - 0 f l t o l l i a t a n n o t i z e r 示意图 3 ) s c h e m a x m 系统是一个图像查询系统【1 5 】。 i 豢蘩1 一 圈 赢i p 。“v l - 叠豳隧k 篷鬣凌囊邑露瑟 图1 - 3s c h e m a x m 示意图 能够把图像数据库中的大量图像进行分类，如鹰，马，玫瑰等类别。 s c h e m a 晰0 用了图像的低级特征信息，并采用了大量的含有单一明显 对象的图像作为基础数据源【1 6 】。其查询方式类似于流行的文本查询，根据 距离的相似性排序，从而找到最接近查询对象的目标图像。 4 ) p h o t o t o s e a r c h 在混合使用图像和文本两种媒体的模式下进行检索【1 7 1 。 它先以关键字文本锁定查询范围，然后在此区域内找到符合条件的图像。 而且它主要用于移动设备的网络搜索，方法分为关注一个完全准确的拷贝 和相似的图像排序序列。其后台数据库保存大量的含有标志性图像的网 4 山东大学硕士学位论文 页，查询的最终目标也都来自于次数据库。系统只是单纯使用特征间的距 离比较和多种搜索模式的融合，其关键在于集成到移动设备并具有网络上 的海量网页数据库支持。 5 ) q i m e r a 平台是一种探索图像分割的系统，以期能够用于图像检索【1 8 】。它关 注于各种图像分割的方法是否对随后的检索有不同的作用。系统集成了4 种图像分割方法。 分为基于区域【1 9 1 ：m o d i f i e dr e c u r s i v es h o r t e s ts p a n n i n g t r e e ( r s s t ) a p p r o a c h ，k - m e a n s - w i t h c o n n e c t i v i t y c o n s t r a i n t ( k m c c ) a l g o r i t h m ，e x p e c t a t i o nm a x i m i z a t i o n ( e m ) a l g o r i t h m 。 基于对象：a u t o m a t i cs n a k es e g m e n t a t i o nt o o l 。 1 4 本文的主要研究内容 现在的家庭拍摄了很多的风景图像，如果我们能够找到一种对风景图像进行 标记说明的方法，将会使得图像的分类和查询更加容易。对当前家庭来说这种数 字系统的应用相当普遍，有很多研究尝试解决风景图像的标记问题盼训。一些方法 使用基于形状的分害1 1 2 ，而另一些方法则基于全局的颜色分别或者纹理特征来识 别景物1 2 2 【2 3 1 。 本文中实现的一种半自动的图像标记系统融合了图像内容的低级描述特征 和表达语义的关键字来标记图像，这种方法兼有自动标记的效率( 速度) 和手工 标记的精确性( 正确性) 。 系统采取的策略是当用户检查检索结果的时候，鼓励用户提供反馈来创建 和精炼标记。在文本信息检索中，相关反馈已经成为了改进检索精确度2 4 1 2 5 1 的 有效方法。我们相信类似的技术能成功的用于图像检索。本系统采用了基于关键 字的信息检索技术 2 4 1 和基于内容的图像检索技术2 6 1 来自动化查找过程。当用户 对检索图像提供一些反馈时，反应哪一张图像与查询关键字相关或者不相关时， 系统会基于这次反馈自动的更新关键字和每张图像的联系。除了相关不相关那 些由用户所做的反馈动作，整个标记过程在后台完成。由于检索和反馈过程是反 复进行的，越来越多的图像会通过这样一个反复传播的过程标记，每次标记的结 果会越来越准确。最终的结果是一些关键字同数据库中的每个单独的图像相互联 山东大学硕士学位论文 系。 这种半自动图像标记的策略在效率上要好于手工标记，在理解图像内容准 确度上要优于自动标记。正如我们在我们的实验中所表现的那样，尽管我们仍 然通过用户学习来反复进行标记结果的改进，这个策略相当实用且便于使用。 全文共分为五章，概述了系统的理论基础，采用的各种技术，具体的实现 过程等。各章的内容如下： 1 第一章介绍了课题的背景和研究意义，以及国内外图像标记系统的发展状 况。 2 第二章介绍了半自动图像标记系统的总体架构以及五个模块的基本功能。 3 第三章详细描述了图像分割技术在半自动图像标记中的重要作用。 4 第四章介绍了图像特征提取技术，从而为建立图像数据信息确立了标准。 5 第五章详细阐述了支持向量机技术和相关反馈技术融合后在半自动图像标 记中的重要作用。 6 第六章给出了半自动图像标记系统的详细设计和实现过程。 7 第七章对全文进行总结，并对今后的工作提出了展望。 山东大学硕士学位论文 第二章半自动图像标记系统的总体架构 系统之所以称为半自动图像标记系统，是因为用户在每次标记活动中要与 系统之间进行交互反馈，而系统要借助于这种反馈过程来优化自身模型。这种 交互的反馈过程提供了一种初始化的查询和回应，系统在检索中使用这些标记 和图像特征的能力。我们首先介绍系统所期望的目标，然后简要描述系统实现 的主要流程，最后介绍实现系统的各个模块的作用。 2 1 系统设计目标 本系统利用图像分割和支持向量机实现图像的半自动标记功能并通过相关 反馈技术改进，希望能够实现对图像内的各种景物对象的标记。系统首先分割 查询图像，从中提取低级描述子特征，然后把各分割部分的特征数据进行查询 分类，返回相应所属类别的关键字，随后用户能通过反复对标记结果提供反馈 来更新和改进系统。 2 2 系统总体架构 系统的构建分为两个基本过程：数据模型的初始准备过程和改进过程。 图2 - 1 数据模型的初始准备过程 一 7 山东大学硕士学位论文 数据模型的初始准备过程是在能够进行图像标记之前所做的前期准备行 为。 由于图像标记需要大量的各类图像作为数据源，从中能够提取出足以保证 一类风景景物可以被识别出来的规律信息。而这样的信息需要经过反复的参数 训练，而且即使得到一类景物的特征范围也需要足够的图像数据来支撑学习。 只有学习的样本足够多，正例和反例数据的所代表的差异度越大，经过学习后 的训练模型才能更好的表示一类图像所拥有的数据规律。 所以我们首先收集了丰富的风景图像，然后对这些原始图像集合进行分割， 如一幅图像可以分割成4 ，5 个部分或者更多，由于采用的分割方法准确度较好， 这些分割部分很大程度上只包含一种景物或者一种景物占据优势，这样我们就 拥有了代表单独景物的图像数据集。随后我们手工把这些图像数据进行分类( 如 天空，海洋，草地等) ，从而确定了初始的图像标记类别。对每类图像进行特征 提取，得到了各类图像初始的特征数据集合，采用机器学习的方法如支持向量 机对这些数据进行训练，生成每类图像类别的模型参数，对参数进行数值精度 的优化，从而得到了初始的图像类别模型。 蓄蓉记，刍二：爿图像分割i篇囊霍登 目标| 荨| 像 并分割区 域的特自f 撤锯 图像的分 割区域 机器学习更新 | 鲁l 像类别训练 模，叫 作为i l ：侧：b l i 入 所属图像 作为反例加入 所属h 像 离是否能够羯 所属类! i ；l i 同再个蚓 像类别的 掣离 图2 - 2 数据模型的改进过程 数据模型的改进过程是在数据模型的初始准备过程完成后进行。 只有图像类别的初始训练模型建成之后，图像标记才可能进行。输入目标 待标记图像，经过分割后得到各个部分，每个部分经过特征提取生成图像分割 山东大学硕士学位论文 区域的特征。特征数据输入图像类别训练模型进行计算得到分割区域的标记结 果。从而能够判定分割区域属于哪一类图像类别。然后根据用户反馈的结果对 图像类别进行相应的计算并更新。 所以我们可以自己输入待标记图像作为查询目标。图像分割和图像特征提 取的过程和数据模型的初始准备过程中是一样的。然后特征数据和类别训练模 型一起使用支持向量机的预测方法进行计算。如果正确的话，加入区域标记的 图像类别丰富数据集。如果错误的话，加入区域应该属于的图像类别重新学习 来更新各个图像类别的训练模型。经过不断的用户反馈把标记结果分成相关和 不相关两种。这个训练更新的过程是反复进行的，毕竟初始的数据集不一定包 含所有的自然界风景，初始的训练模型也就无法完整正确的表示景物种类。经 过大量数据对模型的改进会使得标记的结果有相应的提升。 2 3 系统结构组成 系统结构图见图2 - 3 。系统由以下模块构成：图像分割模块( s e g m e n t a t i o n m o d u l e ) ，特征提取模块( e x t r a c t i o nm o d u l e ) ，类别训练模块( c a t e g o r y t r a i n i n gm o d u l e ) ，标记模块( a n n o t a t i o nm o d u l e ) 和相关反馈模块( r e l e v a n c e f e e d b a c km o d u l e ) 。 从上节的系统实现流程可以看到，系统的模块依次出现在运行过程中。其 中特征提取模块和图像分割模块在数据模型的初始准备过程和数据模型的改进 过程均有应用。 2 3 1 图像分割模块 图2 - 3 系统架构图 图像分割模块结合使用m e a n - s h i f t 方法来分割图像数据集和查询图像。图 一 9 山东大学硕士学位论文 像分割后的结果保留掩码文件，以确定分割区域的像素可以参加随后的特征提 取，而非相关像素则不属于分割后所认定的景物不予计算。 2 3 2 特征提取模块 特征提取模块从图像的分割区域中提取有意义的低级特征。由于风景图像 的特点，颜色和纹理自然成为最有代表性的特征。提取这些根据人类视觉感知 而定义描述子，并根据各个描述子的特性选择合适的低级特征代表，然后把它 们融合在一起使用。每一种特征描述子数据都会提取最主要的部分，以减少由 于各个描述子之间存在的数据冗余性。 2 3 3 类另l n i i 练模块 类别训练模块导入大量图像产生的特征描述子数据后，就具有了足够的样本 来训练图像类别模型。由于样本已经根据所属的各种景物分成了几类，所以类 别模型采用支持向量机把收集的样本进行类别训练。在训练之前，由于特征数 据的数值较大，所以一般会根据特征数据的取值范围进行相应程度的缩放，这 样可以加速模型的数据训练速度。训练数据的过程是一个迭代的过程，模型的 参数一开始不必过于追求精确，因为我们的图像数据本身就不完整，所以不会 准确反映所属景物类别的特征。我们可以通过设定参数的数值精度来提高训练 速度。而且我们对参数采取了范围逐步缩小的网格查找方法，使得参数的数量 级逐次递减，得到较优的结果。 2 3 4 图像标记模块 标记模块导入测试图像( 标记目标图像) ，然后调用分割模块分割测试图像， 使用特征提取模块从分割的图像区域提取特征信息，然后借助于类别训练模块 共同计算。计算过程依据支持向量机的预测方法，使用类别模块的现有参数。 计算后的结果是各分割区域同各个类别的距离即相似度，根据距离可以判断分 割区域属于哪个景物类，或者无法做出有效判断。 1 0 山东大学硕士学位论文 2 3 5 相关反馈模块 相关反馈模块会对标记模块产生的结果进行整理。这主要需要用户和系统 的交互。用户根据自己的判断选择标记结果是否正确，并对结果进行相关或者 不相关的分类。如果同标记所属景物类别相关，可以丰富此类别的数据；如果 不相关，可以加入此区域应该属于的类别或者创建新的景物类别。反馈后可以 选择是否对类别模型进行重新的训练，要借助类n _ j i i 练模块重新改进各个模型 参数。 2 4 小结 以上各个模块构建了图像内容和语义解释之间的相互联系。通过不断的反 馈，类别训练模块不断的更新图像类别模型。随后继续进行标记的准确度也会 得到相应的提高。从而能够实现一个图像标记系统的最终目标。 本节简要概述了一种基于分割和支持向量机的半自动图像标记系统的实现步 骤。对组成系统的各个模块做了初步介绍。对实现步骤系统融合了图像分割，特 征提取，机器学习和相关反馈等技术。并根据自然风景图像的特点对每一个实现 步骤进行准备和改进。在下一章，我们将详细讲述我们实现系统所采用的各种技 术。 山东大学硕士学位论文 第三章图像分割 3 1 图像分割在标记中的作用 很多图像检索和标记的研究工作都有一定的限制，比如，从只有一个单独 对象的图像中或者对象轮廓特别明显的图像( 如对具有能够显著识别的区域进 行特征提取的) 1 2 1 2 2 1 t 和提取特征，或者是基于整幅图像的所有景物进行特征提 取而不区分风景内部的具体信息【l 6 1 。 但是因为大多数的风景图像都会包含众多的景物，并且这些景物会构成多 样式的布局，而且由于光线和角度的不同使得景物分布更加复杂，同时数字图 像的压缩也会带来噪声，所以以上的方法很难提取出能够有效表达单个对象的 信息。它们一般只能泛泛的表示出图像的整体信息，准确度不高，无法分辨图 像内的各种对象，所以不能精确的表达图像的语义信息，无法实现进一步的图 像理解，这会影响最终的景物标记。 考虑到这些方法能够粗糙的标记出图像中含有的信息，但是通常无法达到 较高的标记准确度。这也是为什么他们无法准确区分各种各样的对象或者精确 的表示语义信息的原因。 由于分割在图像标记中的重要性，很多研究工作都加强了对分割的关注【1 3 1 【1 9 】。图像标记之前的分割能够保证图像中各个对象的独立性【2 1 1 ，使得提取的目 标更加简单，标记的结果也更加精确。 如果我们在图像特征提取之前对图像进行分割，各个分割的区域就能够更 加清楚的表示图像的基本内容了，从而能够在一定程度上保证了图像内部对象 间的独立性，从而使特征提取有了更高的准确性，这样使得图像各对象的预测 有了更为准确地结果，并从另一个角度促进了更为精确的特征数据库的建立。 由于标记之前需要根据大量的图像信息来建立各种景物类别的数据集。而 很多自然图像都很难给出直接的单景物信息。通过分割，在创建图像分类的元 数据集时会得到更多单一景物的图像数据，从而加速图像类别数据训练集的构 建。先期建立各种景物对象的独立属性特征集，从而能够实现具体的对象分类 数据信息。这也为随后的图像信息处理提供了必要的信息基础。如果数字图像 1 2 山东大学硕士学位论文 尺寸过大，可以在分割之前可以把他们缩放到一定尺度，这样减少了分割时间， 又由于自然风景图像在缩放后不会丢失局部景物的信息，所以缩放可以提高系 统效率又不会导致分割后标记结果的改变。 图像分割有两大类方法：基于边缘的分割方法和基于区域的分割方法。为了 消除各个图像区域之间在边界上的同质相似性和不连续性，我们使用引入了基 于密度梯度的m e a n s h i f t 算法，在下一节中将详细介绍。 3 2m e a ns hjf t 简介 m e a ns h i f t 这个概念最早是由f u k u n a g a 等人【2 刀于1 9 7 5 年在一篇关于概率密度 梯度函数的估计中提出来的，其最初含义正如其名，就是偏移的均值向量，在这里 m e a ns h i f t 是一个名词，它指代的是一个向量，但随着m e a ns h i f t 理论的发 展，m e a ns h i f t 的含义也发生了变化。 3 2 1h e a ns hif t 基础理论 m e a ns h i f t 算法一般是指一个迭代的步骤，即先算出当前点的偏移均值，移 动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件 结束。 m e a ns h i f t 算法先给定d 维空间中的n 个样本点，i = l ，n ，在x 点的 m e a ns h i f t 向量的基本形式定义为： 鸭( x ) 三i 1 ( 葺一x ) ( 1 ) ，s 其中，瓯是一个半径为h 的高维球区域，见图3 - 1 ，满足以下关系的y 点的集合， 瓯( z ) 兰y ：( j ，一x ) r ( y z ) 办2 ) ( 2 ) k 表示在这n 个样本点中，有k 个点落入瓯区域中 _ 一 1 3 山东大学硕士学位论文 图3 1m e a n - s h i f t 不恿图 ( 薯- - x ) 是样本点薯相对于点x 的偏移向量，( 1 ) 式定义的m e a ns h i f tn i t m ( x ) 就是对落入区域瓯中的k 个样本点相对于点x 的偏移向量求和然后再平均从 直观上看，如果样本点一从一个概率密度函数厂( x ) 中采样得到，由于非零的概 率密度梯度指向概率密度增加最大的方向，因此从平均上来说，瓯区域内的样 本点更多的落在沿着概率密度梯度的方向。因此，对应的，m e a ns h i f t 向量 m 。( x ) 应该指向概率密度梯度的方向。 如图3 1 所示，大圆圈所圈定的范围就是瓯，小圆圈代表落入瓯区域内的样本 点薯瓯，黑点就是m e a ns h i f t 的基准点z ，箭头表示样本点相对于基准点x 的 偏移向量。我们可以很明显的看出，平均的偏移向量帆( 功会指向样本分布最多 的区域，也就是概率密度函数的梯度方向。 3 2 2m e a ns hif t 扩展 1 9 9 5 年，y i z o n gc h e n g 对基本的m e a ns h i f t 算法在以下两个方面做了推广幽1 ， 首先y i z o n gc h e n g 定义了一系列核函数，使得随着样本与被偏移点的距离不同， 其偏移量对均值偏移向量的贡献也不同，其次y i z o n gc h e n g 还设定了一个权重 系数，使得不同的样本点重要性不一样，这大大扩大t m e a ns h i f t 的适用范围。 1 4 山东大学硕士学位论文 c o m a m c i u 等人【2 9 】【3 0 】把m e a ns h i f t 成功的运用的特征空间的分析，在图像平 滑和图像分割中m e a ns h i f t 都得到了很好的应用。c o m a n i c i u 等在文章中证明 了，m e a ns h i f t 算法在满足一定条件下，一定可以收敛到最近的一个概率密度函数 的稳态点，因此m e a ns l 1 i f l 算法可以用来检测概率密度函数中存在的模态。 核函数定义：x 代表一个d 维的欧氏空间，x 是该空间中的一个点，用- y u 向 量表示。x 的模i i x l l 2 = ，石r 表示实数域。如果一个函数k ：x r 存在一个剖 面函数k ：0 。1 j 尺，即 k ( 功= k ( 1 l z n 并且满足：1 ) k 是非负的2 ) 七是非增的，即如果a b x z , k ( a ) k ( b ) 3 ) k 是 分段连续的，并且r 后( ，- ) d r 。那么，函数k ( 工) 就被称为核函数。 在m e a ns h i f t 中，有两类核函数经常用到，分别是， 单位均匀核函数( 图3 2 a ) ：f ( 功= 1 0 i fi l x l l 0 ( 1 ) 其中x 。，x j 是样本数据，r 是核函数参数 求解勰( 三国r c o + c ( 喜号t ) 满足咒( ( 国r 薯) + 6 ) l 一当( 磊o ，f = 1 ，) 由于在每次训练中模型的参数都会产生波动，为提高训练速度，参数先会 在一定的精度范围内进行确定，这种先找到的参数在某个范围内能够得到比较 优秀的