（计算机软件与理论专业论文）基于本体的动画素材图像语义标注研究.pdf

摘要 随着卡通动画产业的不断发展和生产规模的不断扩大，大量动画 图像素材的可重用性、共享性给卡通动画企业提出了严峻的问题。使 用高效的动画图像素材检索系统，是提高图像素材的复用度、降低生 产成本、提高动画产业生产效率的有效途径。 在动画素材图像的检索系统中，图像语义标注的质量直接影响了 检索的效果。传统的手工标注方式对图像内容进行文本标注，费时费 力且主观偏差非常明显。因而如何提高图像标注的语义精度、减少图 像标注的工作量是图像语义标注的研究重点。如何跨越图像底层特征 和高层语义之间的语义鸿沟，使机器自动的实现图像语义标注更是研 究的难点。这两个层次的语义标注研究对于动画素材图像语义检索系 统的高效运行有着重要意义。 本文提出了动画素材图像语义标注模板和标注规范，从对象、事 件、场景、空间关系等方面对图像的多级语义进行完善的标注。并根 据该语义标注模板构建了基于本体的动画素材图像语义标注工具，实 现了动画素材图像的快速语义标注，减少标注者的工作量，并使标注 内容全面、标准、客观、统一。实验表明，本标注工具应用到图像语 义检索系统中，大幅度的提高了语义检索的性能。 根据动画素材图像的特点，本文提出基于本体的图像语义自动标 注方法，通过建立语义原型库和语义模板库，辅以图像训练库中的语 义关联规则，利用高效的语义相似度计算和自动标注算法，逐层跨越 语义鸿沟，更准确有效的进行动画素材图像中的对象语义、场景语义 和情景语义的自动标注。根据此自动标注方法，本文设计和实现了动 画素材图像语义自动标注实验系统，并取得了良好的语义识别效果。 关键词：本体，图像语义检索，图像语义标注，语义自动标注，语义 鸿沟 a b s t r a c t w i t ht h ec o n s t a n td e v e l o p m e n ta n dp r o d u c t i o ns c a l e sc o n t i n u o u s e x p a n s i o no ft h ec a r t o o ni n d u s t r y ，t h er e u s a b i l i t ya n ds h a r i n go fal a r g e n u m b e ro fa n i m a t i o ni m a g em a t e r i a l sb e c a m eas e r i o u sp r o b l e m u s i n g a l le f f i c i e n ta n i m a t i o ni m a g em a t e r i a lr e t r i e v a ls y s t e ma n di m p r o v i n gt h e d e g r e eo fm a t e r i a lr e u s ea r et h ee f f e c t i v ew a yt oi m p r o v et h ep r o d u c t i v i t y o fa n i m a t i o n i n d u s t r ya n dl o w e rp r o d u c t i o nc o s t i nt h ea n i m a t i o ni m a g er e t r i e v a ls y s t e m , i m a g es e m a n t i ca n n o t a t i o n h a sad i r e c t l yi n f l u e n c eo nt h er e s u l to fi m a g er e t r i e v a l t h et r a d i t i o n a l t e x t - b a s e dm a n u a la n n o t a t i o nm e t h o df o ri m a g ec o n t e n ti sl a b o r i o u s ， t i m e c o n s u m i n ga n ds u b je c t i v eb i a s h o wt oi m p r o v et h ea c c u r a c yo f i m a g es e m a n t i ca n n o t a t i o na n dt o r e d u c et h ew o r k l o a do fi m a g e a n n o t a t i o na lec r u c i a lt os e m a n t i ca n n o t a t i o n h o wt oa n n o t a t et h ei m a g e s e m a n t i ca u t o m a t i c a l l yi no r d e rt oa c r o s ss e m a n t i c g a pb e t w e e nt h e f e a t u r ea n dt h eh i g h - l e v e ls e m a n t i co ft h ei m a g ei sad i f f i c u l tp r o b l e m t h i st w o - l e v e ls e m a n t i ca n n o t a t i o nr e s e a r c hi so fg r e a ts i g n i f i c a n c et ot h e s e m a n t i c - b a s e di m a g er e t r i e v a ls y s t e m i nt h i sp a p e r ，t h ea n i m a t e di m a g es e m a n t i ca n n o t a t i o nt e m p l a t ea n d n o r ma r ep r o p o s e dt oi m p r o v em u l t i - l e v e ls e m a n t i ca n n o t a t i o nf r o mt h e o b je c t s ，e v e n t s ，s c e n e s ，s p a c er e l a t i o n so nt h ei m a g e t h e n ，t h i sp a p e r d e v e l o p e do n t o l o g y - b a s e ds e m a n t i ca n n o t a t i o ns y s t e m i tr e d u c e st h e w o r k l o a do fa n n o t a t o r ，a n dl e a d sa n n o t a t i o nc o n t e n ts t a n d a r d ，o b je c t i v e a n du n i f i e db yu s i n go n t o l o g ya n ds e m a n t i ca n n o t a t i o nt e m p l a t e t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ei m a g ea n n o t a t i o nt o o li m p r o v e st h e p e r f o r m a n c eo fs e m a n t i cr e t r i e v a ls u b s t a n t i a l l y i na d d i t i o n ，a n t o m a t i ci m a g es e m a n t i ca n n o t a t i o nm e t h o db yu s i n g i i i o n t o l o g yi sp r o p o s e d i nt h i s p a p e r t h r o u g hb u i l d i n gt h ep r o t o t y p e d a t a b a s eo fs e m a n t i cc o n c e p t ，s u p p l e m e n t e db yt r a i n i n gl i b r a r yi m a g e s e m a n t i ca s s o c i a t i o nr u l e s ，a n d u s i n gh i g h p e r f o r m a n c e a u t o m a t i c s e m a n t i ca n n o t a t i o na l g o r i t h ml a y e rb yl a y e ra c r o s st h es e m a n t i cg a pc a n a u t o - a n n o t a t et h es e m a n t i co fi m a g em o r ea c c u r a t e l ya n de f f e c t i v e l y a c c o r d i n g t ot h e i m a g e s e m a n t i ca u t o - a n n o t a t i o n m e t h o d ，t h e s e m i a u t o m a t i ci m a g es e m a n t i ca n n o t a t i o ne x p e r i m e n ts y s t e mi sd e s i g n e d a n di m p l e m e n t e d t h e e x p e r i m e n t ss h o wt h a tg o o de f f e c t so ft h e a u t o m a t i ca n n o t a t i o nc a nb eo b t a i n e d k e yw ords ：o n t o l o g y , i m a g es e m a n t i cr e t r i e v a l ，i m a g es e m a n t i c a n n o t a t i o n ，a u t o m a t i cs e m a n t i ca n n o t a t i o n ，s e m a n t i cg a p i v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 学位论文作者签名：粥枷 刃口罗年石月g 日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密留。 ( 请在以上相应方框内打“”) 作者签名：劫物 导师签名：南务鸟 日期：加哆年石月g 日 日期：z 口口7 年6 月g 日 基十本体的动画素材图像语义标注研究 1 1 课题背景 1 绪论 近年来，随着文化产业的兴起，卡通动画已经发展成为一个庞大 产业群，其影响范围更涉及到移动通讯、数字娱乐、游戏等诸多行业。 随着原创卡通动画产品的不断发展和生产规模的不断扩大，数千万的 图形图像、模型、音效等动画素材的可复用性、共享性给卡通动画制 作行业提出了严峻的问题。在如今大批量的动画连续剧的制作和生产 过程中，大量的人力投入、重复的手工绘画、高昂的生产成本成为了 制约动画产业发展的重要因素。传统的关系数据库的素材管理和基于 关键字的查找方式效率极其低下，且耗时耗力，难以满足动画素材资 源管理和重用的需要。动画制作人员经常耗费大量时间和精力查找素 材，甚至重新绘制已有或近似的的卡通造型和动画图片，使得卡通素 材复用程度低，从而导致动画产业生产效率低下、成本高昂。在卡通 动画的制作过程中，图像素材的数量最大，制作时间最长、消耗人力 物力最多。因此，使用高效的动画图像素材检索系统，提高图像素材 的复用度是提高动画产业生产效率、降低生产成本的有效途径。 传统的基于文本的检索技术主要基于作者、标题等索引项进行全 文检索，没有体现图像的真实语义，很难达到理想的检索效果。基于 内容的检索技术虽然可以提高检索的自动化程度，但是其内容描述只 是针对图像数据的底层物理特征，无法表示图像本身丰富的语义信 息，造成机器理解与人类理解之间的“语义鸿沟，【。这两种检索方 式会造成图片素材大量语义信息的丢失，并导致标注成本高、检索效 率低下。 为了克服以上缺陷，真正的实现图像素材的高度复用，我们在国 家8 6 3 项目“软件及数字媒体i t 资源库关键技术与系统”的支持下， 利用语义技术，开发了基于本体知识库的动画素材图像语义标注和检 索系统，以支持动画图像素材的资源存储、资源管理和资源检索。通 过语义化方案，能极大提高图像素材资源的查准率和查全率，为卡通 动画的制作人员提供一个公共的协同工作和技术支持平台，实现动画 素材图像资源的共享，以推动动画产业的发展。 在图像语义检索系统中，图像语义信息的标注是工作重点之一。 大部分的语义标注工具是通过系统提供的标注工具，按照一定的标注 模式和标注规范对图像资源进行人工的语义标注。这样标注的语义能 够准确、全面的反映图像资源丰富语义，为检索提供依据，以提高检 索系统的查全率和查准率。但在大规模的图像管理和应用中，手工标 注仍有其效率低、耗时耗力的缺点。 自动语义标注着力于将底层特征空间映射到高层语义空间，跨越 “语义鸿沟，以实现图像高层语义的自动提取。其方法主要通过提 取资源的底层特征，然后与训练库中存储的特征比较而获得资源的语 义。自动标注的目的是实现语义提取过程的自动化，但该方法获取的 语义精度不高，不能在大型资源库中有效使用，一般只适用于特定的 应用情况。 在动画图像素材的检索系统中，图像语义标注的质量和精度直接 影响了检索的效果，如何提高图像标注的语义精度、减少图像标注的 工作量是图像语义标注的研究重点。如何使机器自动的实现图像语义 标注更是研究的难题。这两个层次的语义标注研究对于动画素材语义 检索系统的高效运行有着重要意义。 1 。2 研究现状 1 2 1 图像检索系统分类 随着图像资源库的不断建立和用户要求的不断变化，图像检索系 统也随着不断发展。图像检索技术分为三类，分别为基于文本的图像 检索、基于内容的图像检索和基于语义的图像检索。 基于本体的动画素材图像语义标注研究 ( 1 ) 基于文本的图像检索 2 0 世纪7 0 年代开始的图像检索研究主要是传统的文本图像信息 检索技术，简称t b i r 2 1 。这种检索技术主要选取图像名称、作者、 年代等媒体信息来索引图像，而忽略了图像本身丰富的可视化内容信 息。基于文本的图像检索从传统的全文检索中获得启发，但由于图像 资源和文本资源的巨大差异，使得这种检索方式的效果不太理想。基 于本文图像检索中人工标注耗时耗力的问题难以解决【3 1 ，标注信息不 准确也会影响检索结果 4 1 。图像数量和信息量的庞大规模、图像内容 理解的差异等诸多问题使得基于文本的图像检索不再成为检索技术 研究的热点。 ( 2 ) 基于内容的图像检索 2 0 世纪9 0 年代，多媒体检索技术的研究热点开始转向基于内容 的图像检索，简称c b i r 5 1 。与基于文本的图像检索中关键词匹配方 式不同，基于内容的图像检索着重匹配图像的视觉特征。视觉特征又 分为通用的视觉特征和领域相关的视觉特征【6 】。通用的视觉特征主要 包括颜色、形状和纹理，一般描述所有图像共有的特征，与图像的具 体内容无关；而领域相关的视觉特征是建立在对所描述图像内容的某 些先验知识的基础上，与具体的应用联系紧密，如人的面部特征、指 纹特征或是树叶的基本特征等。最早成功应用的基于内容图像检索系 统是i b m 开发的q b i c 系统 7 1 ，其可以通过用户提交的草图、轮廓和 选定的特征模式来检索图片。其他著名的图像检索系统还有v i r a g e t s 】、 m i t 实验室开发的p h o t o b o o k 9 】、哥伦比亚大学开发的v i s u a l s e e k t l o 】 等。基于内容的图像检索从图像本身的特性出发构建检索模型【1 1 1 ，与 基于文本的检索相比效果有较大改进，但很多情况下无法解决图像语 义的问题，检索的结果往往与人的愿望大相径庭。 ( 3 ) 基于语义的图像检索 在实际的检索需求中，用户往往需要的不是颜色、形状、纹理等 特征，而是图像所描述的对象、行为、情感等内在含义，这些就是图 像的高层语义特征，包含了人们对图像内容的主观理解和认知。基于 语义的图像检索利用语义网络，结合文本检索和内容检索的关键技 术，通过语义推理和相似性匹配查询出符合用户真实意图的图像。为 了达到良好的检索效果，基于语义的图像检索需要综合应用多媒体技 术、人工智能、信息科学、认知科学等多学科知识来实现图像语义特 征的提取、表示和检索。如c a l i p h & e m i r 【1 2 1 是在国外最大的开源网站 s o u r c e f o r g e 上的一个基于语义注释图( s e m a n t i ca n n o t a t i o ng r a p h ) 的语义检索，分多层语义对图像进行标注和检索，取得了不错的效果。 目前，基于语义的检索并不如传统的文本和内容检索技术成熟，如何 将图像底层特征与人们的主观意志高度统一，以跨越“语义鸿沟”仍 然是研究的热点。 1 2 2 现有的图像语义标注工具 图像语义标注的研究成为近年来的研究热点【1 3 】，国内外很多组织 和机构都发布了各自开发的图像语义标注工具，以下介绍几个典型的 图像语义标注工具： m o n t o m a ta n n o t i z e r 1 4 】：a c e m e d i a 项目中的m o n t o m a t a n n o t i z e r 工具实现了c r e a m 标注框架，可利用本体标注和检索图 像和视频多媒体资源。该工具首先将图像分割成一系列的区域，然后 提取每个区域的m p e g 7 可视化描述符，再和存储在领域本体的原型 化概念进行比较，最后各区域由距离最近的领域概念标注。 i n o t e 1 5 】：由美国维吉尼亚大学开发的一个图像标注工具，用户在 通过圆形、方形等各种形状区分图像对象后，可以把文本标注加在图 像中的各个不同区域内并保存，保存后的标注文件的内容可以被编辑 和修改。 a k t i v em e d i a 1 6 】：是一个基于本体的图像和文本标注系统，当标 注者在标注时，能自动提供提示信息以减少标注者的工作量。该系统 基于本体的动画素材图像语义标注研究 运用基于背景知识的方法，在后台使用w e bs e r v i c e s 与标注知识库中 心交互以查找关联的知识和信息，做到了较高层次的语义化。 m i at o o l 1 刀：l a u r ah o l l i n k 等人开发的基于艺术领域本体的图像 语义标注和检索工具，能够利用本体中的概念对艺术图像作品进行语 义标注，并充分利用语义推理功能简化标注工作量，提高标注质量和 效果。 i m a g ea n n o t a t i o n l o 【1 8 】：浙江大学开发的基于图像语义和内容的 半自动标注系统，是一个集合了图像管理、图像搜索和图像标注为一 体的图像管理系统，并使用相关反馈技术实现图像语义的半自动标 注。 p h o t o s t u f f t l9 】：利用语义w e b 技术的图像标注工具，能够使用 o w l 本体标注图像整体和特定区域内容的语义。而且可以将j p e g 文件中的提取的元数据转换成r d f 。图像的标注内容可以在网络上 发布和共享。 1 3 本文的主要工作和创新点 1 3 1 本文的主要工作 动画素材的语义标注是动画素材语义检索系统中的重要环节之 一，本文实现了基于本体的动画素材的语义手工标注工具，并在此基 础上进行动画素材语义自动标注的研究与实验，得到了较为理想的效 果。 ( 1 ) 基于本体的动画素材的语义手工标注工具 根据语义层次模型，对应于对象语义、空间关系语义、场景语义、 行为语义和情感语义等多级语义，制定了较为完善的语义标注模板和 语义标注规范，从对象、事件、场景和空间关系四个方面详细描述图 像的高层语义。根据该语义标注模板，开发了语义手工标注工具，实 现了图像颜色、形状、纹理等底层特征提取，并利用本体中的概念和 实例对图像的多层次语义进行标注。该工具一方面可以对入库的动画 素材的语义进行详尽标注以满足检索的需要；另一方面可以构建图像 训练库，为自动标注的研究提供素材。 ( 2 ) 动画素材语义自动标注研究、系统设计与实验 根据语义层次模型，提出基于本体的动画素材语义自动标注方 法，逐层跨越g 1 、g 2 、g 3 、g 4 四个语义鸿沟，以获取待标注图像 的对象语义、场景语义和情景语义。首先根据动画剧集的任务本体构 建动画素材对象语义的原型库，然后根据语义原型库生成语义模板 库；之后通过将待标注图像分割后的对象区域子块的底层物理特征与 语义原型库和语义模板库匹配，计算得出该对象区域子块的对象语 义；接着根据已识别的对象语义集推理计算出待标注图像的场景语 义；最后根据已识别的对象语义集和推理出的场景语义，综合计算得 出待标注图像的情景语义。 根据动画素材语义自动标注方法，本文提出语义自动标注流程， 设计动画素材图像自动标注实验系统，实现了语义原型库的构建和图 像语义的自动标注。 1 3 2 本文的创新点 本文有如下几个创新点： 1 、提出了动画素材图像语义标注模板，从对象、事件、场景、 空间关系四个方面对图像的对象语义、行为语义、空间关系语义、场 景语义和情感语义等多级语义进行完善的标注，极大的简化和规范了 语义标注工作，并根据该语义标注模板构建了基于本体的动画素材图 像语义标注系统； 2 、针对动画素材图像特定领域，提出了基于本体的图像语义自 动标注方法，通过建立语义原型库和语义模板库，辅以图像训练库中 的语义关联规则，利用高效的语义相似度计算和自动标注算法，逐层 跨越语义鸿沟，更准确、有效的实现动画素材图像中的对象语义、场 基于本体的动画素材图像语义标注研究 景语义和情景语义的自动标注。 3 、设计和实现了基于本体原型库的动画素材图像语义自动标注 实验系统，并取得了良好的语义识别效果。 1 4 本文的组织结构 第一章，介绍基于本体的动画素材图像语义标注的课题背景和意 义、主要工作、创新点以及图像检索系统分类和现有的图像语义标注 工具。 第二章，介绍图像自动标注相关技术概述，包括本体的构建、图 像特征提取、资源描述框架r d f 及其操作工具j e n a 、图像相似性匹 配和自动标注模型等理论知识的介绍。 第三章，介绍了笔者负责设计和开发的动画素材图像语义标注工 具，提出图像标注语义模板和标注规范，并对语义标注的文档和对应 的r d f 图进行语义分析。然后介绍我们开发的动画素材图像语义标 注和检索系统，包括系统功能、系统框架、系统组成模块等。最后展 示图像检索系统的界面和实验结果，实验证明标注系统对检索的效果 和性能有很大提升。 第四章，提出基于本体的图像语义自动标注方法，根据语义层次 模型，逐层跨越语义鸿沟。首先构建语义原型库和语义模板库，然后 根据本体中的语义关系和图像训练库中挖掘出的语义关联，计算得出 对象语义、场景语义和情景语义。 第五章，根据图像语义自动标注方法，设计和实现了图像自动标 注实验系统，并通过实验展示语义自动标注效果。 第六章，对本文进行总结，提出本文不足和以后可以继续研究的 方向。 幕于本体的动画素材图像语义标沣研究 2 图像语义标注相关技术概述 2 1 本体的构建 我们采用基于本体的方法实现图像语义的标注和检索，标注的概 念和实例、检索的扩展方式和机制都来源于所选择的本体，其构建的 粒度和质量对标注和检索的效果有相当大的影响。因此在语义检索系 统和自动标注方案中，选择和构建完善的本体非常重要。 2 1 1 本体的定义 起源于一个哲学上的概念，表示客观世界本质的o n t o l o g y ( 本体 或本体论) 【2 0 1 己被广泛应用到语义检索、人工智能、电子商务、数据 挖掘等诸多领域。本体的最终目标是“精确地表示那些隐含( 或不明 确的) 信息”【2 1 1 。s t u d e r ( 2 2 1 给出了本体的通认定义“本体是共享 概念模型的明晰的形式化规格说明 。本体具有概念模型、明确、形 式化、共享四层含义【2 4 1 。现在本体通常指在一些领域中可以共享理解 的术语，是一系列类( 概念) 、关系、函数、公理和实例的集合【2 3 1 。 其中关系是概念之间在领域中的交互作用，如子类关系( s u b c l a s s o f ) 、 部分和整体关系( p a r t 0 0 、实例关系( i n s t a n c e - o f ) 、属性关系( a t t r i b u t e o f ) 笔【2 5 】 寸 o 2 1 2 本体分类 本体的分类方法有多种，根据不用的应用背景可以有不同的分类 方式。若按照本体研究的主题可分为五种类型，分别为以斯坦福大学 知识系统实验室k s l ( 2 6 1 研究为代表的知识表示本体、以c y c 工程【2 7 】 为代表的通用或常识本体、以生物本体为代表的领域本体、以 p r i n c e t o n 大学开发的w o r d n e t 【2 8 】为代表的语言学本体和主要涉及动 态知识的任务本体。 动画领域本体的构建是动画素材语义标注和检索系统的核心，其 质量直接影响了检索的效果。李勇【2 9 】提出面向动画领域的本体库架 构。在此架构中，包括了以知网h o w n e t 3 0 】为代表的通用本体、连接 底层特征和媒体结构的多媒体本体、提供动画领域相关知识的动画领 域本体、作为统一抽象本体层的卡通动画核心本体和描述具体的动画 内容的剧集任务本体五类。 在我们的原型系统中，使用斯坦福大学开发的p r o t 6 9 6 本体构建 工具，通过集成m p e 9 7 本体【3 2 】，建立了动画本体，并使用该本体 的概念和实例对素材进行标注，以及使用该本体的概念、实例、属性 和关系进行语义检索。 2 2 资源描述框架r d f w 3 c 于1 9 9 9 年公布的资源描述框架r d f 提供了一种用于表达 语义信息、并使其能在应用程序间交换而不丧失语义的通用框架，是 语义网表示语义信息的基础【3 3 】。r d f 采用u r i 作为标识符系统、x m l 作为表示语言，并提供了一个通用的数据模型支持对w e b 资源的描 述，用“主题一谓词一客体”形式的三元组来描述w e b 上的各种资 源和它们之间的关系【3 4 1 。 2 2 1r d f 模型 r d f 数据模型由资源、文字、特性和声明四种基本对象类型组 成。在r d f 的设计思想中，被描述的资源具有一些有值的特性，特 性值既可以是文字也可以是其他资源。如果特性值是资源，该特性也 可以看成是两个资源之间的关系，对资源的描述就是对资源的特性和 值进行声明。 r d f 模型的基本结构是声明三元组的集合，可用具有节点和有 向边的图来表示，称为r d f 图。在r d f 图中每个三元组表示为一个 节点一边一节点的链接。r d f 图的节点是主体和客体，边由谓词担 当，边的方向由主题指向客体。r d f 图可以转化为三元组表示法， 皋于本体的动画素材图像语义标注研究 两者描述完全相同的信息。然而，r d f 图虽然直观，但不便于机器 处理；三元组表示简略清楚，但不适合在网络上交换。因此，r d f 提供了一种被称为r d f x m l 的x m l 语法来书写和交换r d f 图模 型，并作为书写r d f 的规范性语法。在我们的语义标注系统中，就 是生成r d f x m l 描述来记录图像的语义。 2 2 2r d f 操作工具j e n a j e n a 是一个用来支持语义网应用的j a v a 开发框架，具有三层架 构和多种视图。j e n a 中包括了用于对r d f 文件和模型进行处理的r d f a p i ，用于对r d f 、r d f s 、o w l 文件进行解析的解析器，用于对 r d f 信息进行查询的r d q l 查询语言、用于对o n t o l o g y 进行处理和 操作的o n t o l o g y 子系统和在检索过程中用于推理的基于规则的推理 机子系统。j e n a 中的这些应用组件为r d f 、r d f s 、o w l 的操作和 处理提供了程序开发环境【3 5 】。 j e n a 中定义了a p i 接口创建和操作r d f 模型。其中定义了资源 ( r e s o u r c e ) 、文字( l i t e r a l ) 、属性( p r o p e r t y ) 和声明( s t a t e m e n t ) 的接口。另外r d f 还定义了包( b a g ) 、序列( s e q ) 、替代( a l t ) 三 种容器( c o n t a i n e r ) 来表示一组资源或文字，其中包是一组资源或文 字的无序列表，序列是一组资源或文字的有序列表，替代是一组可选 择的资源或文字。 2 3 图像底层特征提取 在图像语义自动标注方案中，图像底层特征提取的精度和质量对 自动标注的效果有很大影响。因此，图像底层特征提取是图像语义自 动标注不可或缺的重要环节。在自动标注过程中，都需要先提取图像 的底层特征才能做相似性匹配计算。大多数研究者都提取图像的颜 色、形状和纹理等图像共有的特征来作自动标注处理。 颜色是图像的一个重要特征，对图像的尺寸、方向、视角的依赖 性小，能够比较稳定的表达图像的视觉感受。大部分的相似性计算都 采用颜色特征进行匹配。颜色特征的表示方法有多种，主要包括颜色 直方图【3 6 】、颜色矩【3 7 1 、颜色集【3 8 1 、颜色聚合向量【3 9 】以及颜色相关图【4 0 1 笙 寸0 物体和区域的形状是图像表达和图像检索中的另一重要的特征。 形状是刻画物体最本质的特征，也是最难描述的图像特征之一。对自 然界的物体来说，形状可能比颜色包含更多的语义信息，所传递的语 义也往往更具体、准确。提取图像的形状特征有多种方法，基于边界 的形状描述方法利用了图像的边缘信息，傅立叶形状描述符【4 1 1 是其中 最典型的方法；基于区域特征的方法使用目标在图像内所覆盖的区域 来描述形状，不变矩【4 2 1 是最常用的一种方法。 纹理特征反映图像中同质现象的视觉特征，是所有物体表面共有 的内在特性，不依赖于颜色或亮度。例如云彩、树木、瓷砖、布料、 大海等都有各自的纹理特征【4 3 1 。纹理特征包含了物体表面结构组织排 列的重要信息以及它们与周围环境的联系。常用的纹理特征提取方法 有t a m u r a 纹理特征、基于小波变换的纹理特征、共生矩阵方法【4 5 】 等。本文使用共生矩阵方法提取纹理特征。通过对共生矩阵中元素进 行不同角度的统计，可以用惯性矩、能量、熵和平稳性四个特征来表 示纹理。 惯性矩：c o n = ( 矗一尼) 2 m 从 ( 公式2 1 ) 能量： a s m = ( 优胜) 2 ( 公式2 2 ) 熵：鼢旧= 一e m 础l o g m 触 ( 公式2 3 ) e h k m n 一以以】从 平稳性：c o r = 上二( 公式2 4 ) 0 p ， 其中以，以，0 5 ，q 分别为m x ，m ，的均值和标准差，m ，是矩 阵m 中每列元素之和，m 。是矩阵m 中每行元素的总和。 基于本体的动画素材图像语义标注研究 2 4 特征向量相似性度量 在提取图像底层物理特征后，需要进行特征向量相似性度量来匹 配两个图像特征向量的相似度，进而进行语义识别。我们提取图像的 颜色、形状和纹理特征，各特征参量具有不同的物理意义，取值范围 也不同。每个特征又有多个分量，同一特征的不同分量之间也有较大 差别。若不加处理，就可能造成某些特征因取值较大而权值较重，而 影响匹配效果。因此，在自动标注过程中，一般都会先对特征进行内 部归一化和外部归一化操作后，再进行距离度量。特征之间的距离越 大，说明特征向量相似性越低；反之，特征距离越小，则说明相似性 越高。 2 4 1 特征向量内部归一化 在同一个底层特征中会有多个特征向量，代表各自不同的物理意 义，其数值的幅度变化也可能有很大差距，若不加处理而直接进行相 似计算，容易产生很大的偏差。为使特征向量内部各分量在相似计算 时具有可比性，一般采用高斯归一化法进行底层特征的内部归一化处 理，减少少数超大、超小的特征值对整个归一化后的特征值分布的影 响【4 6 1 。 特征向量记为f = 石，厶，正】，图像库中第i 幅图像对应的特征 向量记为f = 石，z ，】。在mxn 的特征矩阵f 中，是f 的第j 个 特征元素。c = z ，片，】表示f 中- - n 是长度为m 的特征序列。 在进行内部归一化处理时，首先对每一个特征分量值系列，计算其均 值聊，和标准差s ，然后将原序列归一化为( 一1 ，1 ) 分布的序列： ：塑( 公式2 - 5 ) j s j 2 4 2 特征向量外部归一化 颜色、形状、纹理等基本视觉特征的物理意义不同，取值范围相 差较大，相似距离之间的可比性较差，因此也可以用高斯归一化方法 进行特征向量外部归一化操作以平衡各特征向量在相似距离计算中 的权重。 首先计算图像库中任两个图像的特征距离： 口，= d i s t a n c e ( f y j ) ，f ，j = l 2 ，m ，f j f ( 公式2 - 6 ) 然后计算所有距离值的均值m 和标准差s 。对待标注图像i 计算 其与图像数据库中每个图像的距离，记为d ，p q ，q ，辨。之后对各距 离值进行高斯归一化： 研，：五丑 ( 公式2 - 7 ) ? j s j 最后，将归一化得到的值线性变换到区间 一1 ，1 】： 【塑+ 1 】 d t ：二l 二(公式 2 - 8 ) 2 4 3 特征距离度量 特征距离度量的效果直接影响了对象语义识别的准确性，常用的 度量公式有明氏距离度量公式、二次距离度量公式、m a n h a t t a n 距离 度量公式和欧式距离度量公式等。 特征向量记为，= i f , ，五办】，1 t i 为特征向量维数，力为第j 个 特征向量，p 和q 分别为两个图像，f p = 石，露】表示图像p 的 底层特征，f q = 月，月，眉】表示图像q 的底层特征。 ( 1 ) 明氏距离度量公式 肌 1 d u ( f p , f g ) = ( i 石p 一铲| ，) r ( 公式2 9 ) i = 1 当r 为1 时，该公式就成了m a n h a t t a n 距离度量公式；当r 为2 时，该公式就成了欧式距离度量公式。 一 ( 2 ) m a n h a t t a n 距离度量公式 d l l ( f p , f g ) = f 石p z 口i ( 公式2 1 0 ) i = 1 ( 3 ) 欧式距离度量公式 雉于本体的动画素材图像语义标注研究 d c ( f p , f g ) = ( iz p 一1 2 ) 2 ( 公式2 11 ) ( 4 ) 加权欧几里德距离 册 1 d c ( f p , f g ) = ( 哆i z p 一1 2 ) 2 ( 公式2 1 2 ) i = 1 加权欧几里德距离考虑了不同维各自的重要性，可单独用于颜 色、纹理、形状特征和它们的联合向量中。在我们的自动标注系统中， 在归一化处理之后，使用加权欧几里德距离计算底层特征向量相似 度。 ( 5 ) 二次距离度量公式 吃脚( f p ，f q ) = ( ( f p f q ) r a ( f p 一，- ) ) j( 公式2 13 ) 其中a 为系数矩阵，反映了任两个特征分量距离在整个距离计 算中的权重。当a 为单位矩阵时，为欧式距离度量公式；当a 为对 角矩阵时，为加权欧式距离度量公式。 2 5 图像自动标注模型 图像自动标注是指根据图像的视觉内容和特征信息，利用计算机 自动识别图像所表述的内容和意义，并以文本形式自动显示出来。图 像自动标注作为目前图像视觉领域的研究热点，已有很多研究者采用 机器学习、数据挖掘和统计模型的方法进行研究并取得了不错的效果 4 7 , 4 8 1 。一般的方式是首先对大量的图片素材进行人工标注，构建图像 训练库，然后通过分析和挖掘训练库中的关联信息来构建统计模型， 并利用这个模型对已进行图像分割【4 9 】的图片进行图像语义内容的自 动标注。 2 5 1 常用的自动标注模型 目前已有许多常用的自动标注模型【5 0 1 ，如机器翻译模型( m a c h i n e t r a n s l a t i o nm o d e l ) 5 1 1 的基本思想是将图像的视觉词组翻译成关键字 集合，在获得分割后的图像区域底层物理特征后，通过k n n 的聚类 硕士学位论文 方法将分割后的图像聚类成图像子块集合，并作成描述其他图像的通 用视觉词组，若新图片分割后的图像区域与这些视觉词组采用最大相 似度估计法进行相似性匹配后概率最大，那么代表这个视觉词组的关 键字就作为新图片的标注。跨媒体相关模型( c r o s s m e d i ar e l e v a n c e m o d e l ) 【5 2 】与机器翻译模型类似，也采用子块来表示图像的视觉内容， 采用相关模型分析子块和关键字的联合概率分布计算概率最大的关 键字集合来标注图片。多伯努利相关模型( m u l 卸l e b e r n o u l l i t e l e v a n c em o d e l ) 【5 3 】是一种改进的基于相关模型的自动图像标注方 法，将所有图像都切分为规则矩形，用多伯努利分布取代多项式分布 来描述词汇的概率分布，简化了分割操作和相似度计算。另外， c o o c c u r r e n c e 模型【5 4 1 、h i e r a r c h i c a la s p e c tc l u s t e r 模型 5 5 】、c o h e r e n t l a n g u a g e 模型【5 6 】等自动标注常用模型也都是在图像分割、聚类和相 似性匹配计算的思想的基础上通过对算法的改进，进行图像自动标 注。 2 5 2 自动标注模型的不足 现有的这些自动标注模型能够在特定范围内达到较好的语义识 别效果，但仍有很多不足。首先，所有的图片必须进行图像分割才能 自动标注，而现在图像分割的技术并不成熟，其准确度严重影响了标 注的效果，往往会造成机器理解与人对图像理解的巨大偏差；其次， 现有的自动标注模型都是建立在大规模的图像训练库的基础上，而本 身训练库的建立就是需要耗费大量人力物力的工作，选择的图像的类 型差别更会直接影响以此建立的统计模型的效果和使用范围；再次， 这些模型都是将图像转换为若干关键字集合，却没有明确区别标注的 语义层级，更无法准确识别图像的行为语义、情感语义和图像的真实 语义。 基于奉体的动画素材图像语义标注研究 2 6 本章小结 图像语义标注是近年来研究的热点，很多研究者都在这方面做了 大量的工作，取得了不错的进展。本章对图像语义手工标注和自动标 注的相关技术进行了概述。首先介绍了本体的定义、建模语言和本体 的分类；然后介绍了进行语义描述的资源描述框架r d f 以及其操作 工具j e n a 的框架和a p i 接口；接着介绍了颜色、形状、纹理等图像 底层特征的提取方式，并对常用的特征向量距离计算方法和特征向量 归一化处理进行了简介；最后介绍几种图像自动标注的常用模型并分 析了它们的不足。 基于本体的动向j 素材图像语义标注研究 3 动画素材语义标注方案和系统设计 3 1 动画素材语义标注方案 在基于本体的动画素材标注与检索系统中，本人主要负责动画素 材语义手工标注系统的设计和开发。作为动画素材语义标注工具的重 要组成部分，动画素材语义标注工具实现了对原始动画素材的语义标 注，为检索提供素材和依据。 3 1 1 标注总体内容 针对动画素材图片设计的标注内容包括媒体信息、内容特征和高 层语义特征三个部分，如图3 1 所示。媒体信息包括文件名、文件属 性、文件路径等文件信息以及公司名、动画片名、作者、创作时间和 素材类型等创作信息。内容特征包括颜色、形状和纹理等特征，其中 颜色特征提取颜色直方图，形状特征提取力矩和重心矩，纹理特征提 取能量、熵、惯性矩和局部平稳性。语义特征包括对象、事件、场景 和空间关系。 3 1 2 语义标注层次 图3 1图像语义标注总内容 在图像标注中，语义的层次表明了标注的抽象度和复杂度。语义 层次从下到上，一层比一层更加抽象，语义层次模型吲如图3 2 所示。 对于特征语义层，可以通过图像的视觉相似性来检索，这一层并没有 利用语义检索；对于其上面几层的语义检索，必须通过一定的知识推 理，识别出图像所包括的对象、空间关系等；而对于场景语义层、行 为语义层、情感语义层以及更高层的语义层，一般是通过对图像的场 景、对象等进行高层推理获得。 3 1 3 语义标注模板 图3 - 2 层次化语义标注模型 为了得到理想的