（计算数学专业论文）面向卡通动画素材的多媒体语义检索.pdf

摘要 随着卡通动画行业的发展，产生了大量的动画素材，包括图形 图像、动作、模型、材质、音效、动效。在动画制作过程中，需要 在海量的动画素材存储库中进行有效地查询，以往单纯查询目录分 类的素材文件系统，或对关系数据库管理的素材采用关键字查询使 得素材复用率和生产效率非常的低下。 基于内容的多媒体检索是一种依据内容特征的相似性匹配，无 法从根本上缩小“语义鸿沟。目前的研究热点是利用图像处理和人 工智能获取多媒体资源语义特征与基于知识库的语义知识获取方 法；语义w e b 技术越来越广泛地做为知识的表示和组织形式，基于 语义w e b 技术构建的本体知识库实现资源的语义化正成为多媒体资 源检索的热点。 本文的主要工作如下： 针对目前动画生产制作行业中出现的多媒体资源管理问题，基 于语义o n t o l o g y 的相关理论和技术，提出了面向动画领域的素材的 本体知识库架构，力图解决素材资源的语义化问题，通过本体知识 库实现概念或知识的扩展，把多媒体资源的语义特征纳入到领域本 体的知识表示体系当中，进一步从知识的层面上缩小“语义鸿沟”。 基于本体知识库设计了面向卡通动画素材的多媒体资源语义检 索架构，并对系统的关键部分进行了设计，如基于多查询的语义相 似度获取算法以及评分排序逻辑算法，基于j e n a 语义查询推理引擎 设计，剧集任务本体的设计等； 为了验证了设计的可行性和有效性，通过快速原型法实现了面 向动画图片素材的语义检索原型系统，如剧集任务本体的实现，简 单自然语言处理部分等；并对原型系统做了测试。 最后，本文给出了本课题研究的主要结论，并指出了本文的不 足之处，探讨了进一步研究的方向。 关键字：本体，语义化，多媒体检索，语义检索引擎 a b s t i 淑t a sf o ll o wa st h ed e v e l o p m e n to ft h ec a r t o o ni n d u s t r y ，t h e r e h a sp r o d u c e dm o r ea n dm o r ec a r t o o nm a t e r i a l s ，s u c ha si m a g e s ， m o t i o n ，m o d e l ，t e x t u a l ，a u d i oa n ds oo n i na n i m a t i o n p r o d u c t i o np r o c e s s ，i tn e e d s e f f e c t i v eq u e r yi nm a s s i v e r e p o s i t o r yo fm a t e r i a l b u tj u s td e p e n d i n gf o r m e r l yo nt h e m a t e r i a lf i l es y s t e mw i t hc l a s s i f i e db yc a t a l o go rt e x tq u e r y f o rm a t e r i a lm a n a g e db y r d b ，t h er a t i oo fr e u s ea n dt h e p r o d u c t i v i t yi sv e r yl o w a lt h o u g hc o n t e n t b a s e dm u lti m e d i ar e t r ie v a ls y s t e mb a s e d o nt h es i m i l a rm a t c ho fc o n t e n tc h a r a c t e r i s t i c s 。i ts t i l lc a n n o t r a d i c a l l yr e d u c e t h e 6s e m a n t i c g a p 。“n o w f o r e f r o n t r e l a t i v e l yh o ti st ou s ei m a g ep r o c e s s i n ga n da r t i f i c i a l i n t e l l i g e n c ea c c e s st om u l t i m e d i ar e s o u r c e ss e m a n t i cf e a t u r e s a n ds e m a n t i ck n o w l e d g e a c q u i s i t i o nm e t h o d sb a s e do nt h e k n o w l e d g eb a s e ：s e m a n t i cw e bt e c h n o l o g ym o r ea n dm o r ea c ta s t h ed e n o t a t i o na n d o r g a n i z a t i o n a lf o r m so fk n o w l e d g e ， o n t o l o g i c a lk n o w l e d g e b a s e a c h i e v i n gt h es e m a n t i c so f r e s o u r c e sb a s e do nt h es e m a n t i cw e bt e c h n o l o g yc o n s t r u c t i o n i sb e c o m i n gah o tc r a w lo fm u l t i m e d i ar e s o u r c e sr e t r i e v a l i nt h i sp a p e r ，t h em a i nw o r ki sa sf o l l o w s ： b a s e do nt h e o n t o l o g yt h e o r y a n d t e c h n o l o g y ， c a r t o o n 。o b j e c t e dm a t e r i a l s e m a n ti c z e ds c h e m ah a sb e e n p r o p o s e da i m e da tt h ep r o b l e m sc a r t o o np r o d u c t i o na n dt r i e d t os o l v et h ep r o b l e mo ft h em a t e r i a l r e s o u r c e ss e m a n ti c p r o b l e m s ，s u c ha sm a n a g i n gm u l t i m e d i ar e s o u r c e s b yt h e i l l e x t e n d i n go fc o n c e p to rk n o w l e d g ew h i c hm a k e st h es e m a n t i c c h a r a c t e ro fm u l t i m e d i at oc o m ei n t ot h ek n o w l e d g er e p r e s e n t s y s t e ma n dr e d u c ef u r t h e rt h es e m a n t i cg a pi nk n o w l e d g el e v e l m o r e o n t o l o g y - b a s e dk n o w l e d g eb a s ed e s i g n s f o ra n i m a t i o n m a t e r i a lr e t r i e v a lo fm u l t i m e d i ar e s o u r c e ss e m a n t i cs t r u c t u r e a n dak e yp a r to fs y s t e m ，s u c ha st h ea l g o r i t h m so fh o wt o g e tm u l t i q u e r y 。b a s e ds e m a n t i cs i m i l a r i t ya n dt h ea l g o r i t h m s o fg r a d ea n dt a x i sl o g i c ，t h ed e s i g na n dr e a l i z a t i o no f a n t h o l o g yo n t o l o g i e s ，t h ed e s i g no fj e a n b a s e ds e m a n t i cq u e r y r e a s o n i n ge n g i n e ，h ed e s i g na n d r e a l i z a t i o no fa n t h o l o g y o n t o l o g i e sa n ds oo n i no r d e rt oc h e c kt h ef e a s i b ili t ya n d v a li d i t y ， a m u l t i m e d i ar e s o u r c es e m a n t i cr e t r i e v a l s y s t e m o f c a r t o o n o b j e c t e dm a t e r i a lh a sb e e nr e a l i z e db yf a s tp r o t o t y p e ， s u c ha st h ed e s l g na n dr e a l1 z a t i o no fa n t h o l o g yo n t o l o g l e s l 1 ， 一一 p r o c e s si n gp a r to fsi m p l en a t u r a ll a n g u a g e ：a n dd ot h et e s ti n g f o rp r o t o t y p es y s t e m a tl a s t t h em a i nc o n c l u s i o n sa sw e l la st h es h o r t c o m i n g s h a v eb e e np r o p o s e di nt h isp a p e r a ls o ，t h ef u t u r er e s e a r c h d jr e c tjo nh a sb e e nd is c u s s e d k e yw o r d s ：o n t o l o g y ，s e m a n t i z a t i o n ，m u l t i m e d i ar e t r i e v a l ， s e m a n ticr e t r ie v a le n g i n e i v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，- 本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标 明。本人完全意识到本声明的法律结果由本人承担。 、 学位论文作者鲐居勇 加丞年6 月中日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密曰。 作者签名：压移晡在絮嚣攀髻丁j _ 日 导师签名：蔼茗迄鸟 日期：2 。趱年6 月笋日 面向卡通动画素材的多媒体语义检索 1绪论 随着生产规模的扩大和产业化合作的深入，素材资源的可重用 性、共享性给卡通动画企业提出了很严峻的问题。本章对本文课题 研究背景作了一个简单的剖析，随后指出了研究的目的和意义。通 过分析现有的多媒体检索技术现状引入本文所要解决的两个重要问 题：多媒体资源的语义化以及语义检索的架构；最后介绍了本文主 要采用的研究方法和主要创新点。 1 1 问题的背景 卡通动画行业已经发展成为一个庞大产业群，具有巨大的潜在 市场，涉及到卡通动画业、游戏业、数字娱乐、无线3 g 数字娱乐等。 随着湖南数字卡通企业原创卡通动画产品的不断发展，产生了大量 的3 d 卡通素材，包括图形图像、动作、模型、材质、音效、动效， 生产流程也越来越复杂。目前长沙国家数字媒体基地积累的卡通动 画素材已达数千万张，在大型卡通连续剧的生产过程中，当前的手 工生产流程，存在着大量的重复劳动，一般3 d 卡通动画制作采用 3 d m a x 或m a y a 制作工具，手绘各种卡通形象和特效，这种手绘的动 画素材很难重用；单纯查询目录分类的素材文件系统，或对关系数 据库管理的素材采用文本查询，存在对相近素材查准率和查全率低 的问题，效率极其低下，制作人员查找素材耗时费力，经常迫不得 已重新手绘画面近似的卡通形象和特效，导致卡通素材复用率低、 生产效率低。 另一方面卡通动画企业通过各种渠道和方法收集来的卡通动画 素材绝大部分是不可以立即使用的，要经过专业人员的分析、筛选、 加工、整理和制作，提高其附加值，贮存于资源数据库中，才能成 为可重用、共享的信息资源。 硕士学位论文 目前在多媒体资源检索领域研究较多的技术主要是基于文本的 检索技术和基于内容的检索技术乜3 。基于文本的检索技术采用手工 标注，自动化程度低，不仅费时费力，标注质量因人而异，而且难以 表达抽象的含义。基于内容的检索技术虽然可以提高检索的自动化程 度，但是其内容描述只是针对多媒体数据的底层特征。 人们愈来愈多地需要在语义层次上进行检索，如检索“一只狗在 大树底下乘凉，前面有辆汽车经过”的图像等，该查询包含了图像的 语义信息，如狗、大树、汽车、狗在大树底下、狗在乘凉、汽车在行 驶等语义。现有的检索技术在计算机所感知的底层特征和多媒体的高 层语义之间存在着“语义鸿沟”1 ，难以获取高层语义信息。再者， 由于缺少对多媒体数据有效的语义描述，各种系统之间无法信息共 享，所以大量的相关信息不能被检索出来。若要有效地获取多媒体信 息，必须实现基于语义的信息检索。基于语义的多媒体检索技术不仅 能提高信息检索的准确率，而且能提高信息共享和检索智能化的程度 】 。 1 2 研究的目的和意义 当前国内外兴起的s e m a n t i cw e b ( 语义网) 研究，力图让机器理 解w e b ，从而能够更加准确地查询和利用w e b 资源。这给笔者的启发是， 从当前流行的s e m a n t i cw e b 来研究多媒体资源的语义化问题或许是 将会是一个很好的角度。如果能够对多媒体资源语义化进行有效的探 索，必将有利于多媒体资源的检索，从而充分发挥多媒体资源在动画 制作过程中重用的价值。 通过对多媒体素材内容进行语义化，使得用户可以基于素材内 容的语义进行检索，在资源检索时通过查询知识库实现知识的扩展 以及资源内容语义的推理，然后自动重构查询检索请求进入资源库 中进行检索。 面向卡通动画素材的多媒体语义检索 本文研究的主要目的是：针对在动画生产系列流程中对素材以 及中间产品进行集中、统一的有效管理，构建基于本体的卡通动画 素材资源库，并在此基础上实现面向动画素材的多媒体语义检索引 擎，从而提高资源的查准率和查全率。其意义在于更好地实现多媒 体资源的存储管理以及检索服务，为动画公司以及动画的制作人 员提供一个基础平台，实现动漫产业基地的资源共享，增加不同基 地人员协同工作能力，甚至可以进一步通过语义脚本生成素材序列， 为将来的动画辅助制作技术提供一个技术基础。 1 3 多媒体语义检索的研究现状 为了实现对多媒体资源的高层语义检索，目前人们已经开展了大 量的研究工作，其中主流的研究方向就是在传统的内容检索技术上， 通过底层特征到高层语义的映射来实现多媒体资源的语义检索。不 过，近来也有在此基础上进一步结合元数据标准进行多媒体资源语义 信息描述，并通过相关本体来提供语义支持的新研究方向。然而，不 论是哪种研究方法都需要回答两个相关的问题语义的表示和语 义的获取。 ， 一 多媒体资源主要的语义表示方法大致分为四种：文本表示法、传 统的知识表示法、基于元数据标准的表示法( ! t l j m p e g - 7 ) 和基于本体 的表示方法。而语义获取方法根据人工参与程度的不同分为三个层 次：人工语义标注( “标注 和“标引”基本同义，笔者选用“标注 ( a n n o t a t i o n ) 以体现与s e m a n t i cw e b 技术的一致性) 、半自动语义 标注以及自动语义提取。 ， 人工语义标注主要是通过系统提供的标注工具，按照一定的标 注模式对多媒体资源进行手动的语义标注，其标注的语义一般能比 较精确地反映资源的高层语义，但其面临的问题是标注效率太低， 同样也不能应用于大规模的应用。 硕士学位论文 自动语义提取主要通过提取资源的底层特征，然后与特征库中 存储的特征比较而获得资源的语义，是一种是把底层特征映射到高 层语义的方法，如a c e m e d i a 项目的最终努力目标。该方法的好处 是其提取语义的过程是自动化完成的，使得获得多媒体资源的语义 信息相对容易，即系统提取多媒体的底层特征，而用户则加入高层 知识。但该方法获取的语义精度一般不高，不能在大型资源库中有 效使用，只适用于特定的应用情况。虽然近来提出了诸如相关反馈 等捕获人类感知的技术，提高了语义的精度，并获得了较好的效果， 但是从多媒体信息中提取高层语义信息仍存在不足。 通过对多媒体语义检索发展方面的调研，根据采用方法所依赖的 技术基础不同，可以将多媒体资源语义检索分为两类：基于智能算法 和多媒体处理技术的语义特征检索方法和基于知识库的语义知识检 索方法o 1 3 1 语义特征检索方法 基于语义特征检索的方法主要利用高效的多媒体处理技术对资 源进行处理，分析其物理特征，然后采用机器学习算法、统计方法等 来获得其相应的语义特征。这种方法融合了图像理解、模式识别等技 术，还涉及到认知科学、人工智能、人机交互、信息检索、机器视觉 等多个领域，可以认为是基于内容的检索的进一步发展。 1 ) 图像语义检索 y el u h l 等提出了一个带权的语义网络模型，通过简单机器学习算 法改进系统的性能，并结合用户的相关反馈信息，不断调整权值； x i a o f e ih e 等陆1 提出了用一个斛n 的矩阵来表示高层语义库，m 表示图 像库中图像，n 表示底层特征和高层语义特征，预先对一些图像定义 高层语义特征，结合用户交互过程中的语义反馈不断地改善系统的性 能；c h a n g b oy a n g 阳1 提出了语义反馈的图像检索，系统由底层特征空 面向卡通动画素材的多媒体语义检索 间和语义空间两个部分构成，预先对一些图片标记出高层语义，其它 没有标记的图片则由底层特征以及标记的图片推出。x i a o h a n gm a 1 提出了用神经网络来建立语义模型，以底层特征向量作为输入，高层 语义为输出。 2 ) 视频语义检索 基于语义视频检索系统的实现主要包括两大类技术：视频语义内 容分析、语义提取。视频语义分析包括时域分割( 分镜头) 、空域分 割( 区域分割、视频对象分割) 、关键帧选取及语义特征的提取等。 由于分镜头、关键帧等对视频的语义信息起到的作用十分巨大，因此 视频的语义特征就落实到了图像的语义特征，因此图片语义特征提取 的方法也可用于视频资源语义特征的获取。 目前提取视频语义的主要方法包括概率统计方法、统计学习方 法、基于规则推理的方法、结合特定领域( d o m a i n - d e p e n d e n t ) 特点 的方法等汹1 。 ( 1 ) 概率统计方法： 概率统计方法将视频语义对象提取看作是提取视频语义对象的分 类问题( 此对象类别未知) 的分类问题，利用模式分类方法来尝试跨 越语义鸿沟口1 。其核心思想是用随机数学方法来描述对象的不同特征 并在此基础上建立多媒体概念模式分类器，视频语义概念模式的分类 器主要包括多媒体语义对象模型和多媒体语义网络模型。 多媒体语义对象模型 一般采用贝叶斯决策理论( b a y e s i a nd e c i s i o nt h e o r y ) 建立的 贝叶斯分类器作为语义对象分类模型聃儿钔。 多媒体语义网络模型 语义网络可以间接提高模式分类器的语义概念识别能力，一些难 以直接探测的语义概念可以通过其他容易探测的相关对象推理而得 到n 们n 。比如海滩概念难以直接探测得到，但海滩的景色常伴随水、 硕士学位论文 沙、树、船等容易识别的语义对象，因此可以通过水、沙、树、船间 接得到海滩语义。 ( 2 ) 统计学习方法 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 基于统计学习理 论，建立在计算学习理论的结构风险最小化原则之上。其目的是在高 维空间中寻找一个超平面作为两类的分割，以保证最小的分类错误 率。此类模型通常适用于只有小训练样例集的情况下，分类效果较好 c 1 2 c 1 3 0 ( 3 ) 基于规则推理的方法 基于规则推理方法可以定义为集合尺。 r ：f c ( f 是特征集合，c 是语义概念集合) 。 若对于厂fa n dc c ，c 依赖于厂，则存在一个规则： 厂 c r 。 视li视频分析 曩h 叵圆圈 业 知 识 闽值、门限卜叫规则 基 于 规 则 推 理 图卜1基于规则的语义提取方法 图卜1 是基于规则的语义提取方法主要组成框图。此类方法主要 是根据视频内容特点，结合专业知识( 往往由专家参与) 定出相关的 推理规则。推理规则的实质是给出语义分类的阈值，利用一系列的阈 值构成语义概念分类器。 d o r a d o 等利用模糊集理论和数据挖掘技术，实现了基于规则的语 义提取和标注n 劓。学习阶段，此方法在专家用户参与下定制小量的样 本，以此建立规则和知识库。利用规则库，系统自动提取和标注视频 中的语义概念。h o 结合智能遗传算法，提出紧凑的模糊规则分类系统， 其模糊规则可理解性好、系统准确度高n 副。 面向卡通动画素材的多媒体语义检索 ( 4 ) 结合特定领域的方法 通过限定、缩小视频领域是目前跨越语义鸿沟的有效方法之一。 通过特定的领域后，语义概念和事件的随机性就被缩小了口1 。结合特 定领域特点的方法建立在对特定领域视频数据独立性质的分析上。通 常结合应用领域的背景知识，简化从底层特征到高层语义概念的映射 关系。具体方法大多利用视频对象的位置、对象在时间轴上的变迁， 与特定语义事件的关联等来实现。 r a u t i a i n e n 等利用建筑对象在垂直和水平方向直方图累计量较 大的特性，用边界方向相关矢量或统计的边概率直方图来区分自然景 色和城市语义n 。在新闻节目中，f a n 建立层次语义概念分类器，每 个节点对应一个语义概念n 引。采用类似方法的还有n 钔呦1 。 ( 5 ) 其他方法 其他方法包括基于注释的方法、语义模板方法、多种语义线索结 合的方法等乜。 1 3 2 语义知识检索方法 语义知识检索是基于知识库对资源的语义特征进行人工或自动 的标注，通过把资源的语义特征关联到知识库，然后进行语义的扩展 和推理，按语义相关度进行资源的检索。实现该方法的关键就是如何 实现多媒体资源的语义化。 一方面，多媒体的语义化方案必须具备在现有元数据基础上加 上语义标签，通过这个语义标签，把元数据映射到一个知识表示组 织体系当中，从而实现把本无语义的资源元数据纳入到语义( 概念) 网络之中的能力【6 6 1 。另一方面，m p e g 7 t 2 2 】( 多媒体内容描述接口) 对静止图像、图形、3 d 模型、音频、语言、视频以及关于这些成份 如何组成一个多媒体表述的信息提供了很好的参考模型，它规定了 一个用于描述各种不同类型多媒体信息的描述符的标准集合，并提 硕士学位论文 供了一系列标准化的多媒体描述工具，且有良好的扩展机制；其定 义的丰富元数据可以满足多种类型多媒体资源对内容的描述，但是 其不足的是元数据之间并不存在语义关联。因此在实现多媒体的语 义化时，可借助m p e g 7 标准中定义的丰富元数据，采用本体技术 来得到元数据之间的语义关联。 国内外众多的学者就是基于m p e g 7 或t v a n y t i m e t 2 3 】构建面 向多媒体领域的本体，以此建立多媒体元数据之间的知识来实现多 媒体的语义化。目前国外在该研究领域比较看好的项目主要是 a c e m e d i a 3 3 1 ，图片标注工具m o n t o m a t a n n o t i z e r t 3 2 】是其中非常重要 的一部分，它可以选定图像中的部分区域并在知识库( 基于本体的 知识库) 中选择合适的本体概念进行关联；通过计算选定区域的一 组物理特征( 如d o m a i nc o l o r 等) ，把这组物理特征与选定的概念 关联起来，每个这样的关联称为一个p r o t o t y p e l 3 2 】，p r o t o t y p e 的集 合称为p r o t o t y p e 库。进行自动标注时，通过分析资源的区域物理特 征来近似匹配p r o t o t y p e ，并将匹配得到的概念标注到资源上，通过 这种方式得到的语义信息往往层次很低，即使可以得到一些高层语 义，其语义的准确性也很差。由于在该方法中标注的语义是和多媒 体资源的物理特征关联起来的，故其检索时语义上的匹配不代表其 资源真实内容上的匹配，相反资源真实内容上的一致也不一定反映 到语义上了，总之其检索的精确性和准确度受物理特征提取算法的 影响很大。 国内主要有中国科学院的科学数据库多媒体检索系统【8 1 】以及解 放军理工大学的基于语义的智能多媒体信息检索【8 2 】正在做相关的工 作。 表1 1 从语义表示方法、语义获取方法以及语义描述程度三个 方面，将本文的方法与上面三个项目作了一个比较。 面向卡通动画素材的多媒体语义检索 表1 - 1 多媒体语义检索方法比较 语义表示方法语义获取方法语义描述程度 基于m p e g 7 元底层特征向高层语义的映 能描述低层语义，对高层 a c e m e d i a 数据标准，并结射，效率高，但语义精度一 语义描述能力差，提分层 项目m j合分层本体描述 般本体库，语义扩展性强， 提供词汇集支持大规模语义推理 科学数据库本体描述提供通过人工标注获取高层语能描述多层语义信息，有 多媒体检索词汇集义，效率低，语义精度较好本体库，语义扩展性一 系统般，支持小范围语义推理 基于语义的基于r d f s 的通过人工标注获取高层语 能描述多层语义信息，没 智能多媒体m p e g 7 语义元义，效率低，语义精度较好有本体库，语义扩展性差 信息检索1 8 2 l数据通用参考模和语义推理很有限 型 基于m p e g 7 元底层语义的自动提取结合基能描述多层语义信息，提 本文研究数据标准，并结于模板高层语义的人工标供分层本体库，语义扩展 课题合分层本体描述注，在保证语义精度的同时性强，支持大规模语义推 提供词汇集 很好的降低了语义获取的成理 本，提高了语义标注的效率 1 4 本文要解决的问题 本文主要解决的问题是基于本体知识库实现多媒体资源的语义 检索，因此研究的目标在于提出一个基于本体的多媒体资源语义化方 案并实现面向动画素材的多媒体资源语义检索引擎。 笔者认为实现多媒体资源的语义化必须具备两个条件：一是有合 适、丰富的元数据标准来提供语义标注的机制；二是需要一个面向领 域的知识表示和组织系统。m p e g - 7 中的元数据及其扩展机制使得第一 个条件成立；对于第二个条件，笔者系统通过构建面向动画领域的领 域本体和面向动画剧集的任务本体来表示和组织知识。 本论文还要解决的一个问题是：用实验系统验证多媒体资源语 义化方案的可行性以及验证基于该语义化方案在检索性能方面的有 效性。 硕士学位论文 1 5 本文的创新点 本文在以下三个方面有所创新： 一是针对目前动画生产制作行业中出现的多媒体资源管理问题， 基于语义w e b 的相关理论和技术，提出了面向动画领域的素材的本体 知识库架构，力图解决素材资源的语义化问题。针对特定的领域一 动画制作领域，构建面向领域的本体库存储架构，能够很好地解决素 材资源语义匮乏问题。 二是提出了面向卡通动画领域的多媒体资源语义检索的系统框 架，相比文献 8 1 8 2 3 而言，该框架设计得更加详细和具体。 三是针对语义检索问题，提出了基于s p a r q l 引擎实现多查询语 义获取算法来进行语义的扩展以及语义相似度的计算和相关的评分 排序逻辑对检索结果进行排序。 面向卡通动画素材的多媒体语义检索 2 语义w e b 与多媒体检索 信息的价值常常依赖于该信息如何能简单地得到发现、检索、 存取、筛选和管理。快速、准确地检索到所需的多媒体资源体现了 用户的需求，为了满足这种需求，结合多媒体检索与语义w e b 技术 是目前比较看好的和热门的技术。 2 1 语义w e b 理论与技术 2 1 1 知识表示 计算机必须存取结构化的信息集和推理规则集，才能进行自动 推理，人工智能研究者在w e b 开发前就对这些系统进行了研究。传 统知识表示系统是典型的集中式，要求每个人精确地共享相同概念 的定义，集中控制导致了系统由于容量和范围的急剧增长而变得无 法管理。 语义w e b 所面临的挑战是提供一种语言，这种语言能够同时表 达数据和规则以便进行数据推理，并允许来自现存知识表示系统的 规则移植到w e b 。开发语义w e b 的重要技术是x m l 、r d f ( r e s o u r c e d e s c r i p ti o nf r a m e w o r k ) 和o w l ( o n t o l o g yw e bl a n g u a g e ) ，这些 技术的相应标准在w 3 c 、学术界和产业界的共同努力下已在全世界范 围内得到认可和一定范围的应用。 在语义w e b 中，x m ls c h e m a 作为基础构件，与x m l 一起，尽管 缺少语义约束，但对具有语义约束力的r d f ，r d fs c h e m a 和o w l 起 到很好的语法、结构与数据类型上的支撑作用。r d f 是一种对w e b 资源进行信息表达的语言，其目的在于表达w e b 资源的元数据，如 标题、作者、w e b 页面更改日期、w e b 文档的版权和注册信息、语言、 格式、内容条目等。r d fs c h e m a 并不直接提供特定应用类以及属性 硕士学位论文 的词汇，而是提供描述这些类和属性的工具，并显示哪些类和属性 在一起使用。o w l 被设计为用于处理信息的内容而不是仅向人类呈现 信息的应用m 3 ，o w l 通过提供更多具有形式化语义的词汇，以便在 w e b 内容的机器可理解性方面强于x m l 和x m ls c h e m a ，r d f 和r d f s c h e m a 等所能达到的程度。 2 1 2 本体 o n t o l o g y ( 本体或本体论) 原本是一个哲学上的概念，用于研 究客观世界本质。目前o n t o l o g y 己经被广泛应用到包括计算机科学、 电子工程、远程教育、电子商务、智能检索、数据挖掘等在内的诸 多领域。它是一份正式定义名词之间关系的文档或文件。一般w e b 上的o n t o l o g y 包括分类和一套推理规则。分类用于定义对象的类别 及其之间的关系，推理规则则提供进一步的功能，完成语义w e b 的 关键目标即“机器可理解。本体的最终目标是“精确地表示那些隐 含( 或不明确的) 信息口副。 当前对本体的理解仍没有形成统一的定义，如本体是共享概念 模型的形式化规范说明，通过概念之间的关系来描述概念的语义口6 1 ； 本体是对概念化对象的明确表示和描述；本体是关于领域的显式的、 形式化的共享概念化规范等等。但斯坦福大学的g r u b e r 给出的定义 得到了许多同行的认可，即“本体是概念化的显示规范”硎- 概念 化( c o n c e p t u a l i z a t i o n ) 被定义为：c = ，其中c 表示 概念化对象，d 表示一个域，形是该领域中相关事物状态的集合，r c 是域空间 上概念关系的集合。规范( s p e c i f i c a t i o n ) 是为 了形成对领域内概念、知识及概念间关系的统一的认识与理解，以 利于共享与重用。 本体可以描述概念等同关系，如某处使用的z i pc o d e 与另一处 使用的p o s t a lc o d e 是等同的。本体可在很多方面提升w e b 的功能。 面向卡通动画素材的多媒体语义检索 它们可以改善w e b 搜索的精确度，当前的搜索程序仅仅搜寻指向某 一精确概念的网页，而不是所有指向模糊关键词的网页。更高级的 应用将利用本体对网页上的信息与相关知识结构和推理规则进行关 联。 2 1 3 语义w e b 体系结构 语义w e b 不是一个独立的w e b ，而是当前w e b 的扩展。在当前 w e b 基础上增加一个语义( 知识) 层，便形成语义w e b 。语义w e b 方 法应当开发出以机器可处理( m a c h i n ep r o c e s s a b l e ) 的形式表示信 息的语言口引。在语义w e b 中，信息被赋予描述良好的含义，这有利 于促进计算机和人类的相互合作。将语义w e b 融入当前w e b 结构之 中的步伐已经迈出，语义w e b 构件的相应标准在w 3 c 、学术界和产业 界的共同努力下已在全世界范围内得到认可和一定范围的应用。 语义w e b 是推动未来w e b 发展的核心动力，它包含了相关的基 础构件。互联网的创始人t i mb e r n e r s - l e e 于2 0 0 0 年提出了语义w e b 的体系结构n6 j ，如图2 1 所示。该体系结构共有7 层，自下而上各 层功能逐渐增强。 nr u t e s ；l o 阳s t ；lr t 烹t 一 厂、ld a t a 卜咀p 叩li 耋 d a t aj l l j 隆攀j 豢i j i 哆擘；囊；篆誊i l i i 虽 l | = j 伽云t 画函磊睁l 量 图2 - 1 语义w e b 的体系结构 第1 层：u n i c o d e 和u r i 。u n i c o d e 是一个字符集，这个字符集 硕士学位论文 中所有字符都用两个字节表示，可以表示6 5 ，5 3 6 个字符，基本上包 括了世界上所有语言的字符。数据格式采用u n i c o d e 的好处就是它 支持世界上所有主要语言的混合，并且可以同时进行检索。u r i ( u n i f o r mr e s o u r c ei d e n t i f i e r ) ，即统一资源定位符，。用于唯一 标识网络上的一个概念或资源。在语义w e b 体系结构中，该层是整 个语义w e b 的基础，其中u n i c o d e 负责处理资源的编码，u r i 负责资 源的标识口引。 第2 层：x m l + n s + x m ls c h e m a 。x m l 是一个精简的s g m l ，它综合 了s g m l 的丰富功能与h t m l 的易用性，它允许用户在文档中加入任 意的结构，而无需说明这些结构的含意。n s ( n a m es p a c e ) 即命名 空间，由u r i 索引确定，目的是为了避免不同的应用使用同样的字 符描述不同的事物。x m ls c h e m a 是d t d ( d o c u m e n td a t at y p e ) 的 替代品，它本身采用x m l 语法，但比d t d 更加灵活，提供更多的数 据类型，能更好地为有效的x m l 文档服务并提供数据校验机制。正 是由于x m l 灵活的结构性、由u r i 索引的n s 而带来的数据可确定性 以及x m ls c h e m a 所提供的多种数据类型及检验机制，使其成为语义 w e b 体系结构的重要组成部分。该层负责从语法上表示数据的内容和 结构，通过使用标准的语言将网络信息的表现形式、数据结构和内 容分离。 第3 层：r d f + r d f s c h e m a 。r d f 是一种描述w w w 上的信息资源的 一种语言，其目标是建立一种供多种元数据标准共存的框架。该框 架能充分利用各种元数据的优势，进行基于w e b 的数据交换和再利 用。r d f 解决的是如何采用x m l 标准语法无二义性地描述资源对象的 问题，使得所描述的资源的元数据信息成为机器可理解的信息。如 果把x m l 看作为一种标准化的元数据语法规范的话，那么r d f 就可 以看作为一种标准化的元数据语义描述规范。r d f s c h e m a 使用一种机 器可以理解的体系来定义描述资源的词汇，其目的是提供词汇嵌入 面向卡通动画素材的多媒体语义检索 的机制或框架，在该框架下多种词汇可以集成在一起实现对w e b 资 源的描述。 第4 层：o n t o l o g yv o c a b u l a r y 。该层是在r d f ( s ) 基础上定义 的概念及其关系的抽象描述，用于描述应用领域的知识，描述各类 资源及资源之间的关系口剐，实现对词汇表的扩展。在这一层，用户 不仅可以定义概念而且可以定义概念之间丰富的关系。 第5 至7 层：l o g i c 、p r o o f 、t r u s t 。l o g i c 负责提供公理和推 理规则。l o g i c 一旦建立，便可以通过逻辑推理对资源、资源之间的 关系以及推理结果进行验证，证明其有效性。通过p r o o f 交换以及 数字签名，建立一定的信任关系，从而证明语义w e b 输出的可靠性 以及其是否符合用户的要求。 x m l 为语义w e b 的发展带来了希望。t i mb e r n e r s - l e e 认为语义 w e b 的目标是开发出表达性( e x p r e s s i v e ) 语言，从而以机器明白的 形式描述信息。t i mb e r n e r s l e e 将语义w e b 的功能架构总结为如下 三层矧： ( 1 ) 元数据层( m e t a d a t al a y e r ) 。该层的数据模型仅仅包含 资源( r e s o u r c e ) 和属性( p r o p e r t i e s ) 。当前，r d f 被认为是元数 据层最流行的数据模型。 ( 2 ) 模式层( s c h e m al a y e r ) 。在该层引入w e b 本体语言，以 对概念和属性进行层次描述。r d fs c h e m a 被认为是模式层语言的最 佳候选者。 ( 3 ) 逻辑层( 1 0 9 i c a ll a y e r ) 。在该层引入更有力的w e b 本体 语言。这些语言提供更丰富的能够映射到有影响的表达性描述逻辑 的建模初始集。o i l ( o n t o l o g yi n f e r e n c el a y e r ) 和d a m l o i l ( d a t p a a g e n tm a r k u pl a n g u a r e o n t o l o g yi n f e r e n c el a y e r ) 曾经是两个 流行的逻辑层语言，目前广为接受的是o w l 。 资源描述框架r d f m l 是一个关于对象( 或资源) 和它们之间关系 硕士学位论文 的数据模型，且为该数据模型提供了简单的语义。r d f 的基本结构是 对象一属性一值三元组，即句子中的主语、谓语和宾语，这些三元 组可以用x m l 语法来表示。r d fs c h e m a 7 1 是一个描述r d f 资源的属 性( p r o p e r t y ) 和类( c l a s s e ) 的词汇表，提供了关于这些属性和 类的层次结构的语义，它可以看成是轻量级的w e b 本体语言。 本体是支持知识共享和重用的形式化结构，它们可以用来清晰 地表示结构化和半结构化信息的语义，从而支持信息的自动获取、 维护和存取。本体提供了解决w e b 资源异构表达的方法，本体中隐 含的领域模型可看成是为信息提供一个统一的共同表达的语义结 构。 2 1 4 本体的分类 本体的分类一直没有一个统一的定义。本体的分类可以从多个 角度考虑，以下主要从本体主题和描述对象等方面分别讨论本体的 分类。 按照本体研究的主题，当前常见的本体还可以分为如下5 种类 型： 1 )知识表示本体。典型的关于知识表示系统的研究工作是斯 坦福大学知识系统实验室( k n o w l e d g es y s t e ml a b o r a t o r y ：k s l ) 从事的关于知识本体的研究，包括研究知识的本质特征和基本属性。 k s l 提出了知识描述语言k i f ( k n o w l e d g ei n t e r c h a n g ef o r m a t ) 呻1 。 2 ) 通用或常识本体。主要研究如c y c 工程呤们等，到2 0 0 0 年 为止，c y c 的常识库已有了1 ，6 0 0 ，0 0 0 条知识，几百个微理论。 3 )领域本体。领域本体在一个特定的领域中可以重用，它提 供该特定领域的概念定义和概念之间的关系，提供该领域中发生的 活动以及该领域的主要理论和基本原理等。对特定领域的本体研究 和开发目前已涉及许多领域，如医学概念本体m 1 。 面向卡通动画素材的多媒体语义