（计算机应用技术专业论文）软设备聚合及其在敦煌飞天视频场景自动生成中应用研究.pdf

摘要 资源智能聚融是知识网格研究的重要问题之一软设备模型是知识网格环境 下统一的资源模型。该模型以统一的方式管理分布式资源，支持资源的有效共享 和智能、动态地聚合。软设备模型的研究包括软设备的结构定义、软设备的交互 机制、软设备的继承与共享机制和软设备的聚合等方面。 本论文主要涉及软设备聚合方面的研究。在资源智能聚融和软设备聚合研究 基础之上，我们提出创建基于富互联网应用的敦煌飞天视频场景自动生成系统。 系统通过分析用户提供的中文剧本，提取视频动画元素及其运动属性，然后结合 敦煌领域背景知识和角色基本动作模板来生成一个具有文化内涵的、美感的、含 有丰富语义信息的场景。作为敦煌文化知识网格的一部分，系统涉及艺术科学与 计算机科学的交叉和文化计算领域 关键词：知识网格，资源智能聚融，软设备聚合，敦煌飞天，语义解释 1； 、 i s o f t d e v i c ec l u s t e r i n ga n di t sa p p l i c a t i o ni n a n i m a t i o no fd u n h u a n gf e i t i a n j i a n z e n gw a n g ( i n t e l l i g e n ti n f o r m a t i o np r o c e s s i n g ) d i r e c t e db yh a iz h u g e r e s o t w c ei n t e l l i g e n tc l u s t e r i n ga n df u s i n gi so n eo f t h et h r e ek e yi s s u e so f k n o w l e d g eg r i d t h es o f t - d e v i c em o d e li st h eu n i v e r s a l 玎x o 眦cm o d e li nt h ek n o w l e d g eg r i de n v i r o r a n e n t t h i sm o d e ls u p p o r t sd i s t r i b u t e d “嚣o u r c cm a n a g e m e r d , e f f e c t i v es h a r i n g , i n t e l l i g e n ta n d d y n a m i cc l u s t e r i n g t h er e s e a r c ho ns o f t - d e v i c ei n c h d e st h es t m c t o r eo ft h em o d e l , t h e i n t e r a c t i v em e c h a n i s m , t h ei n h e r i t a n c ea n ds h a r i n gm e c h a n i s ma n dt h es o r - d e v i c ec l u s t e r i n g t h i sd i s s e r t a t i o nm a i n l yf o c u s m0 1 1t h es o f t - d e v i c ec l u s t e r i n g b a s e do nt h er e s e a r c ho f r e s o u r c ei n t e l l i g e n tc l u s t e r i n ga n ds o f t - d e v i c ec l u s t e r i n g , w ei m p l e m e n tt h ed o n h u a n gf e i t i a n a n i m a t i o ns y s t e mb a s e d r i c hi n t e r n e ta p p l i c a t i o ma r c h i t e c t u r e c o m b i n e dw i t hd o m a i n k n o w l e d g eo f d u n h u a n gc u l t u r e , t h es y s t e ma n a l y z e st h ea n i m a t i o ns c r i p tp r o v i d e db yt l s e l - s a n dt h e ns e l e o t st h ea p p r o p r i a t ea n i m a t i o nd e m e n t st og e n e r a t ea l la n i m a t i o nf 虻e n ct oh d p p e o p l ee n j o yt h ec h i n e s et r a d i t i o n a lc u l t u r e a sap a r to f d u n h u a n gc u l t u r ek n o w l e d g eg r i d t h i sd i s s e r t a t i o ne x p l o r e sa ni n t e r e s t i n gi s s u ea c r o s sc u l t u r ea n dc o m p u t e rs c i e n c e k e y w o r d s ：k n o w l e d g e 舒d r e s o l l w ：ei n t e l l i g e n tc l u s t e r i n ga n df u s i n g , s o f t - d e v i c ec l u s t e r i n g , d u n h u a n gf e i t i a n , s e m a n t i ci n t e r p r c t 日 i i i 、il一 图目录 、 图2 1 应用程序( 网络应用程序) 发展里程图 j 0 图3 1 软设备结构图 。5 8 l o 1 l 1 2 1 2 图3 2 软设备聚合过程图 图3 3 集中控制下的软设备聚合模型 图3 4 分散控制下的软设备聚合模型。 图3 5 一个典型的应用场景 图4 1 系统软设备模型 图4 2 童予飞天资源软设备模型 图4 3 敦煌飞天视频场景自动生成系统整体结构框图 图4 4 资源软设备聚合形成飞天视频场景 图4 5i c t c l a s 组件在系统中的应用。 图4 6 中文分词二次开发流程图。 图4 7 提取剧本包含的元素名称算法的简单示意图一 图4 8 角色一基本动作关联图 图4 9 系统包含的敦煌知识分类语义树 1 7 1 8 1 9 2 l 2 3 2 4 。2 9 图5 1 典型的富互联网应用程序体系结构 图5 2o p e n l a s z l o 平台的原理 3 5 3 6 ，3 7 3 7 3 9 3 9 4 0 图5 3 敦煌飞天多媒体艺术展示系统界面。 图5 4 与场景相关的文本信息 图5 5 本地综合查询结果界面。 图5 6 网络实时查询结果界面 图5 7 敦煌飞天视频场景自动生成系统主界面 图5 8 视频元素上传和预览界面 图5 9 场景元素的加入动态解释性字幕的加入 图5 1 0 客户端在线生成一个新的视频故事的流程图 图5 11 本地输入新剧本界面 图5 1 2 客户端查看已有视频故事的流程图 图5 1 3 “剧本试验西王母出行”的飞天故事 图5 1 4 剧本分析结果的树型可视化显示 图5 1 5 完整视频场景的展示 4 8 4 9 5 0 5 l 5 2 图5 1 6 修改角色动作指令的参数 图5 1 7 包含十个飞天元素的场景 图5 1 8 群飞天在场景中出场 图5 1 9 动态生成的解释性字幕 i 表目录 表4 1 用于中文词法分析的部分程序代码段2 2 、 表4 2 用于把分词结果树状展示的代码段o 。2 3 、 ； j 表4 3 用于提取飞天元素名称的算法代码2 5 表4 4 系统中定义的基本动作模板列表。2 7 表4 5 动作模板选择算法。2 8 表4 6 角色与基本动作的结合代码一3 0 表4 7 描述飞天知识的x m l 文件片段3 2 表5 1 元素上传功能部分实现代码。4 l 表5 2 输入新剧本部分实现代码。4 6 i x 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：王建增日期：2 叩f 石b 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机构送 交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本论文 的全部或部分内容编入有关数据库进行检素：可以采用影印、缩印或扫描 等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 储躲王童增喜师躲淄涵魄2 卯f f 乃 ，。 第一章一引言 第一章引言 资源智能聚融【1 】目的是解决无序系统自组织和优化的问题，从而使系统变得更有效 率软设备模型【2 】是知识网格环境下统一的资源模型，该模型以统一的方式管理分布式 资源，支持资源的有效共享和智能，动态地聚合。软设备模型的研究包括软设备的结构 定义【2 】、软设备的交互机制、软设备的继承与共享机制【3 】和软设备的聚合等方面。本 论文主要涉及软设备聚合方面的研究以及其在敦煌飞天视频场景自动生成中的应用。知 识网格【4 】【5 】【明研究的目的是为了更好的知识表示、获取、共享与创新。资源智能聚融 是知识网格的重要理论问题之一，也是实现资源共享的一种有效途径一智能、动态地 把资源聚合起来按需满足用户的需求 从应用领域来讲，敦煌文化是中华民族文明的象征，是人类精神文明史上的一朵奇 葩。敦煌莫高窟这座宏伟瑰丽的艺术宝库已经被联合国教科文组织确定为人类珍贵文化 遗产飞天是敦煌艺术的一种典型代表，她源自古代印度的佛教，是人们对佛教界天人形 象的通称。飞天是靠飘带翱翔于蓝天的。中国化了的飞天是全新的艺术创造。但是随着 时间的推移，这些文化遗产在慢慢的被腐蚀，面i f 每永久消失的危险。如何长久地保留下 这些人类的精神财富变的越来越重要濒危珍贵文物的计算机再现是世界范围内一项全 新的富有挑战性的课题，是一个交叉学科课题。文物保护的重要性引起了当今计算机界 和文物界的共同关注我们已经实现的敦煌飞天多媒体艺术展示系统也正是为了这个目 的敦煌多媒体艺术展示系统通过多媒体形式展现敦煌艺术中某些具有特殊意义的专 题，如飞天、服饰和舞蹈等，传播敦煌艺术知识，给用户以美的享受。 动画是一种独特的艺术展示形式。它允许创作者按自己的想法控制每一个角色和物 体的出现和运动现在很多传统的艺术形式可以利用动画来展现，例如相声、小品等。 随着互联网的发展，出现了大量的以f l a s h 为主要形式的网络二维动画。但是由于需要 控制每个角色的运动，制作动画比较麻烦，而且制作好的动画场景需要较高的艺术修养 统计表明，每制作一分钟的f l a s h 精美动画，大约需要一个人1 0 到3 0 个小时，这还不 包括培训和练习的时间。 我们已经实现的敦煌飞天多媒体艺术展示系统是依据敦煌研究院的飞天研究专家 赵声良博士提供的剧本为基础，按照时间主线组织各个洞窟场景来形成完整的飞天专题 1 中国科学院硕士学位论文软设备聚合及其在敦煌飞天视频场景自动生成系统中应用研究 介绍在这个系统中，我们处理了约五十多个包含典型飞天的洞窟，处理了数千张图像， 形成了数百个飞天视频动画元素因此利用已有的飞天视频动画元素，在资源智能聚融 和软设备聚合研究基础之上，我们提出创建基于富互联网应用的敦煌飞天视频场景自动 生成系统系统通过分析用户提供的中文剧本，提取视频动画元素及其运动属性，然后 结合敦煌领域背景知识和角色基本动作模板来生成一个富有文化意义的、美感的、内含 丰富语义信息的场景。该系统的交互功能使普通用户能够从剧本、图片或者单个独立的 动画元素出发来生成视频动画场景，从而加深用户对敦煌知识的了解和对中国传统文化 的热爱同时作为敦煌文化知识网格课题的一部分，希望在文化计算方面进行一些有意 义的探索与研究 本论文组织结构如下：第一章引言部分阐述论文的研究意义与组织结构第二章介 * 绍与论文相关的工作和技术，并对视频生成相关研究现状进行分析，提出目前相关工作 的缺点与存在的不足。第三章着重介绍软设备思想、整体结构和组件，提出利用软设备 聚合来解决目前视频生成工作存在的问题本部分给出了软设备聚合在资源集中控制和 分散控制下的两种实现方式第四章在第三章提出的资源集中控制方式下软设备聚合基 础上，提出创建敦煌飞天视频场景c a 动生成系统，详细讲解了系统的整体结构和各个模 块的功能与实现，并利用这个系统来验证资源集中控制下软设备聚合的思想。第五章给 出系统的实现和评价，并给出了一个视频自动生成实例论文的工作总结和进一步研究 计划在第六章中阐述 本论文包含的工作不仅在计算机科学方面有一定的创新，而且在艺术领域也有一定 的贡献，在中国传统文物的保护中发挥作用在计算机科学方面的贡献包括：软设备聚 合在资源智能聚融中发挥重要的作用，为了实现按需服务的目标需要研究软设备聚合 本文提t i 了软设备聚合在资源集中控制和分散控制下的两种实现方式在此基础上实现 了一个完整的敦煌飞天视频场景c a 动生成系统。该系统允许用户控制视频场景的生成过 程，从而可以按自己的需要生成视频动画场景。该系统基于富互联网应用程序架构，界 面元素丰富在艺术领域，该项工作主要贡献包括挖掘敦煌领域知识，然后把这些知识 通过一种新颖的方式准确的表达出来呈现给用户通过该智能系统，用户可以方便的按 需生成剧本故事对应的视频动画场景，加深他们对中国传统文化的理解和热爱同时系 统作为敦煌文化知识网格课题的一部分，在文化计算方面进行了有意义的探索和研究 2 第二章一相关工作与相关技术 i 2 1 相关工作 第二章相关工作与相关技术 在数字媒体时代的今天，随着网络技术和多媒体技术的发展，两者很好的相互结合 并迅速发展。在数字媒体领域有很多的项目和相关工作体现了互动性和交互用户体验 k a o r u 等的工作【7 】和m o n t e m a y o r 等的工作【8 】关注儿童教育和教育过程互动体验 这两个团队中的一个项目是p e t s 智能讲故事系统该系统通过一些工具帮助孩子们把 故事和他们的切身感受实现出来。还有一个项目利用高科技的智能设备来帮助孩子轻松 的生成事先定义好的故事场景 s e a m a n 和m a y 的混合发明生成器( 砂6 耐m 删f i mg e n e r a t o r 【9 】) 创建一个互动的用 户体验来引导人们参与到发明新事物的实验中来这些发明实验是通过选择消费者和公 司的一些产品组件，然后可视化的把这些组件组合成一个三维物体来实现的。 k e nf e i n g o l d 在模拟由现实主义大师雕刻的头像的智能对话方面做了一系列富有创 造性的工作这些工作利用了复杂语言生成和语言理解方面的一些技术，如语音识别、 自然语言理解、会话和个性化算法以及把文字转换成语言的发声器方面的研究。2 0 0 1 年的i 们m 【l o 】【9 】展示了两个这类头像的对话 c m u 大学的0 】【项卧1 1 1 2 1 3 1 4 拓展了可信赖的、交互性的戏剧世界的理论和 实现在o x 定义里世界是由物理环境、用户接口、代表角色的智能主体和广义的用户 实验计划组成。这样的世界没能完全实现，它其中之一的关注点是创造可信赖的交互的 角色主体，这些主体带有交互能力、动机和目标、情感和社会行为o x 项目同样关注 利用计算机来创造戏剧和艺术，增进用户交互体验，从而延伸计算机科学和艺术的结合 k2 2 相关技术 敦煌飞天视频场景自动生成系统涉及到多个方面的技术，作为网络环境下的应用程 序，它需要具备网络应用程序的特点；对中文剧本的分析涉及到中文自然语言理解和中 文用户界面；敦煌背景知识的加入，又涉及领域背景知识的提取与表示下面分别对这 几个方面的研究现状进行分析 3 中国科学院硕士学位论文软设备聚合及其在敦煌飞天视频场景自动生成系统中戌用研究 2 2 1 自然语言理解与自然语言用户界面 语言是思维的载体，是人际交流的重要工具。在人类历史上以语言文字形式记载和 流传的知识占到知识总量的8 0 以上随着计算机和互联网的广泛应用，计算机可处理 的自然语言文本数量空前增长，面向海量信息的文本挖掘，信息提取、跨语言信息处理、 人机交互等应用需求急速增长，自然语言处理研究必将对我们的生活产生深远的影响 自然语言用户界面是指在自然语言处理的基础上，允许人们利用人类语言如英语和 汉语来跟计算机进行交互的用户界面。自然语言用户界面可用来理解人类的文字或者语 音输入当前自然语言用户界面主要用在s q l 数据库查询0 5 1 6 1 和法律等一些特定领 域【1 7 1 1 8 篚j 系统中1 ) 自然语言用户界面用于s q l 数据库查询当前大多数流行的 数据库系统部是使用正式的查询语言如s q l 语句来实现对数据库的操作，但是对一些 使用者来说这可能是一个困难因此就出现了自然语言用户界面用于数据库查询的系 统，他们把用户输入的自然语言描述的查询语句转化成数据库系统能够识别的查询语 句，然后完成对数据库系统的操作，满足人们的需要1 1 7 2 ) 自然语言用户界面用于特 定领域通过建立特定领域的数据库，自然语言用户界面可以用于法律【1 7 1 8 】【1 9 】等一 些专业特定领域 2 2 2 网络应用程序的发展 程序( 网络程序) 架构随着应用的变化而不断地演变，从单机程序发展到客户机 服务器架构、浏览器服务器架构，再到后来的多层架构等，如图2 1 所示界面也从最 初的文字界面发展到综合媒体图形用户界面每一次架构和界面的发展都给用户带来了 巨大的方便，增强了用户体验和部署灵活性【2 3 】 传统网络应用程序的开发是基于页面的、服务器端数据传递的模式，把网络程序的 表示层建立于h t m l 页面之上，而h t m l 是适合于文本的传统的基于页面的系统已 经渐渐不能满足网络浏览者更高的、全方位的体验要求，这就是被m a c r o m e d i a 公司称 之为的“体验问题”( e x p e r i e n c e m a t t e r s ) 2 4 1 进入二十一世纪以来人们提出了富互联网应用程序( r i c hi n t e r n da p p l i c a t i o n s ) 的 概念富互联网应用程序中的富客户技术可以提供已编译客户端应用程序( 以文件形式， 用h t t p 传递) 的运行环境。客户端应用程序使用异步客户服务器架构连接现有的后 端应用服务器。这是一种安全、可升级、具有良好适应性的新的面向服务模型结合了 4 第二章相关t 作与相关技术 声音、视频和实时对话的综合通信技术使富互联网应用程序具有前所未有的网上用户体 验 2 5 】。当前用于富客户端的技术主要包括以下两种： m a c r o m e d i a f l a s h 和f l e x ：m a c r o m e d i af l a s h 2 4 是一个已经成熟的商业产品，它可 以在w e b 网页中引入交互式的图形界面。最近经过升级后，新版本包含了建立窗体风 格的应用程序的功能。f l a s h 在互联网广告方面占据统治地位f l e x 产品对f l a s h 增加了 一个x m l 描述语言，使得可以编译用户界面，并且能够用f l a s h p l a y e r 来随时进行描述 f l e x 使得传统的开发机构能更好地了解和使用f l a s h 。 g l o b a l 全球 r 髓c h 范匿 l o c a l 本地 t e x t u ir i c hi n t e g r a t e dm e d i ag i 文字界面丰富 综合媒体图形用户界面 图2 1 应用程序( 网络应用程序) 发展里程图 o p e n l a s z l o ：o p e n l a s z l o 2 6 是一个杰出的开源的富互联网应用程序开发平台它 为k i a 开发者提供了一套完整的解决方案，包括：开发语言、编译器和运行时环境等一 系列工具它自身是一个符合j 2 e e 标准的w e b 应用程序，在完整的r i a 解决方案中 担当关键的表示层服务器角色该平台允许开发者利用丰富的桌面客户端用户组件开发 用户界面应用程序以x m l 编码为基础，可以运行在所有流行的网络浏览器上 2 3 小结 通过对国内外相关领域研究现状的分析，我们发现有以下缺点与不足： 1 ) 视频生成系统产生的场景缺乏语义信息 目前视频生成领域的相关工作存在的主要缺点是生成的视频场景缺乏语义信息故 事剧本包含的语义信息并不能很好的体现在生成的视频场景中场景不应该只是视频元 5 中国科学院硕士学位论文软设备聚合及其在敦煌飞天视频场景自动生成系统中应用研究 素的简单迭加，而应该包含语义信息、合乎常理。如何在文本描述的语义信息和场景语 义信息之问建立正确的语义映射是关键我们利用第三章将要提出的软设备聚合来解决 这个问题。 2 ) 自然语言处理和自然语言用户界面中的问题 模糊性问题：人类语言具有很大的灵活性不同的人对同一事物的描述可能差别较 大，而计算机要执行的指令必须是确定的、一致的如何填补这两方面的鸿沟变的非常 重要。 推理性问题：人类理解了一种知识后，在这些知识基础之上能够进行推理，而计算 机推理问题一直是人工智能界的难题之一 矗 j 因此，如何能更好的根据中文描述的剧本来生成符合要求的视频动画场景是非常有一 _ “m i r 挑战性的工作 6 第三章一软设备思想、结构与聚合 t 3 软设备思想 第三章软设备思想、结构与聚合 网络社会发展到今天，分布式系统发挥着越来越大的作用当前科学界和工业界都 在大力推进分布式系统的研究和发展。人们提出了w e b 服务的概念，并推出了一整套 的理论与标准，如负责服务描述的w e b 服务描述语言w s d l ，负责w e b 服务选择和发 现的w e b 服务统一描述、发现和集成协议u d d i ，以及负责w e b 服务问消息传递的简 单对象访问协议s o a p 2 7 】 在现实应用中，单个w e b 服务可能无法满足人们的需求，因此出现了w e b 服务集 成【2 3 】【2 5 】：多个相关服务集成起来满足人们的某项需求当前的w e b 服务集成大多采 用了工作流的形式1 2 0 2 1 1 。在w e b 服务集成中需要定义一套服务发现、服务选择和服 务集成的机制。当前基于工作流的集成大体分为人工集成、半自动集成和自动集成三种， 所运用的技术主要有a ip l a n n i n g ，s h o p 2 2 4 ，d a m l - s 和o w l 2 1 i 2 h 等。 面向服务的体系结构( s o a ) 是工业界一直都在倡导的分布式系统架构模型。w e b 服 务规范定义了实现服务以及与它们的交互所需要的细节面向服务的体系结构是一种用 于构建分布式系统的方法，采用s o a 这种方法构建的分布式应用程序可以将功能作为 服务交付给终端用户，也可以构建其他的服务。s o a 可以基于w e b 服务，但是它可能 改为使用其他的技术来代替。在使用面向服务的体系结构设计分布式应用程序时，可以 将w e b 服务的使用从简单的客户机服务器模型扩展成任意复杂的系统。m m 公司将 面向服务的体系结构视为它的按需业务前景的互操作性和灵活性的关键。面向服务的体 系结构支持跨企业和业务合作伙伴之间的端到端集成，提供一种灵活的业务流程模型， 使得客户可以迅速地响应新的顾客需求、新的业务机会以及竞争的威胁当前工业界很 多大公司，如b e a ，m m ，o r a c l e ，m i c r o s o f t 等公司，都在推动s o a 的发展，也有很 多新产品出现。 软设各是下一代因特网的基础，是可编程的资源模型【1 1 。它们能封装并且处理包括 软件和硬件在内的各种资源。软设备模型是知识网格环境下统一的资源模型，该模型以 统一的方式管理分布式资源，支持资源的有效共享和智能、动态地聚合被封装入软设 备的资源通过软设备接口能够以可编程的方式被访问此外，软设备有相应组件维持元 7 中国科擘院硕士学位论文软设备聚合及其在敦煌飞天视频场景自动生成系统中应用研究 数据这些元数据不但包括静态的知识，而且包括用来描述处理过程的动态信息使用 这些信息，软设备可以动态地被聚合 3 2 软设备结构图与组件 通常，软设备包含六个主要的组件：容器、探测器，解释器、内建的工作流、知识 ， 库和接口下面两小节详细介绍软设备整体结构和软设备的组件 3 2 1 软设备结构图 如下图3 1 所示，软设备是一个三层的结构：容器存储资源，知识库包含与资源相关 。的知识，容器和知识库是软设备的数据层；探测器、解释器和内建工作流程构成控制层； 软设备通过接口对外发布服务。软设备的各个组件分工明确 r e q u i r e m e n tl i s tc o n s u m e r ：h u m a n ，s o f t d e v i c e i n t e r f a c e l 7 - t i d e t e c t o r 旧e x 小p l a z a t i n e r t ，n “i l d - i n 磐w o r k f l ，o w s ( a c t i v i t y ) | i c o n 试n e rii x n 。山螈“a s e l 图3 1 软设备结构图 软设备六个组件是一个有机的整体它们其中的一些是可选择的软设备具有能动 性、可见性、灵活性和可配置性 3 2 2 软设备组件 下面对软设备结构图3 1 中的各个组件进行简要介绍 容器( c o n t a i n e r ) ：它以机器可理解的方式存储资源容器决定其他组件的特性举 8 第三章敬设备思想，结构与聚合 例来说，如果软设备容器存储一个文本文件，这个软设备就是文本类型软设备而且这 个软设备的其他组件将会配置成处理文本数据 探测器( d e t e c t o r ) ：软设备应该能够在由它们组成的软设备世界中发现需要的资源 这是探测器的职责 鳃释器( e x p l a i n e r ) ：为了组织并处理资源，软设备的组件之间应该有能力互相作用 适配器，是一个产生能依照一定的规则被其他组件使用的资源输出处理器。适配器是解 释器的插件。 内建工作流( b u i l a - i n w o r k f l o w s ) ：软设备系统有着类似生物学系统的自我组织和管 理的特性，也就是说软设备能处理自身的生命周期。内建工作流用来定义生命周期。当 创建软设备的时候，内建工作流应该由生产者定义 知识库( k n o w l e d g eb a s c ) ：知识库的作用是在系统各个部分相互协作过程中提供管 理和约束为此，它在服务器提供的元数据之上建立，这些元数据不但包括静态的知识， 而且包括用来描述处理过程的动态信息 接口( i n t e r f a c e ) ：对消费者和其他的软设备来说，软设备是一组由接口暴露的服务 组成接口的实现依赖于包含在该软设备中的资源类型。解释器能产生默认接口，生产 者也能定义接口能够提供的特别服务 3 3 软设备聚合 软设备模型是知识网格环境下统一的资源模型，是知识网格的基本单位软设备世 界是由生产者、消费者和软设备三者组成的高层次虚拟世界网格技术正在与w c b 服务 整合w e b 服务实现了程序级的相互调用w e b 服务使得w c h 应用程序能够通过网络被 分布式访问然而，w e b 服务有下面一些缺点： 1 )静态性：一旦部署到互联网上，w e b 服务的应用功能就不能动态修改，不能进行 个性化配置； 2 ) 无状态性：w e b 服务没有状态信息； 3 ) 缺乏语义：w e b 服务自身具有较少的语义信息 。 从软设备的设计思想和组件构成可以看出，软设备能够很好地支持聚合软设备聚 合也将在知识网格资源智能聚融中发挥重要的作用软设备模型支持动态聚合，来按需 满足用户的任务需求软设备间的工作流程是用户提供业务需求的时候就给定了的就 9 中国科学院硕士学位论文软设备聚合及其在敦煌飞天况频场景自动生成系统中应用研究 l ， 像我们接下来要实现的系统中，工作流程在用户提供的剧本中体现。用户可以随时发布 他们的需求到需求列表中代理软设备负责解析需求信息，从满足需求的侯选者中选择 一个最好的软设备，然后聚合相关的软设备来提供完整的服务；或者通过调整已有的聚 合来应对消费者需求的改变，满足服务下面图3 2 展示了软设备模型的聚合过程【2 】 图3 2 软设备聚合过程图 按照软设备所封装资源的物理存放位置来分类，本论文提出软设备聚合在资源集中 控制和分散控制下的两种实现方式。 1 ) 集中控制下的软设备聚合 集中控制是指所有的软设备都放置在服务器上系统中需要实现两种类型的软设 备：系统软设备和资源软设备资源软设备负责描述、封装具体的资源；系统软设备( 代 理软设备) 负责发现、聚合相关的资源软设备来满足人们的需求客户端如果想要共享 一个资源软设备，需要把它上传到服务器的资源软设各库中，并对该资源软设备进行详 细描述。服务器上的系统软设备可以接收用户的需求，并把用户需求存储到需求列表中 然后系统软设备负责理解分析用户需求，并能够发现资源软设备库中能够满足需求的资 l o ， 第三章软设备思想、结构与聚合 源软设备，从侯选者中选择出最好的资源软设备。然后系统软设备把相关的资源软设备 聚合来提供完整的服务 本文提出的集中控制下软设备聚合模型如下图3 3 所示： i 资源软设备l i 系统软设备l i 资源软设备i 巷产机 名传 i 资源软设备1 至传爿资源软设备库。三产l 资源软设备l 图3 3 集中控制下的软设备聚合模型 2 ) 分散控制下的软设备聚合 分散控制下的软设备聚合是指资源软设备不再集中在服务器上，而是分别存放在不 同的机器上服务器上存放系统软设备类似于w e b 服务中u d d i 的理念，如果客户 端想要共享一个资源软设备，第一步工作是需要把该资源软设备注册到服务器注册信 息除了包含它所封装资源的相关信息外，还应包含它的位置信息，例如它所在机器的口 地址等，以便它能够被聚合。这样当服务器上的系统软设备接到一个用户需求的时候， 能够依据注册信息，找出满足条件的资源软设备然后服务器首先会向存放该资源软设 备的机器发送服务请求，如果该机器能够和服务器建立通信连接，则可以聚合该资源软 设备；如果两台机器之间不能够建立通信连接，则服务器选择另一个满足服务的资源软 设备。在系统软设备选择出所有能够满足服务的资源软设备后，再聚合它们来提供服务。 本文提出的分散控制下软设备聚合模型如下图3 4 所示： 1 1 中国科学院硕士学位论文软设备璇台及其在敦煌飞天视频场景自动生成系统中应用研究 一2 通信 2 通隹 l 资源软设备i 3 聚管 l 资源软设备i 系统软设备 一3 聚每 客户机 1 注册 轳机l 拳 爿注船信息库 2 通隹f 旧蝴i 滕 一3 聚斧i 浏i 资源软设备l 图3 4 分散控制下的软设备聚合模型 在基于软设备聚合的研究基础上，我们提出创建敦煌飞天视频场景自动生成系统。 因为软设备模型既有智能主体的能动性，又包含丰富的语义信息，所以我们提出利用软 设备来封装视频元素，然后利用软设备聚合来实现视频场景的自动生成，使生成的场景 包含更多的语义信息，从而把剧本包含的语义信息尽可能多的体现在视频场景中 在详细阐述基于软设备聚合的敦煌飞天视频场景自动生成系统之前，从用户的观点 出发，我们先介绍一个典型的应用场景，来说明用户为系统提供的输入和期望系统提供 的输出，进而引出系统为了完成这些目标应该提供的功能 图3 5 一个典型的应用场景 1 2 第三章一软设备思想、结构与聚合 上面图3 5 所示的应用场景的流程说明如下： 1 ) 用户提出自己的中文飞天故事剧本，请求系统生成满足要求的飞天视频动画场 景： 2 ) 系统能够分析用户提供的剧本，从中发现剧本中所包含的视频元素； 3 ) 在剧本分析的基础之上，结合敦煌领域背景知识，从视频元素库中提取出视频 元素；这些视频元素都是由软设备进行封装，能够满足动态、智能地聚合； 4 ) 通过把剧本中包含的视频元素与基本动作模板结合起来，按需生成富有语义信 息的、美观的，集文字、图像、声音和动画于一体的完整的视频场景展示给用 户 1 3 第四章基于软设备聚合的敦煌飞天视频场景自动生成系统 第四章基于软设备聚合的敦煌飞天视频场景自动生成系统 4 1 软设备模型实现 我们采用第三章提出的资源集中控制下的软设备聚合来建立敦煌飞天视频场景自 动生成系统。在敦煌飞天视频场景自动生成系统中我们实现了两种类型的软设备：1 ) 系统软设备：把整个软件系统本身看成一个软设备；2 ) 资源软设备：用来描述视频场 景中可能包含的各种资源，如文本、图像、音频、视频元件等下面分别介绍系统软设 备模型和资源软设备模型的实现 4 1 1 系统软设备实现 系统软设备的用户是人它通过自然语言用户接口来提供服务系统软设备负责发 现、选择资源软设备来组成视频场景在用户和资源软设备之间起到代理的作用下面 给出系统软设备模型的各个组件 容器：系统软设备的容器就是指屏幕视频展示区域，是利用表示层界面描述语言 o p c n l a s z l o 中的v i e w 组件实现的 探测器：在系统软设备模型中，探测器是中文解析器和语义解释来共同承担的。在 中文解析和语义解释的基础上，我们就可以知道剧本中包含哪些视频元素，进而可以发 现、选择能够满足服务的资源软设备 解释器：在模型实现中我们是利用语义解释来完成解释器功能语义解释的功能包 括从剧本中提取飞天元素名称和元素运动属性，选择动作模板等 内建工作流：在系统软设备模型和资源软设备模型中，我们没有考虑内建工作流组 件。因为系统中一个资源软设备是用来封装一个视频元素，该视频元素在视频场景中的 任务是由领域背景知识和用户提供的剧本来指定的。视频元素之间的逻辑关系同样是由 领域背景知识和剧本决定 知识库；在系统软设备模型实现中，知识库是由各个资源软设备共享的敦煌领域背 景知识组成 接口：在我们的系统中，接口是由界面层描述语言o p 即i a s z l o 提供的丰富的图形用 户组件构成 中国科学院硕士学位论文软设备聚合及其在敦煌飞天视频场景自动生成系统中府用研究 系统软设备模型实现如下图4 1 所示 图4 1 系统软设备模型 辩，l g 小。、 q b 系统软设备模型x m l 描述文件的d t d 定义如下： 4 1 2 资源软设备实现 资源软设备用来描述视频场景中包含的各种类型的资源，如文本，图像、音频、视 频元素等资源软设备的用户是系统软设备和其他的资源软设备资源软设备提供接口 来被系统软设备选择、聚合。资源软设备中莸们只考虑了容器、知识库和接口三个组件 容器用于存储资源软设备封装的资源，如文本知识库则是由该资源的描述性知识组成 的，例如童子飞天软设备的知识库包含介绍童子飞天的知识资源软设备通过接口提供 1 6 rj： 第四帮基于软设备聚合的敦煌飞天视频场景自动生成系统 聚合服务 资源软设备采用类图表示图4 2 为一个童子飞天资源软设备：容器存储飞天元素 的文件，是f l a s h 生成的s w f 视频动画元件，可以由系统软设备的容器读入；知识库为 介绍该飞天元素的解释性知识；资源软设备通过接口提供聚合服务 童子飞天资源软设备 一容器：飞天元素的动画元件s w f 文件 一知识库：有关童子飞天的解释性知识，由) 【m l 文件描述 一接口：资源软设备通过接口提供服务 图4 2 童子飞天资源软设备模型 资源软设备x m l 描述文件的d t d 定义如下： 4 2 系统简介 敦煌飞天视频场景自动生成系统以敦煌飞天作为研究对象系统主要从用户提供的 自然语言描述的故事剧本出发，结合敦煌特定领域背景知识，来发现、聚合威本中包含 的视频元素，通过领域背景知识和角色基本动作模板的约束来按需生成具有文化内涵 的、美感的、含有丰富语义信息的视频动画场景。系统图形用户界面需要简单易用，生 成的视频场景要符合敦煌知识系统生成的视频动画场景集声音、图片、文字和视频动 画于一体，传播敦煌艺术知识。 4 3 系统架构 基于软设各聚合的视频场景自动生成的前提是把所有视频元素用资源软设备封装 起来，从而可以利用系统软设备完成聚合。系统首先要做的是分析剧本，发现剧本中包 含的视频元素，然后从封装了视频元素的资源软设备库中发现能够满足服务的资源软设 1 7 中国科学院硕士学位论文软设备聚合及其在敦煌飞天视频场景自动生成系统中应用研究 备，再将它们聚合起来生成视频场景敦煌飞天视频场景自动生成系统的整体结构框图 如下图4 3 所示： 图4 3 敦煌飞天视频场景自动生成系统整体结构框图 在上图中，用户通过网络浏览器可以分布式地提出需求。系统根据用户提供的需求， 从需求列表中取得用户提供的剧本，经过中文词法分析、语义解释和场景生成三个功能 模块的处理，按需生成视频场景，然后把生成的视频场景通过浏览器展示给用户 通过资源软设备聚合生成视频场景的聚合过程如下图4 4 所示软设备可以通过组 合和继承两种方式实现共享。视频场景软设备是通过组合剧本中包含的资源软设备来实 现视频场景也可以看成是一个资源软设备。资源软设备之闻存在继承关系，例如童子 飞天软设备继承于飞天元素软设备、而瘦童子飞天软设备又继承于童子飞天软设备继 承的资源软设备除了有被继承资源软设备的属性外，还包含自己特有的属性 震 ， 要 i曩_曩l曩lllli叠曩曩lill嗣曩l墨圈酪鹰_匿匿蓐t ， 第四章- 基于软设备聚合的敦煌飞天视频场景自动生成系统 4 4 视频场景生成 图4 4 资源软设备聚合形成飞天视频场景 前面介绍了基于软设备集合的敦煌飞天视频场景自动生成系统的思想和整体架构 用户提供一个飞天故事剧本，根据剧本内容生成视频场景的详细步骤如下： 步骤1 ：对剧本进行中文分词处理，将剧本转换为加有词性标注的词的集合； 步骤2 ：从加有词性标注的词的集合中提取出剧本包含的飞天元素名称； 步骤3 ：从加有词性标注的词的集合中提取出飞天元素的运动类型，用来从动作模板库 中选择基本动作模板； 步骤4 ：根据步骤2 提取出的飞天元素名称从视频元素库中选择最匹配的元素作为生成 场景中的角色： 步骤5 ：把步骤4 中选择的视频元素跟步骤3 中选择出的基本动作模板结合起来，由表 示层组件装载，形成动画效果，从而形成视频动画场景 下面详细讲解视频场景生成的各个步骤是如何实现的。 4 4 1 中文词法分析 中文文本是大字符集上的连续字符串，而汉语中的意义多数是用词来表示的中文 中国科学院硕士学位论文软设备聚合及其在敦煌飞天税频场景自动生成系统中应用研究 分词和词性标注是进一步自然语言处理的重要基础，在许多应用领域如文本索引、文本 分类、语言合成、语料库加工等，中文分词都是一个重要环节中文词法分析模块包括 以下功能： 1 ) 针对用户提供的中文故事剧本进行分词，并加以词性标注；算法应具有较高的 准确性。 2 ) 把解析结果展示给用户，采用树状视图展现分词结果 我们采用了中科院计算所开发的计算所汉语词法分析系统i c t c l a s 【z 8 2 9 。该系 统的功能有：中文分词、词性标注和未登录词识别等，分词正确率高达9 7 以上，处理 速度为3 1 5 k b y t c s s 。系统采用分层隐马尔可夫模型( h m m ) 的统计词性标注方法 i c t c l a s 组件在系统中的应用流程在图4 5 中显示。例如。如果剧本中包含一句话“童 子飞天在天空中左右来回飞行”经过i c t c l a s 处理后的加有词性标注的词的集合为 “童子，n 飞天, y n z 在，p 天空n 中f 左右，v 来回v d 行v 船” 计算所汉语词法分析系统i c t c l a s 提供一套完整的动态连接库i c t c l a s d l l 和相 应的概率词典，我们直接在自己的系统中调用i c t c l a s ，在分词和词性标注的基础上 继续上层开发利用i c t c l a s 进行中文词法分析的部分程序代码如表4 1 所示在 i c t c l a s 库的基础上二次开发的程序流程图如图4 6 所示在图4 6 中，用户提供的中 文飞天故事作为i c t c l a s 模块的输入，输