（计算机软件与理论专业论文）动画自动生成系统中场景规划的研究.pdf

摘要 曼曼 曼曼曼曼曼曼 曼曼曼曼曼鼍i nmmm n m m n 曼 摘要 动画自动生成技术是由中科院数学所的陆汝钤院士提出的 结合了人工智能 理论与现代多媒体技术的全新动画制作过程 系统接收以受限自然语言描述的故 事脚本 使用多项人工智能技术对故事进行分析 理解 提取环境 情节 人物 等信息 并在知识库的协助下 将信息编码为底层图形脚本 实现动画的绘制 场景规划是动画自动生成系统中的重要模块 是动画脚本生成的第一步 它 将故事分成许多个拍摄场景 并为每一个场景提供物体信息 这些信息不但影响 到动画的效果 而且也是人物动作 摄像机动作计算的基础 本文主要对动画自动生成系统中的场景规划进行研究和设计 实现了知识的 描述 知识库以及各种转换算法 具体可分为定性和定量两部分 定性场景规划 主要负责场景的划分 场景描述的生成 定量场景规划则将场景的描述转化为具 体的场景数据 在定性场景规划中 本文根据自然语言的描述设计了一种场景定性数据结 构 并以此设计了场景库和物体规则库 场景库文件为各种典型场景的模式 物 体规则库为动态修改场景提供了约束 在收到经过处理的故事信息后 首先使用 凝聚 的方法将故事划分为多个场景 之后根据每个场景的背景在场景库中查找 生成一个典型的场景描述 最后根据故事理解中关于场景的信息借助物体规则库 动态修改场景信息 最终能从很少的场景信息中得到完整的场景定性描述 定量场景规划主要关注于数据的生成 并调用了布局规划来进行推理 布局 规划是一个约束逻辑求解系统 能根据约束计算出物体的位置和方向数据 本文 设计了模型信息库和约束转换库来辅助计算 模型信息库提供了各个模型文件的 数值信息和一些抽象的描述 约束转换库负责场景约束到布局规划约束的翻译 场景定性描述主要包含物体和约束两类信息 其中物体信息用于在模型信息库中 选择合适的模型并得到其相关的数据 约束信息中的群体约束描述物体的分布特 征 可使用随机算法来实现 而个体约束相对精确地描述了物体间的关系 需要 进行约束转换并由布局规划来推理物体的位置和方向 由于底层使用的m a y a 软件不能直接识别场景规划的输出数据 本文设计 了一个翻译模块将定量数据转化为m a y a 模型文件以及动画脚本文件 地形是场景中一类特殊的物体 同时也是自然界最复杂的物体 目前还没有 相对系统的地形模型 因此一旦涉及到地形 场景的最终效果将不尽人意 本文 最后对三维地形的自动生成技术进行了探索 并设计了一个山和河流的自动生成 系统 能一定程度上根据山和河流的抽象描述生成地形模型 关键词动画自动生成 场景规划 知识库 地形自动生成 a b s t r a c t a b s t r a c t a u t o m a t i cg e n e r a t i o no fc o m p u t e ra n i m a t i o n w h i c hi sp r o p o s e db yp r o f r u q i a n l u i n t e g r a t e sa r t i f i c i a li n t e l l i g e n c ea n dm u l t i m e d i at e c h n o l o g yi n t oan e wp r o c e s so f a n i m a t i o ng e n e r a t i o n t h es y s t e ma c c e p t ss t o r ys c r i p t sd e s c r i b e di nl i m i t e dn a t u r a l l a n g u a g e a n a l y z e s u n d e r s t a n d st h es t o r y a n dd i s t i l lt h ei n f o r m a t i o no fe n v i r o n m e n t d r a m a s a c t o r sa n ds oo nb yu s i n gd i f f e r e n ta r t i f i c i a li n t e l l i g e n tt e c h n o l o g i e s a n d f i n a l l ye n c o d e st h ei n f o r m a t i o ni n t ot h e ng r o u n dg r a p h i cs c r i p tw i t ha s s i s t a n c eo ft h e k n o w l e d g eb a s e a st h ef i r s ts t e po fa n i m a t i o ng e n e r a t i o n s c e n a r i op l a n n i n g w h i c hi so n eo ft h e k e ym o d u l e si nt h ea u t o m a t i cg e n e r a t i o no fc o m p u t e ra n i m a t i o np r o c e s s d i v i d e st h e w h o l es t o r yt om a n ys c e n a r i o sa n dg e n e r a t e st h e i ri n f o r m a t i o nw h i c hi st h eb a s ed a t a f o rt h ec a l c u l a t i o no fc h a r a c t e ra n dc a m e r aa c t i o n s t h i sp a p e ri n t r o d u c e st h er e s e a r c ha n dd e s i g no fs c e n a r i op l a n n i n gi nt h e a u t o m a t i c g e n e r a t i o n o fc o m p u t e ra n i m a t i o n s y s t e m a n dr e a l i z e s k n o w l e d g e r e p r e s e n t a t i o n k n o w l e d g eb a s ea n dl o t so ft r a n s f o r ma l g o r i t h m s t h ew h o l ep r o c e s si s c o m p o s e do fq u a l i t a t i v ep a r ta n dq u a n t i t a t i v ep a r t t h ef o r m e rt a k e sc h a r g eo f s c e n a r i od i v i d i n ga n dd e s c r i p t i o n a n dt h el a t t e rc o n v e r t st h e mt os c e n a r i od a t a i nt h eq u a l i t a t i v ep a r t a c c o r d i n gt ot h en a t u r el a n g u a g ed e s c r i p t i o no fs e m a a r i o s w ed e s i g nt h ed a t as t r u c t u r eo fq u a l i t a t i v es c e n a r i o b a s e do ni t w ed e s i g nt h e s c e n a r i od a t a b a s ea n dt h eo b j e c tr u l ed a t a b a s e t h es c e n a r i of i l e sp r o v i d et y p i c a l p a t t e r n sf o ra l lk i n d so fs c e n a r i o s w h i l et h eo b j e c tr u l ed a t a b a s ep r o v i d e sc o n s t r a i n t s f o rt h e i rd y n a m i cm o d i f i c a t i o n w h e nr e c e i v i n gt h ep r o c e s s e di n f o r m a t i o n f i r s t w e d i v i d et h es t o r yt os c e n a r i o sb ym e a n so f c o h e s i o n t h e nat y p i c a ls c e n a r i o d e s c r i p t i o ni sg e n e r a t e db yap a t t e r n i ns c e n a r i od a t a b a s ew h i c hm a t c h e si t s b a c k g r o u n d a tl a s t t h eq u a l i t a t i v ed a t aw o u l db ed y n a m i c a l l ym o d i f i e db yt h e d e s c r i p t i o ni ns t o r yu n d e r s t a n d i n ga n do b j e c tr u l ed a t a b a s e f i n a l l y w ec a l lg e n e r a t e t h ew h o l eq u a l i t a t i v ed e s c r i p t i o nf o ras c e n a r i of r o mav e r yl i t t l es c e n a r i oi n f o r m a t i o n t h eq u a n t i t a t i v ep a r tf o c u s e so na n i m a t i o nd a t ag e n e r a t i o n a n dc a l ll a y o u t p l a n n i n gf o rr e a s o n i n g l a y o u tp l a n n i n gi sac o n s t r a i n tl o g i c a lp r o g r a m m i n gs y s t e m w h i c hc a nc a l c u l a t et h eo b j e c t s p o s i t i o na n dd i r e c t i o nd a t ab yc o n s t r a i n t s t h em o d e l i n f o r m a t i o nd a t a b a s ea n dt h ec o n s t r a i n tc o n v e r s i o nd a t a b a s ea r eb u i l d i n gt oh e l pt h e g e n e r a t i o no fq u a n t i t a t i v ed a t a m o d e li n f o r m a t i o nc o n t a i n sn u m e r i c a lv a l u e sa n d s o m ea b s t r a c td e s c r i p t i o n so fm o d e l s a n dc o n s t r a i n tc o n v e r s i o nd a t a b a s ei si nc h a r g e o ft h et r a n s l a t i o nf r o ms c e n a r i oc o n s t r a i n t st ol a y o u tp l a n n i n gc o n s t r a i n t s s c e n a r i o q u a l i t a t i v ei n f o r m a t i o ni sc o m p o s e do fo b j e c t sd a t aa n dc o n s t r a i n t sd a t a o b j e c t sd a t a i su s e dt oc h o o s ep r o p e rm o d e l si nm o d e l i n f o r m a t i o nd a t a b a s ea n dg e tt h em o d e l s p r o p e r t y t h eg r o u pc o n s t r a i n t s c a nb ec a l c u l a t e db yr a n d o ma l g o r i t h m w h i c h d e s c r i b eo b j e c t s d i s t r i b u t e dc h a r a c t e r i s t i c s t h ei n d i v i d u a lc o n s t r a i n t sm a k eap r e c i s e d e s c r i p t i o no fo b j e c t s a n dt h e y a y ec o n v e r t e dt og e n e r a t eo b j e c t s p o s i t i o na n d 1 北京t 业大学工学硕十学位论文 d i r e c t i o nd a t ab yl a y o u tp l a n n i n g b e c a u s em a y as o f t w a r ei sn o ta b l et oi d e n t i f yt h es c e n a r i op l a n n i n go u t p u t w e d e s i g naf f a n s f o r em o d u l et og e n e r a t e 7 幽搦m o d e lf i l e sa n dm e l t e r r a i ni sas p e c i a lo b j e c t w h i c hi sa l s ot h em o s tc o m p l e xo b j e c to fn a t u r e t h e r e a r en or e l a t i v e l ys y s t e m a t i cm o d e l sf o rt e r r a i n s ow h e ne o n c e m i n gt h et e r r a i n t h e e f f e c to fs c e n a r i o sc o u l db eal i t t l eu n s a t i s f a c t o r y i nt h ee n do ft h i sp a p e r w ee x p l o r e 3 dt e r r a i na u t o m a t i cg e n e r a t i o nt e c h n o l o g ya n dd e s i g nas y s t e mf o rh i l la n df i v e r a u t o m a t i cg e n e r a t i o n w h i c hc o u l dg e n e r a t eat e r r a i nm o d e lf r o ma b s t r a c tc o n s t r a i n t s i nac e r t a i ne x t e n t k e y w o r d sa u t o m a t i cg e n e r a t i o no fc o m p u t e ra n i m a t i o n s c e n a r i op l a n n i n g k n o w l e d g eb a s e t e r r a i na u t o m a t i cg e n e r a t i o n i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他 人已经发表或撰写过的研究成果 也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意 签名 邋壁 丝日期 型壁 生 三 关于论文使用授权的说明 本人完全了解北京工业大学有关保留 使用学位论文的规定 即 学校有权 保留送交论文的复印件 允许论文被查阅和借阅 学校可以公布论文的全部或部 分内容 可以采用影印 缩印或其他复制手段保存论文 保密的论文在解密后应遵守此规定 签名 0 垃监丝 导师签名 在飞弓 f 第1 章绪论 第1 章绪论 1 1 研究背景与研究意义 动画的出现极大的丰富了人们的业余生活 其极具创新性的表现形式 深浅 适中的故事内涵 适合了不同年龄层段的用户 诞生于上世纪3 0 年代的迪斯尼动 画 至今已近百年历史 但其作品仍为人们所喜闻乐见 可见动画片的魅力之大 但是 传统动画片的制作工艺纷繁复杂 劳动强度大 制作周期长 1 资料显示 一部传统动画片的制作周期一般需要三年左右 而其成本则高达每分钟5 0 0 0 元到 8 0 0 0 元 计算机动画是指用绘制程序生成一系列景物画面 其中当前帧画面是对前一 帧的部分修改 2 j 计算机动画跨越了计算机与艺术两大学科 其出现与发展过程 都凝结了众多艺术家与工程师的大量心血 在现阶段主要应用于电影业 电视片 头和广告 科学计算和工业设计 模拟 教育和娱乐以及虚拟显示与3 dw e b l 3 1 三维计算机动画技术分为关键帧动画 变形物体的动画 过程动画 关节动画和 人体动画及基于物理的动画 计算机动画的研究课题包括动画硬件和软件 计算 机辅助动画 绘画系统 动作控制 关键帧动画 图形模拟 基于力学的动画 合成角色 动画中的图像r e n d e r 动画语言和系统 动画者界面 电影实例研究 路径规划 三维医学图像 分子图形学 飞行模拟器 语音合成 视频动画 应 用于计算机动画的传统动画技术 科学可视化中的动画 工程中的动画 基于人 工智能的动画 动画中的机器人学方法 特殊效果 实时动画 录像录音技术 场景制作 故事图板生成 数字化音乐和声音等等 其中计算机辅助动画旨在减 轻美术人员的负担 提高了动画的制作效率 然而 计算机辅助动画在二维领域就已经遇到了相当多的麻烦 主要表现在 关键帧之间的图片无法自动 4 国内相关研究也仅限于二维 5 并且计算机辅助 动画只能在某些步骤上部分减少制作人员的工作 并不能从本质上简化动画片的 制作工序 随着图形学的发展和三维动画制作软件的不断增加 为了进一步提高 动画片的制作效率 中科院数学所的陆汝钤院士提出全过程计算机辅助动画片自 动生成 简称动画自动生成技术 a u t o m a t i cg e n e r a t i o no f c o m p u t e ra n i m a t i o n 这是一条动画片生产自动化的技术路线 它的目标是只要有了一个适当的故事 以受限自然语言的形式把它输入到计算机里 从此时开始 直到最终生成动画 每一步都是在计算机辅助下完成的 6 l 它覆盖人工智能 电影艺术和多媒体三大 学科 在理论与应用两方面都具有十分重要的意义 首先 从科研角度来看 它 北京t 业大学t 学硕士学位论文 是人工智能技术重要的试金石 近年来 人工智能技术在许多领域都得到了应用 如人机对战 专家系统等 动画自动生成是人工智能技术的一个新的试验场 是 人工智能技术在电影学 图形学中新的应用 同时也有助于相关学科的发展 其 次 从动漫产业发展来看 动画自动生成技术可以帮助制作人员全面提高工作效 率 从而缩短动画片的生产周期 达到降低整体制作成本的目的 1 2 研究现状 1 2 i 计算机动画 计算机动画从出现至今已有三十多年历史 其中经历了从二维到三维 从线 框图到逼真感图像 从逐帧动画到实时动画的发展过程 7 1 早期的动画系统主要是使用编程语言或交互的方式 这一时期比较有代表性 的系统主要有 m i t 的r o n a l db a e c k a 开发的g e n e s y s 系统 1 9 6 9 年 c i c c o m p u t c ri m a g ec o r p o r a t i o n 开发的模拟动画系统s c s a n i m a g e 1 9 7 1 年 美国宾夕法尼亚大学开发的第一个基于造型的系统a n i m a t o r 1 9 7 1 年 盯 这些系统都是二维动画系统 1 9 7 1 年加拿大n r c t i l en a t i o n a lr e s e a r c hc o u n c i lo fc a n a d a 研究机构提 出了 关键帧动画 技术 这一技术是利用给出的两幅关键帧 由计算机自动插值 计算中间帧的方法完成动画制作 三维动画系统的研究始于7 0 年代初 1 9 7 1 年 c a r m d l 在美国犹他大学开发了m o p 三维计算机动画系统 1 9 7 5 年 美国 俄亥俄州立大学的计算机图形学研究小组研究出a n i m a 系统 该系统提供了裁 剪 透视投形 曲线光滑的明暗处理等功能 三维动画的出现把动画制作上升到了传统动画不可达到的高度 在传统的动 画制作中 一些难以再现的物体运动通过三维动画展现的惟妙惟肖 随着先进造 型技术以及计算机图形学技术的飞速发展 用计算机生成的三维动画片更是具有 二维动画片无法比拟的优越性 并且 三维动画片形象地模拟出现实世界物体运 动的规律 解决了传统动画中运动表现的问题 1 2 2 人工智能技术在计算机动画领域的应用 随着计算机硬件和图形学的发展 计算机动画从起初的二维时代进入了三维 时代 制作流程发生了根本性的变化 给人工智能技术的融入带来了更多机会 越来越多融合了人工智能技术的计算机动画系统进入人们的视野 基于人工智能的动画研究如何将人工智能技术用于计算机动画 从而提高动 2 第l 章绪论 画制作的自动化程度和智能性 这一方面的研究成可大致分为以下几类 1 自然语言指令驱动的动画 自然语言指令驱动的动画技术研究如何由自然语言指令和其它高级任务规 范说明来产生虚拟人类a g e n t 完成任务的动画模拟 这方面的系统主要有 美国海军研究室致力于研究面向浸入式虚拟现实环境的自然语言和语音 理解界面n a u t i l u s 项引9 1 通过使用口头命令 用户可以在模拟的三维环境中漫 游 移动或隐藏虚拟物体 控制模拟回放等 一个包含有关虚拟世界和物体信息 的知识库支持了这些功能的实现 u l y s s e 1 0 是一个使用户可以用自然语言在虚拟现实环境中漫游浏览 a g e n t 它主要包括一个语法分析器 语义模块 语言到虚拟实体的映射器 几 何推理器等 u l y s s e 使用规划规则来构造动画 并能和语音识别系统交互 u l y s s e 的研制者目前的工作是研究如何从语言文本来生成场景 微软的p e r s o n a 项引1 1 致力于产生能够和用户进行自然语音对话的拟人 格化的动画角色 该项目基于微软开发的一个独立于谈话者的连续语音识别系统 和一个覆盖面广的英语理解系统 p e r s o n a 采用拟人化的对话机制 角色说话时 还有动作相配合 美国宾州大学对基于指令的动画生成技术已经进行了十多年的研究 研 制成功了许多系统 他们的a n i m n l a n i m a t i o nf r o mn a t u r a ll a n g u a g e i n s t r u c t i o n s 项目的目标是生成真实的动画来表现人执行自然语言指令所说明的 任务的过程 功能流程一般说来包括自然语言语法分析 语义分析 规划推理 规划 模拟和人物动画 a n i m n l 支持对指令的语义和语用理解 以及这种理解 随着动作的演化 所生成的动画不仅包括人的一般肢体动作 还有人的面部表情 手势 和语音合成 并提供了知识库以支持各部分的功能 抡j 7 2 自然语言故事到计算机动画的翻译 m u l t r a n o s 是一个从自然语言 日文 写的故事到计算机动画的翻译器 其主要步骤包括 从故事篇章中推导出脚本 角色动作生成 动画环境构造和虚 拟摄像机定位 m u l t r a n 的特点在于 中间表达由事件和事件间的约束组成 能够生成一个动画脚本 它是时间估算的一个最优解 调度执行的过程中角色可 以估算自己动作的时间 m u l t r a n 的研制者期望他们的工作可以支持自然语 言处理中的对话理解和篇章的二义性排除 3 知识驱动的人体跑步动作的动画 该技术是通过人类跑步的知识来生成各种实时人体跑步动作的动画 1 9 圳 该 系统中的知识分为若干类 关于跑步动作参数之间关系的实验知识 用于计算人 体运动轨迹的物理知识 关于跑步时肢干协调性的知识等等 在这种基于知识的 北京t 业大学t 学硕十学位论文 曼曼曼詈曼璺1i 皇曼曼曼曼曼曼曼曼曼曼曼曼量曼量舅曼曼曼曼曼曼曼曼曼皇曼皇曼 曼皇曼曼曼皇皇皇皇曼曼曼曼曼量邑曼曼曼量曼皇曼曼曼曼曼曼皇 控制机制的支持下 用户可以交互式地调整高层参数以实时地得到满意的跑步动 作效果 4 基于角色情绪和动作的自动背景音乐生成 计算机动画中有关背景音乐和音响效果自动生成方面的研究比较少 文献 2 2 论述了一个为已经制作好的动画自动配乐的原型系统 其输入是每个场景的音乐 参数和动作参数 音乐参数包括情绪类型和音乐主题 情绪类型是指场景中主要 角色的诸如高兴 伤心 生气 困倦等的情绪及其程度 该系统中背景音乐的节 拍 旋律 伴奏等主要是根据角色情绪所产生的 背景音乐的和弦级数的生成是 基于协调规则的 这里的协调规则是根据1 7 到1 9 世纪古典音乐最常使用的和弦 而总结出来的 而动作的音响效果是根据动作的特性和强烈程度来确定的 5 交互式故事图板 故事图板 s t o r y b o a r d 是指电影 动画片 电视节目或商业广告等的情节串 连图板 主要用于设计镜头效果和指导拍摄 现行的故事图板生成系统一般都是 交互式的 由用户利用系统所提供的功能操作和库逐个图进行画面设计 每个图 可以附加标题和脚本文字说明 以s t o r y b o a r dq u i c k 2 3 2 4 为例 它是为导演 作 家 制片人 摄影师 电视录像制作人所设计的用于前期可视化的实用软件 在 制作每幅画面时用户可进行的操作主要包括 从系统所提供的库中调入角色 选 择角色的动作和方向 放大或缩小角色 添加背景图或图像 从系统所提供的库 中调入道具和各种图示符号 添加文字说明等等 s t o r y b o a r dq u i c k 的目标是简 单易学 便于用户对有关镜头的想法进行快速可视化和交流 还有的交互式故事 图板生成软件可以为画面附加声音效果 把画面输出到视频设备等 2 5 2 6 1 1 2 3 场景规划的研究现状 场景规划主要目标就是根据故事中相对较少的描述得到整个场景模型 是一 个具有推理功能的场景自动生成系统 许多研究都涉及到场景自动生成技术 应用于交通事故模拟的c a r s i m 系统 2 7 1 能根据事故报告再现事故的过程 应用于城市建模的二维数据处理系统 2 8 1 能根据二维的图像建立城市的三维场景 这些系统最终都生成了场景模型 但是 它们只是将输入数据进行转化并显示在三维环境中 使用的是图形学的方法 h i r o m i c h if u k u t a k e 等将人工智能中的约束求解引入到场景中 设计了一种 物体的约束机制 2 9 1 并据此实现了一个可通过语音指令控制的三维场景布局系 统 系统能对物体进行位置和方向的推理 但场景属性信息以及物体模型的具体 信息都必须在输入中指定 场景规划是场景生成技术一个新的研究方向 是人工智能技术与图形学技术 4 第1 章绪论 iii i i 曼曼曼曼皇曼鼍曼曼量 曼曼曼曼皇曼鼍 的结合 它既需要根据常识推理出场景中 应该有 的东西和东西 应该有 的属性 和约束 也需要将这些信息转换为最终的三维场景模型 1 3 本课题的主要研究内容 动画自动生成系统总的思路是借助人工智能的方法 将自然语言的故事转化 为三维图形软件中的动画 再通过渲染即成为平时我们所说的动画片 这是一个 自顶向下 逐步细化的过程 本课题对系统中重要模块 场景规划进行研究 实现了场景知识的推理和场景布局的求解 并整合到整个动画自动生成系统中 1 4 本文结构 第一章 绪论 介绍了本课题的研究背景 意义 现状和内容 第二章 动画自动生成系统 介绍了动画自动生成系统的流程以及各个模块 的作用 第三章 定性场景规划的设计与实现 介绍了定性场景规划的设计与实现 第四章 定量场景规划的设计与实现 介绍了定量场景规划的设计与实现 第五章 三维地形自动生成技术的探索 对动画自动生成系统中山和河流的 自动生成提供了一个初步的设计 结论 对全文进行小结 对存在的一些不足提出了可能的改进思路 并对今 后工作的进行展望 第2 章动画自动生成系统 第2 章动画自动生成系统 2 1 动画自动生成系统概述 中科院院士陆汝钤在国际上首次提出的全过程计算机辅助动画自动生成技 术路线 目标是减少动画制作过程中的重复性劳动 提高动画制作人员的工作效 率 最终使动画制作产业化 他带领队伍于上世纪九十年代研制了一个动画自动 生成原型系统 天鹅 运用该系统耗时两星期制作的动画片 三兄弟 曾在中 央电视台播放 初步验证了此技术的可行性 然而 天鹅 系统仍然存在许多 缺陷和不足 陆院士也指出 有些局部模块的实现方法至今不很理想 其中有 相当一部分是准备重新实现的新方案 在陆院士的指导下 我项目组对动画自 动生成技术进行了新的研究 综合最新的动画软硬件技术 在原有的基础上进行 了修正和改进 力求进一步完善这条技术路线 重新设计的动画辅助自动生成系统分为定性和定量两层 定性层给出动画的 抽象描述 输出a d l 即定性描述语言 该语言的特点是可读 而且方便修改 可以人工干涉生成的动画片 而定量层则给出动画的具体信息 输出c a l 即 定量描述语言 特点是包含了动画的全部定量数据 可读性不强 虽然也能对最 后的动画进行修改 但只适应于系统开发人员 动画自动生成系统的输入是以受限自然语言描述的故事 输出是动画片 其 中大致经过以下几个转换步骤 自然语言理解和故事理解 得到故事的角色 环境 人物 情节等信息 填入g f 中 定性规划 包括情节规划 场景规划 人物规划 摄像机规划 得到动 画片的一个抽象描述 填入a d l 中 定量规划 包括场景规划 布局规划 摄像机规划 动作规划 人物规 划 得到动画片的定量描述 填入c a l 中 脚本解释 将c a l 解释成m a y a 的脚本语言m e l 每两个步骤间都使用语言来传递信息 各语言的具体含义是 受限自然语言 中文自然语言的一个子集 其书写格式受限于自然语言 单句理解子系统的处理范围 以便为动画系统分析 理解 1 3 0 1 g f 语言 深层语义表示语言 它有两种形式 g f l 和g f 2 g f l 语言 是自然语言理解之后的结果 它由四部分组成 角色说明序列 物体说明序列 环境说明序列和动作说明序列 g f 2 语言是故事理解后的输出语言 其格式与 北京t 业大学t 学硕上学位论文 i i g f l 并无大异 仅是通过故事理解后 增添了更多的故事相关信息 r 3 0 1 a d l 语言 动画的详细定性描述语言 类似于剧本 由于基本不含定 量信息 因此比较方便理解和修改 3 0 1 c a l 语言 动画的详细定量信息 直接关系到底层的实现 该语言基 本不可读 并且不能随便修改 否则在底层转换时可能会出错 r 3 1 1 m e l 语言 j m a y a 嵌入式语言 是一种脚本语言 可以编写一条命令 并立即执行 c a l 语言通过m e l 解释器可以转换为m e l 语言 有了m e l 语言 就可以驱动m a y a 动画软件 结合模型生成动画片 x m l 是一种标记性语言 结构简单 意义明确 并且可以通过格式文件来 进行验证 因此我们选用它作为各种文件的载体 从g f 到a d l 再到c a l 全是定义在x m l 文件之上的 所不同的是各语言的结构 由指定的s c h e m a 来定 义其结构 此外 树型结构的x m l 便于人的理解 这也为中间语言的人工修改 提供了条件 2 2 动画自动生成系统的组成 2 2 1 自然语言理解与故事理解模块 自然语言理解模块对输入的受限中文自然语言描述的故事文本进行分词 语 法分析 语义分析 将故事转换为第一层中间语言g f i 同时对故事文本进行必 要的常识检查 包括上下文无关常识检查和上下文相关常识检查 g f l 语言描述 的是故事的基本信息 故事理解模块将对故事的隐藏信息进行更深层次的发掘 主要包括分析故事主要角色 主要情节 故事主题 人物性格特征 角色之间的 关系及作者意图等 2 7 1 2 2 2 中间模块 自然语言理解和故事理解可以帮助我们将中文儿童故事转换为下层系统容 易理解的g f 语言 相当于经过一定处理的剧本 若想最终拍摄成为一部电影 还需要很多步骤 中间模块是一个比较笼统的说法 按输出文件可分为定性规划 和定量规划 按模块功能可分为情节规划 场景规划 人物规划 摄像机规划 动作规划 布局规划等 为了适应动画的需要以及方便人工干预 大部分模块内 部同样也划分为定性和定量两个子模块 并分别属于定性规划和定量规划 因此 从系统的整体结构来说 根据输出文件的性质来划分相对比较清晰 第2 章动面自动生成系统 1 定性规划 定性规划是在基本故事理解的基础上 从导演角度对g f 2 语言进行分析 加 入动画拍摄的必要信息 如分幕信息 动作信息 摄像规划信息 布局信息 场 景信息 人物信息等 具体结构如图2 1 所示 图2 l 定性规划流程图 f i g u r e2 1t h ef r a m e w o r ko f q u a l i t a t i v ep l a n n i n g 由结构图可见 定性规划部分接收g f 2 语言 输出定性描述语言a d l 它由 四个功能模块组成 情节规划 人物规划 定性场景规划和定性摄像机规划 情 节规划将g f 2 中动作相关描述展开成由具体动作组成的故事情节 人物规划将 g f 2 中人物信息扩展为人物的大致描述 之后定性场景规划主要处理情节规划输 出的动作序列 将整个故事分幕 之后结合场景库以及g f 2 中的环境信息在每幕 中添加场景信息 并将人物信息也加入其中 经过上面的步骤 可拍摄剧本已经 初具雏形 二次人物规划进一步处理人物信息 塑造适合每个场景的人物形象 最后 定性摄像机规划根据故事情节 人物动作 场景特征等信息划分拍摄情景 依据摄像机知识库推理出各情景使用的拍摄手法及相关参数 3 4 1 并汇总至u a d l 语言 a d l 是以场景为单位的定性描述剧本 是定量计算的基础 2 定量规划 定量规划 以a d l 语言作为输入 通过一系列的定量计算 将定性的a d l 语言转化为定量的c a l 语言 为驱动底层动画软件生成动画片作好准备 定量 规划的流程如图2 2 所示 9 北京t 业大学工学硕十学位论文 图2 2 定量规划流程 f i g u r e2 2t h ef r a m e w o r ko fq u a n t i t a t i v ep l a n n i n g 从上图可看出 a d l 经过定量场景规划 布局规划 动作规划 动作计算 路径规划以及定量摄像机规划 最终得到动画的所有定量信息 定量场景规划是 定量规划的起点 在模型库的帮助下 通过推理以及调用布局规划 将场景除人 以外的模型信息全部定量 这些数据在动作规划中可能用到 布局规划是场景规 划的子模块 专门负责约束推理 将场景中物体的位置 方向定量化 目前 我 们从约束逻辑程序设计的角度出发 以本实验室研制的一个多重论域的约束逻辑 程序设计系统b p u c l p 为基础 将布局规划问题转化成有穷论域内的约束满足问 题 3 5 1 动作规划负责人物的动作部分数据的生成 由于动作库中存储了若干原子 动作执行一个周期的标准数据 因此人物动作的定量信息就是对基本动作数据的 修改 包括所需的帧数 运动轨迹 速度等等 路径规划根据动作的起点和终点 计算动作的轨迹 而动作计算则提供动作数据 并进行碰撞检测 以避开障碍物 最后经过定量摄像机规划模块根据人 物体的位置信息给出的拍摄手法 计算出 摄像机的定量参数信息 动画的定量数据就全部完成了 这些数据最后统一写入 c a l 中 2 2 3m a y a 文件生成及m e l 语言解释器 c a l 作为定量规划层的输出 包含了生成动画片所需要的所有信息 但是 作为数据型语言 c a l 并不能被底层m a y a 软件所识别 因此 我们需要编写一 个解释器 将数据型c a l 语言解释为m a y a 软件内部操作型脚本语言 m e l 1 0 第2 章动画自动生成系统 语言 以驱动m a y a 显示动画 m e l 解释器接收定量描述语言c a l 作为输入 逐句解释为动画脚本语言m e l 另外 有的模块还需要自己生成m a y a 文件 2 3 本章小结 本章介绍了动画自动生成系统的总体框架和流程 包括五层中间语言的描述 及作用 同时也对各主要模块的组成以及功能进行了简要阐述 虽然整个系统被 划分成许多功能模块 但是它们互相依赖 形成一个动画片的生产链 任何一环 都是不可或缺的 第3 章定性场景规划的设计与实现 3 1 概述 第3 章定性场景规划的设计与实现 一般来说要生成最终的故事场景 必然需要得到场景中各个部件的具体信 息 由故事描述的抽象性和最终动画信息的具体性 我们将知识的表示划分成定 性层和定量层 定性层用语言来 形容 场景 定量层用数据来 定义 场景 在上一章的动画自动生成系统流程图中可看出 定性场景规划的输入是g f 情节规划以及基本人物规划 输出为a d l 的场景信息部分 即场景的定性描述 什么叫一个场景的定性描述呢 如果有一个场景模型呈现在我们面前 我们 该如何用语言来描述它 另外 如何才能得到这些描述呢 本章将对这些问题进 行具体阐述 3 2 设计方案 3 2 1 场景的定性描述 通过研究和分析发现 人在描述故事场景时一般涉及两个方面的内容 方 面是背景信息或环境信息 这些与故事的内容没有直接联系 但在场景的展现艺 术上来说却是不可缺少的 另一方面内容与背景相对 可以称之为 前景 它是 人物活动的舞台 与故事情节和故事人物都有直接关系 比如 猎人把白雪公主 放走了 的场景 我们可以想象情节发生在树林里的某棵树下 地上长有稀疏的 杂草 靠近树的地方还长着蘑菇 而这片树林生长在平原上 树木都很高大茂盛 远处隐约可以看到河流 在这个场景中 平原上的树林 河流都是背景 某棵 树 杂草 蘑菇等组成了前景 实际上背景和前景的区别在话剧中更为明显 话剧中的背景往往用一幅画代替 而与人物和情节相关的道具都摆在舞台上 这 就是前景 定性场景规划中对场景的描述从人类的思维习惯出发 兼顾动画生成流程的 需要 在整个动画系统中 人物规划和动作规划涉及到物体与地形 需要用到场 景特别是前景中每个物体的数据 而摄像机规划也需要根据人和物的位置方向信 息确定拍摄视点 因此 我们在背景和前景的定性设计上区别对待 前景中的每 个物体都需要定制 描述 个性 而背景中描述的是地形或者某类物体的参数 着重于 共性 北京工业大学工学硕士学位论文 i i im 曼曼曼曼曼曼曼曼曼曼曼曼曼 曼曼皇 因此 场景定性信息的数据结构 x s d 如图3 1 所示 分为三部分 图3 1 定性信息的数据结构 f i g u r e3 1t h ef r a m eo fq u a l i t a t i v ei n f o r m a t i o n 场景属性 场景的整体信息 包括场景名称 场景大小和场景比例 这些信息对于场景 中的各元素之间以及多个场景之间的协调有重要作用 背景 图3 2 场景属性的数据结构 f i g u r e3 2t h ef r a m eo fs c e n a r i op r o p e r t y 一 图3 3 背景的数据结构 f i g u r e3 3t h ef l a m eo fs u r r o u n d i n gi n f o r m a t i o n 第3 章定性场景规划的设计与实现 主要包含背景地形和背景物体信息 其中地形信息描述了场景中的地势起伏 特征 参数有地形类型 分布区域以及显著程度 物体信息描述的是背景中的物体的群体特征 由物体类型 物体描述以及分 布形式确定 前景 前景中的信息需要参与推理 包含前景物体和前景约束两类 物体由类型 大小 数量以及其他描述来定义 约束则由主语 约束类型以及宾语构成 睡爱囊猃一 3 2 2 知识库 图3 4 前景的数据结构 f i g u r e3 4t h ef r a m eo ff o r e g r o u n di n f o r m a t i o n 根据统计 故事大都偏向于人物和动作的描写 而关于环境 一般只占整个 篇幅的极小部分 因此 我们的可以得到的信息非常有限 主要问题在于如何根 据输入中一两个譬如 房间 河边 之类的词语得到相对美观而有特点的场景 具体来说就是如何得到场景中应该有的东西以及它们的约束 一般来说 输入 限制 越少 得到的可选结果就越多 就像让一百个人画 山水画必然有一百种结果一样 但是 所谓 不同 主要体现在两个方面 一是选 择的物体不同 可能有的人画了小船 有的人画了桥等 二是即使碰巧选择了同 样的物体 摆放的位置也不尽相同 可能有的人的船停泊在岸边 而有的人把船 画在了河中央 本模块主要实现第一种差异 即不考虑物体约束 只