（计算机软件与理论专业论文）动画自动生成系统中摄像机规划的研究.pdf

摘要 动画自动生成技术( a u t o m a t i cg e n e r a t i o no fc o m p u t e ra n i m a t i o n ) 是由中科院数 学所的陆汝钤院士提出的，结合了人工智能理论与现代多媒体技术的全新动画制作 过程。系统接收以受限自然语言描述的故事脚本，使用多项人工智能技术对故事进 行分析、理解，提取环境、情节、人物等信息，并在知识库的协助下，将信息编码 为底层图形脚本，实现动画的绘制。 由陆汝钤院士领导的对天鹅动画自动生成系统的研究始于1 9 9 0 年，经过了 十多年的努力，已经初具规模，其生成的动画片三兄弟获准在中央电视台进行 播放。 摄像机规划是动画自动生成系统中的一个重要环节，其根本任务是为终端用户 提供观赏动画片的视角。在传统的电影拍摄过程中，导演会根据其对剧本的理解来 指导摄像师进行拍摄，而后经过剪辑就完成了我们常看到的电影。在动画自动生成 过程中，我们同样需要提供导演和摄像师角色来完成相似的工作。摄像机规划模块 是指在相关知识库支持的基础上，理解由上层模块从故事脚本中提取的关键信息， 经过分析、计算，最终生成定量的摄像机属性信息，为动画的渲染提供基本条件。 本文以动画自动生成技术为背景，对摄像机规划中导演知识库的结构、定性的 虚拟导演及定量的虚拟摄像师算法进行了研究，建立了贯穿定性、定量两大层次的 摄像机规划系统。 首先，本文总结了动画自动生成系统中场景和动作的特点，按照一定的规律对 其进行分类，构建出以场景和动作为二级索引的树型知识结构，以此定义出一系列 的拍摄情景。通过查阅摄像机相关资料，总结出8 种常用的拍摄手法，以常识为标 准分配到拍摄情景并赋予适当的权重，加上场景气氛、人物情绪等辅助信息作为调 节因素，构建出具备多样性和灵活性的导演知识库。 其次，本文建立了位于定性层的虚拟导演规划，实现了基于导演知识库的推理 机制。模块接收上层定性模块分析给出的a d l 脚本语言，提取场景、人物、动作信 息，自然的划分为以动作为单位的拍摄情景，并针对诸如并发动作等问题对情景进 行拆分与合并。同时，为了避免由于独立动作持续时间过长而导致的摄像机位置长 时间固定，虚拟导演提供了场景切割来解决该类问题。随后，通过对拍摄情景应用 导演知识库进行推理，得到每个情景适用的拍摄手法及摄像机相关属性信息，为虚 拟摄像师规划的计算奠定基础。 最后，本文设计并实现了位于定量层的虚拟摄像师模块，接收上层定量模块计 算出的场景、人物动作数据，使用半球切割模型计算可用的摄像机位置，并依据虚 拟导演给出的拍摄手法对摄像机位置空间进行裁剪，在综合考虑前一时刻的摄像机 位置后，最终给出当前时刻的摄像机位置及相关属性信息。由于本项目使用m a y a 作为底层动画渲染引擎，而驱动m a y a 需要使用m e l 脚本语言，所以这其间还需 要一个脚本转换器将虚拟摄像师计算结果转换为m e l 脚本格式，并连同动画脚本 一同送往m a y a 软件进行渲染，得到最终的动画视频。 关键词动画自动生成；摄像机规划；虚拟导演；虚拟摄像师 a b s t r a c t a u t o m a t i cg e n e r a t i o no f c o m p u t e ra n i m a t i o n ，w h i c hi sp r o p o s e db yp r o f r u q i a nl i l ， i n t e g r a t e s a r t i f i c i a li n t e l l i g e n c ea n dm u l t i m e d i at e c h n o l o g yi n t oan e wp r o c e s so f a n i m a t i o ng e n e r a t i o n t 1 l es y s t e ma c c e p t ss t o r ys c r i p t sd e s c r i b e di nl i m i t e d n a t u r a l l a n g u a g e ，a n a l y z e s ，u n d e r s t a n d st h es t o r y , a n dd i s t i l lt h ei n f o r m a t i o no fe n v i r o n m e n t , d r a m a s ，a c t o r sa n ds oo nb yu s i n gd i f f e r e n ta r t i f i c i a li n t e l l i g e n tt e c h n o l o g i e s ，a n df i n a l l y e n c o d e st h ei n f o r m a t i o ni n t ot h e ng r o u n dg r a p h i cs c r i p tw i t l la s s i s t a n c eo f t h ek n o w l e d g e b a s e t h e “s w a n ”a u t o m a t i cg e n e r a t i o no f c o m p u t e ra n i m a t i o ns y s t e ml e db yp r o f r u q i a n l us t a r t e di i l1 9 9 0 h a sb e e nd e v e l o p e dt oar o b u s ts y s t e mi nt h ep a s t1 5y e a r s ，a n dt h e p r o d u c t i o no f t h es y s t e m “t h et h r e eb r o t h e r s ”h a db e e np l a y e do nt h et vb yc c t v c a m e r ap l a n n i n g ，w h i c hi so n eo ft h em o s ti m p o r t a n ts t e p so ft h ea u t o m a t i c g e n e r a t i o no f c o m p u t e ra n i m a t i o np r o c e s s ，p r o v i d e st h ee n du s e r av i s u a la n g l et oo b s e r v e t h ea n i m a t i o n i nt h ec o m m o np r o c e s so ff i l mp r o d u c i n g , t h ed i r e c t o rw i l ls u p e r v i s et h e c a m e r a m a nt os h o o tb a s e do nh i su n d e r s t a n d i n go ft h es c r i p t , a n dt h e na f t e rt h ee d i t i n g , w ec o u l ds e et h ef i n a lf i l m i nt h ep r o c e s so f a u t o m a t i cg e n e r a t i o no f c o m p u t e ra n i m a t i o n ， w ed on e e dt op r o v i d ead i r e c t o ra n dac a m e r a m a nt of i n i s ht h es i m i l a rt a s k s t h ec a m e r a p l a n n i n gm o d u l ec o m p r e h e n d s t h ek e yf e a t u r e sd i s t i l l e df r o mt h es t o r ys c r i p tb yt h eu p p e r m o d u l e s ，a n a l y z e s ，c a l c u l a t e sa n df i n a l l yg e n e r a t e st h eq u a n t i t a t i v ec a n l e r ap a r a m e t e r s b a s e do np r o f e s s i o n a lr e p o s i t o r y , p r o v i d e st h eb a s i cc o n d i t i o nf o ra n i m a t i o nr e n d e r i n g i nt h eb a c k g r o u n do fa u t o m a t i cg e n e r a t i o no fc o m p u t e ra n i m a t i o n , t h i sp a p e r r e s e a r c h e st h ea r c h i t e c t u r eo ft h ed i r e c t o rk n o w l e d g eb a s e ，t h ea l g o r i t h mo fq u a l i t a t i v e v i r t u a ld i r e c t o ra n dq u a n t i t a t i v ev i r t u a lc a m e r a m a nm o d u l e s , a n db u i l d saw h o l ec a l n e r a p l a n n i n gs y s t e mw h i c hs p a n sb o t ht h eq u a l i t a t i v ea n dq u a n t i t a t i v el a y e r s f i r s t l y , t h i sp a p e rs u m m a r i z e st h ec h a r a c t e r i s t i c so ft h es c e n e sa n da c t i o n si nt h e g e n e r a t i o ns y s t e m ，s o r t st h e mi n t og r o u p s ，a n db u i l d sat r e e l i k ek n o w l e d g ef r a m e w o r k w i t ht l l ei n d i c e so f t h es c e n e sa n da c t i o n si no r d e rt od e f i n eas e r i e so fs h o ts o g n e s w e s e l e c t8c o m m o ns h o tt a c k sr e f e rt os o m es h o o t i n gr e l a t e dd a t a , d i s t r i b u t et h e ni n t os h o t s c o n e si i lt h ec r i t e r i ao fg e n e r a lk n o w l e d g ep l u st h ea m b i e n c eo ft h es c e 4 1 e s , t h em o o do f t h ea c t o r sa sa d j u s t e rt ob u i l dad i r e c t o rk n o w l e d g eb a s ew i t hg r e a tv a r i e t ya n df l e x i b i l i t y s e c o n d l y , w e s e tu pav i r t u a ld i r e c t o rm o d u l ei nt h eq u a l i t a t i v el a y e rw h i c h i m p l e m e n t st h er e a s o n i n gm e c h a n i s mb a s e do nd i r e c t o rk n o w l e d g eb a s e t h em o d u l e a c c e p t st h ea d ls c r i p t sg e n e r a t e db yu p p e rq u a l i t a t i v em o d u l e s ，d i s t i l l st h ei n f o r m a t i o n o fs c e n e s a c t o r sa n da c t i o n s 。s p l i t ss h o ts c e n ec o n s i d e r i n gi s 鲫e sl i k et h ec o n c u r r e n t m 北京工业大学工学硕士学位论文 a c t i o n s a tt h es a m et i m e ，i no r d e rt oa v o i dt h ec h a n g e l e s sp o s i t i o no ft h ec a n l g r ai na l o n gt i m ec a u s e db yt h el o n gd u r a t i o no fas i n g l ea c t i o n , t h ev i r t u a ld i r e c t o ro f f e r ss c e n e c u tf u n e t i o n t h 蚰t h em o d u l ed e d u c e ss h o tt a c k sa n dr e l a t e dc a m e r ap a r a m e t e r sf o re a c h s h o ts c 圮n eb a s e do nt h ed i r e c t o rr e p o s i t o r y , p r e p a r e sf o rt h ev i r t u a lc a l n e r a l i l a nm o d u l e s c a l c u l a t i o n f i n a l l y , w ed e s i g na n di m p l e m e n tav i r t u a lc a m e r f l l n f l nm o d u l ei nt h eq u a n t i t a t i v e l a y e rw h oa c c e p t st h ed a t ao f t h es c e n e sa n da c t i o n sc a l c u l a t e db yt h eu p p e rq u a n t i t a t i v e m o d u l e s ，c o m p u t e sa v a i l a b l ec a m e r ap o s i t i o nu s i n g t h es e m i s p h e r em o d e l ，t r i mt h es p a c e b yt h es h o tt a c k sd e d t i c e db yt h ev i r t u a ld i r e c t o r , t h e nd e c i d e st h ec r m e r ap o s i t i o na n d r e l a t e dp a r a m e t e r sf o rt h ec u r r e n tm o m e n tc o n s i d e r i n gt h ec a m e r ai nt h ep a s tm o m e n t t h i sp r o j e c tc h o o s et h em a y as o f t w a r ew h oc o u l db ed r i v e nb ym e lt 0h et h eg r o u n d r e n d e r i n ge n g i n e s ow en e e dt ot r a n s l a t et h ec a m e r a m a n sl a y o u tr e s u l t si n t o 皿lf o r m a t i no r d e rt or e n d e rt h e mt ot h ef i n a la n i m a t i o ne l i p k e l t o r d sa u t o m a t i cg e n e r a t i o n o fc o m p u t e ra n i m a t i o n ；v h t u a ld i r e c t o r ；v i r t u a l c a m e r a m a n i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 签名： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保 留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内 容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：馥导师签名： ) 议统【 v 日期： b 归7 s h 1 1 研究背景与研究意义 第1 章绪论 1 1 1 动画自动生成的研究背景与研究意义 动画的出现极大的丰富了人们的业余生活，其极具创新性的表现形式、深浅适 中的故事内涵，适合了不同年龄层段的用户。诞生于上世纪3 0 年代的迪斯尼动画， 至今已近百年历史，但其作品仍为人们所喜闻乐见，可见动画片的魅力之大。但是， 传统动画片的制作工艺纷繁复杂，劳动强度大，制作周期长，一部使用传统工艺制 作的动画片要经过以下步骤：文学剧本和画面剧本的创作，人物造型和景物创作， 对白与音响的规划，关键帧设计，中间画绘制，手稿图动作测试，描线和上色，检 查和拍摄及后期制作等【l 】。资料显示，一部传统动画片的制作周期一般需要三年左 右，而其成本则高达每分钟5 0 0 0 元到8 0 0 0 元。可见，传统动画片的制作在人力、时 间、资金等各方面的消耗都是相当之巨大的。 伴随着计算机的出现与发展，人们首先想到了使用计算机辅助设计工程图纸的 方式，随后自然发展出了计算机辅助制作动画片的过程，由此诞生了计算机动画 ( c o m p u t e r a n i m a t i o n ) 。计算机动画是指用绘制程序生成一系列景物画面，其中当前 帧画面是对前一帧的部分修改 2 1 。同其他许多交叉学科一样，计算机动画跨越了计 算机与艺术两大学科，其出现与发展过程都凝结了众多艺术家与工程师的大量心血。 根据不同的制作原理，计算机动画通常分为两类：计算机辅助动画( c o m p u t e r a s s i s t e d a n i m a t i o n ) 和基于造型的动画( m o d e l e d a n i m a t i o n ) 【3 】前者属于二维动画， 主要用计算机辅助传统的卡通动画片制作。后者属于三维动画，它首先在三维空间 中创建几何模型，随后通过关键帧或约束技术将动作信息赋予几何模型。计算机辅 助动画的产生，不仅减轻了美术人员的负担，同时也提高了动画的制作效率。如今， 计算机动画已经深入人们生活的各个方面，并且取得了辉煌的成就。一些优秀的动 画作品，比如：“骇客帝国”、“蜘蛛侠”等，为观众展现了超现实且逼真的视觉 形象，使人们体验了极大的视觉享受。 尽管计算机辅助动画的出现简化了动画的制作过程，但是，完成一部动画片仍 然是一项复杂、繁琐的工作。目前，计算机辅助动画只能在某些步骤上部分简化制 作人员的工作，并不能从本质上简化动画片的制作工序。为了进一步提高动画片的 制作效率，中科院数学所的陆汝钤院士提出全过程计算机辅助动画片自动生成，简 称动画自动生成技术( a u t o m a t i cg e n e r a t i o no f c o m p u t e ra n i m a t i o n ) 【4 】。它是人工智 能技术与电影艺术，图形学技术的结合。是以底层图形学技术为支撑，在上层运用 人工智能技术以及电影艺术实现的一个全新的领域。整个过程是一条动画片生产自 动化的技术路线，它的目标是只要有了一个适当的故事，以受限自然语言的形式把 它输入到计算机里，从此时开始，直到最终生成动画，每一步都是在计算机辅助下 完成的【4 】。 动画自动生成技术作为一个崭新的课题，在理论与应用两方面都具有十分重要 的意义。首先，从科研角度来看，它是人工智能技术重要的试金石。近年来，人工 智能技术在许多领域都得到了应用，如人机对战，专家系统等。动画自动生成是人 工智能技术的一个新的试验场，是人工智能技术在电影学、图形学中新的应用，同 时也有助于相关学科的发展。其次，从动漫产业发展来看，动画自动生成技术可以 帮助制作人员全面提高工作效率，从而缩短动画片的生产周期，达到降低整体制作 成本的目的。 1 1 2 摄像机规划的提出及其研究意义 在传统的电影拍摄过程中，导演会首先通读剧本，凭借其对剧本的理解及个人 经验，构建一个虚拟场景，并逐次确定何时、何处、使用何种拍摄手法、展现什么 样的人或物。在实际的拍摄过程中，导演一方面要指导演员的表演，另一方面要与 摄像师沟通，将自己对拍摄情景的中各元素的理解传达给摄像师。之后，摄像师会 按照自己对导演拍摄意图的理解及个人经验，给摄像机选择适当的位置、焦距等进 行拍摄。当整个拍摄过程完成后，导演还需要对影片进行剪辑及其他后期制作，最 终形成了我们观看的电影。 由于动画自动生成过程是以三维动画技术为基础，所以其过程与电影拍摄过程 有很多相似之处。我们同样需要一个虚拟的导演来完成理解剧本、分析场景、安排 演员位置及动作、安排摄像机、安排灯光等工作，也同样需要一个虚拟的摄像师来 选择操作摄像机的实际拍摄过程，设置摄像机的相关属性。在系统实现过程中，整 个流程被划分为功能各异的模块，系统以一定顺序控制故事脚本流过各个模块，并 最终生成m e l 语言的动画脚本。 摄像机规划( c a m e r a p l a n n i n g ) 4 1 是动画自动生成技术中的一个模块，其内部实现 又分为两部分：虚拟导演模块位于定性层最底端，接收来自情节规划及场景规划的 输出，通过理解故事相关内容给出拍摄手法：虚拟摄像师模块位于定量层最底端， 2 接收布局规划、动作计算模块及a d l 定性描述作为输入，计算摄像机位置，填充 c a l 定量描述供m e l 脚本解释器进行解析。 假设我们现在有如下一个故事脚本：小明在操场上拍皮球。通过自然语言理解、 情节规划和场景规划的分析，虚拟导演模块得知在一个名为“操场”的场景中，发 生了动作“拍球”，主角是施动者“小明”，场景中的另一物体“皮球”是被动者， 此时，虚拟导演依据知识库判断在该场景中，应当使用什么样的拍摄手法，从什么 角度进行拍摄，拍摄哪些人或者物；之后，虚拟摄像师需要按照虚拟导演的意图， 使用从其他模块取得的场景、人物信息，计算出摄像机属性的具体数值。 由以上事例可以看出，摄像机规划在动画自动生成过程中负责了真实导演的部 分工作以及摄像师的全部工作，是该过程中不可或缺的重要模块，其主要研究意义 有： ( 1 ) 通过理解分析过的故事脚本，给出最合理的定性拍摄手法描述。 ( 2 ) 根据场景中的各种定量信息，计算出定量摄像机位置，同时需要处理摄像 机动作切换所造成的画面跳跃问题。 ( 3 ) 从研究意义上说，摄像机规划帮助计算机成功扮演了导演和摄像师的角色， 是人工智能技术的新应用 1 2 研究现状 1 2 i 计算机动画的历史及现状 计算机动画从出现至今已有三十多年历史，其中经历了从二维到三维，从线框 图到逼真感图像，从逐帧动画到实时动画的发展过程嘲。 早期的动画系统主要是使用编程语言或交互的方式。这一时期比较有代表性的 系统主要有脚：m i t 的r o n a l db a c c k c r 开发的g e n e s y s 系统( 1 9 6 9 年) 、 c i c ( c o m p u t c ri m a g ec o r p o r a t i o n ) 开发的模拟动画系统s c s a n i m a g e ( 1 9 7 1 年) 、 美国宾夕法尼亚大学开发的第一个基于造型的系统a n i m a t o r ( 1 9 7 1 年) 。这些 系统都是二维动画系统。 1 9 7 1 年加拿大n r c ( t h en a t i o n a lr e s e a r c hc o u n c i lo fc a n a d a ) 研究机构提出了 “关键帧动画”技术，这一技术是利用给出的两幅关键帧，由计算机自动差值计算 中间帧的方法完成动画制作【3 】o 三维动画系统的研究始于7 0 年代初【3 】1 9 7 1 年， c a r m u l l 在美国犹他大学开发了m o p 三维计算机动画系统。1 9 7 5 年，美国俄亥俄州 立大学的计算机图形学研究小组研究出a n i m a 系统，该系统提供了裁剪、透视投 形、曲线光滑的明暗处理等功能。 三维动画的出现把动画制作上升到了传统动画不可达到的高度。在传统的动画 制作中，一些难以再现的物体运动通过三维动画展现的惟妙惟肖。随着先进造型技 术以及计算机图形学技术的飞速发展，用计算机生成的三维动画片更是具有二维动 画片无法比拟的优越性，并且，三维动画片形象地模拟出现实世界物体运动的规律， 解决了传统动画中运动表现的问题。 1 2 2 人工智能技术在计算机动画领域的应用 随着计算机硬件和图形学的发展，计算机动画从起初的二维时代进入了三维时 代，制作流程发生了根本性的变化，给人工智能技术的融入带来了更多机会，越来 越多融合了人工智能技术的计算机动画系统进入人们的视野。 基于人工智能的动画研究如何将人工智能技术用于计算机动画，从而提高动画制 作的自动化程度和智能性。这一方面的研究成果很多，大致可分为以下几类： ( 1 ) 自然语言指令驱动的动画：该方法主要研究如何由自然语言指令和其它高级 任务规范说明来产生虚拟人类a g e n t 完成任务的动画模拟 4 1 。基于该技术的语言、 动画和虚拟现实的系统有很多，如： a ) 微软研制开发的p e r s o n a 项目，该项目致力于产生能够和用户进行自然语音 对话的拟人格化的动画角色，采用拟人化的对话机制，角色说话时还有动作 相配合。 b ) u l y s s e 6 是- 个使用户可以用自然语言在虚拟现实环境中漫游浏览a g e n t ， 它主要包括一个语法分析器、语义模块、语言到虚拟实体的映射器、几何推 理器等，u l y s s e 使用规划规则来构造动厕，并能和语音识别系统交互。u l y s s e 的研制者目前的工作是研究如何从语言文本来生成场景。 c ) 美国海军研究室的n a u t i l u s 项目致力于研究面向浸入式虚拟现实环境的自 然语言和语音理解界面，通过使用口头命令，用户可以在模拟的三维环境中 漫游、移动或隐藏虚拟物体、控制模拟回放等。 d ) 美国宾州大学对基于指令的动画生成技术已经进行了十多年的研究，研制成 功了许多系统，他们的a n g e l ( a n i m a t i o nf r o m n a t u r a l l a n g u a g e i n s t r u c t i o n s ) 项目【7 1 的目标是生成真实的动画来表现人执行自然语言指令所说明的任务 的过程，它的功能流程一般说来包括自然语言语法分析、语义分析、规划推 理、规划、模拟和人物动画；a n i m n l 支持对指令的语义和语用理解，以及 这种理解随着动作的演化；a n i m n l 所生成的动画不仅包括人的一般肢体动 作，还有人的面部表情、手势、和语音合成；a n i m n l 提供了各种知识库以 4 支持各部分的功能 ( 2 ) 知识驱动的人体跑步动作的动画生成：该技术是通过人类跑步的知识来生成 各种实时人体跑步动作的动画睁1 1 】。该系统中的知识分为若干类：关于跑步动作参 数之间关系的实验知识，用于计算人体运动轨迹的物理知识，关于跑步时肢干协调 性的知识等等。在这种基于知识的控制机制的支持下，用户可以交互式地调整高层 参数以实时地得到满意的跑步动作效果。 ( 3 ) 自然语言故事到计算机动画的翻译：m 【j l t r a n 1 2 】是一个从自然语言( 日文) 写的故事到计算机动画的翻译器，其主要步骤包括：从故事篇章中推导出脚本、角 色动作生成、动画环境构造和虚拟摄像机定位。m u l t r a n 的特点在于：中间表达 由事件和事件间的约束组成；能够生成一个动画脚本，它是时间估算的一个最优解； 调度执行的过程中角色可以估算自己动作的时间。m u l 2 t r a n 的研制者期望他们 的工作可以支持自然语言处理中的对话理解和篇章的二义性排除。 ( 4 ) 基于角色情绪和动作的自动背景音乐生成：计算机动画中有关背景音乐和音 响效果自动生成方面的研究比较少，文献【13 】论述了一个为已经制作好的动画自动配 乐的原型系统，其输入是每个场景的音乐参数和动作参数。音乐参数包括情绪类型 和音乐主题，情绪类型是指场景中主要角色的诸如高兴、伤心、生气、困倦等的情 绪及其程度。该系统中背景音乐的节拍、旋律、伴奏等主要是根据角色情绪所产生 的。背景音乐的和弦级数的生成是基于协调规则的，这里的协调规则是根据1 7 到 1 9 世纪古典音乐最常使用的和弦而总结出来的，而动作的音响效果是根据动作的特 性和强烈程度来确定的【4 】。 ( 5 ) 交互式故事系统：一般交互式故事或游戏系统有故事图和模拟世界两种类 型，前者的交互性太差，而后者的行为时间相关性太差，难于成为故事【4 】。面向兼 顾交互性和情节控制的目标，描述了一个支持交互式情节的动态产生、管理和冲突 解决的计算框架，它让用户充当故事的主角来确定当前的行为，同时根据角色的说 明、关系、目标等来控制角色的行为。该框架的核心模块是一个情节管理器，它的 输入是一系列初始情节条件，输出是角色动作序列，该系统目前已在网上发布运行， 详细的描述可参见文献 1 4 ，1 5 。1 9 1 。 ( 6 ) 交互式故事图板生成：故事图板( s t o r y b o a r d ) 是指电影、动画片、电视节目或 商业广告等的情节串连图板，主要用于设计镜头效果和指导拍摄。现行的故事图板 生成系统一般都是交互式的，由用户利用系统所提供的功能操作和库逐个图进行画 面设计，每个图可以附加标题和脚本文字说明。以s t o r y b o a r dq u i c k e 2 0 - 2 1 】为例，它是 为导演、作家、制片人、摄影师、电视录像制作人所设计的用于前期可视化的实用 软件，在制作每幅画面时用户可进行的操作主要包括：从系统所提供的库中调入角 5 色、选择角色的动作和方向、放大或缩小角色、添加背景图或图像、从系统所提供 的库中调入道具和各种图示符号、添加文字说明等等；s t o r y b o a r dq u i c k 的目标是简 单易学，便于用户对有关镜头的想法进行快速可视化和交流。还有的交互式故事图 板生成软件可以为画面附加声音效果、把画面输出到视频设备等 2 2 。2 3 】。 1 2 3 摄像机规划的研究现状 摄像机规划问题的研究始于1 9 9 4 年，d r u c k e r 开发的系统1 2 4 主要考虑画面的几 何构成关系；c h r i s t i a n s o n 等人开发的系统f 2 5 】使用摄像机控制描述语言( 3 c c l ) 将电 影拍摄过程中的各种手法抽象为一个有限状态自动机，并根据虚拟世界的状态实时 进行状态转换；另外还有一些系统延续了d r u c k e r 从画面几何构成入手进行规划的 思路，并引入了基于神经网络和遗传算法的方法以计算最优解刚。 目前的系统大致可以分为基于摄像机属性的规划系统和基于画面属性的规划系 统。前者提供一种用来描述摄像机属性的抽象语言，涵盖了虚拟摄像机的所有常用 属性，例如p i c k e t i n g 设计的i d l 语言【2 ”。该类系统的用户需要对摄像机的使用有 相当的认识，才能够给出各种拍摄手法的相关参数。比较而言，基于画面属性的规 划系统使用起来要容易一些，用户只需要指出哪些物体需要出现在画面上以及出现 在哪里，系统就能够根据该信息进行规划，例如b l i n n 在早期做的一些工作。此类 系统的主要问题是约束过多而造成的无解问题。 从系统解决规划问题的机制入手，现有系统可以划分为代数系统、交互系统、 约束系统。代数系统将摄像机规划问题转换成一个代数问题进行求解，求出的结果 一般会很准确，但是缺乏灵活性；交互系统依赖用户输入，将其映射到摄像机的对 应属性上以驱动摄像机状态的改变，此类系统主要适用于实时三维交互系统；约束 及优化系统是目前解决规划问题的主流策略，该方法将一个镜头的各种属性表示成 数值约束，对整个解空间进行搜索，直到找到使目标函数达到最大，最小值的最优解 为止，约束系统的问题主要是探索解空间耗费的时间过长以及约束条件过多造成的 无解问题。 1 3 本课题的主要研究内容 动画自动生成技术的目的是将以受限中文自然语言描述的故事转换为动画脚 本，并在知识库的帮助下最终生成动画片。该过程是自顶而下，逐步细化的过程。 本课题以动画自动生成技术为背景，对该技术中的核心模块摄像机规划进行研 究，建立了基于知识库的虚拟导演子系统和虚拟摄像师子系统，并将其嵌入到动画 6 自动生成系统中。 摄像机规划是动画自动生成过程中不可缺少的一部分，为系统提供了计算摄像 机位置的能力，为最终用户提供了观赏动画片的视角。参考现实世界的分工，摄像 机规划自然而然的被分成了虚拟导演和虚拟摄像师两个模块： 虚拟导演模块位于定性层最底端，工作是模拟真实的人类导演，理解场景氛围、 主角动作及其情感等因素，综合考虑后给出独立拍摄情景内所要使用的拍摄手法。 这里首先要搜集导演相关知识，包括常用拍摄手法、场景、动作、人物情感与拍摄 手法的关系等信息，并使用树型结构将信息组织成导演知识库。同时研究导演规划 算法，构造知识推理机，基于导演知识库及模块输入进行推理，得到的结果填充为 完整的a d l 文件。本文不但使用了以上的知识推理机方式，同时也对人工神经网 络在此类问题中的应用进行了初步的尝试，并取得了一定的成果。 虚拟摄像师模块位于定量层的最底端，主要工作是模拟真实的人类摄像师，理 解虚拟导演给出的拍摄手法及参数，结合场景中人物、物体的实际位置，计算摄像 机的实际位置及相关属性。本模块最重要的工作就是构造一个基于约束的摄像机位 置规划器，将各种常用拍摄手法实现为规划器的插入式约束，用于裁剪摄像机位置 解空间；在此基础之上，还需要理解虚拟导演给出的拍摄手法，同时解析定量层其 他模块的计算结果，一并传给规划器进行规划；之后还需要通过线性插值方式降低 摄像机大幅度切换所产生的视角混乱问题的影响；并最终将计算结果填充为完整的 c a l 文件。 最后，摄像机规划模块还需要一个额外的m e l 语言翻译器将c a l 中摄像机脚 本部分翻译成对应的m e l 脚本，并最终在m a y a 中实现渲染。 1 4 本文结构 第一章：绪论。介绍了动画自动生成的研究现状和研究意义，并详细阐述了摄 像机规划的提出及研究意义，以及它在动画自动生成技术中的地位和作用。最后介 绍了本课题的研究内容； 第二章：动画自动生成系统概述。整体描述了动画自动生成的系统框架、流程 以及各个模块的作用； 第三章：定性摄像机规划的设计与实现。全面介绍了基于知识库和推理机的实 现机制和相关算法，给出实验结果；同时，提出了使用b p 网络改进定性摄像机规 划的方案； 第四章：定量摄像机规划的设计与实现。介绍了模块整体结构，c 挣和j a v a 语言 7 的交互方式，规划算法及部分实验结果，提出了下一步的改进方案；同时举例说明 了m e l 脚本翻译器的实现； 结论。对全文工作进行小结，并对本文工作中存在的一些不足提出了可能的改 进思路和对今后工作的展望。 8 第2 章动画自动生成系统概述 2 1 动画自动生成系统的设计思想 中科院数学所陆汝钤院士提出的动画自动生成技术，是将人工智能技术与基于 知识的推理方法引进到计算机动画领域，构建能够帮助动画制作人员提高工作效果 和质量的自动软件系统。早在九十年代，陆院士就曾经带领队伍沿此技术路线研制 了天鹅系统，并使用两周时间生产了动画片三兄弟，在中央电视台大风车节 目中进行了播放，初步验证了动画自动生成技术的可行性。 虽然天鹅系统实现了动画自动生成技术，但是，它还有很多不足之处。陆 院士指出：“有些局部模块的实现方法至今不很理想，其中有相当一部分是准备重新 实现的新方案” 4 1 。在陆院士的指导下，我课题组综合使用了时下多种在动画制作 领域内领先的软件及硬件技术，力求重新实现这条技术路线。重新实现是在原有结 构的基础上，采用新技术，对原有方法进行局部修正，从而进一步完善动画自动生 成技术。 动画自动生成技术的目标是将使用受限中文自然语言描述的故事转化为一部故 事片，这是一个极其复杂的过程，因此，根据逐步细化的原则，将这一过程划分为 五个阶段： ( 1 ) 对以受限中文自然语言形式描述的故事进行自然语言理解，将其转化为我 们定义好的语义表达g f l 语言； ( 2 ) 通过故事理解分析故事的主要角色，各角色的心情等，加入深层故事信息 并生成g f 2 语言； ( 3 ) 进行定性规划，包括：情节规划、场景规划、基本人物规划、二次人物规 划、摄像机规划，并最终生成a d l 语言； ( 4 ) 进行定量计算，包括：布局规划、动作规划、路径规划、动作计算、光色 规划、摄像机定量计算，并最终生成c a l 语言； ( 5 ) 对c a l 语言进行解释，生成m a y a 软件脚本语言m e l 。 每个阶段都有其独立的语言定义，用以完成不同阶段间的信息传递工作。以上 五个阶段对应的五种语言分别是： ( 1 ) 受限中文自然语言：它是中文自然语言的一个子集，其书写格式受限于自 然语言单句理解子系统的处理范围，以便被动画系统分析、理解； r 蚀1 ( 2 ) g f 语言( 包括g f l 、g f 2 ，g o l d e nf o r e s t ) 一：g f 语言是深层语义表示语言， 9 它有两种形式：g f l 和g f 2 。g f l 语言是自然语言理解之后的结果。它由四 部分组成：角色说明序列( r o l el i s t ) 、物体说明序n ( o b j e e tl i s t ) 、环境说明 序列( e n v i r o n m e n tl i s t ) 和动作说明序列( a e t i o nl i s t ) 。g f 2 语言是故事理解后 的输出语言，其格式与g f l 无大异，仅是通过故事理解后，增添了更多的 故事相关信息； r ，钔 ( 3 ) a d l 语言一；a d l 语言是定性规划的结果，它将定性规划部分中各模块的 信息汇总，以幕为单元分解故事。与g f 相比，a d l 语言的表达更具有层次 性，其形式更加接近剧本的描述。但因为a d l 语言是定性部分各模块信息 的汇总，它的参数仅停留在定性描述层次，并不涉及量化信息； 1 9 钔 ( 4 ) c a l i 吾言一：该语言是动画定量规划的所有结果的汇总。经过各个定量模 块的处理，定性语言a d l 中出现的所有定性描述均转变为量化数据。该语 言所含有的信息直接关系到动画底层的实现； f m ( 5 ) m e l 语言一：m e l 是m a y a 嵌入式语言，它是一种脚本语言，可以编写一条 命令并立即执行。c a l 语言通过m e l 解释器可以转换为m e l 语言。有了 m e l 语言，就可以驱动m a y a 动画软件，结合各个模型库，生成动画片。 以上我们对每一层语言及其作用进行了简单的介绍，各语言详细的语法说明请 参见文献【2 s 】。在实现过程中，我们选择了x i v i l 标签语言替代天鹅系统的无格式 文本，主要是因为x m l 具有格式完备、定义良好、可通过结构定义文件进行验证等 优点。x m l 作为系统中间语言的载体，配合其结构定义s e h e m a j t ：件，简化了模块间 接口的定义和信息的传递，同时也为中间层的人工干预提供了条件。 2 2 动画自动生成系统的组成 2 2 1 自然语言理解模块 自然语言理解模块是整个系统的起点【捌，接收受限中文自然语言描述的故事文 本，经过分词、语法分析、语义分析等步骤将故事转换为第一层中间语言g f l 。此 外，模块还需要对故事文本进行必要的常识检查，包括上下文无关常识检查和上下 文相关常识检查【4 】。上下文无关常识检查是指对故事中单个语句描述情节的合理性 进行检查，例如“皇后和王子结婚了”就是不符合常识的；上下文相关常识检查是 指对故事中多个语句描述的情节进行关联常识检查，例如“公主死了公主拍球” 就是不符合常识的1 4 j 。 1 0 2 2 2 故事理解模块 g f i 语言描述的是故事的基本信息，之后进入故事理解过程，分析故事主要角 色、主要情节、故事主题、人物性格特征、角色之间的关系及作者意图等【4 】，将结 果输出到输出g f 2 语言。与自然语言理解相比，故事理解是对故事内隐藏信息的更 深一步发掘，它以整个故事为单位，面向语用。故事理解