（计算机应用技术专业论文）情感虚拟人技术在人机交互中的应用研究.pdf

摘要 情感虚拟人技术在人机交互中的应用研究 摘要 情感识别是机器通过识别和理解过程把人类的语音、表情和肢体语言 中的情感信息识别出来。情感交互是机器通过接收人类的情感信息来模拟 人类的情感决策过程，从而表达出自身情感的过程。本文的主要目标是把 虚拟人技术应用到人机交互中，研究出具有情感识别功能和情感表达功能 的机器。 本文的具体工作和贡献包括： 第一，详细描述虚拟人的三维模型和情感模型的建立过程。这里介绍 了虚拟人实体的建立和控制，以及虚拟人的情感计算模型和情感决策机 制。利用三维建模工具和游戏制作软件，来建立虚拟人和虚拟场景，并通 过对虚拟人控制模块的设定来驱动虚拟人的动作和行为特点，这使虚拟人 能够从行为上表达情感。虚拟人的情感模型是虚拟人情感计算和决策的关 键，是虚拟人具有情感能力的基础。这里主要工作就是通过模拟人的情感 计算过程和决策机制，来建立虚拟人的情感工作机制，从而控制虚拟人的 情感计算过程，使虚拟人具有模拟人的情感表达的能力。 第二，通过分析情感语音信号，来识别情感语音信号中的参数信息， 并进一步识别出情感语音信号中的情感信息。语音信号中的参数有多种， 本文在比较和总结的基础上，选定了三种参数来综合的识别语音信号中的 情感信息。在情感语音语料库的基础上建立了情感特征参数数据库，这个 数据库的主要是建立特征参数的参数模型，为情感识别建立识别基础。 第三，利用隐马尔科夫模型算法在语音信号识别上的优点，来对情感 i 北京化工大学硕士学位论文 语音信号进行情感信息的识别。情感信息与语言信息有共同的声学特征， 只是二者反映的信息不同。通过情感语音信号的特征分析和理论验证，隐 马尔科夫模型是一个理想的选择。实验证明，隐马尔科夫模型在情感信息 的识别上，表现出很好的识别效果和较高的识别率，为隐马尔科夫模型的 应用提供了事实支持。 第四，建立人机交互系统原型，通过对整个系统进行测试和验证，来 证明人机情感交互的可行性和科学性。验证主要通过情感识别和情感决策 两方面进行，情感识别的主要是建立在情感语音识别的基础上，情感决策 就是通过验证虚拟人情感表达的结果跟期望值的对比结果。 关键词：情感计算，情感虚拟人，h m m ，人机交互，特征提取 i i 摘要 s t u d ya n da p p l i c a t i o no f r t u a lh u 剐【a n t e c h n o l o g yi nh u man c o m p u t e ri n t e r a c t i o n a b s t r a c t e m o t i o nr e c o g n i t i o ni sap r o c e s st h r o u g hi d e n t i f y i n ga n du n d e r s t a n d i n g t h ee m o t i o n a lo fh u m a nv o i c e ，e x p r e s s i o n sa n db o d yl a n g u a g eo fe m o t i o n a l i n f o r m a t i o nt o r e c o g n i z e t h ee m o t i o ns t a t e b y t h em a c h i n e e m o t i o n i n t e r a c t i v ei st h a tt h em a c h i n e e x p r e s s e s i t so w ne m o t i o n t h r o u g h d e c i s i o n - m a k i n gp r o c e s sw h i c hs i m u l a t e st h eh u m a n sd e c i s i o ns t r a t e g y , w h e n t h em a c h i n eg o tt h eh u m a n se m o t i o ns i g n a li n f o r m a t i o n t h em a i np u r p o s eo f t h er e s e a r c hi st op u tt h ev i r t u a lh u m a nt e c h n o l o g yi n t ot h eh c ia n dd e v e l o pa m a c h i n ew i t ht h ea b i l i t yt or e c o g n i z ee m o t i o na n dt oe x p r e s se m o t i o n i nt h i sp a p e r , t h e s p e c i f i cw o r ka n dc o n t r i b u t i o n si n c l u d e ： f i r s t ，v i r t u a lh u m a n st h r e e d i m e n s i o n a lm o d e la n de m o t i o n a lm o d e la r e i n t r o d u c e di nd e t a i l h e r et h ev i r t u a lh u m a nv i r t u a lh u m a ne n t i t i e st oe s t a b l i s h a n dc o n t r o l ，a sw e l la st h ev i r t u a lh u m a nm o d e lo fa f f e c t i v ec o m p u t i n ga n d a f f e c t i v ed e c i s i o n - m a k i n gm e c h a n i s m t h eu s eo ft h r e e d i m e n s i o n a lm o d e l i n g s o t t w a r et o o l sw h i c ha r eu s e dt oe s t a b l i s ht h ev i r t u a lg a m ea n dv i r t u a ls c e n e s ， t h r o u g ht h ev i r t u a lc o n t r o lm o d u l es e tt od r i v et h ev i r t u a lh u m a n sm o v e m e n t s a n db e h a v i o rc h a r a c t e r i s t i c s ，w h i c he n a b l ev i r t u a lh u m a n st oe x p r e s se m o t i o n i i i 北京化工大学硕士学位论文 b ya c t i o n v i r t u a lh u m a n se m o t i o nm o d e li st h ek e yo f a f f e c t i v ec o m p u t i n g a n dd e c i s i o n - m a k i n gm e c h a n i s mi s t h ef o u n d a t i o no ft h ev i r t u a lh u m a n o w n i n ga b i l i t ye m o t i o n t h em a i nw o r kh e r ei s t os i m u l a t i o no fh u m a n s a f f e c t i v ea n de m o t i o nd e c i s i o nm a k i n gt ob u i l dt h ev i r t u a lh u m a n se m o t i o n a l w o r k i n gm e c h a n i s m s ，a n dc o n t r o lv i r t u a lh u m a na f f e c t i v ec o m p u t i n gp r o c e s s ， s ot h a tm a k ev i r t u a lh u m a nh a st h ea b i l i t yt oe x p r e s sf e e l i n g s s e c o n d ，a n a l y s i st h ee m o t i o n a ls p e e c hs i g n a l ，t oi d e n t i f yt h ef e e l i n g so f t h e p a r a m e t e r so fs p e e c hs i g n a li n f o r m a t i o n ，a n dt of u r t h e ri d e n t i f yt h ef e e l i n g so f e m o t i o n a ls p e e c hs i g n a li n f o r m a t i o n c o m p a r eav a r i e t yo fp a r a m e t e r si n e m o t i o n a ls p e e c hs i g n a la n ds u m m a r yt h r e ep a r a m e t e r st oi d e n t i f yt h ee m o t i o n s t a t ei nv o i c es i g n a l a tt h eb a s eo ft h ee m o t i o n a ls p e e c hc o r p u s ，w eb u i l da d a t a b a s eo ft h ep a r a m e t e r sw h i c hc a l lr e f l e c tt h ee m o t i o n a lc h a r a c t e r i s t i c s t h i si saf o u n d a t i o nw o r kf o re m o t i o n a l i d e n t i f i c a t i o n t h i r d ，t h eu s eo fh i d d e nm a r k o vm o d e la l g o r i t h mi nt h es p e e c hs i g n a lt o i d e n t i f yt h ea d v a n t a g e so fv o i c et os i g n a le m o t i o n a lf e e l i n g so fi d e n t i f i c a t i o n i n f o r m a t i o n e m o t i o n a li n f o r m a t i o na n dl a n g u a g ei n f o r m a t i o no ft h ea c o u s t i c c h a r a c t e r i s t i c sh a v ec o m m o np r o p e r t i e s ，b u tt h e yr e f l e c tt h e d i f f e r e n t i n f o r m a t i o n t h r o u g ht h ee m o t i o n a lc h a r a c t e r i s t i c so fs p e e c hs i g n a la n a l y s i s a n dt h e o r e t i c a lv a l i d a t i o n ，h i d d e nm a r k o vm o d e li sa ni d e a lc h o i c e e x p e r i m e n t s s h o wt h a th i d d e nm a r k o vm o d e li n f o r m a t i o ni ne m o t i o n r e c o g n i t i o n ，t h ep e r f o r m a n c eo fav e r yg o o dr e c o g n i t i o nr e s u l t sa n dah i g h e r i v 北京化工大学硕士学位论文 r e c o g n i t i o nr a t ef o rt h ea p p l i c a t i o no fh i d d e nm a r k o vm o d e lt op r o v i d et h e f a c t ss u p p o r t f o u r t h ，e s t a b l i s hap r o t o t y p eh u m a n - c o m p u t e ri n t e r a c t i o ns y s t e m s ，t h e w h o l es y s t e mo ft e s t i n ga n dv e r i f i c a t i o nt o p r o v e t h e f e a s i b i l i t y o f h u m a n c o m p u t e ri n t e r a c t i o na n ds c i e n t i f i cs e n t i m e n t v a l i d a t i o n ，p r i m a r i l y t h r o u g hf e e l i n g sa n de m o t i o n si nd e c i s i o n - m a k i n gt oi d e n t i f yt w oa s p e c t s ， e m o t i o n a li d e n t i f i c a t i o ni sm a i n l yb a s e do ne m o t i o n a ls p e e c hr e c o g n i t i o no n t h eb a s i so fe m o t i o ni nd e c i s i o n - m a k i n gt h r o u g hv i r t u a lh u m a ne m o t i o n a l e x p r e s s i o nt ov e r i f yt h er e s u l t so f t h ec o m p a r i s o nw i t ht h ee x p e c t e dr e s u l t s k e y w o r d s ：a f f e c t i v ec o m p u t i n g ，e m o t i o n a lv i r t u a lh u m a n ，h m m ， h u m a n c o m p u t e r i n t e r a c t i v e ，f e a t u r ee x t r a c t i o n v 北京化工大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者签名：触鱼、，日期笙i 生堑 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京化工大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。 保密论文注释：本学位论文属于保密范围，在上年解密后适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授 权书。 作者签名：二蛐期： 导师签名：日期： 绪论 第一章绪论 情感虚拟人具有文本选择和知、情、意多模式情感行为协同表现能力，从本质上 说，是一种新一代的计算机用户接口，是一种直观而又自然的实时交互手段；虚拟人 的感性智能决策意味着让计算机适应人的习惯进行交互的愿望即将成为现实；虚拟人 情感交互技术的研究将有助研究感性智能决策支持系统、研究人类的情商和智商的关 系，对生物科学和人脑科学的研究都具有推动作用。传统的人机交互，主要通过键盘、 鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境。而如 果缺乏这种情感理解和表达能力，就很难指望计算机具有类似人一样的智能，也很难 期望人机交互做到真正的和谐与自然。现在有证据表明，健康的情感均衡是使智能创 造性和灵活性解决问题的一个整体组成部分。如果我们想让计算机真正适应我们，能 与我们自然的进行人机交互，则它们就应该具有情感识别和表达能力，并应该有情感。 情感虚拟人交互技术是具有前沿学科的特征，既有重大的理论意义，也有着很广泛的 应用前景。 1 1 情感虚拟人的定义 情感是一个复杂的问题，情感虚拟人是基于复杂问题的表述。把虚拟人数字化研 究是一项信息医学、生物技术、计算机技术等学科相互交叉、综合发展起来的前沿性 交叉学科，对人类科技发展和社会进步有深远意义。美国科学家于2 0 世纪末率先进 行虚拟人数字化研究。此后，世界许多国家都予以高度重视，特别是西方发达国家一 直积极酝酿，或启动专项研究计划。 情感虚拟人( a f f e c f i v ev h - t u a lh u m a n ) 就是虚拟人具有特定的个性和情感交互( 情 感识别和表达) 能力，具有特定的人工心理数学模型和情感识别及情感表达方式，是人 在计算机生成空间( 虚拟环境) 中的几何特性与行为特性的表示，是多功能感知与情 感计算的研究内容，是人工心理理论在虚拟现实领域的具体应用【l 】。由于情感受社会 文化等因素影响很难有普适的定义，但是在多数场景不同的个体都会存在确定的、具 有一致性的表现的情感。 1 2 情感虚拟人和情感计算研究现状 目前，多模态技术正在成为人机交互的研究热点，而情感计算融合多模态处理技 术，则可以实现情感的多特征融合，能够有力地提高情感计算的研究深度，并促使出 现高质量、更和谐的人机交互系统。在多模态情感计算研究中，一个很重要的研究分 支就是情感机器人和情感虚拟人的研究。美国麻省理工学院、日本东京科技大学、美 北京化工大学硕士学位论文 国卡内基梅隆大学均在此领域取得了较好的成绩。目前中科院自动化所模式识别国家 重点实验室已将情感处理融入到了他们已有的语音和人脸的多模态交互平台中，使其 结合情感语音合成、人脸建模、视位模型等一系列前沿技术，构筑了栩栩如生的情感 虚拟头像，并正在积极转向嵌入式平台和游戏平台等实际应用。随着情感计算研究的 进一步深入，人们已经不仅仅满足于将其应用在简单的人机交互平台中，而要拓展到 广泛的界面设计、心理分析、行为调查等各个方面，以提高服务的质量，并增加服务 的个性化内容。在此基础上，有人开始专门进行情感智能体( a f f e c t i v e a g e n t ) 【l 】的研 究，以期通过情感交互的行为模式，构筑一个能进行情感识别和生成的类生命体，并 以这个模型代替传统计算中的有些应用模型中( 例如电脑游戏的角色等) ，使电脑和 应用程序更加鲜活起来，使之能够产生类似于人的一些行为或思维活动。这一研究还 将从侧面上对人工智能的整体研究产生较大的推动作用。 美国m 1 t 大学媒体实验室p i c a r d 教授在其专著“a f f e c t i v ec o m p u t i n g ( 情感计算) ” 中做出定义：“情感计算是关于、产生于、或故意影响情感方面的计算”【2 】。“情感计 算”研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智 能、灵敏、友好反应的计算机系统。情感还有两个基本维度：愉悦度与激活度。研究 发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量激活度的生理 指标【3 】。与情感计算相近的概念还有：人工心理、感性工学等，他们之间既有区别，同 时还具有一定联系。人工心理的概念首先是由北京科技大学王志良教授在1 9 9 9 提出 d , s l ，他认为人工心理就是利用信息科学的手段，对人的心理活动( 着重是人的情感、 意志、性格、创造) 的更全面内容的再一次人工机器( 计算机、模型算法等) 实现。感 性工学( k a n s e ie n g i n e e r i n g ) 是由日本人提出【6 】，他们认为感性工学就是将感性与工 程结合起来的技术，是在感性科学的基础上，通过分析人类的感性，把人的感性需要 加入到商品设计、制造中去，它是一门从工程学的角度实现能给人类带来喜悦和满足 的商品制造的技术科学。 1 3 情感语音识别与交互的应用 语音是一种便捷的交流方式，利用语音进行自然和谐的人机交互是人们研究的一 个目标。而情感语音的识别应用于人机交互，将有效的改变过去计算机呆板的服务， 提高人机交互的亲切性和人性化。情感语音的识别是让计算机识别出语音信号中包含 的情感参数，识别出说话者的情感状态。情感语音的识别能力是计算机智能的一个重 要方面，它反映了计算机通过获取的信息判断说话者的情感状态的能力。情感语音的 识别是个比较具有挑战性的难题，有着广泛的应用前景和需求。人机情感的交互是 反映计算机能力水平的一个标准。 情感语音的识别和情感交互的应用也很广泛。 2 北京化工大学硕士学位论文 在数字娱乐方面的应用，情感识别和交互应用在交互电影中，是观众不仅能够看 到故事情节，还能够与故事内容进行交互，这将是一种全新的经历和体验。在数字游 戏中，虚拟的人物与玩家的交互，通过情感交互和识别来了解玩家的状态，使玩家能 够更好的在游戏中娱乐。 在心理学方面的应用，情绪反映了人的心理状态，是人类思维活动的体现。情感 计算理论是通过计算机的分析和处理，把情感从认知上升为计算模型，通过探索人类 对信息的分析和处理机制，以及情感危机的处理措施来进一步的加深对人脑中情感的 理解和解析。 在医学方面的应用，情感的健康是健康的一部分，通过对情感的研究了解可以通 过诱导的方式来解决现在生活中患有忧郁症的人们不良情绪的排解。 在语音识别方面的应用，情感语音识别的研究可以辅助语音识别。通过情感的识 别来判断说话时的语境和心境，来提高语音识别的准确率。 在安全方面的应用，通过情感识别和数据挖掘等多种技术的融合来进行智能分析， 可以判断被测试用户的心理状态，识别出危险人物。在案件的侦破过程中使用，可以 判断犯人的心理状态，有助于审理案件。 因此，情感语音的识别使我们避免在传统语音处理中只考虑与词汇传达的准确性 的处理，而忽略了情感的影响因素。情感的交互属于感性科学的领域，也是信息处理 的重要组成部分，在人工智能领域起着重要的作用。人机情感的交互是实现人工和谐 的一个重要组成部分。 1 4 课题来源 本文的课题来源是中国自然科学基金资助项目面向心理危机的情感虚拟人交互 理论及关键技术研究( 6 0 7 7 3 1 5 7 ) 、中国博士后科学基金基于虚拟人的新一代人机 交互模式关键技术研究( 2 0 0 7 0 4 1 0 0 6 2 ) 和北京市教委科技发展计划项目基于认知 机制的情感虚拟人交互模式及应用研究( 2 0 0 8 11 4 1 7 0 0 8 ) 。这些项目的重点是研究人 的情感认知机制和情感的危机处理能力，以及在交互过程中情感的转换机制和处理机 制。本文研究的主要任务是通过对情感交互机制的研究和语音中情感的分析与识别， 来实现和谐的人机情感交互。本课题的研究对于情感计算的理论研究和实际应用都将 起到积极的促进作用。 1 5 课题任务及本文工作 本课题的任务：通过三维游戏制作平台建立虚拟场景和虚拟人模型；通过模拟人 的情感认知和响应机制建立虚拟人的情感模型；研究语音信号处理的理论和技术，进 3 北京化工大学硕士学位论文 行语音情感特征的提取和建模；从而实现人机情感识别和交互。 本文主要围绕情感模型的建立和情感识别交互进行研究，完成了语音信号中情感 的识别和交互的论证。全文各章节的主要内容如下： 第一章简要介绍了情感虚拟人技术在国内外的研究进展，以及情感虚拟人相关的 基本理论和方法，最后给出了本课题的研究背景、主要任务和整篇论文的 内容安排。 第二章介绍了模拟情感的虚拟人的建模，通过对情感空间的分析和计算得到情感 转换公式，这个公式反映了人类情感交互过程中情感转换的一般规律。从 而建立起情感的计算模型，模拟人类情感的控制机制，来实现虚拟人的情 感智能交互。 第三章针对人的情感语音信号的特点，分析了语音参数，在根据语音信号特性的 基础上，选取了合适的参数和算法。通过对波形图和实验数据的分析，可 以得到参数的变化特性，从而为情感的识别和特征库的建立提供依据和参 考。根据情感语音库建立了语音参数特征库，为情感语音的识别和交互做 了基础性的工作。 第四章通过介绍隐马尔科夫模型的理论框架和隐马尔科夫模型算法的实现过程， 建立了自己的情感识别系统架构和工作流程，并结合了情感特征参数库来 进行隐马尔科夫模型参数的设定。经过实验验证，系统架构和工作流程是 可靠和有效地，能够进行系统的应用。根据本研究的目标，建立了系统原 型，并对整个系统进行了实验。 第五章通过对研究的分析和总结，得出研究的不足和需要改进之处，为后续的研 究工作提出指导性意见和建议，并对未来的工作做出展望。 4 虚拟人模型的设计和建立 第二章虚拟人模型的设计和建立 虚拟人技术是随着虚拟场景技术的发展，在近几十年里得到了不断地发展。虚拟 人通常是在虚拟现实的场景中具有真实感的三维立体模型，有时也会以卡通的形式出 现。情感虚拟人是使虚拟人具有了心理特征，能够去理解人的情感和表现自己的情感。 2 1 虚拟人的三维建模 虚拟人的三维模型是虚拟人存在和表现的基础，是最直接和最感官的表示形式。 在计算机的三维空间中，虚拟人应该具有自身的几何模型与行为模型的定义。虚拟人 的行为可以有计算机程序控制，并且具有外观和行为特性方面的逼真性要求。目前为 了能够形象的表示虚拟人，采用了层次表示方法来建立虚拟人。虚拟人层次模型是由 骨骼层、肌肉层和皮肤层组成。由于人体的外形主要是由人体的骨骼结构和附着在骨 骼上的肌肉运动决定，皮肤的形变则随着骨骼的弯曲和肌肉的伸展与收缩变化，这样 只要操作骨骼层就可以实现逼真的虚拟人的行为仿真。 2 1 1 虚拟人骨骼层的建立 虚拟人骨骼结构的建立，有两个国际标准v r m l 和m p e g - 4 开始支持虚拟人的表 示【7 1 。为了支持不同环境创建虚拟人之间的操作与共享，本文采用v r m l 中有一个专 门的h - a n i m 的标准。该方法采用三类节点来描述骨骼结构：人体重心，人体关节和 人体骨骼段，把人体分成了：1 个体重心、9 3 个关节和9 3 个骨骼段三个部分。整个 人体各个部分之间的关系表示为以人体重心为根节点，关节为子节点，骨骼段为连线 的树形结构如图2 1 所示【8 】。 o 扣枷 图2 - 1h - a n i m 虚拟人骨骼结构 f i g 2 - 1h - a n i mf r a m eo ft h ev u u a lh u m a n ss k e l e t o n 通过将各肢体的几何模型依附于相应的骨骼段，共同组成了一个完整的虚拟人。 5 | 匕京化工人学硕学位论文 2 12 虚拟人肌肉居的建立 人体肌肉不仅形状复杂，而且还随着人体的运动而变形。因此，人体肌肉的模拟 是相当困难。同时，由于肌肉是人体的动力来源，人体肌肉的变形还必须符合人体力 学原理和运动规律。 近年来基于隐式曲面的几何造型技术在表现人体肌肉方面献出了独特的优势， 一个复杂的人体只需5 0 0 个左右的元球。基本元球是可以通过融台形成传统造型方法 难以做到的复杂形体，而再绘制圆球时，只需要进行光线和等值面的求交测试。本文 采用c o m e t d i g i t a l 开发的c m u s c l e 肌肉变形系统是一款高性能的m a y a 变形插件， 拥有真实的皮下肌肉滑动、皮肤皱褶等效果。c m u s c l e 包含了3 个变形器、5 个辅助 节点和6 个新的a p i 命令。建立的肌肉层表示如图2 2 所示”“，肌肉层的伸缩和扭曲 模拟人的肌肉组织的扭曲特性。 图2 - 2 虚拟人肌肉层 v l g z - 2 m 璐e l e l a y e r o f v i i _ t u a l h 唧蛆 2 13 虚拟人皮肤屡的建立 皮肤通常采用多边形表面来表达，但这不能充分刻画人体表面的光滑性和柔韧性， 同时具有崮定拓扑结构的多边形表面难以在任意区域内光滑的变形。我们采用s t e v e n s t a h l b e r g 的方法【9 l ，通过i n c a n d e n s e 加入节点控制皮肤各部分的颜色，仿真出皮肤的 头光感。应肤的形象表示如图2 3 所示僻。 通过建立一个l a y e r s h a d e r 和两个l a m b e r t s h a d e r ，将两个l a m b e r t s h a d e r 用中键 拖入l a y e r s h a d e r ，删除l a y e r s h a d e r 中临时节点。过程如图2 - 4 所示。 北京化i 大学硕士学位论立 圈2 - 3 皮肤层的制作1 f 喀2 - 3s t e p1 ：c r e a t e o f s k i n l a y e r 互= 石二= 丁一 m 1 一r 一里 i 厂= i 孑焉= 阿r 堋l 口! ”霉鞠= 土1 r _ 1 i = 慕i 可j 型! 些。蚋 一 图2 4 皮肤层的制作2 1 毽2 - 4s t e p2 ：c r e a t e o f s k i n l a y e r 打开l a m b e r t 节点，先将其t r a n s p z a e n c y 调为全透明然后在i n c a n d e s c e n s e 加入一张 r a m p 程序贴图，r a m p 贴图调节如下，青色模仿皮肤在正对时静脉的颜色，红色反映 出阴影区的半透明特性。再建立一个l a m b e r t 和c l a m p ，在h y p e r s h a d e r 窗口中用中键 把新建的l a m b e r t 拖到c l a m p 节点艘l a m b e r t 的o u t c o l o r 和c l a m p 的i n p u t 节点相连， c l a m p 的m i n 和m a x 调节如2 - 5 图。 图2 - 5 皮肤层的制作3 f i g 2 - 5s t e p3c r e a t eo f s k i nl a y e r 用中键将c l a m p 拖到先前建立的r a m p 贴图建立节点关系。要注意的是，以后加入纹 理贴图时在第一个l a m b e r t 的透明通道里必须贴入m a s k ，这样做的主要目的是为了防 止变色。 以上步骤是用m a y a 动画软件制作的虚拟人模型的皮肤层。通过以上的过程町以 把虚拟人的形象模型建立起来。 北京化工丈学顶学位论文 2 ，14 虚拟人的控制 虚拟人的控制部分，本文采片j 了三维游戏制作软件v i r t o o l s 来实现。它的开艘架 构体系，支持多种3 d 文件格式。v i r t o o l s 提供的3 d 内容转换插件，支援主流的 d c c ( d i g i t a l c o n t e n t c r e a t i o n ，数字内容创建) 软件格式( 3 d s m a x - m a y a ，x s l ，l i g h t w a v e ， c o l l a d a ) ，v i r t o o l s 还可以直接导入和输出3 d x m l ，基于以上的优点，本文的虚拟场 景和虚拟人的控制采用了n 0 0 l s 来进行制作 ”。 把m a y a 制作的虚拟人三维模型导入到v i r t o o l s 当中去，然后倒入场景，设置地面 和墙壁，是虚拟人在虚拟空倒有活动的限制范围。调整虚拟人的角度和方向位置，设 置摄像机的位置和角度，设置光线调整，是虚拟场景能够清楚的显示出虚拟人。结果 如图2 - 6 所示。 图2 - 6 虚拟人和虚拟场景 f i g 2 - 6 v i f e a a l h t t m a na n d v m u a l e n v i r o n m e a t 虚拟人的控制是通过v l r i o o l s 的a c t i o nm a n a g e r 来设定。 dfoo od 口iu t t _ ； 鼍霉罂_ = ，睁睁一商凶 h ，u ，u t r m e 、_ 。 、- ”r r 一，一一2 “z ， “ 。 ：二堆。 “。 “、t 州帅 - m。， 1 1 。 图2 4 a c t i o n m a n a g e r 的操作 f i g 2 - 7 0 p e r a t i o n o f a c t l o n m 蛐a g e r 每个a c t i o n 都代表+ 个特定形式的v s ls c r i p t ( v i a o o l ss c r i p t i n g l a n g u a g e ，v i r t o o l s 开发环境中的程序语言，类似c 语言) ，可透过选择或是参数设定的方式，执行事先 北京化i 大学碗上学位论文 定义好的工作流程，并可输入其它类型的a c t i o n 数据、重新组织整理，再设定键盘 的快速键作为执行的a c t i o n 的方式。如图2 7 所示，v s l 的编辑环境提供可以建立、 共享已撰写完成的v s l 功能，并透过键盘按键的设定执行，增加编辑效率。 本文中的人物的b u i l d i n g b l o c k s 的设定如图2 - 8 所示 圈2 b u i l d i n g b l o e l m 的设定 f 1 1 2 - 8 s e t o f b u i l d i n g b l o c k s 通过b u i l d i n g b l o c k s 设定来确定人物的控制和触发事件，得到一个可以进行交互的虚 拟场景和虚拟人。v i r t o u i s 主要的工作就是把虚拟人和虚拟场景融合到一起，并且设 定虚拟人的一些行为模式和情感表达方式。v i r t c o l s 制作好的虚拟人和虚拟场景通过 软件打包生成, v r n o 文件，来完成交互的程序。 2 2 虚拟人的情感计算模型 虚拟人具有情感就是使虚拟人能够在识别人的情感的基础上进行情感的反馈达到 情感的交互，并且随着人类情感的不断变化而变化从而实现和谐的人机交互。从心理 学的基本理论出发，在情感的状态空间和虚拟人的情感个性基础上建立虚拟人的情感 模型。p l u t e h i k 在多年研究的基础上提出了情感轮( e m o 曲nw h e e l ) 模型，此后又在这 一理论的基础上进行了扩展把二维的情感模型扩展到了三维的空间1 0 1 。如图2 - 9 所示： i f j 三、j 离：乏兰 、= ：= 卜：卅 | ；i lj ： 1 爿 心j j三彰 心 图2 - 9 p l u t c h i k 情感模型 f i g 2 - 9 e m o t i o n m o d e l o f p l u t c h i k 北京化工大学硕士学位论文 把情感分为八种基本的情感：狂喜、接受、惊奇、恐惧、悲痛、憎恨、狂怒、警 惕。根据强度的不同而划分了三个层次。本文根据这八种基本情感来建立情感的状态 空间。在情感空间的基础上建立了情感决策模型来模拟人类情感变化的一般规律，把 心理学的理论进行信息化描述。通过这个规律来得出虚拟人的情感走向趋势。情感的 产生都是由外界信号的刺激引起的，主要有表情、声音、姿势等。根据文献【1 1 1 ，可知 情感的诱发变量类似敲钟信号，其数学表示为： y ： 吖岛 坯眶试(2-1)b ，l ，口一2 ( t t o 一。 其中a l 、岛控制相应的幅度，如控制衰减速度，y 是t 时刻的外界刺激信号的强度。 情感的诱发变量定义为a = ( 咒，y 2 ，乃，y 4 ，y 5 ，y 6 ，y 7 ，y s ) ，咒1 0 f = 1 , 2 , 3 ，4 , 5 ，6 ，7 ，8 ) 分别代表着 接受、惊奇、恐惧、悲痛、憎恨、狂怒、狂喜、警惕八种情感的信息变量。 情感是人对客观事物的内心描述的外在态度，是人内心是否获得了满足的一种反 映。对于他们的分类，各个学者有不同的意见，在文献【1 2 】中的o c c 模型把情感分为 了2 2 类，而e k m a n 把情感分成了六类b 3 , 1 4 】，这种思想占据着心理学界和工程界的主 体地位。本文构建了一个多维隋感空间，其变量为 一 r 上= p _ c 泖f p 删恤p 砌 e 踟彻，p 彳矽 e 蜘秽 p 彳船 e 忍啦j 其中v 唧1 i o ，1 i 。 情感的变化受外界刺激波动很大，并且变化也是非常迅速。在外界刺激小的情况 下，情感会随着时间的流逝而趋于淡化。 情感随时间变化的速率为d e ( t ) d t = a e e ( f ) 】，通过参数口来调节情感变化的速 率，来表示不同个性的人。其中e 是理想情况下的情感状态。由当前心理学的研究表 明，性格内向的人内在情感状态没有性格外向的人稳定。因此，在参数口的设定上可 以采用如下：口= o 2 日4 - 0 2 5 p 24 - 0 2 p 3 + o 2 只4 - o 1 5 p 5 。其中，p = k ，最，与，只，忍r 是 一个五维的个性模型，其d e 只i o ，l i 。p 是一个五因子模型f f m ( f i v ef a c t o rm o d e l ) ， 是一个应用非常广泛的个性模型【1 8 】，其中五个因子分别表示：开明性( o p e n n e s s ) 、 外向性( e x t r a v e r s i o n ) 、责任性( c o n s c i e n t i o u s n e s s ) 、神经质( n e u r o t i c i s m ) 、宜人性 ( a g r e e a b l e n e s s ) 。考虑到五因子的成熟度和应用的广泛度，因此本文也采用了五因子 模型进行描述虚拟人的个性。 情感是一个随时间变化的量，通常分为积极的、消极的和正常的状态。而这三种 状态由八种情感量化的反映出来。为了表现情感状态的变化趋势和把握情感的变化方 向，我们情感状态的变化方程来进行描述。这个方程也是对虚拟人进行情感建模的基 础。 l o 北京化工大学硕士学位论文 对于情感的维度空间，没有统一的界定，m e h r a b i a n 采用了三维空间来表现心情， 即愉悦度p ( p l e a s u r e ) 、唤醒度a ( a r o u s a l ) 和支配度d ( d o m i n a n c e ) ，三者相互独 立，构成了情感的p a d 空问【1 6 ，1 7 1 。对此本文定义的情感空间变量s 为： s = k ，只，品r ，其中一1 品，e ，s o l ，s = 【o ，0 ，o r 是对应中立状态下的情感状 态。 表2 1 是本文采用的八种基本情感的p a d 描述，其中的p 、a 、d 数据是根据实 验结果统计得到，是一个平均值。 表2 - 1 情感与p a d 的对应关系 t a b l e2 - 1t h er e l a t i o n s h i pb e t w e e ne m o t i o na n dp a d 户曲= 陋哦咧，户佃岫，n l d 胁，户仂棚 只t 秽，n 哆蚴，p a d a 翮，n 够龇j 10 5 1 0 3 10 6 4 0 4 1 0 5 10 40 50 2l = 10 6 3 0 6 6 0 6 0一0 20 5 90 3 5 0 2 0 5l i 一0 2 0 4 50 4 2 0 5 10 2 50 20 3 0 4l 所以可得到关系式， e ：( s ，e a t ) ) ：毒l j 式( 2 2 ) 吐 t - i 其中：d = p l ，d 2 ，d 3 ，d 4 ，d 5 ，d 6 ，d 7 ，d 8 】，d l = ( s 一只蛾) r ( s - p a d i ) ，i = l ，2 ，3 ，4 ，5 ，6 ，7 ，8 ，对应 八种情感。 由于情感的变化不仅与外界的刺激信号和人物的个性有关，而且也受到当前情感 状态的影响。并且随和时间的推移，情感状态会不断的减弱，在没有外界的刺激的情 况下会趋于平静而进入稳定的中间状态。时间t 对应的心情状态是互，所以根据这些 知识本文总结出表达方程如下表示： e = 巨一l + k + 形( 只，巨一1 ) + ( 4 ) 一疋式( 2 3 ) 其中层一。是t 1 时刻的情感状态：k * p t 是) l 物的性格对情感状态的影响；形( ，e 一。) 是 北京化工大学硕士学位论文 心情随着时间的减弱趋势；乃( 4 ) 是外界的刺激诱发的影响；磊是情感变