（计算机应用技术专业论文）语音情感计算的研究及应用.pdf

浙江工业大学硕士学位论文 语音情感计算的研究及应用 摘要 入口老龄化已经成为全球性的发展趋势，中国正跑步进入老龄化 社会，如何解决空巢家庭中老年人的精神慰藉问题已成为了社会性的 难题。本文结合语音信号处理技术、语音情感计算技术、嵌入式技术 等先进的科学技术，设计实现了一个用于对独居老人情感进行测量并 进行适当慰藉的代理。这样一方面可以降低子女和社会的压力，另一 方面也可以消除老人对晚年生活的恐惧感，提高老年人的晚年生活质 量。 本文详细介绍了语音信号处理的基础知识，情感计算的模型，语 音情感识别的流程，特征参数与语音情感计算的关系及其计算方法， 提出了对用a f d m 法计算基音频率的改进方法，并改进了k n n 算法， 都取得了良好的实验效果。最终给出了系统的实现及实验数据的分析， 并对课题的研究做了总结和展望。 本文基本实现了空巢老人精神慰藉代理，使得计算机技术能更好 的为老人福祉科技服务，体现了科技以人为本和建设和谐社会的精神。 关键词：老龄化社会，老人福祉科技，精神慰藉代理，语音信号处理， 语音情感计算 浙江工业大学硕士学位论文 t h er e s e a r c ha n da p p l i c a t i o n o f s p e e c ha f f e c t i v ec o m p u t i n g a g i n gs o c i e t yh a sb e c o m eag l o b a lt r e n d ，a n dc h i n ai sr u n n i n gt ot h e a g i n gs o c i e t y i th a sb e e nas o c i a lp r o b l e mo nh o wt os o l v et h ep r o b l e mo f t h ee l d e r ss p i r i t u a lc o n s o l a t i o no fe m p t y - n e s t e r t h i sp a p e ri st od e v e l o p a n dr e a l i z ea r ta g e n tt om e a s u r et h ee l d e r se m o t i o na n dd os o m es p i r i t u a l c o n s o l a t i o n ，w h i c hc o m b m e ss p e e c hs i g n a lp r o c e s s i n gt e c h n o l o g y , s p e c c h a f f e c t i v ec o m p u t i n gt e c h n o l o g ya n de m b e d d e dt e c h n o l o g y i tw i l lr e d u c e c h i l d r e n sa n ds o c i e t y sp r e s s u r e a n da tt h es a m et i m ei m p r o v et h ee l d e r s l i f eq u a l i t y t h i sp a p e rp a r t i c u l a r i z e st h eb a s i c k n o w l e d g eo fs p e e c hs i g n a l p r o c e s s i n g ，t h em o d e lo fa f f e c t i v ec o m p n t m g ，t h ep r o c e s so fa f f e c t i v e c o m p u t i n g ，t h er e l a t i o n s h i pb e t w e e nc h a r a c t e r i s t i cp a r a m e t e r sa n ds p e e c h a f f e c t i v e c o m p u t i n ga n dt h e m e t h o dt oc a l c u l a t et h ec h a r a c t e r i s t i c p a r a m e t e r s i ti m p r o v e st h ea f d ma r i t h m e t i cw h i c hi su s e dt oc a l c u l a t e t h ef u n d a m e n t a lf r e q u e n c y , a n dt h ek n n a r i t h m e t i c ，b o t ho f w h i c ha c q u i r e g o o de f f e c ti nt h ee x p e r i m e n t a tl a s ti ti n t r o d u c e st h er e a l i z a t i o no ft h e s y s t e ma n da n a l y s e st h ee x p e r i m e n t a ld a t u m t h e ni tm a k e sas u n m l a r y a n de x p e c t a t i o no ft h em s e a r c h “ 浙江工业大学硕士学位论文 t h i sp a p e rr e a l i z e st h es p i r i t u a lc o n s o l a t i o na g e n tf o rt h ee l d e r e m p t y - n e s t e r , w h i c h m a k e st h e c o m p u t es c i e n c e s e r v eb e t t e rf o r g e r o n t e c h n o l o g y i tm a n i f e s t st h a tt h es c i e n c ea n dt e c h n o l o g ys h o u l db e b a s e do nh u m a n i t y , a n di ta l s or e p r e s e n t st h es p i r i to fc o n s t r u c t i n gt h e h a r m o n i o u ss o c i e t y k e yw o r d s ：t h ea g i n gs o c i e t y , g e r o n t e c h n o l o g y , s p i r i t u a lc o n s o l a t i o n a g e n t ，s p e e c hs i g n a lp r o c e s s i n g ，s p e e c ha f f e c t i v ec o m p u t i n g 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研 究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不 包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江工 业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重 要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法 律责任。 作者签名：翔爱互 作者签名：细终生 日期b 芦岁彤日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“妒) 作者签名：研，浚互 导师躲矿乃。彳 蓦嚣缘鹚l 昌日期孵厂一月宇1 日 浙江工业大学硕士学位论文 1 1 研究背景 第一章绪论 人口高龄化是一种全球性的发展趋势，而我国是世界上老年人口最多、增长 速度最快的国家之一。8 0 年代以来，6 0 岁以上的老年人口以平均每年3 的速度 持续增长，1 9 9 7 年已经超过1 2 亿，而根据中国人口信息研究中心的调查统计， 2 0 0 0 年中国6 0 岁以上的人口已经超过1 3 亿，占总人口的比例为1 0 3 1 ，6 5 岁 以上入口占总人口的比例为7 1 7 t “，已经步入老年型国家行列。更为突出的是， 8 0 岁以上高龄老人已高达1 1 0 0 万，并以年均5 的速度递增。到本世纪中叶， 6 0 岁以上的老年人将达到4 亿左右，约占亚洲老年人口总数的3 6 ，约占世界老 年人口总数的2 2 3 ，如图1 1 所示。我国老年人口规模之大，老龄化速度之快， 高龄人口之多，都是世界人口发展史上前所未有的。 图1 - i 中国人口老龄化趋势 近五十年来，伴随着经济发展和社会进步，我国人口结构经历了从年轻型向 老年型的转变，人口平均寿命不断提高，人口总规模急剧膨胀，人口老龄化速度 l 塑坚三些奎堂堡主堂垡堡奎 加快。根据有关专家的测算，下个世纪前半叶，我国人口老龄化过程大体要经历 两个阶段：从2 0 0 0 年到2 0 2 0 年，6 0 岁以上的老年人口将增加到2 4 亿，占总人 口比重将上升到1 6 6 ，人口老龄化继续加速发展；从2 0 2 0 年到2 0 5 0 年，6 0 岁 以上的老年人口将上升到4 亿多，占总人口比重将上升到2 6 左右，人口老龄化 程度达到高峰【2 】a “空巢家庭”指无子女或虽有子女，但子女长大成人后离开老年人另立门户， 剩下老年人独自居住的家庭。我国人口正趋向老龄化发展，由于社会、家庭及个 人等多因素的作用，作为有独特需要的特殊群体- “空巢家庭”，是我国人口发展 的必然趋势。近年来，随着社会经济的发展，居住方式的变化，家庭结构的小型 化，以及人口流动的加速，子女数的减少，代际居住的分离倾向，人口预期寿命 的延长，老人家庭的空巢率正在不断加大。1 9 8 7 年全国空巢家庭占老年人家庭的 1 6 7 ，而2 0 0 0 年全国第五次人口普查数据表明，“空巢家庭”户占到老年家庭的 2 2 8 3 。随着独生子女的父母步入老年，空巢家庭将成为我国老年人家庭的主要 形式，预期至1 2 0 3 0 年空巢家庭的比例将达n 9 0 ，届时我国老年家庭将“空巢 化” 3 l 。 1 2 高龄化社会带来的问题 上一节主要讨论了两个趋势，一是人口高龄化趋势，另一个是高龄人口中家 庭空巢化的趋势。在越来越多的老年空巢家庭中，由于年龄的增大，老年人机体 的生理结构和功能发生变化，引发老年人健康保障、人身安全、生活照料、精神 慰藉、经济供养等方面的社会问题也日益凸显。调查结果显示，在老年人的生活 服务需求“排行榜”中，精神慰藉服务名列榜首【4 】。 当前居家养老在我国依然是一种主要的养老方式，然而随着人口老龄化进程 的加快发展，“空巢”问题将越来越突出【5 1 。人们在物质生活得到了很大改善和提 高的同时，对精神文化生活质量的要求就相应增加，尤其是赋闲在家的老年群体。 “空巢”老人长期的独自居家，缺乏必要的情感交流和精神安慰，他们最期盼和 最渴求的并不是丰富的物质生活而是子女们在精神上的慰藉。但是目前子女们对 老人进行精神慰藉只能依靠信笺、电话、登门看望等受限的手段。现代的年轻人 在生活和工作中面临巨大的生存压力和挑战，需要时间去“充电”，需要花费比 老一代人更多的精力去参与竞争，这使得他们身心疲惫，精力透支，对老人“奉 2 浙江工业大学硕士学位论文 陪不起”。老年人也存在着心理障碍，一方面老年人非常期盼和渴求与子女进行 情感上的交流，另一方面又怕影响子女们的工作和学习，因而难于启齿。作为子 女虽然也想去看望父母，但往往由于时间、工作等原因，在老人最需要情感交流 的时候，他们无法及时得到信息并进行相应的精神慰藉，使老年人在传统养老观 念和家庭养老方式的转变过程中精神抑郁、生活空虚并逐渐感到孤独寂寞和不安， 严重的甚至产生心理疾病等情况，危害老年人的健康，影响了他们晚年的生活质 量。而这些问题的根源在于独居老人和子女之间缺乏必要的感情交流以及子女们 进行精神慰藉时机不对称。 1 3 研究的目的和意义 目前计算机技术、通信技术等高新技术已经普遍应用于生产、流通和商务等 领域，但是对于改善人的生活方面特别是针对高龄人口和弱势人群的服务贡献还 不是很高。具有人机交互功能的智能情感计算机还处于研究阶段，并没有真正服 务于社会【6 l 。本研究的目的是通过传感技术、计算机技术、通信技术等先进的科 学技术建立起一个具有人工智能的精神慰藉代理，通过代理装置中的传感器得到 老人的语音情感信息，然后计算这些语音情感信息的特征参数，通过与标准情感 样本的匹配计算出老人说话时的情感状态，把计算得到的不良情感状态通过无线 网络发送给他们的子女，通知他们及时的采取措旋对老人进行精神慰藉。从而建 立起一种以人为本的、智能化的、不受时空限制的、充分考虑老年人的心理的、 非常默契的子女与老人的交流环境。该系统一方面可以消除老年人的孤独感，提 高老年人晚年生活的品质，另一方面也可以减轻社会和子女的压力，对构建以人 为本的和谐社会有着非常积极的意义。 1 4 本文的研究内容及结构安排 本文共分为七章，各章的关系如图1 2 所示。 3 浙江工业大学硕士学位论文 图1 - 2 论文的结构组织 第一章主要介绍了本研究的选题背景，根据全球老龄化趋势及我国高速进入 高龄化社会的现状，分析了独居老年人精神慰藉方面存在的问题，提出了一个结 合智能计算技术、通信技术等现代化技术来解决独居老人精神慰藉问题，提高独 居老人晚年生活质量的方案，并阐述了本研究的目的和意义。 第二章主要介绍了情感计算含义和语音情感计算方面的基础知识，介绍了国 内外语音情感计算的发展现状。阐述了老人福祉科技的概念，并介绍了目前该方 面的研究成果。 第三章主要介绍了精神慰藉代理运行平台的设计。主要包括软硬件的选择、 系统的硬件结构介绍、软件模块划分、系统功能介绍等。 第四章主要介绍了语音信号处理的基础知识，关键技术，对识别语音情感作 用最大的几个特征参数的计算方法。重点介绍了基于短时平均幅度差函数的基音 频率的计算方法，提出了采用极小值来修正基因频率准确性的方法。 第五章主要说明了情感转换模型的产生，语音情感的分类，语音情感的识别 流程，实验用到的情感语音数据库的建立等。并讨论了几种用于区分语音情感的 模式匹配算法的特点。 第六章主要结合各种算法的优点提出了不同的特征参数对不同的情感贡献度 不同的思想，并改进了k n n 算法，提出了融合算法。然后给出了实验数据并对实 验数据做出了详细的分析。 4 浙江工业大学硕士学位论文 第七章是本文的总结部分，对本文的所做的工作和创新点进行了总结，提出 了研究中存在的不足之处，并对该课题的前景进行了展望。 5 浙江工业大学硕士学位论文 第二章语音情感计算介绍 2 1 情感计算及语音情感计算的定义 2 1 1 情感 情感是人类一种重要的本能，它同理性思维和逻辑推理能力一样，在我们的 日常生活、工作、交流、处理事务和决策中扮演着重要的角色。一般认为，人在 决策处事时，掺杂过多的感情因素多数会产生负面结果。为此，我们常说不要“感 情用事”。但是，医学及心理学界研究成果表明【7 8 】：人们若丧失了一定的感情成 份( 即理解和表达情感的能力) ，决策处事同样难成。人类的智能不仅表现为正常 的理性思维和逻辑推理能力，也应表现为正常的情感能力。情感能力在人们的感 知、计划、推理、学习、记忆、决策、创造性等方面扮演着至为重要的角色。事 实上，中国人的老话“合情合理”、“晓之以理，动之以情”，“尽在情理之中”都 反映了同上的道理。人们在决策、待人、处事时，“情”和“理”一般是不可分的。 美国学者g o l e m a n 认为情感能力是人类智能的重要标志【9 】。他认为，在决定一个人 事业成败的因素中，“情商”( e m o t i o n a li n t e l l i g c n c 沱，即领会、运用和表达情感的 能力) 或许比传统的智商( i q ) 显得更重要。 情感具有三种成分：( 1 ) 主观体验，即个体对不同情感状态的自我感受；( 2 ) 外 部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部 表情( 面部肌肉变化所组成的模式) 、姿态表情( 身体其他部分的表情动作) 和语 调表情( 言语的声调、节奏、速度等方面的变化) ；( 3 ) 生理唤醒，即情感产生的生 理反应，是一种生理的激活水平，具有不同的反应模式。 概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理 工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流 的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。 基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同 6 浙江工业大学硕士学位论文 的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我 保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭 遇阻碍时的愤怒，以及与味觉( 味道) 目标相违背的厌恶。而复杂情绪则是由基 本情绪的不同组合派生出来的。 2 1 2 情感的测量 情感的测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们 要确定一个人的焦虑水平，可以通过他话语来判别，也可以使用问卷测量其主观 感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对 血液样本进行化验，检测血液中肾上腺素水平等。 确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情 感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为 激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种 平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了 人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成 共识。情感的二维理论认为：情感有两个重要维度：( 1 ) 愉悦度( t g 有人提出用 趋近逃避宋代替愉悦度) ；( 2 ) 激活度，即与情感状态相联系的机体能量的程度。 研究发现，经过反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤 醒度的生理指标f l o 】。 在人际交往中，语音是人们最直接的交流通道。通过语音人很容易就能感受 到对方的情感变化，就像“你真行! ”这句话，既可以表示赞赏，也同样可以表示 讽刺或妒忌。情感语音研究目前主要侧重于情感的声学特征的分析。语音中的情 感特征往往通过语音韵律的变化表现出来( 如当一个人发怒时，讲话的速率可能 变快，音量变大，音调变高等) ，但也可同时通过一些音素特征( 如共振峰、声道 截面函数等) 表现出来。 2 1 3 情感计算 美国m 1 t 媒体实验室的r p i c a r d 教授于1 9 9 5 年提出情感计算( a f f e c t i v e c o m p u t i n g ) 的概念，并于1 9 9 7 年正式出版专著a f f e c t i v ec o m p u t i n g ( 情感计算) 【n 】。在该书中他把情感计算定义为：“情感计算是与情感相关、来源于情感或能够 7 浙江工业大学硕士学位论文 对情感施加影响的计算。”情感计算是一种人机交流的新途径，具备情感计算能力 的计算机将能够识别人类情感，并对此做出反馈。因此，情感计算的研究重点就 在于创建一个具有能感知、识别和理解人类情感的能力并能针对用户的情感做 出智能、灵敏、友好反应的个人计算系统。 情感计算是一个高度综合化的技术领域。通过计算科学与心理科学、认知科 学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感 反馈的人机交互环境，将有可能实现人与计算机的情感交互。迄今为止，有关研 究已在入脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。情 感计算研究将不断加深对人的情感状态和机制的理解，并提高人机界面的和谐性， 即提高计算机感知情境、理解人的情感和意图并做出适当反应的能力。 情感计算的研究内容主要包括以下几个方面：情感机理、情感信息的获取、 情感模式识别、情感的建模与理解、情感的合成与表达、情感计算的应用、情感 计算机的接口、情感的传递与交流和可穿戴计算机等。 情感计算将有效地改变过去计算机呆板的交互服务，提高人机交互的亲切性 和准确性。一个拥有情感能力的计算机，能够对人类的情感进行获取、分类，识别 和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的 挫败感，甚至帮助人们便于理解自己和他人的情感世界。 情感计算技术将产生可穿戴的计算机系统。例如，通过接触式情感信号采集 装置测量穿戴者的呼吸、心率、血压、出汗、体温、肌肉反应、皮肤电等信号，判 断出穿戴者的情感状态，为穿戴者记录状态数据，提出保健建议，或发布健康报 警。 它还能帮助我们增加使用设备的安全性，例如可以对司机进行情感监测，当 系统探测到司机精力不集中或者情感发生变化时，可以随时提醒司机，并可根据 结果自动控制，及时改变车的状态和反应。情感计算技术还可以使经验人性化、 使计算机作为媒介进行学习的功能达到最佳化，并从我们身上收集反馈信息。例 如，情感地毯可根据脚的压力自动生成各种音乐。 情感计算和相关研究还能够给涉及电子商务领域的企业带来实惠。如，购物 网站和股票交易网站在设计时研究和考虑影响人的情绪的一些媒体因素，将对客 流量的上升产生非常积极的影响。 浙江工业大学硕士学位论文 2 1 4 语音情感计算 语言是人类创造和记载几千年文明史的基本手段，没有语言就没有今天的人 类文明。语音作为语言的声音表现形式，是人类交流信息最自然、最有效、最方 便的手段。人类的语音中不仅包含了语言学信息，同时也包含了人们的感情和情 绪等非言语信息。例如，同样一句话，往往由于说话人的情感不同，其意思和给 听者的感觉就会不同。传统的语音处理系统仅仅着眼于语音词汇传达的准确性， 而完全忽视了包含在语音信号中的情感因素，所以它只是反映了信息的一个方面。 直到近年来，人们发现由于情感和态度所引起的变化对语音合成、语音识别、话 者证实的影响较大，才逐步引起了人们的重视【l2 1 。随着计算机技术的迅速发展， 除了人与人交流外，人机交流也变得越来越普遍，计算机正成为我们生活工作中 的得力助手。为使人机交流更自然、更人性化，十分有必要进行人机言语和非言 语交流方式的研究。 语音情感是指语音信号中蕴涵的说话者的情感，其中说话者包括自然人以及 具备情感能力的计算机，和语音情感相关的计算称为语音情感计算。它通过对语 音信号的测量、分解、分析、合成等方法来进行情感方面的计算，从而使计算机 具备一定程度的情感能力。语音情感计算的研究包括语音情感的识别、语音情感 合成、和其他情感计算领域的融合，以及其在相关应用中的实现等【l3 1 。语音情感 计算的研究是多学科交叉的结果，是语音信号处理和情感计算技术结合的产物。 语音情感的研究开始于二十世纪九十年代，美国、日本、英国以及其它国家先后 有大学或科研机构涉足到语音情感的研究。 2 2 国内外研究现状 国内外的很多学者已经开始致力于语音情感的研究，如国际知名大公司m m 和b r i t i s h t e l e c o m 等成立了专门的情感计算研究小组，国际知名大学也纷纷建立情 感计算研究小组。总的来说，语音情感计算的研究均处于起步阶段。m r r 目前的 工作侧重于有关情感信号的获取( 如各类传感器的研制) 、情感计算的应用和可穿戴 计算机等1 4 5 1 。现在已经有了一些产品问世，比如m i t 媒体实验室研制的情感玩 具虎、m m 公司的情感鼠标等。可穿戴式计算机的出现为情感计算提供了一个很 好的情感数据采集环境，同时也是情感计算的一个很好的应用场所。情感计算的 9 新江工业大学硕士学位论文 最终表现形式可能是可穿戴计算机或植入人体的芯片，从而使人类可以不借助鼠 标键盘等设备和计算机自由和谐富有感情的进行交互。美国的m r r 媒体实验室的 情感计算研究小组( a f f e c t i v ec o m p u t i n gr e s e a r o hg r o u p ) 就在专门研究机器如何通 过对外界信号的采样，如人体的生理信号( 血压，脉搏，皮肤电阻等) 、面部快照、 语音信号来识别人的各种情感，并让机器对这些情感做出适当的反应f 1 6 1 。目前， 关于情感信息处理的研究正处在不断的深入之中，而其中语音的情感识别因涉及 到不同语种之间的差异，发展也不尽相同。日本、韩国和一些欧洲国家的科研单 位都在进行情感语音处理研究工作。例如日本k e i o 大学的m o r i y a m a 提出语音和情 感之间的线性关联模型，并据此在电子商务系统中建造出具备语音界面的图像采 集系统，实现通过识别语音情感在电子商务中的应用( 1 7 1 。英国d u n d e e 大学和b t 公 司提出的基于规则的语音串联的情感语音合成技术等。英国b o u m e m o u t h 大学语音 研究小组提出的多基音频率r p p s o l a 方法，以语音单元的详细波形目录为基础， 每个语音单元包含多个基频版本。在语音情感的合成时选择接近给定的目标基频 等量线的语音片段，通过语音单元连接来实现语音情感的合成【埔l 。b u r k h a r d t 和 s e n d l m e i e r 也采用共振峰合成的方法实现了7 种情感类型的德语语音合成n 9 】，这些 情感分别是正常、生气、高兴、恐惧、悲伤、厌恶和厌倦。而基于音素拼接的情 感语音合成技术所用的基元是语音波形，在拼接前要根据合成需要对所选的基元 进行韵律调整，然后再拼接，其中韵律的调整一般是由一个单独的情感韵律分析 模块来完成的。i r i o n d o 等荦j 用这种音素拼接方法合成了西班牙语渴望、生气、高 兴、恐惧、悲伤和吃惊2 0 0 ”。国际口语处理大会i c s l p ( i n t e r n a t i o n a l c o n f e r e n c e s p o k e nl a n g u a g ep r o c e s s i n g ) 的论文集中，有关语音情感方面的研究论文都在逐 渐增多 2 2 1 。 国内的东南大学也较早开始了从语音的韵律特征来计算情感的研究c 2 玉2 4 1 。清 华大学的基于人工情感的机器人控制体系结构的研究【2 5 1 。北京交通大学进行多功 能感知机同情感计算的融合研究 2 6 】。浙江大学研究e - t e a t r i x 中虚拟人物及情感系 统构造 2 7 1 。国家自然科学基金委也立项资助哈工大进行心理紧张等情况下的 r o b u s t 语音识别研究2 8 捌。微软的亚洲工程院开展的多媒体信息中的语音信号检 测等1 3 0 1 。国内研究内容主要是单元理论与技术的研究与实现，中科院计算所高文 教授领导的“多功能感知和信息融合理论与技术”研究小组在情感计算方面已经 开展了系统的工作，多功能感知机是集自然语言一语音、文字与非自然语言一手 1 0 塑翌三些奎兰堡主兰垡堡苎 语、人脸、表情、唇读、头势、体势等多通道为一体的，并对这些通道信息进行 编码、压缩、集成、融合的计算机智能接口系统口”。 2 3 情感计算与人口老龄化 在世界人口高龄化的背景下，许多发达国家开展了以改善老年人生活品质为 宗旨的各种老龄化的人本信息技术的研究，产生了一个新兴的跨领域的学科 “g c r o n t e c h n o l o g y ”。1 9 9 3 年荷兰爱因霍芬科技大学的g r 髓f m a n s 和b o u m a 两位 教授给了g c r o n t e c h n o l o g y 如下定义：g c r o n t e c h n o l o g y 包括了基于对高龄化的认识 所开展的技术和科研产品的各种研究，这些研究的目的都是为了给老人带来更好 的生活、工作和医疗的帮助口2 】。1 9 9 7 年9 月，国际g e r o n t e c h n o l o g y 学会在欧洲 成立，该学会提出的宗旨是“设计相关的技术产品和环境，使老年人能够更健康、 更舒适、更安全的独立生活和参与社会活动”。1 9 9 2 年第一届国际g e r o n t e c h n o l o g y 会议在欧洲召开，2 0 0 5 年5 月在日本名古屋召开了以“高龄化社会智能技术一为 了老人更长久的、健康的、自尊的幸福生活”为主题的第五届国际g e r o n t c c h n o l o g y 会议。 电子、传感、通信等高新科技手段在老人福祉科技中的应用已经非常广泛。 虽然国内大多数研究依然只停留在事后被动应急处理状态，但是在西方发达国家， 特别是美国、日本，近年来，有许多大学和科研机构都在政府的支持下开展了人 性化、智能化、以改善老人的生活品质为目标的各种科研工作。 目前大部分对老人的服务还都在生理阶段，以家庭监护、日常生活照顾为主。 其中比较著名的有匹兹堡大学与卡耐基大学合作开发的“p e a r l ”项目【3 3 1 ，“p e a r l ” 是一个类似机器人的移动装置，能够安排和监督老人的室内活动。s i x s m i t h 描述 了他们所研究的一个智能家居系统【3 4 】，该系统通过对当前老人的活动与老人的以 往活动模型进行比较来发现可能引起监护人注意的事件。佛罗里达大学与 h e x a m i t e 公司合作进行的i n d o o rl o c a t i o nt r a c k i n g 系统【3 5 】，该系统通过人工智能 技术对老人的历史活动进行分析来预测老人可能的活动位置，结合家电控制技术 来给老人提供更好的服务。这些研究极大的方便了老人的日常生活，但对于老人 需求中比较迫切的精神慰藉问题进行的研究还比较少。其中，以s o n y 公司的 a i b o 机器狗( 已经生产6 万只，获益数亿美元) 和q r i o 型以及s d r - 4 x 型情感 机器人为典型代表。他们都具备语音功能，可以通过获取外界的信息和使用者进 1 i 浙江工业大学硕士学位论文 行语音对话，达到情感交流的目的【3 6 1 。 本研究通过计算老人语音中包含的情感信息，对老人的精神状况进行分析， 判断老人说话时的精神状况并做出相应的慰藉，及时把不良的精神状况通知老人 的监护者。通过这个平台建立一个和谐对称的人机交流环境，使计算机、通信技 术更好的为老人福祉科技服务。 2 4 本章小结 本章主要介绍了情感计算及语音情感计算的定义，目前国内外语音情感计算 的研究现状，g e r o n t e c h n o l o g y 的含义，分析了g e r o n t c c h n o l o g y 在老人生理，心理 两方面的研究情况，最后提出了用智能计算技术、通信技术来解决老年人精神慰 藉问题的设想，为下一章的具体方案介绍作了铺垫。 浙江工业大学硕士学位论文 第三章精神慰藉代理的总体设计 为了克服目前予女对独居老人进行精神慰藉中只能依靠信笺、电话、登门看 望等受限的手段，克服老年人的心理障碍，独居老人和子女之间进行感情交流和 精神慰藉时机信息不对称等问题，本文借助智能计算技术、传感技术、通信技术 和心理学等技术，提出一种在老人感到孤独寂寞，产生不良情感状况，需要精神 慰藉时，能及时通知提醒远方的、非同居的子女的具有人工智能的精神慰藉代理， 建立起一个以人为本的、高效的、自动化的、智能的、充分考虑老年人的心理的、 非常默契的子女们与老人的交流环境，改善老年人特别是独居老人的晚年生活质 量，代理的总体设计如图3 1 所示。 监护人 图3 - 1 精神慰藉代理的总体设计 通过具有嵌入式处理器的人偶代替老年人的子女，作为老年人情感交流的对 象。该代理接收老人的语音信息，然后通过网络传送到处理器，再经过处理器上 的语音情感计算软件计算出老人的情感状况并做出相应的精神慰藉。如果发现老 人有很明显的负面不良的精神情感，就通过预设的短消息号码，把不良的状况及 时通知老人的监护者，以便他们可以适时和老人交流，满足老年人的精神需求。 3 1 精神慰藉代理的硬件设计 嵌入式系统( e s ) 是计算机技术、通信技术、半导体技术、微电子技术、语 1 3 浙江工业大学硕士学位论文 音图像数据传输技术，甚至传感器等先进技术和具体应用对象相结合后的更新换 代产品。因此往往是技术密集、投资强度大、高度分散、不断创新的知识密集型 系统。反映当代最新技术的先进水平。嵌入式系统不仅和一般的p c 机上的应用 系统不同，就是针对不同的具体应用而设计的嵌入式系统之间差别也很大。嵌入 式系统一般功能单一、简单，且在兼容性方面要求不商，但是在大小，成本方面 限制较多。 目前嵌入式系统已经渗透到日常生活中的各个方面，在工业、服务业、消费 电子等领域的范围不断扩大。嵌入式系统是软件和硬件的综合体，般而言，嵌 入式系统的构架可以分为四个部分：嵌入式微处理器、存储器、输入输出( i o ) 接口和软件3 7 1 。其中，软件包括了嵌入式的操作系统和应用软件，国外著名的处 理器生产厂商( 如m o t o r o l a 公司、i n t e l 、a m d 、日立、n e c 、e p s o n 等) 纷纷 推出各自的嵌入式微处理器，最具代表性的是：m o t o r o l a 公司的p o w e r p c 系列、 i n t e l 公司的s t r o n g a r m 系列、a m d 公司的x 8 6 系列等。目前主流的嵌入式操作 系统有v x w o r k s 、w i n d o w s c e 、q n x 、p a l mo s 和嵌入式l i n u x 等【3 钔。 为了取得老年人自然状态下的情感状态，在研究中设计了一个具有人偶形象 的情感代理设备来获取老年人的语音情感信息。相比使用困难、形象单一的电脑， 该代理更容易获得老年人的接受和喜爱。该代理设备是一个独立的、功能完备的 嵌入式系统，嵌入式体统采用了基于三星a r m 9 处理器s 3 c 2 4 1 0 的开发板，如图 3 2 所示。该开发板上已经整合了韩国m i z i 公司所公布的免费嵌入式燃l i m m 操作系统。开发板的处理器内部集成了a r m 公司a r m 9 2 0 t 处理器核的3 2 位微 控制器，此外，配置1 6 m b1 6 位的f l a s h 和6 4 m b3 2 位的s d r a m 。通过以太网 控制器芯片d m 9 0 0 0 e 扩展一个网口并引出一个h o s t u s b 接口。 图3 - 2 三星$ 3 c 2 4 1 0 的开发扳 当老人思念子女或者需要精神慰藉时，可以与这个代理装置进行交流，通过 装置中的语音接收模块得到语音情感信号，再将得到的语音信号经由装置中的无 1 4 浙江工业大学硕士学位论文 线模块发送到处理器处理，处理器根据得到的信号进行情感计算，与情感语音数 据库的标准情感模板进行模式匹配，判断老人当时的情感状态，做出适当的慰藉。 如果老年人有明显的负面情绪( 如愤怒、悲伤、恐惧等) ，则通过系统中的短消息 通知模块通知其子女及监护人，以便他们及时的看望老人，进行必要的情感交流。 整个装置的硬件结构如图3 3 所示。 图3 - 3 精神慰藉代理的硬件结构 3 2 精神慰藉代理的软件设计 3 2 1 开发语言选择 “工欲善其事，必先利其器。”一个好的开发环境会给系统的设计开发带来很 多的便利，相反如果开发环境选择不当，一旦产品进入开发，就会导致时间和金 钱的浪费。如果单纯的从语音信号处理功能上来看，采用m a n 曲作为开发工具是 最适合的，它自带的强大函数功能和数字信号处理能力，对于语音特征的提取， 频率特性的计算等都带来极大的方便。另外它强大的频域处理特性，对语音信号 的预处理，背景噪音的消减等都有很好的作用。但作为一个实用的系统来说， m a t l 曲的集成能力明显过于薄弱。最后经过慎重考虑，在研究中选择了m m 语音 实验室提供的语音信号编程平台。该平台采用纯粹的j a v a 语言编写，主要采用了 s u n 公司提供的s o u n dj a v a 的a p i 开发包，有很多方便实用的函数可供调用，并 且预留了扩展编程接口，方便进行二次开发。采用该平台的一个好处是：由于它 i s 浙江工业大学硕士学位论文 是采用纯j a v a 语言编写，使它具备了一次编译到处可运行的方便特性，有利于在 不同的操作系统之间移植，随着嵌入式处理器的处理能力日益强大，今后可以直 接把平台移植到嵌入式l i n u x 下，实现更为方便、廉价、实用的市场应用。 3 2 2 系统模块的划分 精神慰藉代理的软件模块主要包括4 部分，语音信号的接收和发送模块、语 音信号的处理模块、情感识别模块及处理结果的反馈模块。语音信号的接收和发 送模块主要是在嵌入式端用c 程序来开发的，该模块的主要功能是采集独居老人 的语音信号并把他们发送到处理器。语音信号处理模块是在处理器端对语音进行 预处理的模块，主要功能包括语音的端点检测，清浊音分辨，去嗓声等，为语音 识别做好前期的工作，提高识别的准确率。语音情感识别模块是系统的核心部分， 主要是针对要识别的语音信号，计算其特征参数，并和情感语音数据库中标准的 情感模板进行匹配，最后判断说话者的情感状态。识别结果处理模块主要是针对 判断得到的情感状态，采取相应的措施对老人进行精神慰藉，并及时通知老人的 子女或者监护人。本文的主要工作重点是语音信号的处理模块及情感识别模块的 设计和实现，模块设计和实现方法将在下面几章详细介绍，整个系统的软件结构 如图3 - 4 所示。 图3 4 精神慰藉代理的软件模块设计图 1 6 浙江工业大学硕士学位论文 3 3 本章小结 本章主要针对第一章提出的人口老龄化带来的独居老人精神慰藉问题，提出 了一个结合智能计算技术、通信技术的数字化的老人精神慰藉代理的设计方案。 并详细介绍了该代理软硬件平台的选择，该代理的硬件结构设计，软件模块的划 分及各模块的功能，最后给出了该代理的软硬件设计图。这也是把计算机技术和 人工智能技术结合的一次有益的尝试。 1 7 浙江工业大学硕士学位论文 第四章语音信号处理 本文设计的独居老人精神慰藉代理主要是用来处理语音信息，并从中取得情 感方面的信息进行计算，所以有必要在介绍语音情感计算之前，先在本章对语音 信号处理的一些基础知识进行介绍。 4 1 语音信号处理的基础知识 4 1 1 语音信号的产生 语音信号是由于人的声带振动所产生的声源( 载波) 受到运动声道的控制 ( 调制) 而产生的。空气从肺部排出形成空气流，空气流经过声带时，如果声带 是绷紧的，则声带将产生张弛振动，即声带将周期性地开启和闭合。声带开启时 空气流从声门喷射出来，形成一个脉冲，声带闭合时相应于脉冲序列的间隙期。 因此这种情况下在声门处产生出一个准周期性脉冲序列状的空气流。该空气流经 过声道后最终从嘴唇辐射出声波，这便是浊音语音。如果声带是完全舒展开的， 则肺部发出的空气流将不受影响的通过声门。空气流通过声门后会遇到两种情况。 一种情况是，如果声道的某个部位发生了收缩形成了个狭窄的通道，当空气流 到达此处时被迫以高速冲过收缩区，并在附近产生出空气的湍流，这种湍流空气 经过声道后便形成所谓的摩擦音或清音。另一种情况是，如果声道的某个部位完 全闭合在一起，当空气流到达时便在此处建立起空气压力，一旦闭合点突然开启 便会让空气快速释放，经过声道后形成所谓的爆破音【3 9 1 。 由此可见，语音是由空气流激励声道产生的。对于浊音、清音和爆破音三种 不同类型的声音来说，激励源是不同的。浊音激励源是位于声门处的准周期脉冲 序列，清音的激励源是位于声道的某个收缩区的空气湍流( 类似于噪声) ，而爆破 音的激励源是位于声道某个闭合点处建立起来的气压及其突然释放。 1 8 浙江工业大学硕士学位论文 4 1 2 语音信号产生的数字模型 大部分语音可以分为清音和浊音两类。另一种是爆破音的激励源实际上也是 一种空气的湍流。浊音由声带振动在声门处产生的准周期脉冲序列激励声道而产 生，清音则由空气强制通过声道中某一段收缩区间时引起的类似于白噪声的湍流 激励声道而产生。当声道的形状和尺寸固定不变时，激励结果产生出来的语音是 一个持续不变的单音。只有当声道形状和尺寸以及激励源都不断变化时，才能形 成实际的语音。根据以上分析，可以画出语音信号产生的数字模型，如图4 _ l 所 示。在该图中，清浊音开关模拟了加在声道上的激励的改变情况：当开关接在浊 音位置时，激励源是准周期脉冲序列发生器，其重复频率由基音频率来确定；当 开关接在清音位置时，激励源是随机噪声发生器。图中的时变线性系统主要是用 来模拟声道的特性。图中的增益控制代表了输出语音的音响强度。 在这个数字模型中，以下参数都是随着时间而变化的：音调频率，清浊音开 关的位置，增益以及线性系统的滤波参数。数字语音处理的两个最基本的问题， 即语音分析和语音合成，都是基于这个模型来实现的。所谓语音分析，主要是根 据真实的语音来估计信号模型的参数；而语音合成的主要任务则是利用信号模型 的参数产生出听起来自然易懂的语音来。 基音周期 4 1 3 语音的声学特征 图4 1 语音产生的数字模型 样值 语音既然是人的发音器官发出来的一种声波，它就和其他各种声音一样，也 具有声音的物理属性。这就是说，每一种音都具有一定的音色、音调、音强和音 1 9 浙江工业大学硕士学位论文 长。音色也叫音质，是一种声音区别与其他声音的基本特征。音色因以下三个因 素而不同：发音体( 声带) 振动发出的音与声带不振动而由别的发音器官发出的 音的音色不同；虽然应用相同的发音器官但采用送气的方法与采用不送气的方法 发出的音的音色不同；声道的形状和尺寸不同，发出的音的音色不同。音调是声 音的高低，在汉语语音学中又叫音高。音调取决于声波的频率。而声波的频率又 与发音体的长短、厚薄以松紧程度有关。声音的强弱叫