情感计算的研究进展课件

情感计算的研究进展杨勇（副教授、博士研究生）

4/17/20241重庆邮电大学计算机学院杨勇概述情感识别情感建模情感推理4/17/20242重庆邮电大学计算机学院杨勇1.1情感计算研究的意义目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。4/17/20243重庆邮电大学计算机学院杨勇1.2情感计算的概念MIT媒体实验室Picard教授于1995年提出了情感计算的概念。情感计算是与情感相关，来源于情感或能够对情感施加影响的计算。情感计算包括情感识别、情感表示、情感建模、情感交互等四个方面。4/17/20244重庆邮电大学计算机学院杨勇中国人工智能学会人工心理与人工情感专业委员会主任、北京科技大学王志良教授提出了人工心理理论。人工心理是利用信息科学的手段，对人的心理活动（着重是人的情感、意志、性格、创造）更全面地再一次人工机器（计算机、模型算法等）模拟，其目的在于从心理学广义层次上研究人工情感、情绪与认知、动机与情绪的人工机器实现的问题。4/17/20245重庆邮电大学计算机学院杨勇日本从20世纪90年代就开始了感性工学(kanseiengineering)的研究。所谓感性工学，就是将感性与工程结合起来，在感性科学的基础上，通过分析人类的感性，把人的感性情感加入到商品设计和制造中去，它是一门从工程学的角度实现给人类带来喜悦和满足的商品制造的技术科学。日本已经形成了举国研究感性工学的高潮。4/17/20246重庆邮电大学计算机学院杨勇人工心理学是一门交叉科学，其理论根源来自脑科学、心理学、生理学、伦理学、神经科学、人类工学、感性工学、语言学、美学、法律、信息科学、计算机科学、自动化科学、人工智能等。应用范围主要是情感机器人的技术支持、拟人机械、人性化商品设计、感性市场开发、人工心理编程语言、人工创造技术、人类情感评价计算机系统(虚拟技术)、人类心理数据库及数学模型、人际和谐环境技术和人机和谐多通道接口等。4/17/20247重庆邮电大学计算机学院杨勇1.3国内外研究现状MIT：CMU东京大学早稻田大学日内瓦大学情绪研究实验室伯明翰大学4/17/20248重庆邮电大学计算机学院杨勇中科院计算所：研究带有表情和动作的虚拟人。中科院自动化所：基于生物特征的身份验证。中科院心理学所、生物所：情绪心理学、生理学研究中科院软件所：智能用户界面浙江大学：虚拟人物、情绪系统构造北京工业大学：多功能感知机同情感计算的融合研究。东南大学：语音情感识别南京航空航天大学：语音情感计算。中国科技大学：基于内容的交互式感性图像检索的研究4/17/20249重庆邮电大学计算机学院杨勇重庆大学：智能服务、增强现实、环境感知、智能手表等，注重软件方面的研究。海南大学：军用无线局域网结构中的可穿戴计算机。哈工大：“具有六种面部表情及视觉的类人头像型机器人及行为研究”，于2004年研制出具有八种面部表情的仿人头像机器人系统，并进行了表情实验，实现了喜、怒、哀、乐、悲伤、严肃、吃惊、自然(中性)等8种表情。4/17/202410重庆邮电大学计算机学院杨勇1.4典型应用索尼公司的AIBO狗：第一个实现规模商品化的宠物机器人（2006年生产6万只，收益10亿美元），QRIO、SDR-4X等宠物机器人。为有情感交互能力的机器人及相关的研究打开了想象的空间。它们的共同特点是：对外界刺激有反应能力；能与人进行生动的交流，这种交流除了语言，还有面部表情、语凋和身体姿态等。4/17/202411重庆邮电大学计算机学院杨勇卡内基梅隆大学的机器人接待员Valerie：Valerie的面孔形象出现在一个能够转动方向的移动屏幕上，向访问者提供一些天气和方位方面的信息，还可以接电话、解答一些问题；并且Valerie有自己的性格和爱好，情感表达较为丰富。4/17/202412重庆邮电大学计算机学院杨勇1.5待研究的关键问题[1]没有符合人类情感规律并适于机器实现的人工情绪自动生成模型。在智能推理过程中，如何考虑情绪影响的因素，实现真正意义上的拟人推理过程。语音情感信息处理技术和表情识别技术的不成熟，成为制约人工情感与和谐人机交互技术发展的瓶颈。如何从多模态的角度进行情感信息融合、识别与理解，实现自然和谐的人机交互平台环境。

[1]王志良.人工心理与人工情感.智能系统学报,2006,1(1):1-6.4/17/202413重庆邮电大学计算机学院杨勇2.1多模情感识别概述语音图像姿态其他传感器数据预处理特征抽取特征选择情感模型心理学基础情感建模各种情感识别方法识别结果4/17/202414重庆邮电大学计算机学院杨勇2.2情感特征情感行为识别：面部表情识别，语音情感识别，姿态识别生理模式识别：皮肤电反应呼吸心率体温脑电波等4/17/202415重庆邮电大学计算机学院杨勇2.3特征抽取和数据预处理2.3.1面部表情识别特征：几何特征（ERS：33个几何特征）局部区域特征纹理特征小波特征…4/17/202416重庆邮电大学计算机学院杨勇特征抽取：人脸检测人脸边缘检测特征点定位基于样例学习的面部特征点自动标定算法特征点跟踪光流跟踪4/17/202417重庆邮电大学计算机学院杨勇预处理光照不理想遮挡侧面人脸4/17/202418重庆邮电大学计算机学院杨勇2.3.2语音识别特征（ERS:37）：短时能量及短时平均幅度基音周期短时过零率语速线性预测系数共振峰Mel倒谱和LPC倒谱4/17/202419重庆邮电大学计算机学院杨勇噪音的预处理：语音增强发现抗噪性能比较好的语音特征模型补偿4/17/202420重庆邮电大学计算机学院杨勇2.4识别方法常用的识别方法：ANNSVM模糊规则基于模板的方法HMM贝叶斯理论决策树4/17/202421重庆邮电大学计算机学院杨勇新的尝试（？）集成学习理论粒计算理论覆盖机器学习理论流形学习（manifoldlearning）理论4/17/202422重庆邮电大学计算机学院杨勇3.1情感建模概述情感建模的目的：根据心理学基础理论，对情感进行（数学）表达（建模），并进行计算机表示。情绪心理学理论的多样性，导致人工情绪理论方法的不一致，以致于很难找到适用于信息科学的人工情绪的统一理论方法，如何建立一个统一的人工心理模型来表达情绪与认知乃至与意识的关系，进而适于机器实现，这将是一个很大的挑战。4/17/202423重庆邮电大学计算机学院杨勇3.2Ekman情感分类Ekman：根据达尔文的理论，提出存在6种基本情感：“愤怒”、“厌恶”、“恐惧”、“高兴”、“悲伤”和“惊讶”，基本情感直接影响情感分类，与生命体的基本特征息息相关，其他情感都可以由这6种基本情感构成，而且这6种情感在文化传统间的差异很小，因此，对这6种情感的研究优于其它情感模型。4/17/202424重庆邮电大学计算机学院杨勇3.3OCC模型1988年，Ortony和Collins提出了著名的认识评价情感模型OCC模型，这个模型根据不同的情感刺激提出了22类情感，并对产生情感的刺激特征做了详细描述。该模型一经发表就被视为本领域的经典情感模型，但因为模型过于复杂OCC模型被应用于实际的应用并不多。2003年，Ortony改进了该模型，刺激的分类趋向于积极和消极两类，同时提出还应具有自己的目标、评价标准和喜好这三种固有意识。4/17/202425重庆邮电大学计算机学院杨勇3.4基于HMM的建模方法将情感视为表征生命体心智状态的一种信息，认为情感信息是情绪过程产生的观察序列，并假定这种情绪过程是一种马尔可夫过程。在情感模型的Markov链中，状态转移概率矩阵A中各元素的值由多种因素决定：与该个体的性格特征有关；与意识刺激的类型有关。4/17/202426重庆邮电大学计算机学院杨勇情感模型训练过程中要解决的问题是确定一个角色的心理模型参数，再由该参数模型产生情感表现的观察序列。可以采用Baum－Welch算法用于情感模型的参数估计。该方法基于统计模型规律，而不是基于行为模式的方法，建模简单，易于构造不同性格人物的特点。4/17/202427重庆邮电大学计算机学院杨勇3.5基于心理能量思想的人工情感模型心理学基础：动力心理学。把人的心理系统看成一个动力学系统。心理动力学系统也需要能量（即心理能量）。心理能量就是推动个体进行各种心理活动、行为的能力，有两种基本表现形式：自由的心理能量和受约束的心理能量。心理能量对外的表现形式有两个方面：一方面体现为驱动个体进行感兴趣或与当前需要相联系的各种活动；另一方面（情感能量）伴随着各种活动的进行以及根据活动目标是否达到、需要是否得到满足，而以各种情感状态和情绪表达的方式体现出来。4/17/202428重庆邮电大学计算机学院杨勇绝对的情感能量分配方程相对的情感能量分配方程情感能量分布描述空间4/17/202429重庆邮电大学计算机学院杨勇3.6新的尝试？基于粒计算理论的情感模型…4/17/202430重庆邮电大学计算机学院杨勇4.1情感推理的研究拟人情感推理的研究还是难题。情感状态的确定受到心情、情绪、个性、周围环境等诸多因素的影响。4/17/202431重庆邮电大学计算机学院杨勇4.2觉察上下文计算与情感推理4.2.1觉察上下文计算（ContextAwareComputing）概念：指系统感知，获取，解释，管理和使用上下文信息，动态地调整自身的行为，为用户提供更满意，更智能的信息和服务。4/17/202432重庆邮电大学计算机学院杨勇上下文信息：身份上下文。空间中的人的身份，各物体的ID空间上下文。人或物体的绝对位置，相对位置，人的朝向，是否在运动，站着还是坐着等时间上下文。是上午还是下午，工作日还是休息日，哪个季节环境上下文。环境的声音分贝值，亮度，湿度，温度等社会关系上下文。比如对一个家庭来说，空间中的人是否是家的主人，朋友还是陌生人是相关的上下文。事务上下文。比如房间的功能，是会议室还是咖啡间，房间中是否在开会，用户是否忙等。4/17/202433重庆邮电大学计算机学院杨勇定义情感的上下文结合上下文信息和情感识别的状态进行拟人情感推理上下文信息的定义和表示推理机制4/17/202434重庆邮电大学计算机学院杨勇参考资料AffectiveComputingPortal4/17/202435重庆