《人工智能通识与进阶》 第九章 AI赋能情感计算

第九章AI赋能情感计算：让机器“懂”人心1问题与导读：机器如何学会"感受"“感受”不仅仅是"识别"，更是"理解"，也是机器人与人类建立深度连接的重要基础。

2识别情绪状态把握情感上下文和关系进行情感推理分辨开心、悲伤、焦虑、愤怒、判断平静/激动识别语气从轻快转低沉、从表情微笑变蹙眉，推断“可能遇到挫折”根据历史情感模式+当前表现，预测需求和反应（如连续加班后调整节奏、焦虑时提供安抚）问题与导读：机器如何学会"感受"将主观体验转化为可描述、可分类的体系黑色胆汁脾黄色胆汁肝粘液脑血液心古代智慧：情感的最初"地图"东方哲思

《礼记》"七情"希波克拉底"体液说"艾克曼基本情绪模型坐标轴连续刻画的维度模型现代情感科学的奠基问题与导读：机器如何学会"感受"4让人机交互注入共情的温度机器的"感受"已从实验室走向实用：通过模型精准识别语音情感，再经多情感系统将文字转化为带有喜怒哀乐的自然语音，实现了从"能说"到"会感"的跨越——让冰冷的算法拥有温度，让每一次对话都充满人性化的表达力。5问题与导读：机器如何学会"感受"智能客服与语音助手心理健康与陪伴机器人智能家居教育场景车载系统零售与营销领域远程办公与视频会议游戏与娱乐产业情感智能正在重塑世界问题与导读：机器如何学会"感受"6当机器开始“读懂”人心，一系列伦理与社会挑战也随之浮现：我们情感数据的隐私置于何地？算法是否会固化情感偏见，甚至被用于隐秘的操控？过度依赖情感AI，会否削弱我们真实的人际联结能力？过度依赖情感AI，会否削弱真实的人际联结能力？本章目录9.1从“智能”到“情商”9.2情感如何被“建模”？9.3机器如何“感知”情感？9.4机器如何“表达”情感？19.5情感计算的应用天地9.6伦理、挑战与未来本章目录19.1从“智能”到“情商”9.2情感如何被“建模”？9.3机器如何“感知”情感？9.4机器如何“表达”情感？9.5情感计算的应用天地9.6伦理、挑战与未来9.1从“智能”到“情商”情感智能身边的"情感智能"案例1-聊天工具的表情推荐现象：输入"今天天气不错"时，系统优先推荐开心表情技术原理：文本情感识别

→

预测用户情绪案例2-语音助手的情感感知场景：疲惫语气说"我回来了"响应："辛苦了，播放轻音乐帮你放松"。案例3-智能陪伴机器人老年关怀场景：检测：长时间沉默、表情落寞响应：播放戏曲、主动询问什么是情感计算？情感智能9.1从“智能”到“情商”情感的本质：人类社会生活的"文法"功能：信息交流、关系维系、思想沟通的载体构成要素具体内容示例主观体验个体对情感状态的自我感受开心、悲伤、愤怒外部表现身体动作的量化形式面部表情、姿态、语调生理唤醒生理反应的激活水平心跳加速、出汗情感的三要素构成什么是情感计算？情感计算9.1从“智能”到“情商”情感计算的定义：让机器识别、理解、模拟并响应人类情感的交叉学科目标：构建更和谐、更智能的人机交互关键能力：感知、识别、理解、表达情感定义视角核心代表人物/机构对情感的核心理解技术隐喻认知与计算罗莎琳德·皮卡德一种可通过外在表现测量、分析、影响的内部心理状态“情感测量师”：通过数据量化情感现象与交互克里斯蒂娜·霍克等在交互过程中动态构建的体验与关系“情感共舞者”：在互动中创造情感意义系统与应用任福继、胡包刚等实现和谐人机交互、提升机器智能的关键能力“情感桥梁工程师”：消除隔阂，构建智能环境多元定义视角对比关键人物与思想情感智能9.1从“智能”到“情商”马文·明斯基（《情感机器》）

观点：机器实现智能时不能没有情感

贡献：为情感在智能中的必要性奠定思想基础罗莎琳德·皮卡德（1997年《情感计算》）

定义："针对人的外在表现，能够进行测量和分析，并能对情感施加影响的计算"

地位：情感计算领域公认的奠基者马文·明斯基罗莎琳德·皮卡德发展简史里程碑情感智能9.1从“智能”到“情商”早期：基于规则的单一模态分析思想萌芽：明斯基提出情感与智能的关系正式起点：1997年皮卡德著作出版国际影响：2005年首届情感计算国际会议中国贡献：之江实验室、清华、中科院、哈工大等机构的重要成果技术演进：规则→深度学习，单模态→多模态融合技术路径演进单一模态分析文本情感分析语音情感分析生理信号分析视觉表情分析现代：深度学习驱动的多模态情感AI本章目录9.1从“智能”到“情商”9.2情感如何被“建模”？9.3机器如何“感知”情感？9.4机器如何“表达”情感？9.5情感计算的应用天地9.6伦理、挑战与未来什么是情感建模？情感计算基础9.2情感如何被“建模”？将主观、内在的情感体验转化为清晰、可计算的模型

转化清晰地图/坐标系重要性（情感计算基础）目标（机器读懂并回应人类情感）离散情感模型维度模型情感模型种类情绪“基本色板”9.2情感如何被“建模”？离散情感模型《中庸》喜怒哀乐东方哲思

《礼记》"七情"埃克曼的6种基本情绪普拉奇克的8种基本情感核心思想：将情感划分为若干种基本的、独立的类型代表理论：情绪“连续光谱”9.2情感如何被“建模”？维度模型代表理论：核心思想：将情感放置在由几个核心维度张开的连续空间中二维模型：詹姆斯·罗素的效价-唤醒度环状模型三维模型：3D坐标系的愉悦-唤醒-支配度模型情感轮模型：罗伯特·普拉奇克“情感轮”模型9.2情感如何被“建模”情感计算基础离散情感模型与维度情感模型的对比对比维度离散情感模型维度情感模型核心范式分类问题：将情感划分为有限的、独立的类别。回归问题：将情感定位在一个连续的多维空间中的坐标点上。与人类认知的对接优势：与词汇和概念（如“快乐”、“愤怒”）直接对应，易于理解、可解释性强、界定清晰。劣势：使用抽象的维度（如“效价”、“唤醒度”），不具备直观的可解释性，普通人难以直接感知。描述与量化能力劣势：细粒度不高，类别内部缺乏强度变化；对情感的量化描述能力有限，难以刻画混合、微妙的状态。优势：具有很强的定量性，能进行连续、精细的数值描述；抽象性和归纳性强，能用少数维度概括无限情感。情感的表征形式离散的标签。例如：{“愤怒”}。连续的数值向量。例如：[效价:-0.8，唤醒度:0.9，优势度:0.2]。对机器交互策略的影响优势：每个情感标签易于与预设的、丰富的交互策略库进行匹配（如识别为“悲伤”则触发安慰语句）。机器易于形成明确、多样的应对策略。劣势：抽象的情感坐标难以直接映射到具体的交互行为。机器知道用户处于“高唤醒、负效价”状态，但难以判断这更接近“愤怒”还是“恐惧”，从而难以选择最贴切的应对策略，导致交互生硬。主要优势总结语义明确，策略驱动。擅长与人类常识和语言对接，便于构建规则化的交互系统。量化精确，描述全面。擅长精确测量情感的强度、混合与动态变化。主要局限总结粗糙、固化，难以应对情感的连续谱和复杂性。抽象、策略失联，计算结果难以直接转化为富有人情味的交互行动本章目录9.1从“智能”到“情商”9.2情感如何被“建模”？9.3机器如何“感知”情感？9.4机器如何“表达”情感？9.5情感计算的应用天地9.6伦理、挑战与未来9.3机器如何“感知”情感？多模态情感识别什么是多模态情感识别？核心概念：机器从多种信息渠道捕捉并综合分析情感线索信息渠道：文本、语音、视觉、生理信号等目标："整合"出对使用者情感状态的判断生理唤醒->生理数据采集外部表现→表现数据采集→参数提取主观体验→评估数据采集→情感模型评估量表数据采集层情感计算系统数据融合点表情识别、姿态识别、人体跟踪情感语音识别与合成情感挖掘情感测量与量化方法情感特征挖掘合成模型情感测量与量化方法认知与情绪的关系研究技术处理层情绪感应情感机器人语音生成服务态度检测欺骗检测应用层9.3机器如何“感知”情感？文本情感分析文本情感分析核心任务：判断文字蕴含的情感倾向或具体情绪类型应用场景：电商评论分析、社交媒体舆情监控、客户服务自动分类文本情感分析9.3机器如何“感知”情感？文本情感分析传统方法：情感字典→深度学习方法文本情感分析技术演进局限性：难以处理复杂表达和意境传统方法：情感词典基本原理：统计词汇情感倾向积极词消极词“快乐”、“优秀”、“很棒”“悲伤”、“糟糕”、“差劲”深度学习方法主流模型：统计词汇情感倾向示例：“这手机“好”到一天充三次电”识别反讽情绪优势：理解词语本身，分析句子结构，捕捉上下文语境，识别反讽、含蓄等复杂表达9.3机器如何“感知”情感？文本情感分析大语言模型（LLM）带来的变革三大突破通用性：无需专门训练，简单提示即可执行分析深度理解：精准识别反讽、比喻、依赖背景的情绪解释与生成：不仅能判断情感，还能解释原因并按指令情绪生成文本123代表模型：ChatGpt、DeepSeek应用价值：从“判断情绪”到“解释与生成”的跨越语音情感识别9.3机器如何“感知”情感？语音情感识别系统从音频信号中提取声学特征→通过机器学习模型对特征进行分析→识别出背后可能对应的情感状态提取声学特征韵律特征：语速、语调起伏、重音位置常用特征：梅尔频率倒谱系数（表征人耳听觉特性）音质特征：声音的频谱、共振峰、是否颤抖机器学习模型：（循环神经网络RNN）分析时许特征识别情感状态：激动、平静、悲伤9.3机器如何“感知”情感？面部表情识别面部表情识别面部表情识别技术流程：系统检测并定位人脸→提取关键的面部动作单元→面部表情识别分析识别分析9.3机器如何“感知”情感？生理信号分析情感计算中常用的生理信号生理信号类别英文名称英文缩写脑电图ElectroencephalogramEEG肌电图ElectromyogramEMG心电图ElectrocardiogramECG眼电图ElectrooculogramEOG心率变异性HeartratevariabilityHRV皮肤电反应GalvanicskinresponseGSR皮肤电应答ElectrodermalresponseEDR皮肤电活动ElectrodermalactivityEDA血压信号BloodpressureBP皮肤温度SkintemperatureST呼吸模式RespirationpatternRSP光电容积脉搏波PhotoplethysmogramPPG眼动信号EyemovementEM脉搏信号PulseratePR血氧饱和度OxygensaturationSpO2生理信号分析生理信号分析通过可穿戴设备或传感器捕捉人体因情感引发的微弱、自主的生理变化，将这些“内心波澜”转化为客观可量化的数据，从而提供一种深入理解内敛情感的关键技术手段9.3机器如何“感知”情感？生理信号分析脑电信号：大脑的“情绪电图”（1）局部场电位：记录大脑区域周围的电信号，通常由邻近神经元的活动产生。（2）单个神经元活动峰电位：记录单个神经元的活动，通常通过微电极或针电极进行记录，侵入式。（3）脑电图：通过在头皮上放置电极阵列，记录大脑皮层的电活动，反映大脑整体的电活动模式。（4）脑皮层电图：与EEG不同，ECoG需要开颅手术，将电极阵列置于大脑皮层表面记录电活动。9.3机器如何“感知”情感？生理信号分析眼动信号采集方式：眼动仪。记录内容：注视位置、时间、瞳孔直径变化、眼动电信。情感关联：瞳孔放大：惊讶或兴趣。特定注视模式：认知负荷或情绪效价采集方式：皮肤表面电极。记录内容：肌肉收缩时的微弱电压变化应用范围：明显表情动作（皱眉、微笑）、细微肌肉紧张或松弛情感关联：反映内在情绪紧张度或应激状态。皮肤电信号原理：情绪刺激→自主神经系统→汗腺分泌→皮肤导电性改变两种测量：皮肤电导水平：基础唤醒程度皮肤电导反应：即时情绪事件肌电信号9.3机器如何“感知”情感？生理信号分析心电信号呼吸信号记录内容：心脏每个搏动周期的电活动情感关联：情绪波动→自主神经系统→心跳节律改变情感关联：焦虑：浅而急促平静：深而缓慢分析特征：呼吸频率、呼吸深度、波形均匀度、吸气与呼气比例多模态融合9.3机器如何“感知”情感？多模态融合单一模态局限：容易导致误判多模态优势：形成更稳健、更精准的情感识别结果多模态融合三种方法特征级融合（早期融合）模型级融合（混合融合）决策级融合（后期融合）特征提取阶段整合多模态信息模型训练阶段融合多模态特征决策输出阶段融合多模态结果9.3机器如何“感知”情感？多模态融合特征级融合（早期融合）定义：在算法初始将多模态的原始特征拼接成统一的"超级特征向量"，输入单一模型处理9.3机器如何“感知”情感？多模态融合模型级融合（混合融合）定义：各模态通过独立子模型提取高层抽象特征，再在模型中高层进行交互融合并联合决策9.3机器如何“感知”情感？多模态融合决策级融合（后期融合）定义：各模态独立运行识别模型得出初步判断，最后通过决策规则综合得出最终结果9.3机器如何“感知”情感？多模态融合从"识别"到"表达"：闭环的情感交互多模态：感知-融合-决策-表达本章目录9.1从“智能”到“情商”9.2情感如何被“建模”？9.3机器如何“感知”情感？9.4机器如何“表达”情感？9.5情感计算的应用天地9.6伦理、挑战与未来9.4机器如何“表达”情感？情感语音合成情感化语音合成语音层面视觉层面交互层面核心理念：让机器学会"以情动人"

错误认知

正确目标让机器自身拥有情感

赋予机器模拟和输出情感表达的能力语音合成三个层面情感化语音合成，让“言语”不再冰冷表情动画生成，让情感拥有可视化窗口情感对话生成，从“功能应答”到“情感陪伴”··9.4机器如何“表达”情感？表情动画生成表情动画生成技术意义：为机器的情感提供"可视化"窗口表情数量有限缺乏自然过渡难以表达混合情感不够细腻连贯早期技术：预设表情库现代技术：深度学习驱动计算机视觉根据情感标签实时生成表情根据语音内容同步生成表情输出效果驱动虚拟角色的面部肌肉模型细腻、连贯、合理的表情序列深度学习核心9.4机器如何“表达”情感？情感对话生成情感对话生成技术意义：让机器在对话中"给出"带有情感色彩的回应能"听懂"情绪如：“我今天项目答辩搞砸了，好难过”"给出"情感回应如：“听起来真让人沮丧，你为这个项目付出了那么多努力，太可惜了。想聊聊吗？”早期聊天机器人与上下文脱节与用户情感脱节回复机械、生硬现代情感对话技术情感对齐：确保生成内容与目标情感一致上下文感知：理解对话历史和当前话题微调优化：针对情感对话任务进行专门训练本章目录9.1从“智能”到“情商”9.2情感如何被“建模”？9.3机器如何“感知”情感？9.4机器如何“表达”情感？9.5情感计算的应用天地9.6伦理、挑战与未来9.5情感计算的应用天地身心健康身心健康序号公司名称产品名称产品形态功能分类1xAI（美国）“伴侣”功能APP应用情感互动2Luka（美国）ReplikaAPP应用情感互动3上海阅文信息技术有限公司筑梦岛APP应用沉浸扮演4广州心纪源信息科技有限公司林间聊愈室APP应用心理疗愈5上海珞博智能科技有限公司芙崽实体终端情感互动6城仕（东莞）文化科技有限公司小耙AI实体终端情感互动抑郁症早期筛查系统情感陪伴产品和机器人亚马逊公司推出的两款可穿戴式的情感计算手环HaloAI情感陪伴市场代表性企业及产品引导情绪记录与认知重构提供心理健康知识进行初步情绪疏导主动社交互动：根据情绪状态发起对话、播放音乐日常行为监测：作息、用药提醒、情感信号分析紧急联络：检测异常状态时自动预警9.5情感计算的应用天地智慧教育智慧教育核心价值：破解传统教育中情感反馈缺失难题，推动教育向智能化、人性化发展增强教学临场感与情感交互实时分析学生面部表情、语音语调、姿态动作，帮助教师远程调整授课节奏，驱动虚拟教师做出共情回应科学的学习投入度评估与个性化适应量化专注度、投入程度、认知负荷，动态调整内容与路径：挫败时鼓励，兴奋时拓展，推动"因材施教"与"因情施教"支持特殊群体的情感关怀帮助自闭症儿童理解面部表情，为社交焦虑学生提供安全练习环境，促进教育包容性与公平性线上线下融合应用线下：教师"情感仪表盘"，洞察课堂状态。线上：分析讨论区发言、作业反馈，评估课程情感效应。···9.5情感计算的应用天地娱乐创意娱乐创意核心价值：打通"内容情感"、"用户情感"与"交互反馈"闭环，推动深度参与和情感共鸣

情感驱动的内容推荐分析实时生理反馈、表情反应、情绪文本构建"情感画像"，从"你可能喜欢什么"升级为"你此刻需要什么"

游戏中的情感交互为NPC注入"灵魂"，实现动态情感反应分析玩家行为、语音语调、生物特征根据玩家情绪调整对话与行为，提升沉浸感

情感化数字艺术创作情感到内容：情感标签生成视觉作品，心率变化生成动态艺术内容析情感：分析旋律情感色彩，自动配器生成和声开创人机协同创作新模式··9.5情感计算的应用天地智能交互智能交互核心价值：推动交互范式向"情感智能"演进，使机器成为具有情境意识的协作伙伴你好呀！门诊在哪？你好！服务机器人的情感化服务智能家居的“情感化”环境调节多维数据采集环境设备自动联动从“自动化”到“人性化”的体验飞跃··9.5情感计算的应用天地工业设计工业设计核心价值：推动交互范式向"情感智能"演进，使机器成为具有情境意识的协作伙伴智能座舱：从被动监控到主动情感干预仿人机器人：赋予机器“情感交互”能力视觉感知识别人的情绪接待引导信息问答本章目录9.1从“智能”到“情商”9.2情感如何被“建模”？9.3机器如何“感知”情感？9.4机器如何“表达”情感？9.5情感计算的应用天地9.6伦理、挑战与未来跨文化情感计算：情感表达的普适与差异跨文化情感计算：情感表达的普适与差异跨文化情感计算：情感表达的普适与差异跨文化情感计算：情感表达的普适与差异9.6伦理、挑战与未来伦理挑战前沿方向跨文化情感计算喜怒哀乐等跨文化互通脑机接口与深层情感解码情感迁移学习情智兼备数字人与机器人将源领域通过少量目标领域样本适应到新场景探索与“内在感受”相关的特定神经回路激活模式结合语音、视觉等多模态信息实现与人类的情感化交互三项技术挑战多模态情绪感个性化的情绪分析仿生化情感交互终极目标：情感智能系统具备文化意识，实现公平鲁棒的情感理解9.6伦理、挑战与未来伦理挑战伦理困境与社会影响隐私边界算法偏见人机关系情感数据作为映射内心世界最敏感的生物识别信息，必须建立强化知情同意、最小必要收集、严格本地化处理等超常规保护原则，守护思想与感受的终极自由。情感计算模型因训练数据不均衡而固化文化、性别等社会偏见，需构建多元化数据集、开发偏见检测修正框架并进行严格公平性审计，防止系统性误判与歧视。精准识别情感弱点的系统若被用于商业剥削或政治宣传，将构成绕过理性审辩的精细化情感操纵，要求平台承担情感责任并加强公众情感素养教育。情感化AI可能使用户产生真实情感依恋，这种双刃剑效应要求审慎设计人机边界，明确标识非人类属性，以增强而非替代真实人类情感连接为目标。情感操纵9.6伦理、挑战与未来伦理挑战负责任的创新···情感AI设计准则福祉优先系统首要目标是支持心理健康与社会福祉，而非用户粘性或商业转化自主权尊重确保用户拥有情感交互的控制权，包括暂停、调整或退出自由，避免被动情感依赖情境适配性：情感交