基于智能Agent的远程学习者情感与认知识别模型眼动追踪与表情识别技术支持下的耦合.pdf

基于智能 Agent 的远程学习者情感与认知识别模型 基于智能 Agent 的远程学习者情感 与认知识别模型 * 眼动追踪与表情识别技术支持下的耦合 詹泽慧 摘要:情感与认知状态的准确识别是实现远程学习者与教学 Agent 有效互动的基础。只有有效识别出学 习者的情感与认知状态，教学 Agent 在改变学习者行为态度、帮助学习者获取和理解知识、支持学习者认知发展 方面才能取得预期的效果。现有的教学 Agent 普遍存在两方面问题: 一是缺乏情感交互性，容易使远程学习者产 生厌倦情绪; 二是认知推断功能薄弱，对学习效果的促进作用不稳定。这主要是由于 Agent 对学习者状态的识别 不够充分造成的。已有的学习者状态识别方法虽然在学习者情绪状态的识别方面各有优势，但却无法同时检测 学习者的视域、学习情绪与认知状态。学习者的眼动追踪数据是判断学习者实时状态的重要指标，也是学习者 与 Agent 进行情感交互的重要依据。结合表情识别和眼动追踪技术构建的基于智能 Agent 的远程学习者情感与认 知识别模型，将眼动追踪与表情监控迭代识别、情感与认知识别过程相耦合，以提高远程学习者状态的识别准 确率，改进 Agent 对学习者的情感和认知支持，为智能教学 Agent 与远程学习者交互机制的研究提供新的思路和 方法。 关键词:智能 Agent; 远程学习者; 情感识别; 认知识别; 眼动追踪; 表情识别 中图分类号:G434文献标识码:A文章编号:1009 5195( 2013) 05 0100 06 doi10.3969/j. issn.1009 5195.2013.05.013 * 基金项目:国家自然科学基金青年项目 ( 61305144) ; 教育部人文社科青年基金项目 ( 13YJC880105) ; 广州市哲学社会科学发展 “十二五”规划青年课题 ( 13Q18) ; 广东省优秀博士学位论文作者资助项目 ( SYBZZXM201226) ; 广东省自然科学基金博士启动项目 ( S2011040001730) 。 作者简介:詹泽慧，博士，副教授，华南师范大学教育信息技术中心 ( 广东广州510631) 。 一、引言 师生和生生间的准分离状态是E Learning 不可 忽视的基本特征之一。由于时空分离，教师丰富的 面部表情、抑扬顿挫的话语和恰到好处的姿势动作 所带来的情感信息容易在传播过程中减弱甚至丢失， 学习者难以感受到教师对他们的关注，在学习中容 易产生孤独无助和迷茫懒散的情绪。为了弥补时空 分离的缺陷，教学代理 ( Pedagogical Agent)应运而 生。它以鲜活的动画人物或拟人形象出现在计算机 辅助教学过程中，有利于增加学习过程的趣味性和 减轻学习者的认知负荷。( 詹泽慧，2011)然而，现有 的教学 Agent 普遍缺乏情感交互性，容易使远程学 习者产生厌倦情绪。此外，各类 Agent 对 E Learn- ing 中学习者的认知促进效果并不稳定，一些学习者 甚至认为 Agent 的频繁反馈干扰了他们正常的浏览 和阅读。出现这一问题的关键原因在于 Agent 对学 习者状态的识别不充分。如果对学习者当前的学习 状态缺乏准确的判断，就必然会影响到 Agent 的表 现，更谈不上向学习者实时提供有效的帮助和学习 支持。因此，对 E Learning 中远程学习者情感状态 与认知状态识别过程进行深入研究，已经成为远程 教育实现智能化人机互动亟待解决的重要问题。 目前对学习者状态的识别方法主要有人脸表情 的识别、人体姿态的识别、语音语调的识别以及人 体生理信号 ( 如肌肉电、皮肤电、脉搏波、血压、 呼吸等)的识别。( 解迎刚等，2011)这些方法在学 习者情绪状态的识别方面各有优势，然而却无法同 时检测学习者的视域、学习情绪与认知状态，尤其 是在认知状态的跟踪方面较为薄弱。由于 E Learning 中学习者主要依靠视觉来获取信息，因此 学习者的眼动追踪数据是判断其实时状态的重要指 标，也是学习者与 Agent 进行情感交互的重要依 据。本研究尝试在已有表情识别的基础上加入眼动 追踪技术，以提高远程学习者状态的识别准确率， 改进 Agent 对学习者的情感和认知支持，为智能教 学 Agent 与远程学习者交互机制的研究提供新的思 路和方法。 二、研究进展 1. 通过眼动追踪识别学习者状态 人的认知加工过程很大程度上依赖于视觉系 001 基于智能 Agent 的远程学习者情感与认知识别模型 统，约有 80% 90% 的外界信息是通过人眼获取 的。( Rayner et al. ，2008) 基于眼动追踪的人机交互 方式具有直接和自然的特性，已成为最有发展前景 的新一代人机交互方式之一。在人机交互领域中， 视觉还具有双向性的特点。一方面，学习者眼动状 态和视点路径具有很强的表意功能，Agent 可以通 过对眼动状态和路径的追踪来识别学习者的认知和 情感状态;另一方面，Agent 也可以通过自身的眼 动状态来表达情感，从而影响学习者的认知和情 绪。对于前者的研究，主要是用眼动仪监测 Agent 作用下的学习者行为。例如 DMello 等( 2012)开 发的针对学习者注视的智能导师系统，首先使用眼 动仪监测学习者的注视模式，识别出学习者处于 “无聊 ” 、 “不参与”还是 “分神”状态;然后用 智能教学 Agent 来引导学习者进入积极参与的状 态。实证研究表明，教学 Agent 可以有效地把学习 者的注意力引导到界面上的关键区域，并且增加学 习者对重点问题的深入思考，但对于提高学习者学 习兴趣和自我反省的参与度方面效果不明显，且该 效果对不同的学习者存在差异。又如 Prendinger 等 ( 2007)通过眼动仪分析界面 Agent 对用户界面认知 的影响，结果发现 Agent 的肢体动作对于引导用户 的注意力比文字和语音更有效果，但也会略微影响 到用户的专注程度，有时候可能会使用户分神去注 意 Agent 的行为。此外，Agent 的存在使得用户与 界面的交互变多，用户社会存在感显著增强。Li 和 Mao( 2012) 基于瑞士日内瓦大学的 Scherer ( 2005)提出的情感轮模型对 50 名被试的眼动数据 进行分析发现:在正负刺激源的刺激下，刺激的强 度越大，用户的瞳孔直径越大，眨眼速率则越低; 在正向刺激源的刺激下，眼球运动多倾向于上下运 动;而在负向刺激源的刺激下，眼球运动多倾向于 对角线运动;据此 Li 和 Mao 获得 6 种基本情感和 14 种由基本情感混合而成的派生情感的面部动画 参数。 在国内，基于眼动追踪的人机交互技术及其相 关应 用 的 研 究 工 作 起 步 稍 晚，已 有 沈 模 卫 等 ( 2003)、屠大维等( 2004)、郭北苑等( 2004)、刘瑞 安等( 2006)、王志良等( 2009)、毛峡等( 2011)学 者提出眼动追踪实现方案以及在成型的眼动追踪产 品基础上面向交互所做的大量工作。例如黄莹等 ( 2008)开发出一个基于视线追踪及有意眼动命令 的识别方法，提出了人机双方均通过视觉方式来与 对方互动的仿真原型。屠大维等( 2004)通过对 “视觉 眼动 ” 、 “语音 听觉” 、机械接触式按钮 等人机交互效应通道及其协同工作模式的研究，建 立了多通道自然人机交互界面，并对人、界面、机 器 ( 人) 、以及环境之间的信息感知与反馈机制进 行了初步研究，最后系统地建立了具有多种信息感 知与反馈功能的 “人 界面 机器 ( 人) ”实验系 统，初步实现了彼此之间协同工作的机制。 2. 通过表情追踪识别学习者状态 表情识别主要基于对学习者面部特征的跟踪。 Kapoor( 2004)等人采用 Ekman 的面部运动编码系 统 ( FACS)建立基于概率和误差修正的多分类器 组合模型对兴趣进行多模态的识别。Neji 等( 2007) 进行表情识别时首先识别人脸，分别提取出眼睛、 眉毛、嘴巴的轮廓，进而分析并对表情进行分类， 定义出 6 种间距，通过间距的变化规律来识别表 情，其识别率达到 80%。Zakharov( 2007)则通过 计算人脸器官的 3 项比率来分析人的情绪，这三项 比率是眼角到嘴巴的距离同两眼之间距离的比率、 嘴巴间距同两眼距离的比率、眉毛间距同两眼距离 的比率。用 K 时刻 3 个比率同初始比率的差值来 确定情绪的正负向，如皱眉或微笑。这种方法易于 识别情绪的正负极性，但是却难以识别复杂的情绪 状态。吴彦文等( 2008)提出了根据嘴角和嘴中心 连线与眉心和嘴中心连线之间的夹角大小来判断情 绪的方法:如果夹角基本等于 90 度，则表情为平 静;夹角小于 90 度，则是高兴;夹角大于 90 度， 则是悲伤。 3. 基于认知评价的情绪识别 基于认知评价的情绪识别主要是通过描述引发 情感的认知过程解释情感的诱因。Ortony、Clore 和 Colins( 1988)构建的 OCC 模型是这一理论的重要 成果，也因其良好的可计算性被情感计算领域广泛 应用。该模型认为情感是作为认知评估的结果而出 现的，所以情感能够通过对事件、Agent、对象等 要素的评估来测量。评估遵循 3 种价值结构:目 的、标准和态度。学习者对事件的评价主要看是促 进还是阻碍自身目的的实现;标准是指评估 Agent 的活动是否符合个体所持的社会道德标准或行为标 准;态度则用以评估对象的属性是否与学习者的态 度相一致。Jaques 等人( 2004)采用 OCC 模型，通 过对学习者的可观察行为 ( 如完成练习的时间、 任务的成功与失败、请求或拒绝帮助等)进行认 知评价而推断学生的情感，包括愉快与苦恼、满意 与失望、感激与生气、骄傲与羞耻等。根据 OCC 模型，学习者的认知状态与情感状态是相互影响且 可以相互推断的。眼动追踪数据所识别出来的认知 状态和情感状态是存在相互作用的。 101 基于智能 Agent 的远程学习者情感与认知识别模型 三、模型建构 1. 指标筛选 学习者的情感状态可以通过眼动追踪数据和表 情数据进行分析和识别，因此有必要筛选出合适 的、敏感性高的眼动指标和表情指标，并设计出合 理的对照验证逻辑，将眼动分析结果与表情分析结 果耦合，识别出学习者的情感状态。 ( 1)眼动指标 眼动追踪技术可以记录人眼球运动的基本形式 在时间和空间上的数据，包括注视时间、注视次 数、注视概率、眨眼频率、眼跳潜伏期、回视次 数、回视概率、瞳孔大小、向右眼跳次数、眼跳距 离、扫视频率和阅读速度等。其中，瞳孔大小、眨 眼频率、注视时间和扫视频率可以作为识别学习者 状态的主要指标。 瞳孔大小主要反映学习者的疲劳程度和对某一 学习内容的感兴趣程度。研究表明，当一个人在充 分休息之后，其瞳孔直径最大;而当一个人疲劳 时，瞳孔直径变小，在入睡前瞳孔直径最小。( Lo- wenstein et al. ， 1964)人们在面对有趣和令人愉快的 刺激时瞳孔会放大，而在遇到令人厌恶的刺激时瞳 孔会收缩。( Hess et al. ，1965) 连续呈现刺激或阅读 时间过长也会使学习者产生疲劳，最终导致瞳孔直 径缩小。( Hess，1972) 瞳孔大小还可以反映学习者 感知的任务难度，( Kahneman et al. ，1971) 当任务难 度增加时，被试瞳孔扩大的幅度会变大。同时，瞳 孔扩大也是心理努力的敏感指标。心理加工负荷越 大，瞳孔直径的变化幅度也会越大。Beatty( 1982) 还发现，瞳孔的扩大反映了神经系统激活的变化， 这种激活伴随有知觉的加工活动。 眨眼频率、注视时间和扫视频率主要反映兴趣 和愉悦程度。眨眼频率提高通常与消极的情绪相联 系 ( 如紧张、焦虑和疲劳) ，而眨眼频率降低则与 较愉悦的心理状态相关。( 闫国利等，2012)眨眼频 率和持续时间通常与被试的认知活动有关联:在安 静、放松的状态下，人的平均眨眼频率是每分钟 15 20 次;( Tecce，1992)而当一项任务需要被试 高度注意时，眨眼频率会变低，譬如人在阅读过程 中的眨眼频率可以降低到每分钟 3 次;人在回答问 题或进行交谈时，眨眼频率会提高。 ( 2)表情指标 脸部表情也是反映学习者情感状态的重要表现 方式。人脸中眼睛、嘴巴、眉毛的轮廓较容易识 别，因此在表情识别中有着广泛的应用。本研究以 眼睛大小、身体姿势、眉毛和嘴部状态作为识别学 习者状态的主要指标。 根据 Mota( 2003)的研究结果，当学习者学习 兴趣较高时，很可能会发生身体前倾;而对某一内 容厌烦时，身体很可能会后仰。根据吴彦文等 ( 2008)的研究，学习者感到愉快时，嘴角和嘴中 心的连线与眉心和嘴中心连线之间的夹角会小于 90 度;反之当学习者感到不愉快时，该夹角会大 于 90 度。 2. 概念框架 ( 1)情感状态识别 本研究参考王志良等( 2009)的学生三维情 绪空间模型和解迎刚等( 2011)的学生三维学习 状态模型，构建了情感状态识别的概念框架 ( 如 表 1 所示) 。 表 1 学习者情感状态识别框架 情感状 态识别 类别表情识别特征描述眼动识别特征描述 唤醒维度 紧张 眼睛睁大 ( 眼睛 区域面积增大) 瞳孔变大 睡眠 眼睛闭合 ( 眼睛 区域面积减小) 瞳孔变小 兴趣维度 感兴趣 身体向前倾 ( 脸 部区域面积增大) 眨眼减少，注视时 间长，瞳孔变大 不感兴趣 身体向后仰 ( 脸 部区域面积减小) 眨眼增加，眼跳增 加，扫视频率增加 愉快维度 愉快 不愉快 微笑 ( 嘴巴的状 态: 变小) 皱眉 ( 眉心区域 的纹理特征) 撅嘴 ( 嘴巴的状 态: 变大) 眨眼频率降低 眨眼频率增加 在情感状态识别框架下，表情识别和眼动识别 二者同时进行，结果相互验证。情感状态分为三个 维度。唤醒维度表征学习者的疲劳程度，以眼睛区 域面积变化和瞳孔大小的变化来识别。兴趣维度表 征某一学习内容对学习者的吸引程度，以学习者脸 部区域的面积变化以及眨眼频率、注视时间、扫视 频率来识别。愉快维度表征学习过程的愉悦程度， 主要以摄像头中学习者嘴巴和眉心区域的状态来识 别，再以眼动追踪数据中的眨眼频率辅助验证。在 三个维度中，唤醒维度的表情与眼动指标通常有着 较高的一致性;而在兴趣维度和愉快维度中，表情 与眼动指标可能会出现不同的指向，导致情感状态 识别结论发生分歧。在这种情况下，兴趣维度以眼 动指标为主要参考，辅以表情指标;而愉快维度则 以表情指标为主要参考，辅以眼动指标。 ( 2)认知状态识别 在学习者情感状态识别的基础上，研究利用眼 201 基于智能 Agent 的远程学习者情感与认知识别模型 动追踪数据和行为数据，识别出需要向学习者提供 帮助的知识点，并据此提供有效反馈。 表 2 学习者认知状态识别框架 认知状态识别识别方法 知识点内容 将每一分屏划分出若干热点区域，结合情感数 据识别学习过程中的敏感区域，并提取相应知 识点。 帮助需求 由智能 Agent 呈现单选框，学习者根据自身状 况选择 “需要帮助”或 “不要打扰” ，以此判 断学习者对智能 Agent 提供帮助的需求程度 掌握程度 每一个章节结束后，Agent 给出相关的测试题 目，根据题目得分情况判断学习者对相应知识 点的掌握程度 Agent 对学习者认知状态的干预需要以知识点 为单位，以判断学习者对某一内容的情感反应和认 知反应。因此在认知状态识别过程中应综合考虑学 习者的情感数据、眼动数据和行为数据。屏幕上的 视线轨迹显示注视时间较长、回视频率较高的区域 为认知状态识别的热点区域。对热点区域进行文字 识别，确定相关知识点，然后在事先构建好的专业 知识库中提取相关的知识点解释、测试或拓展内 容。当认知识别结果显示学习者状态为困难时，询 问是否需要帮助，以及需要哪些方面的帮助 ( 如 概念界定、扩展内容、知识点注释等) ;当学习者 状态显示为轻松时，则不作干扰。在每一章节内容 学习完毕时，将提供知识点相关测试。 3. 人机交互环境 对学习者状态识别的人机交互环境示意图如 图 1所示，两台电脑分别作为被试端和主控端，眼 动仪和摄像头均放置在被试端电脑前方，用以实时 采集学习者的眼动数据和表情数据。在主控端对数 据进行分析，识别出情感状态和认知状态，编码传 送至被试端，由被试端计算出 Agent 的情感表现和 认知支持方式，并反馈给学习者。 图 1人机交互环境示意图 4. 交互模型 远程学习者与智能教学 Agent 的交互模型如 图 2所示。系统同步采集学习者的表情数据和眼动 数据，并根据需要采集学习者行为数据从而识别学 习者的情感状态和认知状态。 图 2远程学习者与智能教学 Agent 的交互模型 如图 2 所示，学习者的情感状态识别结论由学 习者表情数据和眼动数据共同推理得出。这两类数 据分别由摄像头和眼动仪采集。根据情感状态的三 个维度将两类数据相互比对和验证，从而提高情感 识别的可靠性。情感识别的目的主要是区分学习者 的疲劳、兴趣与愉悦状态，以此来判断智能教学 Agent 是否需要对学习者的学习过程进行干预。判 断依据以表情数据为主，眼动数据为辅。若二者均 超出阈值显示负面消极，则直接进行干预;若二者 之一超出阈值显示负面消极，则询问学习者是否需 要帮助;若二者皆在正常阈值范围内，则保持沉 默，不作干扰。 学习者的认知状态识别结论由学习者眼动数据 和行为数据共同推理得出。眼动仪所采集到的数据 分三部分:( 1)眼动状态编码后用以识别学习者的 情感状态;( 2)学习者的视线路径用以判断学习者 感知到的某一知识点的难易程度;( 3)视线内容即 通过对屏幕热点区域的识别提取出来的知识点，用 以作为智能教学 Agent 向学习者提供帮助的依据。 如果眼动数据显示学习者感知到的学习内容很容易， 则 Agent 不作干扰;如果学习者感知到的难度超出 正常阈值，则由 Agent 向学习者提供练习题，测试 其真实的认知状态，或询问学习者是否需要帮助， 根据行为结果选择进行知识点提示或不作干扰。 情感与认知状态的识别结果最终提交给智能教 学 Agent，然后由 Agent 进行情感和认知反馈。情 301 基于智能 Agent 的远程学习者情感与认知识别模型 感反馈主要通过 Agent 的形象和语言:Agent 愉悦 或滑稽的表情、姿势和语言可以让学习者得到放 松，缓解其紧张、乏味或憋闷的心理状态。同时， Agent 可以根据认知识别结果，为学习者提供有针 对性的知识点提示或学习建议。 四、小结 智能教学 Agent 与学习者的情感交互和认知支 持近年来受到越来越多国内外学者的重视。只有有 效识别出学习者的情感与认知状态，教学 Agent 在 改变学习者行为态度、帮助学习者获取和理解知 识、支持学习者认知发展方面才能取得预期的效 果。本研究将眼动追踪与表情识别技术相结合，提 出基于智能 Agent 的远程学习者情感与认知识别模 型。该模型主要在两个方面作了创新性的尝试: ( 1)眼动追踪与表情监控迭代识别。由于目前通 过眼动追踪分析学习者情感状态和认知状态的技术 并不成熟，识别准确率不高，本模型提出眼动追踪 技术和表情识别技术相结合，将眼动追踪数据分析 得到的情感状态结论与表情监控数据得到的情感状 态结论相比对验证，用以识别远程学习者的情感状 态，并与认知状态的识别过程相迭代验证，使模式 识别的结果更加精确，为人工智能情感识别研究提 供了新途径和新思路。 ( 2)情感与认知识别过程 相耦合。学习者的情感状态与认知状态是相互作用 和相互影响的，所以单一的情感模型或者单一的认 知模型都难以准确客观地描述学习者的状态。本模 型提出将情感识别与认知识别过程相耦合，在此基 础上优化 Agent 的反馈，使其在提高学习者的兴趣 和愉悦感的同时，更有针对性地提供知识点提示和 学习方法建议，促进学习者的认知发展。 参考文献: 1 郭北苑， 方卫宁( 2004) . 人机交互中的基于眼动仪 的输入技术研究 J . 仪器仪表学报，( S1) : 55 57. 2 黄莹， 王志良， 戚颖( 2008) . 基于视线追踪的人机交互 仿真系统的研制与应用 J . 系统仿真学报， ( 24) : 6678 6682. 3 刘瑞安 . 靳世久， 宋维等( 2006) . 单摄像机视线追 踪 J . 计算机应用， ( 9) : 2101 2104. 4 毛峡， 薛雨丽( 2011) . 人机情感交互 M . 北京: 科 学出版社 . 5 沈模卫， 冯成志， 苏辉( 2003) . 用于人计算机界面设计的 眼动时空特性研究 J . 航天医学与医学工程， ( 4) : 304 306. 6 屠大维， 赵其杰， 尹海荣 ( 2004) . 自动适应用户头 部位置变化的眼睛盯视输入系统 J . 仪器仪表学报， ( 6) : 828 831. 7 王志良， 祝长生， 解仑( 2009) . 人工情感M. 北 京: 机械工业出版社 . 8 吴彦文， 刘伟， 张昆明( 2008) . 基于情感识别的智能 教学系统研究 J . 计算机工程与设计，( 9) : 2350 2352. 9 解迎刚， 王志良( 2011) . 远程教育中情感计算技术 M . 北京: 机械工业出版社 . 10 闫国利， 白学军( 2012) . 眼动研究心理学导论揭 开心灵之窗奥秘的神奇科学 M . 北京: 科学出版社 . 11 詹泽慧( 2011) . 远程教育中的智能教学代理: 角色、 设 计要素与应用方式 J . 现代远程教育研究， ( 4) : 76 82. 12 Beatty，J. ( 1982)Task Evoked Papillary Respon- ses，Processing Load，and the Structure of Processing Resources J . Psychological Bulletin， 91( 2) : 276 292. 13D Mello，S. ，Olney，A. Williams，C. et al. ( 2012) . Gaze Tutor: A Gaze Reactive Intelligent Tutoring Sys- tem J . International Journal of Human Computer Studies， 70 ( 5) : 377 398. 14Hess，E.H.( 1972)Pupillometrics. Greenfield， N. S. Sternbach， R. A. AHandbook of Psychophysiology M . New York:Holt，Rinehart Winston: 491 531. 15Hess，E.H. ，Seltzer，A.L. Shien，J.M. ( 1965) . Pupil Responses of Hetero and Homosexual Males to Pictures of Men and Women:A Pilot Study J . Journal of Ab- normal Psychology， 70( 3) : 165 168. 16Jaques，P.A. ， Vicari， R. M. Pesty， S.et al. ( 2004) . Applying Affective Tactics for a Better LearningA . The Proceedings of the European Conference on Artificial Intelli- gence ( ECAI) C : 22 27. 17 Kahneman，D. Wright，P. ( 1971) . Changes of Pupil Size and Rehearsal Strategies in A Short Term Memory Task J . Quarterly Journal of Experimental Psychology， 23( 2) : 187 196 18Kapoor，A. ， Picard，R. W. Ivanov， Y. ( 2004) . Probabilistic Combination of Multiple Modalities to Detect Inter- est A . ICPR04 Proceedings of the Pattern Recognition C : 969 972. 19Li，Z. Mao，X. ( 2012) . Emotional Eye Movement Generation Based on Geneva Emotion Wheel for Virtual Agents J . Journal of Visual Languages and Computing， 23( 5) : 299 310. 20Lowenstein，O. Loewenfeld，I. E. ( 1964) The Sleep Waking Cycle and Papillary Activity J . Annals of the New York Academy of Sciences， 117: 142 156. 21 Mota， S. Picard， R. W. ( 2003) . Automated Pos- ture Analysis for Detecting Learners Interest LevelA. MIT Media Lab. Computer Vision and Pattern Recognition Workshop Z . 22Neji，M. Ben Ammar，M.( 2007) .Agent Based Collaborative Affective E Learning Framework J . The Electronic Journal of E Learning， 5( 2) : 123 134. 23 Ortony，A. ，Clore，G. L. Collins，A. ( 1988) . The Cognitive Structure of Emotions M . Cambridge，UK: Cam- bridge University Press: 8 19. 401 基于智能 Agent 的远程学习者情感与认知识别模型 24Prendinger，H. ，Ma，C. Ishizuka，M. ( 2007) . Eye Movements as Indices for The Utility of Life Like Inter- face Agents:A Pilot StudyJ. Interacting with Computers 19 ( 2) : 281 292. 25 Rayner，K. ，Shen，D. Bai，X. ( 2008) . Cognitive and Cultural Influences on Eye Movements M . Tianjin:Tian- jin People s Publishing House: 122 124. 26Scherer，K. R. ( 2005) . What Are Emotions?And How Can They Be Measured?J . Social Science Information， 44( 4) : 693 727. 27Tecce，J.J.( 1992) . Psychology，Physiology and ExperimentalA.McGraw Hill. Yearbook of Science and Technology M . New York:McGraw Hill: 375 377. 28Zakharov，K. ( 2007) . Affect Recognition and Sup- port in Intelligent Tutoring Systems D . Christchurch: The Uni- versity of Canterbury. 收稿日期2013 08 13责任编辑汪燕 An Emotional and Cognitive Recognition Model for Distance learners Based on Intelligent Agent The Coupling of Eye Tracking and Expression Recognition Techniques Zhan Zehui Abstract:The accurate recognition of emotional and cognitive status is a significant foundation for effective interaction between instructional agents and distance learners Only when learners emotional and cognitive status were successfully identified，can instructional agents can achieve desired effects on