微表情面部肌电跨模态分析及标注算法

/微表情面部肌电跨模态分析及标注算法【摘要】长久以来，微表情的小样本问题始终制约着微表情分析的发展，而小样本问题归根到底是因为微表情的数据标注十分困难。本研究希望借助面部肌电作为技术手段，从微表情数据自动标注、半自动标注和无标注三个方面各提出一套解决方案。对于自动标注，提出基于面部远端肌电的微表情自动标注方案；对于半自动标注，提出基于单帧标注的微表情起止帧自动标注；对于无标注，提出了基于肌电信号的跨模态自监督学习算法。同时，本研究还希望借助肌电模态，对微表情的呈现时间和幅度等机理特征进行拓展研究。【关键词】图像标注；微表情分析；远端面部肌电；微表情数据标注 1问题提出 正如俗语“知人知面不知心”所说，要洞察他人的心理状态是十分困难的。随着深度学习技术的发展，人脸识别技术的性能得到了显著提升，其准确率已经超过了人类的能力。除了人的身份识别之外，通过面部的微表情分析他人的心理状态的研究在近些年正在兴起，并且具有很高的挑战性。微表情可以被广泛地应用于国家安全、公安审讯、心理疾病预诊、学校教育、卫生防疫等领域。 微表情产生机理可以追溯到1872年查尔斯·达尔文(CharlesDarwin)在他的著作《人与动物的情感表达》(Darwin，1872)中指出，一些面部表情是无法抑制的，即便有极大的主观努力也无法做到完全抑制。后来神经心理学研究发现，自主和非自主表情受两种不同的神经通路控制。同时，心理学家PaulEkman(Ekman&Friesen，1969)也假设微表情是自主表情与非自主表情之间对抗的产物(Rinn，1984)。它可能是表达情绪之前的自主抑制过程中的泄漏，或者是在表情呈现后的截断。因此，从理论上讲，微表情(Micro-expression)是一种短暂、微小且局部的面部表情，通常会在强烈的情绪体验下出现(Yanetal.，2013)。这使得微表情具备出现时间短、运动幅度小和不对称性三个特征。 当前标注微表情的时间成本和人力成本都非常高，并且需要编码人员接受面部动作编码系统(FacialActionCodingSystem，FACS)的专业知识训练。该面部动作的编码系统由PaulEkman制定，基于解剖学相关知识对面部运动进行分析，可用于描述任意面部运动并定位其动作单元，是当前最为常用的面部编码系统。为了提高人们检测和识别微表情的效率，PaulEkman还在2002年开发了一个微表情训练工具(Micro-ExpressionTrainingTool，METT)(Ekman，2004)。然而，即使是经过专业培训的专家，其在识别微表情方面的人工准确率也不到50％。因此，为了在实际场景中充分发挥微表情的潜在应用价值，当前迫切需要进行智能微表情分析的研究。 对于微表情分析算法来说，需要大量的、有标注的微表情数据来训练模型。而对微表情数据进行标注，不仅需要专业知识，而且耗时耗力，这导致的小样本问题一直束缚着微表情分析的快速发展。提高微表情数据标注的效率已经成为微表情分析领域中迫切的需求。本研究通过计算机和心理学的交叉研究，基于面部肌电生理信号和面部表情视觉信号进行跨模态分析，从自动标注、半自动标注和无标注三个方面，来提高微表情数据标注的效率。 2研究现状 2.1国内外微表情智能化分析研究现状及发展动态分析 近10年来，除了在大众媒体领域获得关注，微表情研究也逐渐在科学领域受到重视。如图1所示，通过计算机科学与心理学的结合，学者们不断研发智能微表情分析技术，从而帮助人们更有效地通过微表情来识别其中的隐藏情绪。 图1基于计算机的微表情研究趋势 然而，由于微表情样本的人工标注十分费时费力，目前常用的自发微表情数据库只有7个，分别是中国科学院心理研究所发布的CASME系列(Li，Dong，etal.，2022；Quetal.，2018；Yanetal.，2014；Yanetal.，2013，April)，芬兰奥卢大学发布的SMIC(Lietal.，2013，April)以及最新的4DME(Li，Cheng，etal.，2022)，英国曼彻斯特城市大学发布的SAMM(Davisonetal.，2018)和山东大学发布的MMEW(Benetal.，2021)，总样本量超过2600个。然而，目前大数据驱动的深度学习在许多领域被广泛使用，但是基于深度学习的微表情分析却受限于微表情小样本问题，相关算法/应用性能的提升十分有限。 因此，本研究针对微表情数据标注问题，分别从自动标注、半自动标注和无标注三方面来解决这一问题。本节将首先介绍微表情检测与识别的相关方法的研究现状，然后对微表情标注的困难进行分析，最后对本研究中应用到的技术理论和方法的国内外研究现状进行综述。 2.1.1微表情分析的研究现状 微表情分析一般包括微表情检测和微表情识别两部分，也就是对微表情数据的标注与分析。微表情检测是在长视频中准确定位微小短暂的微表情片段。微表情识别是指根据特定的情绪类别，对微表情片段进行分类。无论是微表情检测，还是微表情识别都离不开大量的、有标注的数据。微表情检测方法研究主要的两个思路是比较视频帧的特征差和机器学习对表情帧分类。 基于特征差的微表情检测方法在早期的研究中占据主流，该方法通常通过滑动窗口划分长视频，然后在整个视频中设定合适的阈值，从而检测出较为明显的面部运动。当前常用的特征包括：芬兰奥卢大学赵国英团队提出的时空局部二值模式(LBP-TOP)(Moilanenetal.，2014，August)、马来西亚多媒体大学的梁诗婷团队提出的使用光流以及光应变的特征(Liongetal.，2016，November)、笔者使用的主方向最大光流特征(MDMO)(Wangetal.，2017)、英国曼彻斯特城市大学MoiHoonYap团队使用的3D-HOG(Davisonetal.，2018，May)等。基于特征差的微表情检测方法可以在微表情持续时间的时间窗口内对帧特征进行比较，但特征差异方法并不具备区分微表情和其他头部动作的能力。这就导致在较为复杂的长视频中，基于特征差的检测方法会检测到许多宏表情或头动等高于阈值的面部动作，最终误检率较高。 为了提升检测方法区分微表情与其他面部动作的能力，基于机器学习/深度学习的微表情检测方法逐渐得到了研究人员的关注。刚刚兴起的深度学习的微表情检测方法目前只有20余篇相关论文发表。例如本文作者在2021年提出的长视频中多尺度检测微表情片段的神经网络(MESNet)(Wangetal.，2021)、电子科技大学李永杰团队提出的双流卷积神经网络(Yuetal.，2021，October)、北京科技大学谢伦团队提出的时空卷积注意力神经网络(Panetal.，2021，October)、中国电子科技集团电子科学研究院谢海永团队构建的基于光流的LSTM网络(Dingetal.，2019，September)以及KDDI综合研究所杨博等人提出的基于面部动作单元(ActionUnit，AU)的微表情检测神经网络(Yangetal.，2021，October)等。但当前基于机器学习/深度学习的微表情检测方法仍面临着小样本的限制，导致近年来该方法的性能提升并不显著，而难以运用到实际场景中。 同时，结合深度学习的微表情识别技术已经成为主要趋势，并且识别率在不断提升，开始有研究团队通过引入迁移学习的方法来增强神经网络提取微表情下特征的性能，这在一定程度上解决了微表情小样本问题对深度学习微表情识别的限制。例如，本文作者通过迁移长期卷积神经网络来解决微表情的小样本问题(Wangetal.，2018)、中国科学技术大学陈恩红团队将宏表情训练得来的网络用于微表情的识别任务，也提升了神经网络的识别性能(Xiaetal.，2020，October)。北京师范大学孙波等人提出的从AU中提炼和转移多只是用于微表情识别的知识迁移技术(Sunetal.，2020；Xiaetal.，2020，October)。然而，引入迁移学习的方法也只能对微表情的识别性能做到一定程度的提升，并不能从根本上解决微表情小样本问题的限制。若要将微表情检测与识别的性能进一步突破，还是需要大量的微表情样本以供训练，足见该研究方向对解决微表情数据标注难题的迫切期望。 2.1.2当前微表情数据标注面临的困难 微表情数据标注是非常费力费时的。由于微表情是一种短暂的、微小的、局部的面部运动，微表情的标注者需要通过慢放或者回放等操作对视频逐帧观察并进行标注。特别是标注起始帧和终止帧时，需要反复观看相应时间段，同时反复对比帧与帧之间的细微变化。因为相较于宏表情来说，微表情并不明显，很难通过肉眼检测到。微表情的标注者需要经过专业培训。前人的研究(Torreetal.，2011，October)中也表示对于表情样本的起始帧和终止帧的标注用时，会占总体用时的一半，可见微表情数据标注的困难。针对这个难题，在本研究拟采用： (1)使用面部肌电信号，对微表情数据进行自动标注； (2)借鉴时序动作定位的思想，对微表情数据的起始帧和终止帧进行定位，从而实现对微表情数据进行半自动标注； (3)把自监督学习引入微表情分析，实现微表情分析中对无标注的微表情数据的应用。 下面，本文分别介绍面部肌电的研究现状，时序动作定位的研究现状和自监督学习的研究现状。 2.1.3面部肌电的研究现状 面部肌电的一种常见用途是研究由面部表情体现的情绪反应。一般来说，评估面部表情的方法可以分为两类，一类是人为主观评估，包括表情分类、表情维度评分和基于FACS系统的肌肉运动单元编码；另一类是客观评估，包括基于肌电测量的表情评估方法(Hess，2009)。Mehrabian和Russell提出的情绪维度模型PAD对情绪从愉悦度(Pleasure)、激活度(Arousal)和优势度(Dominance)的三个维度描述，并编制了PAD量表以测量情绪状态。李晓明等人对该量表进行了汉化，编制了中文版PAD量表(李晓明等，2008)。其中愉悦度(Pleasure)也叫效价(valence)，可以通过对不同部位的面部肌电信号进行度量，并以此确定面部肌电数据与情绪效价、激活度以及优势度之间的联系(etal.，2020)。早在2014年，Gruebler等人设计了一款可穿戴的面部肌电采集设备来通过面部肌电信号判断正性表情(Gruebler&Suzuki，2014)。最近，日本京都大学的Sato等人也设计可穿戴面部肌电采集设备来测量情绪的效价(Satoetal.，2021)。与传统的使用8组电极的面部肌电测量相比，Schultz等人只用4组电极(前额皱眉肌、额肌、颧骨大肌和咬肌)，而表情的识别率只减少了不到5％(Schultz&Pruzinec，2010)。虽然识别率有所降低，但是减少一半的电极数量，可以让更多的表情展示出来，这使得使用面部肌电对微表情数据进行自动标注成为可能。进而Hamedi等人(2013)通过3组电极，分别放在额肌和颞肌上，使用通用椭圆基函数神经网络来区分10种面部动作，准确率达87％。这些面部动作包括对称或不对称的微笑，扬起眉毛，皱起眉头等。Monica等人(Perusquía-Hernándezetal.，2021，December)在电极完全不遮挡面部的情况下，利用远端(distal)肌电信号实现对微笑的检测。 2.1.4时序动作定位的研究现状 时间动作定位(Temporalactionlocalization，TAL)需要在视频中检测包含目标动作的时间区间。对于一个未经修剪的长视频，时间动作定位主要解决两个任务，即识别和定位。它提供了计算机视觉应用所需的最基本信息，即什么动作，且动作何时发生。时间动作定位与我们的生活息息相关，在很多领域具有广泛的应用前景和社会价值，例如视频摘要(Leeetal.，2012，June)、公共视频监控(Vishwakarma&Agrawal，2013)和技能评估(Gaoetal.，2014，September)等。 2014年之前，时间动作定位的方法主要基于传统的手工特征提取。之后，随着深度学习的发展，时间动作定位的相关研究有了显著的进展。目前主流的两种方法主要是分别基于全监督学习和弱监督学习。基于全监督学习的TAL主要是基于视频级别和帧级别的标注，对模型进行训练(Chaoetal.，2018，June；Longetal.，2019，June)。与此同时，由于在实际生活中，帧级别的标注十分困难而且容易受到标注者的主观影响，基于弱监督学习的TAL方法逐渐受到研究者们的欢迎(Leeetal.，2020，April；Liuetal.，2019，June) 2.1.5自监督学习的研究现状 LeCun、Bengio和Hinton于2015年联合在“Nature”杂志发表的关于深度学习的综述文章(LeCunetal.，2015)中指出，实现像人类视觉系统那样的无监督深度学习是未来的一个重要方向。其中，自监督学习作为无监督学习的一种(Jing&Tian，2020)，已经成为一个热门的研究方向。自监督学习利用大量无监督数据，通过设计辅助任务来获取监督信号，并用它来训练网络，使网络能够学习到有利于下游任务的特征信息。自监督算法相比手工构建特征和标注数据，能够节省时间和人力，提高深度学习网络的效率和实用性。自监督学习已经在许多任务中实现了利用无监督数据构造自身监督信息，并取得了可以和监督学习媲美的性能表现(Doerschetal.，2015；Fernandoetal.，2017，July；Larssonetal.，2017，July；Lietal.，2019；Pathaketal.，2016，June)。 2.2本文贡献 随着近年来深度学习技术的发展，很多理论研究已经开始落地应用，例如人脸识别已经从消费级别的应用扩展到安全级别的应用，而这些应用的背后有着大量的标注数据作为支持。对于人脸识别的标注，其技术含量低，标注时间快，标注人员不需要过多的专业知识培训。而对于微表情数据标注，标注人员需要具有FACS编码的专业知识，同时在标注时，标注人员需要逐帧进行观察，耗时耗力。为了解决微表情数据标注困难这个问题，本研究尝试使用自动标注、半自动标注及无标注的方法。 在理论方面，本研究通过面部肌电信号对微表情的表达机理进行进一步的研究，对微表情的三个特征进行更加客观的量化，还为之后使用肌电和脑电之间的相关性来进一步研究微表情的脑机制提供支持，并有望将结果应用在表情识别、行为识别等领域。同时，在实践方面，针对微表情数据标注困难的问题，本研究从微表情数据自动标注、半自动标注和无标注三个方面各提出一套解决方案，从一定程度上缓解微表情数据标注困难。 3研究构想 3.1基础理论和模型的研究构想 针对微表情动作幅度不明显导致的数据标注困难这一问题，本研究从生理心理学方法和模式识别相结合，开展基于面部表情图像和面部肌电跨模态分析的微表情数据标注问题研究。具体研究路线如图2所示，首先对心理学实验中的面部肌电信号进行微表情机理研究，为计算机自动识别算法提供理论基础；其次，在自动识别算法中分别从自动标注、半自动标注和无标注三个方面进行深入的研究；最后推广应用以缓解微表情数据标注的困难。 图2研究路线图 3.1.1研究基于面部肌电信号的微表情机理 本文通过生理心理学方法，将面部肌电生理信号和行为认知心理实验相结合，来研究微表情机理。具体地，研究记录了面部肌肉或肌肉群组收缩时的信号频率和振幅，并用相关指标来对微表情的三个特征(呈现时间短、运动幅度小和不对称性)进行更精确的量化，为后续研究提供理论基础。 在采集设备方面，肌电采集设备在面部放置时，电极会对面部造成一定程度的遮挡，进而影响传统的FACS编码。为解决这一问题，本研究在研制多通道、可穿戴的面部肌电采集设备同时，还提出了一个远端面部肌电电极的部署方案。在不遮挡面部表情表达和对面部表情采集的情况下，把肌电电极部署在脸部周围，使其可以重构出其邻近区域特定的肌肉收缩情况，从而实现对微表情数据的自动标注。同时本研究设计诱发面部肌肉运动的心理学范式，并以微表情的肌电信号机理为基础，设计基于远端面部肌电的微表情数据自动标注的算法。 3.1.2研究基于单帧标注的微表情起止帧自动标注 本文研究微表情的时间动作定位，为基于单帧标注的微表情起止帧自动标注算法找出可以借鉴的知识。本文从研究微表情视频片段内部帧与帧之间的距离度量，使用具有单调性的度量去构造损失函数，搭建微表情起止帧自动标注的深度学习网络。 微表情的动作强度在从起始帧到高峰帧的区间上是单调增加的，而从高峰帧到终止帧的区间上是单调下降的。构造出符合这种规律的帧之间的距离度量，即可实现基于单帧标注的微表情起止帧自动标注。 3.1.3研究基于肌电信号的跨模态自监督学习算法 本文研究了面部肌电与面部表情的对应关系，为无标注的人脸视频提供时域监督信息；设计一个基于Transformer的跨模态对比学习无监督模型，利用肌电信号增强网络学习针对微表情动作变化模式的特征。具体而言，利用面部肌电信号和面部表情的对应关系，通过Transfomer网络有效学习面部动作的时空特征；并在样本有限的情况下，通过对比学习，利用大量的宏表情、其余头部动作以及中性人脸等样本作为负样本对，增强模型对微表情的辨别能力。 3.2关键技术的研究构想 3.2.1基于面部肌电信号的微表情机理的研究 面部肌电的一种常见用途就是研究与面部肌肉动作相关的情绪反应。与人为的主观评估方法相比，面部肌电是对面部肌肉活动的测量，是更加客观的评估面部表情的方法。在本研究通过面部肌电对微表情的三个特征(呈现时间短、运动幅度小和不对称性)进行进一步的量化考察，为后续研究提供理论指导，研究框图如图3所示。 图3基于面部肌电信号的微表情机理研究框图 本文设计了一个心理学实验，以有效诱发微表情，记录肌电信号并以此研究微表情的机理。在刺激材料方面，该实验使用高情绪效价的视频片段作为诱发表情的刺激材料，包括7种情绪(高兴、厌恶、悲伤、恐惧、生气、惊讶和中性)。每种情绪2～3个视频，每个视频长度为1～3分钟。这些视频均为CASME数据库系列中所使用的诱发材料。为了尽量减少电极对微表情的影响，本研究还针对不同的刺激材料，制定不同的电极放置方案。该方案根据CAS(ME)3数据库中已诱发和编码后标注出的AU统计结果来制定。比如：经过统计，某个刺激材料诱发最多的是颧肌运动引起的AU12。那么，在使用此刺激材料诱发微表情时，我们只在被试的颧肌上放置电极。 实验过程中，被试被要求观看刺激材料，刺激材料由实验者按预定顺序呈现，呈现顺序在实验被试间进行平衡。通过摄像机记录下被试在观看刺激材料时所产生的面部动作，同时记录面部肌电。被试在实验过程中被要求尽可能保持中性表情，眼睛不要离开屏幕，头尽量保持不动。被试还被告知，他们的薪酬与表现直接相关。这些操作被用来增强被试隐藏真实面部表情的动机，并减少无关的动作。被试坐在一个显示器前，一台摄像机被放置在显示器后面，记录被试正面的全脸。主试根据刺激材料所诱发的情绪对应AU选择肌电电极的贴片位置。每段视频结束1s后，被试需要对视频刺激所诱发的情绪进行二分评价，如果感觉这一段视频是整体积极、正性就按下键盘中F键，如果感觉视频整体消极、负性就按下键盘中J键。基于内心感受进行的自我报告，是情绪编码的重要参考资料。被试对每个视频都做完二分评价后，显示器会有500ms空屏，然后进入下一段视频。在整个实验过程中的任意时间，要求被试密切注视屏幕并保持中立的表情，一旦察觉到自己出现表情，立刻按键记录。实验流程如图4所示。 图4诱发微表情实验流程图 该实验中，面部电极的放置会造成部分面部会被一定程度遮挡的情况，这种情况下如何进行传统的FACS编码，进而确定是否有微表情的出现，即如何对部分遮挡的面部进行微表情编码，这一直是微表情研究中要考虑的技术问题。为解决这个问题，在本研究中，我们对不同情绪刺激制定了不同的电极方案，将电极对微表情编码的影响尽可能降低。本研究引入肌电模态对微表情进行分析，确定微表情和肌电信号的对应关系，即研究面部表情表达肌肉的基线，确定肌电信号的振幅、频率等指标，与微表情的呈现时间、运动幅度等的对应关系。 3.2.2基于面部远端肌电的微表情自动标注的研究 微表情数据标注的困难一直限制着微表情分析的发展。对于这种情况，本文提出了基于面部肌电的微表情自动标注的研究。拟在不遮挡面部微表情采集的情况下，把采集肌电的电极分布在面部周围，采集远端肌电信号来实现对微表情的自动标注，研究框图如图5所示。 图5基于面部远端肌电的微表情自动标注研究框图 (1)采集设备的硬件设计与评测方案 针对面部区域的神经、肌肉较多的情况，我们自行设计了一款可以获取更多面部肌肉的肌电信号的多通道肌电采集设备，并将其用于采集面部周围肌肉的串扰信号。本研究使用德州仪器生产的ADS1299作为肌电信号采集设备的信号采集芯片，STM32F429IGT6芯片作为控制器单元，ESP32芯片作为无线传输模块。其中，ADS1299芯片具有8通道低噪声、高分辨率同步采样的ADC模数转换器、内置可编程增益放大器、输入复用器、内部基准电压、时钟振荡器、偏置放大电路、内部测试源以及导联脱落检测电路，内部器件噪声低于1μV，具备肌电采集所需的全部常用功能。STM32F429核心板包含了更高性能的CortexM4内核，其操作频率最高达到180Mhz，同时拥有256kB的片内SRAM、6个串行外设接口(SerialPeripheralInterface，SPI)、两个DMA控制器(共16个通道)等。此外，板载32MB的SDRAM且又体积小巧，仅65mm×45mm，方便应用到各种项目里面，满足我们的数据缓存空间和数据快速转换的需要。ESP32C3-MINI1芯片作为无线传输设备，根据手册指示重新对其进行固件烧录，将wifi通信接口由串口更改为SPI接口，可以达到更高的数据传输速度。在实际应用中，该无线传输器的最大稳定数据传输速度可以达到3M/s。此外该模块具有尺寸小、功耗低等优点，满足无线数据传输的需求。为了避免市电对采集信号的干扰，采集装置配有电源管理模块，并采用锂电池供电。本设备需要32通道，所以本研究采用4块ADS1299芯片进行菊花链串联成32通道。 对于自行设计的设备，需要验证其性能指标。本研究将自行设计的设备与Biopac生理多导仪的肌电模块进行比较。用两套设备分别采集额肌、皱眉肌、眼轮匝肌、鼻唇提肌、颧大肌、口轮匝肌、降口角肌和颏肌的肌电信号，即最大肌肉收缩力量(maximalvoluntarycontraction，MVC)。为了度量两个设备记录的MVC相似性，本研究分别使用Spearman相关性(Spearman'scorrelation)、能量比(Energyratio)、线性相关系数(Linearcorrelationcoefficient)和互相关系统数(Cross-correlationcoefficient)。 在数据采集过程中，通过数码管的亮灭来同步肌电和视频数据采集的开始时间。由于肌肉间的信号传播，一个通道可能会包含多块肌肉源的串扰信号，所以我们使用盲源分离算法进行肌肉运动源成分的分离。为了得到更好的信号波形并且去除噪声干扰，进行20～450Hz的带通滤波、去除直流电、全波整流等操作，最后得到信号的线性包络。此外，我们设计了一个算法提取包络信号发生波动的开始和结束时刻，然后根据数码管由暗变亮的时间，就可以精准地定位视频中微表情发生的开始时间和结束时间。最后，我们整合这个过程，设计一款自动化标注交互软件，可以极大地节约了微表情的标注时间，减少标注人员的工作量，且在一定程度上解决了微表情数据库的小样本问题。 (2)基于情绪诱发的数据采集方案 微表情自动标注模型的建立需要大量面部肌肉运动时的肌电样本，所以在确定好采集设备与采集肌肉位置后，我们需要采集这些部位运动状态下的肌电信号，而面部肌肉运动有两种诱发方式。第一种是通过指导语让被试做面部指定肌肉的收缩，这种方式容易引起指定肌肉周围的肌肉的运动，而使得用于建模的肌电信号生态效度不高。另一种方式是通过诱发特定的情绪，使得被试面部出现自发的表情，从而获得和特定情绪相关的面部肌电信号，其具有较高的生态效度。所以在本研究中使用心理学实验手段诱发出自发产生的表情。为采集到可供建立模型的肌电数据，我们用到了前文提到的情绪诱发的方式设计的心理学实验。即使用高情绪效价的视频片段作为诱发表情的刺激材料，每段视频结束后，被试填写量表，对内心感受进行自我报告，这被用作情绪编码时的重要参考资料。由于本研究提前操纵控制了诱发材料本身的情绪类型，因此所产生的面部动作较为纯粹且易于区分。 3.2.3基于单帧标注的微表情起止帧自动标注的研究 不同于单张表情图片，微表情的数据是以视频片段的形式出现的。这就意味着微表情的标注，还需要在时间维度上标注微表情视频片段的起始帧和终止帧。本研究要研究问题是，假设微表情视频片段有一帧已经被标为一种微表情，那么如何去自动地推断该微表情片段的起始帧和终止帧，如图6所示。 图6基于单帧标注的微表情起止帧自动标注问题示意图 对于这个问题，本文提出一个基本解决思路和对应的算法设计，即在一个包含微表情片段和背景帧的长视频中，对每个视频帧进行分类，确定其是否为微表情帧、背景帧或未标记帧。在初始阶段，每个微表情片段中只有一个帧的标签被标记为1，其余帧的标签记为0，并随机选择一些不属于任何微表情片段的帧标记为-1，即背景帧。然后，使用深度学习网络对已标记帧进行训练，计算未标记帧的微表情得分和背景得分，并根据微表情动作变化的局部时空模式推断出其所属类别。最后，重复这个过程直到所有帧都被标记为微表情帧或背景帧，输出每个视频帧的标签。 算法中用到的深度学习模型：CS-Net网络结构如图7所示，其包括三个模块：特征抽取模块、分类模块和得分模块。特征模块使用AlexNet网络或ResNet网络把帧抽取为特征向量，其中AlexNet与ResNet网络是基于深度学习的图像分类任务常用的骨架模型。分类模块把特征按微表情的类别进行分类。得分模块则计算其属于微表情的得分smt和属于背景的得分sbt。 图7CS-Net网络结构 在算法结果的推断中，本研究不仅考虑CS-Net网络的输出结果，另外还使用能够体现微表情特征的局部时空模式(S-Pattern)来进一步地加以约束。S-Pattern体现了微表情在面部局部区域的变化特征，即从起始帧到峰值帧的区间内，微表情的动作模式呈现一个递增的趋势，而在峰值帧到终止帧这个区间，由于受到头部动作或者表情不一定恢复原位等因素的影响，动作模式可能呈现下降趋势或者趋于平缓。具体来讲，通过主成分分析的方法，在时间维度上对人脸兴趣区域视频进行特征分析。在保留前两列的视频主成分之后，根据微表情的时间特征设定滑动窗口，计算窗口内每一帧的欧式空间距离，从而得到可以体现微表情动作变化模式的特征，即S-Pattern。图8显示了一个微表情片段的S-Pattern，其曲线相对于时间(帧)具有单调性。这种单调性可以对CS-Net网络的输出结果加以进一步的约束。相关的方案在SAMM微表情数据库上预实验结果如图9所示。 图8S-Pattern单调性示意图 图9预实验结果，显示SAMM数据库前40个样本 3.2.4基于肌电信号的跨模态自监督学习算法 由于已标注的微表情样本有限，本研究提出在大量的无标注人脸及表情视频中进行自监督学习。具体而言，利用体现微表情的动作信息的肌电信号，构建肌电的跨模态自监督学习模型，通过Transformer和对比学习的结合，学习针对微表情的动态变化信息，从而实现微表情检测，网络框架如图10所示。其中，Transformer是一种基于注意力机制的深度学习序列模型，可以较好地解决序列传导问题。 首先，通过采集到的肌电信号与基准肌电信号的差异来去除静态状态下的肌电噪声，然后对差分信号进行滤波平滑和归一化处理，得到振幅随时间变化的曲线。这个曲线即为面部动作变化肌电信号的包络信号。该信号在简化原始肌电信号波形变化的基础上，可以很好地体现面部动作变化。 其次，通过计算包络信号每个时刻的