开题内容报告

基于多模态自发性表情

信号的时间序列研究2014年12月29日报告人：马晓云13721079导师：杨风雷主要内容研究背景主要研究内容研究方法实验设备和条件预期困难和对策进度安排与预期结果研究背景视频采集和可穿戴传感器的普及视频分析大数据自发性表情分析的发展传统自动化表情分析的局限性自发性表情图库的研究多样化多模态情感计算的兴起声音信号体外传感器电极采集脑电波信号自动标签可穿戴传感器的普及典型表情V.S自发表情主要研究内容多模态生理信号的时间序列分析视频信号，传感器采集的生理信号的时间序列分析表情视频序列的特征点跟踪基于3DAAM的特征点的提取算法等用于降低运动对特征点跟踪结果的干扰。多模态生理信号的特征选择根据时间序列分析的规律和结果进行多模态生理信号的关键帧的选取情感计算模型建立对选取好的多模态生理信号进行3DGMM等统计模型的建立研究方法数学统计分析方法比较分析法、分组分析法等相关性分析完全相关和不完全相关、正相关和负相关等表情特征点跟踪算法3DAAM，CLM等时间序列分析算法信号的频域分析，时域分析，回归分析等实验设备和条件多模态自发表情数据库DEAP自发表情视频库AM-FED自发表情视频库DISFA实验设备和条件DEAP多模态数据库包含32人的多模态信号EEG信号（32channels）体外传感器信号（12个）视频被采集者自定的标签对视频的标签：情绪唤醒valence愉悦程度arousal优势度dominance感兴趣程度liking熟悉程度familarity该数据库还包含了22人同步采集的正脸视频实验设备和条件Affectiva-MITFacialExpressionDataset(AM-FED)自发表情视频库自然光照自发表情242个视频（168,359帧）标定情况每一帧的FACS标定每一帧的特征点标定数据（22）自动标签熟悉，喜欢，再看实验设备和条件DISFA自发表情视频库控制光照自发表情，27人，4分/人，129600帧左右。分辨率1024x768，20fps。预期困难和对策数据容量大数据成分复杂，分析方法不相同多模态信号本身的处理难度大相关研究方法缺失预期结果挖掘出多模态数据间的关系传感器生理信号和视频表情信号的关联发现新知识发表研究论文硕士小论文硕士大论文时间进度2014.09-2014.122014.12-2015.052015.05-2015.092015.09-2016.03前期调研，文献查阅多模态信号数据挖掘，设计算法算法实现，验证结果总结，撰写论文，准备答辩参考文献[1]MichaelJ.,JulienB.,ShigeruA.,“AutomaticClassificationofSingleFacialImages,”PatternAnalysisandMachineIntelligence21(12):1357-1362(1999)[2]EkmanP,RosenbergE.,“Whatthefacereveals:Basicandappliedstudiesofspontaneousexpressionusingthefacialactioncodingsystem(FACS),”OxfordUniversityPress,(2005).[3]MavadatiSM,MahoorMH,BartlettK,“Disfa:Aspontaneousfacialactionintensitydatabase,”AffectiveComputing,4(2),151-160(2013).[4]KoelstraS,MuhlC,SoleymaniM,“Deap:Adatabaseforemotionanalysis:usingphysiologicalsignals,”AffectiveComputing.,3(1),18-31(2012).[5]McDuffD,ElKalioubyR,SenechalT,“Affectiva-MITFacialExpressionDataset(AM-FED):NaturalisticandSpontaneousFacialExpressionsCollected“In-the-Wild”,”ComputerVisionandPatternRecognitionWorkshops(CVPRW).,881-888(2013).[6]CohnJ.F.,AmbadarZ.,EkmanP.,“Observer-basedmeasurementoffacialexpressionwit