认知科学与脑机接口概论（第二版）课件 第五章　大脑视觉认知编解码

大脑视觉认知解码大脑编码与解码编码：刺激->大脑响应解码：大脑响应->刺激voxelresponsestimuliLandscapeAnimalPeople

DecodingModelEncodingModel大脑编码与解码针对不同尺度下的大脑信号神经元体素脑电空间尺度针对不同的刺激特征图像类别轮廓亮度Kay.etal.Nature,2008

大脑编码与解码编码针对的是单个体素，为每个体素建立一个模型（voxel-wise）解码用所有体素的信息去预测刺激，多体素模式分析（MVPA）Voxels!Let’sclassifyeachfeature!Features!Let’sencodeeachvoxel!MVPAVoxel-wisedVoxelsetFeatureset编码模型可以用来解码Kay.etal.Nature,2008

采用识别的方式体素编码模型候选图像集待识别的体素响应向量大脑编码与解码MVPA：直接、灵敏、效果好；难以发掘出神经表征的具体内容Naselaris,etal.TrendsinCognitiveSciences,2015

直接解码：图案的朝向KamitaniY,TongF.Nat.Neurosci.2005结果人工图案重构YoichiMiyawakietal.Neuron.2008结果结果基于相关网络的fMRI解码相关网络（CorrNet）：传统解码方法只考虑体素与刺激之间的相关性，而CorrNet同时考虑三种相关性（大脑活动之间的相关性、大脑活动与视觉刺激之间的相关性、视觉刺激之间的相关性）。SiyuYu,etal.,IEEETransactionsonCognitiveandDevelopmentalSystems,2018结果不同尺度像素区平均精度(1×1,2×2,…,10×10)重构结果HierarchicalCorrelationNetworkSiyuYu,etal.AIAI2019,bestpaperHierarchicalCorrelationNetworkReconstructionsresult(Subject1)ofsomeimagesinthetestset.Theperceptualimagesareshowninthefirstrow.ThesecondistheprocessedimageswhicharetheinputimagesoftheWGAN,therestfourrowsaretheRGBreconstructionimagesofdifferenttesttrials.自监督模型Beliy,etal.

NIPS2019结果Semanticmapsusingvoxel-wisemodelAlexanderG.Huth,etal.Nature,2017

结果结果视频片段重构Nishimoto,et

al.CurrentBiology.2011结果结果照相机模型：不断增加模型复杂度，不断降低预测残差同样的输入总得到同样的输出视觉处理系统类似照相机…………吗？

fMRI数据中变异的来源仪器热噪声、测量过程中的其他限制因素生理信号（心跳、呼吸等）自发神经活动（非由实验刺激引起的）Trial之间的变异性实验因素（刺激、任务相关）“噪声”信号大脑是一个状态机大脑是一个超级状态机除了对外界刺激做出响应，还有内部状态在时刻波动着刺激引起的变异相对较小非刺激因素、具有结构性的“噪声”占主导地位利用“噪声”的解码模型测量的体素响应图像识别方法编码器…每个体素一个编码模型，没有考虑体素之间的关联信息利用了体素间的关联信息，相当于单体素编码+多体素分析#ofvoxels特征相关体素特征无关体素……预测体素响应预测残差体素响应的预测残差最匹配大脑内部状态的图像基于脑内部状态的图像识别=++#ofvoxels特征相关体素特征无关体素……预测体素响应预测残差预测的体素响应最匹配测量的体素响应的图像基于体素编码的图像识别=++基于大脑内部状态（ISF）的解码结合了外部刺激和大脑内部状态信息进行编码，取得了更好的编码性能HaoWu,etal.IEEETrans.onCognitiveandDevelopmentalSystems,2020基于大脑内部状态的解码解码时的数据：待解码的体素响应、候选图像集从信息利用的角度来说，传统方法只利用了候选图像集，而ISF则还利用了待解码的体素响应。基于大脑内部状态的解码四种模型及其与ISF结合后在测试集120幅图像上的识别精度对比。（chancelevel：0.83%）可以看出，结合ISF之后的模型均达到了更高的识别精度，其中GLO+ISF在subject1上的精度达到了100%基于大脑内部状态的解码原始数据的测试集只包括120幅图像，我们还将测试集扩充至1000幅图像，然后比较随着图像集增长时的识别精度。基于大脑内部状态的解码内部状态代表什么？目前我们的方法采用数据驱动的方式来发现体素间的内在连接，然而这种内在连接是有其神经科学基础的。对视觉皮层的研究发现，皮层内的神经元除了接受外部的刺激，还受到注意、期望以及记忆等高级认知活动的影响，这些影响与外部刺激的底层特征关联性很低。此外，最近对小鼠的自发行为驱动的全脑神经活动的研究表明，即使在没有视觉刺激的时候，小鼠的自发行为（如面部运动，瞳孔活动等）也会引起视皮层的神经元的活动。这些工作说明了只考虑用外界刺激预测神经的全部活动的观点是不全面的。基于大脑内部状态的解码欧氏距离度量下ISF的表现如何？目前用编码模型进行解码的方法均采用皮尔逊相关系数来衡量预测模式与真实模式之间的相似性。我们比较了传统方法与ISF在欧氏距离度量下的识别精度。降噪模型测量的体素响应图像识别方法编码器#ofvoxels特征相关体素特征无关体素……预测体素响应预测残差预测的体素响应最匹配测量的体素响应的图像基于体素编码的图像识别=++…#ofvoxels特征相关体素特征无关体素……预测体素响应预测残差体素响应的预测残差最匹配大脑内部状态的图像基于脑内部状态的图像识别=++#ofvoxels特征相关体素特征无关体素……预测体素响应预测残差体素响应的预测残差最匹配大脑内部状态的图像特定特征降噪模型=++降噪后HaoWu,etal.IEEETrans.onCognitiveandDevelopmentalSystems,

2021降噪模型传统方法：改进编码模型，正确图像的预测值更加匹配真实值。降噪方法：通过降噪，使其更加匹配正确图像的预测值。降噪模型数据集1：5名被试50幅图像，每幅重复35次，随机识别水平为2%；数据集2：2名被试120幅图像，每幅重复13次，随机识别水平为0.8%MCLRLASSOSLR0.50.60.70.80.91Identification

accuracy******MCLRLASSOSLR*****MCLRLASSOSLRMCLRLASSOSLR0.50.60.70.80.91Identification

accuracyVoxelencodingISFDataset1Dataset2OriginalAfterDenoiseMindReadingMagicorScience?Canweseewhatotherssee?Canweknowwhatothersthink?Canwetalktoavegetable?…IntroductionEncodinganddecodingarecomplementaryoperations:Encodingusesstimulitopredictbrainactivity.Decodingusesbrainactivitytopredictfeaturesofthestimuli.voxelresponsestimuliLandscapeAnimalPeople

DecodingModelEncodingModelIntroductionDifferenttypesandlevelsofvisualdecodingmodelsFromlefttoright:encodingFromrighttoleft:decodingKay.etal.Nature,2008

IntroductionThomasNaselarisetal.Neuroimage.2011FrameworkofencodinganddecodingmodelsMVPA&Voxel-wisedmodelMostofencodinganddecodingmodelscanbedividedintotwoclasses:Multi-voxelPatternAnalysis(MVPA)Voxel-wisedmodelVoxels!Let’sclassifyeachfeature!Features!Let’sencodeeachvoxel!MVPAVoxel-wisedVoxelsetFeaturesetMVPA&Voxel-wisedmodelMVPAUsesinformationofrelevantvoxelssimultaneously,thusmoresensitivity.RepresentationalambiguityVoxel-wisedmodelAnalysesareperformedonindividualvoxels,norepresentationalambiguity.Canbeusedtododecoding.Semanticmapsusingvoxel-wisemodelAlexanderG.Huth,etal.Nature,2017

Semanticmapsusingvoxel-wisemodelVoxel-wisemodellingNaturalmoviesreconstructionNishimoto,et

al.CurrentBiology.2011NaturalmoviesreconstructionOrientationdecodingOrientationdecoderandensembleorientationselectivityKamitaniY,TongF.Nat.Neurosci.2005OrientationdecodingDecodingresultsStreamofconsciousnessdecodingHaynesetal.CurrentBiology.2005ExperimentandmethodStreamofconsciousnessdecodingPredictionofPerceptualTimeCoursesfromSignalsinDifferentAreasofVisualCortexReconstructionofvisualscenesYoichiMiyawakietal.Neuron.2008ReconstructionofvisualscenesImagerydecodingReddyLetal.NeuroImage.2010ExperimentalDesignImagerydecodingConfusionmatricesforclassificationOR:object-responsiveImagerydecodingduringSleepHorikawa,etal.Science,2013ImagerydecodingduringSleepImagerydecodingduringSleep"WhatIwasjustlookingatwassomekindofcharacters.Therewassomethinglikeawritingpaperforcomposinganessay,andIwaslookingatthecharactersfromtheessayorwhateveritwas.Itwasinblackandwhiteandthewritingpaperwastheonlythingthatwasthere.AndshortlybeforethatIthinkIsawamoviewithapersoninitorsomethingbutIcan'treallyremember."大脑视觉特征编码与CNN等特征对比自然图像虽然千变万化，但是却具有内在的统计特征，比如局部性、渐变性等。自然图像的特征提取是人工智能、视觉编解码等领域重要一环。目前常用的图像特征提取方法有Gabor（局部朝向）、SIFT、HMAX以及CNN等。这些方法所提取的特征与大脑视觉处理流程中每一步加工的特征有何关系？Horikawa等人通过编解码的方法研究了这一问题。大脑视觉特征编码与CNN等特征对比首先提取图像的各种特征（3层的HMAX、SIFT、GIST、8层的CNN等），采集被试看图像时的fMRI信号，在训练集上建立大脑活动信号到图像特征之间的解码模型；对新的图像的大脑活动，预测其特征，然后匹配出其所属的类别。Horikawa,etal.NatureCommunications,2017大脑视觉特征编码与CNN等特征对比如左图，纵坐标为预测特征与真实特征的相关系数。低级视觉脑区对低层的CNN特征预测好于对高层CNN的特征预测，反之亦然；对HMAX特征预测亦有同样的趋势。结果体现了大脑和机器学习对图像的处理具有一定的相似性。针对传统编码模型的两个问题，我们提出了一个结合大脑内部状态的编码框架。该框架包括两个组件：前向编码模型和内部状态模型。前向编码模型可以是任何一个传统的编码模型，用于预测体素活动中受外界刺激引起的成分；内部状态模型则通过建立体素间的连接来预测体素活动中非外界刺激的成分。Anencodingframeworkwithbraininnerstate（ISF）

ISF——模型训练

ISF虽然是一种编码框架，但是由于其需要一个真实的大脑活动信号来计算前向模型的预测残差，以便估计或者预测大脑内部状态，因此非常适合于视觉解码。我们在一个fMRI自然图像识别数据集上对ISF的编码性能和解码性能进行了验证，结果表明ISF相对于传统的编码算法，取得了state-of-the-art的结果。ISF——用于自然图像识别（解码）ISF作为一个框架，可以灵活的与各种前向模型搭配。我们采用了三种经典的前向模型（GWP、GLO和RO）以及一个零模型（ZM，相当于没有前向模型），比较在测试集上各种模型单独的编码精度与结合ISF后的编码精度，如右图所示，所有前向模型结合了ISF之后均取得了更好的编码精度。ISF——用于自然图像识别（解码）四种模型及其与ISF结合后在测试集120幅图像上的识别精度对比。（chancelevel：0.83%）可以看出，结合ISF之后的模型均达到了更高的识别精度，其中GLO+ISF在subject1上的精度达到了100%ISF——用于自然图像识别（解码）原始数据的测试集只包括120幅图像，为了测试各种模型在大数据上的泛化能力，我们在因特网上下载各种类别的自然图像，将测试集扩充至1000幅图像，然后比较随着图像集增长时的识别精度。ISF——用于自然图像识别（解码）内部状态代表什么？目前我们的方法采用数据驱动的方式来发现体素间的内在连接，然而这种内在连接是有其神经科学基础的。对视觉皮层的研究发现，皮层内的神经元除了接受外部的刺激，还受到注意、期望以及记忆等高级认知活动的影响，这些影响与外部刺激的底层特征关联性很低。此外，最近Stringer等人连续在Nature及Science等期刊上发表对小鼠的自发行为驱动的全脑神经活动的研究表明，即使在没有视觉刺激的时候，小鼠的自发行为（如面部运动，瞳孔活动等）也会引起视皮层的神经元的活动。这些工作说明了只考虑用外界刺激预测神经的全部活动的观点是不全面的。对ISF的讨论更加严苛的相似性度量下ISF的表现如何？目前所有用编码模型进行解码（图像识别）的方法均采用皮尔逊相关系数来衡量预测体素活动模式与真实体素活动模式之间的相似性。除了皮尔逊相关系数，欧氏距离是模式相似性度量的更加严苛的准则。我们比较了传统前向模型与ISF在这两种相似性度量下的识别精度。可以看出，ISF在两种准则下的性能基本不变，而传统前向模型的性能则不稳定对ISF的讨论对ISF提高图像识别精度机制的解释ISF相比传统的前向模型，多增加了一个内部状态模型。然而内部状态与外界刺激无关，为何增加对内部状态的预测之后能提高对外部刺激的识别精度，需要一个直观的解释。分析前向模型和ISF的模型可以看出，仅用前向模型做识别时，选择的是预测值与真实值之间误差最小的图像作为最终结果的；而用ISF做识别时，选择的是预测值与真实值间的误差最符合大脑内在连接状态的图像作为结果的。一个错误的图像的预测值与真实值的误差最小，但是不一定符合大脑的内在连接状态。因此ISF可以取得比传统前向模型更好的图像识别精度。对ISF的讨论CorrNetWeproposedacorrelationnetwork(CorrNet)frameworktoproviderichcorrelations.InCorrNet,thetopologicalcorrelationisintroducedtorevealthestructure.TheCorrNetcanbeflexiblycombinedwithdiversepatternrepresentationmodels,suchaslinearregression,thelinearSVMandSNN,forpatternrepresentation,separately.SiyuYu,etal.,IEEETransactionsonCognitiveandDevelopmentalSystems.2018.CorrNetCalculatetheaverageaccuracyofpixelsofthemiddlewithdifferentpatchscales(1*1,2*2,…,10*10).PixelPatchScalesCorrNetPotentially,ourworkcancontributetorevealingtheworkmechanismofhumanbrain,simulatingtheefficientconnectivityofearlyvisualcortex,andestablishingthemappingfromperceptualtaskstovoxels.Inengineering,thisstudypromotesefficientbrain-machineinterface.SiyuYu,etal.AIAI2019,bestpaperHierarchicalCorrelationNetworkReconstructionsresult(Subject1)ofsomeimagesinthetestset.Theperceptualimagesareshowninthefirstrow.ThesecondistheprocessedimageswhicharetheinputimagesoftheWGAN,therestfourrowsaretheRGBreconstructionimagesofdifferenttesttrials.HierarchicalCorrelationNetworkSpikeandLTP/LTDSpikeNeuralNetworkSpike

-ActionpotentialLTP/LTDLong-TermPotentiationLong-TermDepressionMD-SNNonMNISTMD-SNNonMNISTAccuracyunderdifferentsamplesizesAccuracyonMNISTFlipandrotationinvariancePM-SNNonfMIRdataYongqiangMa,etal.Trans.onCognitiveandDevelopmentalSystems,2017PM-SNNonfMIRdataPM-SNNonfMIRdataReconstructionresultsandaccuracyTimeseriesbaseddataintegrationSimultaneousEEGandfMRIdataacquisitionArtifactsremovalfromEEGandfMRIrealignmentFeatureextractionandselectionCorrelationanalysisbasedontimeseriesHongJi,etc,JournalofNeuroscienceResearc,2017,underreviewTimeseriesbaseddataintegrationHighSNRofssVEPexperimentAmplitudeofssVEP,phaselockingindex,inter-sitephaselockingindexTimeseriesbaseddataintegrationGraph-basedelectrodegroupingprocedure:affinityandneighbourhoodMultivariateCorrelationCoefficient(MCC)andMultivariateUncorrelationCoefficientMUCTimeseriesbaseddataintegrationGestaltGrouping大脑对感觉器官的信号所反应的外界元素进行分组，认为某些元素是属于一类的（形成一个概念），区别于其他元素形成的类别。研究现状及目的现状目前对于格式塔现象的研究多为行为实验和脑电实验，不能确切研究不同的视觉区域对格式塔刺激的处理过程目的通过空间分比率更高的fMRI来研究如下问题知觉分组在早期视觉皮层V1、V2和V3分别如何表征？注意是否会对知觉分组产生影响？数据采集7名被试（3男4女，平均年龄22岁）参加实验数据采集在中科院生物物理所脑与认知科学国家重点实验室扫描设备为西门子3T磁共振仪TR=1s（相当于采样率）FOV=108*108*48Voxelsize：1.5*1.5*1.5mm刺激设计RectangularDotLattice(RDL)--45°0.701.001.301.150.85a保持不变alpha=b:a刺激设计RectangularDotLattice(RDL)--45°为了平衡点阵密度不同带来的副作用，加入四个135°的刺激。0.701.301.150.85实验流程及任务每个被试参加3个sessionUnattendedRDL