大脑皮层视觉通路计算模型的物体识别.ppt

2019年12月30日 1 题目 RobustObjectRecognitionwithCortex LikeMechanisms 作者 ThomasSerre TomasoPoggio讲解人 SuYu 2019年12月30日 2 作者的相关信息 ThomasSerre2005年获得博士学位computationalneuroscienceMIT BrainandCognitiveScienceDept Cambridge MA Advisor TomasoPoggio所在机构PostdoctoralassociateattheCenterforBiologicalandComputationalLearning CBCL atMIT主要研究方向Biologicalvision machinevision objectrecognition computationalneuroscience learningincortex主要的学术贡献点提出了一个关于视觉皮层腹部通路 ventralstreamofvisualcortex 中回路和计算的定量模型 提出了一个component based的人脸检测 识别模型 2019年12月30日 3 作者的相关信息 TomasoPoggio所在机构DepartmentofBrain CognitiveSciencesandArtificialIntelligenceLaboratory MassachusettsInstituteofTechnology主要研究方向theprocessesbywhichthebrainlearnstorecognizeandcategorizevisualobjectshttp cbcl mit edu cbcl web pis poggio index htm 2019年12月30日 4 文章的相关信息 PAMI2007 3相关文献M RiesenhuberandT Poggio HierarchicalModelsofObjectRecognitioninCortex NatureNeuroscience vol 2 no 11 pp 1019 1025 1999 T Serre M Kouh C Cadieu U Knoblich G Kreiman andT Poggio ATheoryofObjectRecognition ComputationsandCircuitsintheFeedforwardPathoftheVentralStreaminPrimateVisualCortex AIMemo2005 036 CBCLMemo259 MassachusettsInst ofTechnology Cambridge 2005 2019年12月30日 5 文章摘要 受生物学的启发 我们提出了一种识别复杂视觉场景的新的通用框架 在这个框架中 我们描述了一个与视觉皮层组织结构非常相似的一个层次化模型 并且通过交替进行模板匹配 templatematching 和最大化操作 maximumpoolingoperation 得到复杂性和不变性越来越高的特征表示 我们在多个识别任务上验证了这种方法的正确性 包括复杂场景中单类或多类物体的识别 以及依赖于识别shape based和texture based物体的复杂场景理解 在满足一些生物学限制条件的情况下 这种方法的性能非常好 它可以从少量训练样本中进行学习 并且与目前最好的系统旗鼓相当 除了与计算机视觉的相关性 这种方法的成功证明了大脑皮层中物体识别前馈模型的正确性 2019年12月30日 6 研究背景和研究意义 研究背景研究大脑视觉皮层中物体识别的过程对于神经科学 Neuroscience 来说是一个关键的问题 计算机视觉中神经科学的应用局限在推导立体视 stereo 算法和验证DoG以及Gabor的正确性 一些基于仿生的高层次特征没有在实际的图像数据库上验证 研究意义人类和哺乳动物的视觉系统优于目前的机器视觉的系统 因此模仿大脑皮层中物体识别的过程就变得非常有吸引力 2019年12月30日 7 前人相关工作的介绍 相关工作层次化结构ConstellationmodelMultilayeredconvolutionalnetworks 物体表示方法Appearance based区分性强但缺乏不变性 Histogram based不变性强但缺乏区分性 2019年12月30日 8 本文所研究问题的提出 问题的提出不变性 Invariance 和区分性 Selective 对于物体识别来说都是很重要的 本文提出一种新的物体描述方式 能够很好地平衡不变性和区分性 2019年12月30日 9 本文解决思路的基本思想 模拟大脑视觉皮层的处理过程通过一种层次结构定量地模拟了大脑视觉皮层腹部通路前100 200毫秒的处理过程 系统共分4个层次 包括两个simpleSunits和两个complexCunits 兼顾可分性 Sunits 和不变性 Cunits 2019年12月30日 10 文章的组织结构 IntroductionDetailedImplementationEmpiricalEvaluationDiscussion 2019年12月30日 11 基础知识 相关学科神经科学 Neuroscience 脑研究的综合学科 应用生命科学和物理科学 信息科学的综合途径 从分子 细胞到计算网络 心理多个水平 对神经系统的形成 正常功能和异常病变进行研究 认知科学 CognitiveScience 是研究人 动物和机器的智能的本质和规律的科学 目标是揭示人脑认知过程的机制 用计算机程序实现这一机制并加以验证 2019年12月30日 12 基础知识 人类视觉感知系统视觉信息在大脑中按照一定的通路传输视网膜接受外界信号信号通过视神经交叉和视束传到中枢的侧膝体信息到达大脑皮层细胞大脑皮层由简单到复杂 由低级到高级SimpleCell ComplexCell HypercomplexCell 2019年12月30日 13 基础知识 视觉信息处理特点两条通路腹部通路 ventralstream 又称what通路背部通路 dorsalstream 又称where通路层次结构视网膜 侧膝体 视皮层反馈连接高层区域 视觉初级皮层区高级行为也会对低层神经元活动产生影响感受野等级特性神经细胞越复杂 对应视网膜上区域越大 注意选择机制学习机制 2019年12月30日 14 系统框架 2019年12月30日 15 S1units Gabor 模拟简单视觉细胞的感受野 多方向 多尺度 提取具有区分能力的底层特征 2019年12月30日 16 C1units 较大的感受野 对感受野内不同位置 不同尺寸的边缘都会有响应 通过尺度和空间邻域的局部最大值操作 LocalMaximum 来实现 体现了平移和尺度不变性 2019年12月30日 17 C1units C1 max max 2019年12月30日 18 C1units C1 S1 2019年12月30日 19 S1和C1具体参数 2019年12月30日 20 S2units 与从训练集中学到的patch进行模板匹配 Patch 2019年12月30日 21 S2units r 2019年12月30日 22 C2units 在所有尺度 所有位置上取最大值 2019年12月30日 23 TheLearningStage 选择若干具有代表性的patch从训练图像 C1level 中随机采样每类物体有自己的代表patch 2019年12月30日 24 TheClassificationStage 特征Standardmodelfeatures SMFs C1orC2分类器SVMBoosting 2019年12月30日 25 实验 ObjectRecognitioninClutterObjectRecognitionwithoutClutter 2019年12月30日 26 ObjectRecognitioninClutter 测试条件目标物体没有分割 位置和尺度也不同采用的特征scaleandposition invariantC2SMFs测试数据库CalTech5 CalTech101 andMIT CBCL 2019年12月30日 27 ObjectRecognitioninClutter Comparisonwithbenchmarksystems 19 20 constellationmodels 17 hierarchicalSVM 18 fragments gentleBoost 2019年12月30日 28 ObjectRecognitioninClutter ComparisonwithSIFTfeatures 2019年12月30日 29 ObjectRecognitioninClutter Numberoffeaturesandtrainingexamples 2019年12月30日 30 ObjectRecognitionwithoutClutter 测试条件和滑动窗结合 从图像的不同位置和不同尺度提取图像窗 resize到同样大小 没有位置和尺度的变化没有clutter采用的特征C1和C2均可 但C1优于C2测试数据库StreetScenesscene understandingdataset 2019年12月30日 31 ObjectRecognitionwithoutClutter 2019年12月30日 32 ObjectRecognitionwithoutClutter 2019年12月30日 33 ObjectRecognitionwithoutClu