利用判别显着性的跟踪课件

Histogram-basedInterestPointDetectors杨涛Histogram-basedInterestPoint1作者信息Wei-TingLee

李威霆Hwann-TzongChenAssistantProfessorDepartmentofComputerScienceNationalTsingHuaUniversityResearchInterestsComputerVision,ImageProcessing,MachineLearning作者信息Wei-TingLee李威霆2摘要本文提出利用灰度直方图信息检测感兴趣点的新方法。与现有的对图像亮度逐点测量差异不同，本方法包括基于直方图的表示，因而能找到在邻域中不同分布的图像区域。提出的检测器能够获得大尺度结构和不同纹理模式，并显示出对旋转、亮度变化、模糊的不变性。实验结果证明本方法模糊和亮度变化情况下的纹理匹配任务中表现得特别好。扩展本方法到空时感兴趣点检测可用于动作分类。摘要本文提出利用灰度直方图信息检测感兴趣点的新方法。与现有的3基于直方图的感兴趣点检测对于任意给定图像块中的像素，可以将其量化成几个离散的值。假定有

阶，那么在每个像素位置，加权直方图的第k个分量由下式计算得到：其中集合定义围绕的邻域窗口是使得的正规化因子(1)基于直方图的感兴趣点检测对于任意给定图像块中的像素，可以将其4基于直方图的感兴趣点检测给定在像素处有一个微小的平移用BhattacharyyaCoefficient度量直方图与的相似性：二阶泰勒展开式的结果：基于直方图的感兴趣点检测给定在像素处有一个5基于直方图的感兴趣点检测其中将（1）式代入得其中基于直方图的感兴趣点检测其中其中6基于直方图的感兴趣点检测矩阵获得像素周围邻域的直方图结构。如果的两个特征值都很大，那么一个很小的平移，将会导致BhattacharyyaCoefficient的急剧下降，因而直方图与直方图非常不相似。将这样的像素称为感兴趣点。所以问题转化为与局部BhattacharyyaCoefficient相应的HessianMatrix的特征值问题。无需显式计算特征值，可以用行列式与迹的响应函数来模拟：基于直方图的感兴趣点检测矩阵获得像素7提取局部不变区域用于匹配基于直方图的图像表示颜色直方图方向梯度直方图尺度选择提取局部不变区域用于匹配基于直方图的图像表示8实验图像匹配实验图像匹配9实验图像匹配实验图像匹配10实验时空感兴趣点检测实验时空感兴趣点检测11RandomWalksonGraphstoModelSaliencyinImageRandomWalksonGraphstoMode12作者信息（1）ViswanathGopalakrishnanDegreeRegistered:Ph.DSupervisor:

AsstProfDeepuRajanResearchTitle:VisualAttentionYiqunHuPh.DcandidateSupervisor:

AsstProfDeepuRajanandChiaLiangTienResearchInterests:ComputerVisionNetworkTechnologyArtificialIntelligenceHumanComputerInteraction作者信息（1）ViswanathGopalakrishna13作者信息（2）DeepuRajanAssistantProfessorDivisionofComputingSystemsSchoolofComputerEngineeringCollegeofEngineeringNanyangTechnologicalUniversityResearchInterests:Imageandvideoprocessingcomputervisionmultimediasignalprocessing作者信息（2）DeepuRajan14摘要将显著性区域检测公式化成马尔可夫随机游走问题。通过全图随机游走提取图像全局属性，通过k-regular图随机游走提取局部属性。最显著的节点是全局最孤立且落在局部最紧凑的区域。背景节点是与最显著节点“距离”最远的节点。通过最显著节点与背景节点得到显著区域。摘要将显著性区域检测公式化成马尔可夫随机游走问题。15各态历经马尔可夫链从任意状态出发可以到达任意状态的马尔可夫链称为各态历经马尔可夫链。621435各态历经马尔可夫链从任意状态出发可以到达任意状态的马尔可夫链16假设有N个状态：转移矩阵：状态i到j的转移概率平稳条件：是1×N的行向量，为N个状态的马尔可夫平稳分布，可以由计算得到。各态历经马尔可夫链假设有N个状态各态历经马尔可夫链17基本矩阵Z定义成其中I是单位阵各态历经马尔可夫链是当n趋于无穷大时的极限各态历经马尔可夫链是当n趋于无穷大时的极限18表示从t=0时刻出发，从状态i出发返回到状态i的期望步数。表示从t=0时刻出发，从状态i出发返回到状态j的期望步数。表示从t=0时刻出发，从平稳分布出发返回到状态i的期望步数。各态历经马尔可夫链表示从t=0时刻出发，从状态i出发返回到状19图表示将一幅图像划分成若干个8×8的小块，每一个小块表示成一个节点（顶点），各小块之间的相似性程度是连接节点的边。8×8图像块块节点之间的连接基于两节点的特征集相似性的边的权重图表示将一幅图像划分成若干个8×8的小块，每一个小块表示成一20图表示计算局部块的方向直方图，块的复杂度由直方图的熵得到：在YCbCr域中得到Cb和Cr。在尺度空间中得到五个尺度下的直方图的熵。这样得到特征向量为：

是相应于方向的第i个bin的直方图的值图表示计算局部块的方向直方图，块的复杂度由直方图的熵得到：21图表示由得到的各顶点的特征向量计算权重：N×N仿射矩阵获得图像特征的全局方面：所有连向节点i的权重之和：全连接的转移矩阵计算如下：可以得到：图表示由得到的各顶点的特征向量计算权重：22图表示N×N仿射矩阵获得图像特征的局部方面：表示节点i的空间邻域节点同理得到：图表示N×N仿射矩阵获得图像特征的局部方面：23节点选择最显著节点在completegraph上，其他所有节点到最显著节点的步数的期望和应当尽可能大。在k-regulargraph上，邻域节点到到最显著节点的步数的期望和应当尽可能小。任意节点的显著性值由下式定义：最显著节点：节点选择最显著节点24节点选择图中红色区域代表最显著节点节点选择图中红色区域代表最显著节点25节点选择背景节点第一个背景节点：显然第一个背景节点选择那些本身显著值低且与最显著节点最不相似的节点。第n个背景节点：这样选择节点的目的是保证背景节点尽可能inhomogenous节点选择背景节点26节点选择图中绿色区域代表背景节点节点选择图中绿色区域代表背景节点27显著性区域检测如果一个节点到最显著节点的期望步数与到所有背景节点的期望步数之和小，那么该节点就被认为是显著区域的一部分。继续这一步骤，找到所有这样的节点，形成的区域就是显著区域。右图白色部分是检测出的显著性区域。显著性区域检测如果一个节点到最显著节点的期望步数与到所有背景28与其他方法的比较未经二值化的结果二值化后的结果与其他方法的比较未经二值化的结果二值化后的结果29Saliency-basedDiscriminantTrackingSaliency-basedDiscriminantTr30作者信息（1）VijayMahadevanEducation2006-present:Ph.D(EE)UCSD,LaJolla,CA.GPA:4.0.2002-2003:M.S(EE)RensselaerPolytechnicInstitute,Troy,NY,Dec.2003.GPA:3.89.1998-2002:B.Tech(EE)IndianInstituteofTechnology,Madras.GPA:8.73/10.00.Publication'Thediscriminantcenter-surroundhypothesisforbottom-upsaliency',D.Gao,V.MahadevanandN.Vasconcelos,NeuralInformationProcessingSystems(NIPS),Vancouver,Canada,2007.'BackgroundSubtractioninHighlyDynamicScenes',V.MahadevanandN.Vasconcelos,IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Anchorage,AK,June2008.作者信息（1）VijayMahadevan31NunoVasconcelosPositionAssociateProfessoratUCSD,headingtheStatisticalVisualComputingLaboratoryResearchinterestcomputervision,statisticalsignalprocessing,machinelearning,andmultimedia.AwardsHellmanFellowship,2005NSFCAREERaward,2005GraduateFellowship,JuntaNacionalparaaInvestigacaoCientificaeTecnologica,1993-1997GraduateFellowship,Luso-AmericanFoundation,1991-1993作者信息（2）NunoVasconcelos作者信息（2）32摘要本文提出基于判别显著性的视觉跟踪框架对于每一帧，将目标与背景的判别看成二值分类问题利用最大化边缘差异的原则选出对目标与背景分类起最大作用的特征通过这些特征，使用Top-down显著性检测下一帧目标的位置，完成跟踪算法的一次迭代扩展该框架，加入Bottom-up显著性模式下的运动特征能鲁棒地检测显著运动物体并且自动初始化跟踪器。摘要本文提出基于判别显著性的视觉跟踪框架33问题起源当前比较流行的基于表观的物体跟踪方法通过学习目标表观模型，确定目标位置。缺点是未能引入背景信息。这样当背景凌乱或者目标发生形变时就制约了跟踪精度。为解决此问题，判别跟踪方法被提了出来。基本思想：物体跟踪伴随检测过程，将问题转化为持续的目标—背景分类。问题起源当前比较流行的基于表观的物体跟踪方法通过学习目标表观34问题起源判别跟踪器设计的三个问题目标初始化特征选择目标检测问题起源判别跟踪器设计的三个问题35利用判别显著性的跟踪判别显著性将显著性问题看作感兴趣刺激与背景两类的最优决策问题。每一位置的显著性等价于该位置处特征的判别力。这样判别的结果具有最低期望差错概率。利用判别显著性的跟踪判别显著性将显著性问题看作感兴趣刺激与背36利用判别显著性的跟踪判别显著性l位置处的显著性定义为特征响应与类的互信息又可以写成

其中利用判别显著性的跟踪判别显著性37利用判别显著性的跟踪学习显著特征对目标与背景有最优判别能力的特征是那些与类别标签有最大互信息的特征。互信息的计算其中

表示第k个特征与前k-1个特征之间由于特征相关含有的判别信息利用判别显著性的跟踪学习显著特征其中表示第k个特征与38学习显著特征由于特征相关性对类的判别提供的信息很小，故显著特征选择对N个特征按降序排列互信息选择前K个特征作为显著特征利用判别显著性的跟踪学习