Multi-CueOnboardPedestrianDetectionSVM算法Adboost算法.ppt

Multi-Cue Onboard Pedestrian Detection Haoyu Ren 2009.5.22 Overview nAuthor information nAbstract nRelated algorithm introduction nPaper content nExperimental Result nConclusion Author information(1/4) n Christian Wojek Education M.Sc in Computer Science, University of Karlsruhe, Germany, 2000-2006 Visiting Student at McGill University, Montreal, Canada, 2004-2005 2006-, PhD Candidate in Computer Science, TUD Research Interest Object Recognition, Scene Understanding, Activity Recognition and Person Tracking Papers 1 ECCV08, 2 CVPR09 Author information(2/4) n Stefan Walk Education Diploma in Physics, Technische Universitt Darmstadt, Germany 2007 2007-, PhD Candidate in Computer Science, TUD Research Interest People detection, Detecting from video data (utilizing motion information) Papers 1 CVPR09 Author information(3/4) n Bernt Schiele Education PhD: Docteur de lInstitut Polytechnique de Grenoble, France, 1997 MScs: Diplom-Informatiker, University of Karlsruhe, Germany, 1994, DEA de linformatique de lENSIMAG, France, 1993 Experience Assistant Professor, ETH Zurich, Switzerland, 1999-2004 Postdoctoral Associate and Visiting Assistant Professor, MIT and Cambridge, MA, USA, 1997-2000 Visiting researcher at CMU, 1994 Author information(4/4) n Bernt Schiele Research Interest Perceptual computing, human-computer interfaces External Activities Associate Editor of PAMI, IJCV and IEEE Pervasive ECCV08, CVPR09, ICCV09, Area Chair ICCV 2011, Program CoChair Papers 2 CVPR09, 2 CVPR08, 2 ECCV08, 1 IJCV08 Overview nAuthor information nAbstract nRelated algorithm introduction nPaper content nExperimental Result nConclusion Abstract n This paper systematically evaluates different features and classifiers in a sliding-window framework. n Our experiments indicate that incorporating motion information improves detection performance significantly. n The combination of multiple and complementary feature types can also help improve performance. n The choice of the classifier-feature combination and several implementation details are crucial to reach best performance. n In contrast to many recent papers experimental results are reported for four different datasets rather than using a single one. 提纲 nAuthor information nAbstract nRelated algorithm introduction nPaper content nExperimental Result nConclusion Introduction of SVM(1/7) n 最优线性分类面 线性可分样本集合，线性分类面一般形式为 最优分类面要求，距离分类面最近的样本距离 (margin)尽可能大 Introduction of SVM(2/7) n 最优线性分类面 直观解释，给定一个训练样本，那些相同标签的测试 样本可以认为分布在这个训练样本周围的超球内。如 果分类超平面离样本越远，检测样本被误分的可能性 就会越小 推导 样本点(xi, yi), yi = -1,+1, 则有 通过对w与b的放缩，我们可以在不改变分类面的情况下得到 定义两个与分类面平行平且过离分类面最近样本的“支持平面 ” Introduction of SVM(3/7) n 最优线性分类面 Margin等于这两个支持平面距离的一半，也就等于原 点距离这两个支持平面的距离差的一半 Introduction of SVM(4/7) n 最优线性分类面 计算原点到 距离 代入 得到 再代回求得 于是原点到 距离为 Introduction of SVM(5/7) n 最优线性分类面 同理计算原点到 距离为 所以分类超平面到最近样本点距离为 ，问题转化 为求 的最小值 构造拉格朗日函数 对w, b求偏导 根据Karush Kuhn Tucker条件 Introduction of SVM(6/7) n 最优线性分类面 最优分类面的权系数是训练样本的线性组合 多数样本的将为0，那些不为0的样本被称作是支持 向量(support vector)，只占整体样本很少的一部分 b可以由任一支持向量求得 分类函数 Introduction of SVM(7/7) n Kernel trick 解决非线性分类边界问题 基本思想是通过一个非线性变换将输入空间变换到一 个高维空间, 然后在新空间求最优线性分类面。这种 非线性变换是通过定义适当的内积函数来实现的 使用核函数代替线性分类面中的点积 分类函数 Introduction of AdaBoost(1/6) n AdaBoost AdaBoost通过对一些弱分类器(weak classifier)的组 合来形成一个强分类器(strong classifier), “提升 (boost)”弱分类器得到一个分类性能好的强分类器 每一个弱分类器都对前一个分类器错误分类的样本给 与更多的重视 Introduction of AdaBoost(2/6) n AdaBoost 弱分类器 其中，h表示弱分类器的响应值，为正例反例判别 阈值，f表示特征响应值 PositiveNegative Introduction of AdaBoost(3/6) n AdaBoost训练过程 输入 样本集合 (x1,y1), (x2,y2), ., (xn,yn) 训练参数：样本权值wi、分类器层数T等等 输出 一个由很多弱分类器线性组合得到的强分类器 Introduction of AdaBoost(4/6) 分类错误率是否达到？ 选择错误率最小的弱分类器 更新强分类器 样本权值更新，分类正确的样本权值减小 遍历所有特征，分别计算以每个特征 作为弱分类器的分类错误率 否 输出强分类器 是 Introduction of AdaBoost(5/6) n AdaBoost训练过程 For t=1,.,T 1. 归一化权重，使得wt为一个概率分布： 2. 对每个特征j, 训练一个弱分类器hj, 计算其带权重的错误率 3. 选择误差最小的弱分类器ht加入强分类器 4. 更新每个样本的权重 Introduction of AdaBoost(6/6) n AdaBoost强分类器 Overview nAuthor information nAbstract nRelated algorithm introduction nPaper content nExperimental Result nConclusion Paper Content n Features Haar, HOG, Oriented Histograms of Flow 对单个的特征向量做L2-norm然后连接起来作为组合 特征 n Classifiers SVM: Linear SVM, IK-SVM Boosting: AdaBoost, MPLBoost n Learning and Testing Haar-like Feature(1/2) n Haar-like feature 白色矩形像素和减去黑色矩形像素和 Haar-like Feature(2/2) n Haar-like feature 计算矩形内部像素灰度值的和 定义积分图 计算D内部像素灰度和 4 + 1 - 2 - 3 HOG feature(1/9) n HOG feature Histogram of Oriented Gradient, 人体检测领域应用最 广的特征 多种变种，Multi Size HOG，Pyramid HOG 适合多种分类器，Linear SVM, Kernel SVM (RBF, IK, Quadratic), LDA + AdaBoost, SVM + AdaBoost, Logistic Boost, Vector Boost HOG feature(2/9) n HOG feature extraction 对三个通道分别均方压缩 R,G,B = sqrt(R,G,B) 使用-1,0,1 模版计算3个通道的梯度 梯度高斯加权，使用3线形插值加权计算cell梯度直方 图 对每个block(2x2cells)进行归一化 对于一个区域，输出一个梯度直方图向量作为该区域 的HOG特征 HOG feature(3/9) n HOG feature extraction Blocks with overlap in the Scan Window Cell One Block consists of 2 2 Cells (one HOG feature) HOG feature(4/9) n 普通加权 考察样本距离哪个区间中心最近 n 线形插值加权 使用样本到各个区间中心的距离加权 9 normal voting 51525 (1) 9 9 interpolated voting 51525 (0.6) (0.4) 9 HOG feature(5/9) Cell C0 C1 C2C3 HOG histogram Cell C0 C1 C2 C3 normal voting Cell C0 C1 C2C3 HOG histogram Cell C0 C1 C2 C3 normal voting HOG feature(6/9) Cell C0 C1 C2C3 HOG histogram Cell C0 C1 C2 C3 interpolated voting Cell C0 C1 C2C3 HOG histogram Cell C0 C1 C2 C3 interpolated voting Cell C0 C1 C2C3 dx1-dx dy 1-dy HOG feature(7/9) n 三线形插值 HOG histogram of block Cell C0 C1 C2 C3 9 orientation bins for each cell HOG feature(8/9) n HOG特征快速计算方法 对输入图像计算梯度图像，然后计算9个梯度方向的 梯度加权的积分图 对某个区域求HOG特征，相当于在这9个积分图中求 对应区域内像素的灰度和 计算速度大大加快，所有使用Boosting分类的HOG分 类器必follow HOG feature(9/9) n 一些HOG特征的变种 C-HOG cell排列圆形的HOG特征，性能无明显提升 Multi-size HOG cell的长宽比可调节，大小可调节，位置可调节 使用Boosting框架进行特征选择 Pyramid HOG 将图像作尺度变化，对不同尺度稠密采样提取HOG 增强了HOG的判别力，与IK-SVM结合性能优秀 Orient Histograms of Flow(1/2) n 光流(optical flow) 物体运动时图像上对应点亮度模式的表观运动 (apparent motion)称作光流 光流表达了图像的变化，它包含了目标运动的信息， 因此可被用来确定目标的运动情况 Orient Histograms of Flow(2/2) n Orient Histograms of Flow 考查光流变化的方向，而不是空间梯度方向 3x3cell组合一个block，考查中心cell与周围8个cells 的光流变化，统计光流梯度直方图 给予不同的cell不同的权值 IMHwd (internal motion histogram using Haar wavelet like operators) SVM classifiers(1/5) n SVM classifiers Linear SVM RBF Kernel SVM Intersection Kernel SVM Kernel SVM高计算复杂度，m支持向量n维特征，计 算复杂度至少O(mn) SVM classifiers(2/5) n Intersection Kernel SVM快速计算 令i固定， 表示 升序排列，r是满足 的最大整数，得到 SVM classifiers(3/5) n Intersection Kernel SVM快速计算 A与B均独立于输入样本，只与支持向量有关 如果我们预先计算了所有的 ，对于任何一个输入 样本，只需要先利用二分法查找到r，然后利用线形插 值就可以得到结果。复杂度下降到了O(nlogm) 使用分段线形函数去近似h可以使速度得到进一步提 升 SVM classifiers(4/5) n IK-SVM分类面 SVM classifiers(5/5) n SVM分类面对比 - +表示与支持向量相似的区域 Liner SVM + 支持向量 RBF kernel SVM + - IK-SVM -+ Boosting classifiers(1/2) n AdaBoost classifiers The cascade framework Boosting classifiers(2/2) n MPLBoost: Multiple Pose Boosting 同时训练K个强分类器，分类器输出值是这个分类器 响应值的最大值 对于一个扫描窗口，如果有一个强分类器认为是 positive就是positive，如果所有强分类器认为是 negative才是negative 训练过程中，只有被所有强分类器错分的样本权值保 持不变 类似于Cluster Boosted Tree，不同的是样本权值的更 新策略 Overview nAuthor information nAbstract nRelated algorithm introduction nPaper content nExperimental Result nConclusion Experimental Result(1/6) n Training 1776 annotated pedestrians pairs (patch) 192 images pairs (large image) n Testing ETH-01, ETH-02, ETH-03, T