Leo统计学习v2

1、 Made by Leo 仅供参考1. 传统模式识别体系上课时老师黑板上列出的统计学习的组成如下 Chapter 1 18 20 21传统的模式识别基于统计学习，运用计算机基于数据构建模型，运用模型对数据进行预测和分析。其体系包括数据采集，特征提取，模型选择，训练分类器，评估分类器。一般而言，数据采集包括训练并测试数据，特征提取包括定义域和先验信息、计算代价度量和可行性分析，以及对某一模式的数据进行平移旋转和缩放等操作以使该模式具有表达性特征。主要步骤是低水平的检测，先验操作，特征提取，特征选择，预测和检测。特征提取并不是去设计特征，而是设计特征学习机制。2什么是生成模型，什么是判别模型？以及

2、它们各自的特点。生成模型和判别模型都属于监督学习，其任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型的一般形式为决策函数：Y=f（X）或者条件概率分布：P（Y|X），监督学习方法又可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别称为生成模型（generative model）和判别模型（discriminative model)。生成方法由数据学习联合概率分布P（X,Y），然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P（Y|X）=P(X,Y)/P(X)，这样的方法之所

3、以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有：朴素贝叶斯法和隐马尔科夫模型。判别方法由数据直接学习决策函数f(X)或者条件概率分布P（Y|X）作为预测的模型，即旁别模型，判别方法关心的是对给定的输入X，应该预测什么样的输出Y，典型的判别模型包括：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。神经网络与机器学习P42-43 内容如下（More）最大后验估计是根据经验数据获得对难以观察的量的点估计，与最大似然估计类似，但是最大的不同是，最大后验估计融入了要估计量的先验分布，故最大后验估计可以看做是规则化的最大似然估计

4、。最大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布。通过采样，获取部分数据，然后通过最大似然估计来获取满足假设中的正态分布的均值和方差。最大似然估计只考虑某个模型能产生某个给定观察序列的概率，而未考虑该模型本身的概率。最大似然估计的一般求解过程：1、写出似然函数；2、对似然函数取对数；3、求导数；4、解似然方程。最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和

5、为最小。（可以参考笔记） 补充：软间隔支持向量机：软间隔(Soft margin)：1995年, Corinna Cortes与Vapnik提出了一种改进的最大间隔区方法，这种方法可以处理标记错误的样本。如果可区分正负例的超平面不存在，则“软边界”将选择一个超平面尽可能清晰地区分样本，同时使其与分界最清晰的样本的距离最大化。这一成果使术语“支持向量机”（或“SVM”）得到推广。这种方法引入了松驰参数以衡量对数据的误分类度。随后，将目标函数与一个针对非0的惩罚函数相加，在增大间距和缩小错误惩罚两大目标之间进行权衡优化。如果惩罚函数是一个线性函数，则等式（3）变形为Chapter4 26

6、页-38页 线性可分支持向量机对偶推导，以及例子；41页-51页线性支持向量机对偶推导线性支持向量机没有例子，只有算法，请参考之前的“软件隔支持向量机”中的算法7.3以及chapter4 41页-51页线性支持向量机对偶推导。Chapter 5 26-31页神经网络与机器学习 p89 内容如下学习过程由信号的正向传播与误差的反向传播两个过程组成。1）正向传播：输入样本>输入层>各隐层（处理）>输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）>隐层（逐层）>输入层其主要目的是通过将输出误差反

7、传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。Chapter 5 61页-63页核技巧的原理是首先使用一个变换将原空间的数据映射到一个新空间；然后在新空间里用线性分类学习方法从训练数据中学习分类模型。对核的要求如下：核方法是解决非线性模式分析问题的一种有效方法,但在一些复杂情形下,由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求,因此将多个核函数进行组合,以获得更好的结果是一种必然选择多核方法通过多个或多种核函数的组合，从另一个角度解决了特定核函数的构造问题，通过多个参数的学习与调节，使